Sintesi Tecnica: Prime Fourier Embeddings

Problematica

Le tipiche rappresentazioni vettoriali (embeddings) neurali spesso non riescono a esporre la struttura algebrica intrinseca degli interi, in particolare riguardo l'aritmetica modulare. Sebbene il Teorema della Restituzione Cinese (CRT) stabilisca che l'addizione modulo un numero composto $N$ si decomponda in addizioni indipendenti modulo i suoi fattori primi, gli embedding appresi standard non riflettono naturalmente tale decomposizione. Di conseguenza, i modelli addestrati su compiti di aritmetica modulare spesso soffrono di "grokking" — un fenomeno per cui i modelli attraversano prolungati periodi di memorizzazione prima di generalizzare improvvisamente. Questo ritardo è attribuito a un fallimento rappresentativo: quando l'input manca di una struttura locale-prima esplicita, la rete deve ricostruire queste relazioni algebriche da zero tramite il discesa del gradiente, un processo che richiede grandi quantità di dati ed è fragile.

Gli approcci esistenti presentano dei limiti: le codifiche continue (es. xVal) preservano l'ordine di grandezza ma scartano la periodicità, mentre gli approcci periodici come i Fourier Number Embeddings (FoNE) utilizzano spesso basi composte (es. base-10) che intrecciano strutture primarie distinte (es. strutture 2-adiche e 5-adiche) all'interno di canali condivisi, fallendo nell'isolare l'informazione locale-prima.

Metodologia: Prime Fourier Embeddings (PFE)

Gli autori introducono i Prime Fourier Embeddings (PFE), uno schema di embedding principato derivato dall'analisi armonica dei numeri razionali $\mathbb{Q}$.

• Costruzione: PFE codifica un intero $a$ come una collezione di coppie $(\cos, \sin)$ indicizzate per primo. Per un numero primo $p$ e una profondità $d$ (dove $0 \le d < D$), l'embedding è definito come:
  $$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$$
  Ciò corrisponde alla decomposizione reale del carattere $\chi_1$ del gruppo $\mathbb{Z}/p^{d+1}\mathbb{Z}$.
• Base Teorica: Il design è motivato dalla dualità di Pontryagin e dalla fattorizzazione dei caratteri adelici. L'embedding implementa direttamente i caratteri $p$-adici locali, garantendo che la struttura residua di qualsiasi intero sia leggibile dal corrispondente canale primo senza accoppiamenti tra primi diversi.
• Implementazione: Negli esperimenti, gli autori utilizzano un insieme fisso di 16 numeri primi ($P_0 = \{3, \dots, 59\}$) e un limite di profondità $D=3$, risultando in una dimensione dell'embedding di 96. Le caratteristiche dell'embedding sono deterministiche e non addestrabili.

Contributi Teorici Chiave

Il saggio stabilisce una garanzia strutturale rigorosa per qualsiasi mappa lineare operante su PFE:

1. Teorema della Decomposizione a Blocchi Diagonali (Teorema 3.1): Qualsiasi mappa lineare $W$ che sia equivariante rispetto all'azione del gruppo prodotto su PFE deve essere a blocchi diagonali.
   • Esiste un blocco indipendente per ogni numero primo $p$ e profondità $d$.
   • Vi è zero accoppiamento tra i blocchi di primi distinti.
   • Vi è zero accoppiamento tra i blocchi di profondità distinte all'interno dello stesso primo.
2. Meccanismo di Dimostrazione: Questo risultato deriva dal Lemma di Schur. Ogni blocco PFE rappresenta una rappresentazione irriducibile (un carattere) non isomorfa del gruppo additivo $\mathbb{Z}$. Poiché i caratteri per coppie $(p, d)$ distinte sono non isomorfi, qualsiasi intertore equivariante tra di essi deve essere nullo.
3. Predizione CRT: Per un compito con modulo $N = p_1 \cdots p_k$, la teoria prevede che solo i $k$ canali primi corrispondenti ai fattori di $N$ porteranno informazioni rilevanti per il compito, mentre tutti gli altri canali rimarranno irrilevanti.

Risultati Sperimentali

Gli autori validano queste predizioni attraverso studi di ablazione sistematici su compiti di addizione modulare $(a+b) \mod N$.

• Esperimento 1 (Compiti a Primo Singolo): I modelli sono stati addestrati su compiti con moduli primi variabili. Quando la riga del primo specifico corrispondente al modulo del compito veniva ablata (azzerata), l'accuratezza del test diminuiva significativamente. Al contrario, l'ablazione di righe di primi irrilevanti causava cali di accuratezza quasi nulli.
  • Risultato: I rapporti di specializzazione (calo diagonale vs. calo off-diagonale) hanno superato le 500$\times$ nella maggior parte delle configurazioni, confermando che la rete utilizza solo il canale primo pertinente.
• Esperimento 2 (Moduli Composti): I modelli sono stati addestrati su moduli composti privi di quadrati (es. $N=15, 21, 105$).
  • Risultato: L'ablazione dei fattori primi di $N$ ha causato grandi cali di accuratezza, mentre l'ablazione di elementi non fattori ha causato cali trascurabili. Il rapporto fattore/non-fattore ha superato nuovamente le 500$\times$.
  • Accuratezza: I modelli hanno raggiunto il 100% di accuratezza di test in-distribution per tutti i moduli composti square-free testati e per gli intervalli di input (a condizione che l'intervallo di input fosse sufficientemente ampio rispetto a $N$).

Significato e Rivendicazioni

Il saggio sostiene che PFE trasformi l'apprendimento dell'aritmetica modulare da un problema di scoperta rappresentativa a un problema di selezione.

• Principato vs. Arbitrario: A differenza delle scelte di frequenza euristiche, la base prima è matematicamente fondata sulla decomposizione di Fourier adelica di $\mathbb{Q}$. Ciò garantisce che la necessaria struttura algebrica sia presente fin dall'inizializzazione.
• Interpretabilità Meccanicistica: Il lavoro dimostra che il design dell'embedding può essere guidato dalla matematica degli oggetti che rappresenta. La struttura interna della rete è caratterizzata prima dell'addestramento (tramite la teoria delle rappresentazioni) e verificata dopo l'addestramento (tramite ablazioni mirate).
• Teoria Falsificabile: Il Teorema della Decomposizione a Blocchi Diagonali fornisce un vincolo strutturale provabile sul comportamento della rete. La conferma empirica di questo vincolo offre una via verso un ragionamento numerico più affidabile e trasparente nelle reti neurali, andando oltre l'osservazione post-hoc verso una teoria matematicamente fondata.

Gli autori osservano che, sebbene la struttura a blocchi diagonali sia provata, il meccanismo specifico attraverso il quale la discesa del gradiente converge a una soluzione equivariante (anziché rompere la simmetria) rimane una questione aperta per lavori futuri.