Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

Sintesi Tecnica: Geometria Ordinale Emergente nei Transformer Addestrati su Confronti Locali

Definizione del Problema
Il paper investiga se i modelli Transformer, quando addestrati esclusivamente su confronti locali (adiacenti) all'interno di un ordine totale nascosto, acquisiscano lo stesso meccanismo primitivo utilizzato dai sistemi biologici per l'inferenza trasitiva (TI). La TI è la capacità di inferire una relazione non adiacente (ad esempio, $A < C$) da relazioni adiacenti note ($A < B, B < C$). Mentre la cognizione biologica risolve questo compito tramite una "linea numerica mentale analogica" — evidenziata dall'effetto della distanza simbolica (dove i confronti distanti vengono elaborati più velocemente/accuratamente rispetto a quelli adiacenti) — i Transformer non sono esplicitamente sollecitati a rappresentare l'ordine in modo lineare. Lo studio si chiede se questa specifica rappresentazione geometrica e firma comportamentale emergano spontaneamente in reti neurali addestrate sul classico paradigma di Bryant e Trabasso [1971].

Metodologia
Gli autori hanno costruito un compito sintetico utilizzando un ordine totale nascosto di $N$ entità ($e_0 \prec e_1 \prec \dots \prec e_{N-1}$).

• Dati di Addestramento: Il modello viene addestrato solo su coppie adiacenti in entrambe le direzioni ($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$).
• Dati di Valutazione: Il modello viene valutato su un insieme disgiunto di coppie distanti ($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$), richiedendo la ricostruzione dell'ordine globale partendo dai soli dati locali.
• Architettura del Modello: Un Transformer a singolo strato con embedding delle entità, una testa di attenzione (nello schema astratto) o due (nella sezione dei risultati), un MLP GELU largo 4d e una testa di unembedding lineare. La relazione viene decodificata dalla posizione residua finale.
• Metriche:
  1. Struttura Geometrica: Analisi delle Componenti Principali (PCA) sugli embedding delle entità per misurare la linearità (varianza sulla prima componente principale, $\rho_1$) e l'allineamento del rango (correlazione tra posizione proiettata e rango reale).
  2. Firme Comportamentali: La confidenza decisionale (margine del logit) e la separazione geometrica ($g_{ij}$) sono misurate rispetto alla distanza del rango ($|i-j|$) per rilevare l'effetto della distanza simbolica.

Contributi Chiave

1. Isolamento del Compito Sintetico: Il paper introduce un compito controllato che isola la generalizzazione ordinale dai confronti locali, rispecchiando rigorosamente il paradigma della TI biologica.
2. Manifold 1D Emergente: Fornisce prove che i Transformer organizzano spontaneamente gli embedding delle entità in un manifold monodimensionale. L'asse principale di questo manifold recupera l'ordine di rango nascosto con una fedeltà quasi perfetta.
3. Analogo Computazionale dell'Effetto della Distanza: Lo studio dimostra che anche quando l'accuratezza raggiunge un plateau, il modello esibisce l'effetto della distanza simbolica: sia la confidenza decisionale che la separazione geometrica scalano monotonicamente con la distanza del rango tra gli elementi.

Risultati
Gli esperimenti sono stati condotti su set di $N=10, 15$ e $20$ entità.

• Dinamiche tipo Grokking: L'emergere della generalizzazione fuori distribuzione (OOD) coincide con una riorganizzazione geometrica degli embedding. Questa transizione è sensibile all'ottimizzazione (specificamente al weight decay) e produce dinamiche transitorie simili al "grokking".
• Recupero Geometrico: Mentre il modello apprende, gli embedding collassano su una linea dove la componente principale si allinea con il vero ordine di rango.
• Mirroring Comportamentale: Al picco dell'accuratezza OOD, le rappresentazioni interne del modello e la confidenza in uscita seguono rigorosamente l'effetto della distanza simbolica. Le coppie distanti non sono solo classificate correttamente, ma sono associate a una maggiore confidenza e a una maggiore separazione geometrica nello spazio degli embedding rispetto alle coppie adiacenti.

Significatività
Il paper sostiene di fondare una regolarità comportamentale vecchia di 50 anni (l'effetto della distanza simbolica nella TI) nella geometria delle rappresentazioni apprese dai neuroni. Dimostrando che i Transformer sviluppano spontaneamente una "linea numerica mentale" senza supervisione esplicita, il lavoro offre un resoconto meccanicistico dell'inferenza trasitiva che unisce la scienza cognitiva all'interpretabilità delle moderne reti neurali. Suggerisce che la capacità di eseguire ragionamenti relazionali astratti possa essere un prodotto naturale dell'ottimizzazione di vincoli locali all'interno di un ordine totale.