Sintesi Tecnica: La Forma dell'Addizione: Strutture Geometriche dell'Aritmetica nei Large Language Models

1. Definizione del Problema

Nonostante il raggiungimento di alte prestazioni su benchmark di ragionamento matematico complessi (es. GSM8K, MATH), i Large Language Models (LLM) mostrano una sorprendente fragilità nelle primitive algoritmiche fondamentali, in particolare nell'aritmetica multi-digitale. Esiste un paradosso centrale: i modelli spesso codificano internamente l'informazione corretta ma falliscono nel riprodurla in output, commettendo frequentemente errori di tipo "off-by-one" (errore di uno) all'aumentare del numero di operandi. Le ricerche precedenti hanno tentato di modellare questi comportamenti tramite manipolazione simbolica o rappresentazioni geometriche, ma il meccanismo preciso che lega le geometrie delle attivazioni interne a specifici fallimenti di output (come gli errori di propagazione del riporto) rimane elusivo. Inoltre, sebbene probe leggeri possano decodificare la verità fondamentale (ground truth) dai modelli fallimentari, la struttura geometrica che permette alla verità e all'allucinazione di coesistere all'interno di un singolo vettore di attivazione non è stata ancora pienamente elucidata.

2. Metodologia

Gli autori investigano le rappresentazioni interne fini degli LLM durante l'esecuzione di addizioni a 3 termini di interi a 10 cifre. Lo studio impiega un approccio multifaccettato che combina riduzione della dimensionalità, probing e intervento causale:

• Dataset e Setup: Utilizzando il modello Qwen3-4B, gli autori hanno costruito un dataset di 10.000 problemi di addizione. Estraggono i vettori degli stati nascosti ($h_p^{(L)}$) dall'ultimo layer in ogni posizione di cifra generata, concentrandosi principalmente su una posizione centrale rappresentativa ($p=4$).
• Visualizzazione Geometrica: Gli spazi di attivazione ad alta dimensione vengono proiettati in 2D utilizzando UMAP (Uniform Manifold Approximation and Projection) con distanza coseno. La visualizzazione include vettori "Anchor" fissi per i token delle cifre (0–9) per fornire un riferimento semantico.
• Framework di Probing: Probe leggeri (regressione logistica, MLP) sono addestrati sulle attivazioni del residuo stream per decodificare varie variabili discrete e continue, inclusi i Digiti della Verità Fondamentale (Ground Truth), l'Output del Modello, il Riporto di Input (Input Carry), la Somma Grezza (Raw Sum) e una variabile continua appena definita chiamata "Potenziale di Riporto" (Carry Potential).
• Guida Causale (Causal Steering): Per validare le ipotesi geometriche, gli autori definiscono vettori di guida tra centroidi stabili su traiettorie identificate e intervengono sulle attivazioni per osservare i cambiamenti nei token generati.
• Correzione al Tempo di Inferenza: Viene proposto un metodo di controllo di coerenza a doppio flusso per rilevare e correggere gli errori, imponendo l'allineamento logico tra i segnali locali decodificati (Somma Grezza) e quelli globali (Potenziale di Riporto).

3. Risultati Chiave e Contributi

A. La Traiettoria Iso-Somma-Grezza (IRST)

La principale scoperta geometrica è la Traiettoria Iso-Somma-Grezza (IRST). Gli autori identificano che le rappresentazioni aritmetiche sono organizzate in una struttura gerarchica:

• Backbone Macroscopico: Le rappresentazioni sono raggruppate in dieci distinti "bacini di cifre" (digit basins) centrati attorno ad anchor semantici (0–9).
• Texture Microscopica: All'interno di ogni bacino, lo spazio è stratificato in fibre parallele determinate dallo stato del riporto di input ($c_p \in \{0, 1, 2\}$).
• Definizione della Traiettoria: Una IRST ($T_r$) è un manifold continuo che connette tutti gli stati interni che condividono la stessa somma grezza ($r_p$). Queste traiettorie agiscono come "fili" continui che trafiggono bacini di cifre adiacenti. Ad esempio, una traiettoria con $r_p=1$ connette nodi stabili corrispondenti alle cifre di output 1, 2 e 3 all'aumentare del riporto di input.

B. Errori Aritmetici come Scivolamenti Geometrici

Gli errori aritmetici sono caratterizzati non come rumore casuale, ma come Scivolamenti Geometrici (Geometric Slippages).

• Le predizioni corrette si raggruppano densamente attorno a nodi stabili all'interno dei bacini delle cifre.
• Gli errori si verificano quando i vettori di attivazione derivano lungo una IRST verso le zone di transizione tra i bacini o le fibre.
• Questa deriva si manifesta come errori "off-by-one", dove il modello confonde stati di riporto adiacenti (ad esempio, confondendo $c_p=0$ con $c_p=1$), causando lo scivolamento della rappresentazione da un bacino di cifra a un altro adiacente.

C. Il Modello di Quantizzazione Rumorosa

Per spiegare la continuità di queste traiettorie, gli autori propongono il Modello di Quantizzazione Rumorosa:

• Potenziale di Riporto Continuo ($\Phi$): Il modello stima internamente un "Potenziale di Riporto" continuo, che rappresenta la spinta o il momentum del segnale di riporto derivato dal contesto. Il riporto discreto della verità fondamentale è il floor intero di questo potenziale ($c_p = \lfloor \Phi \rfloor$).
• Fallimento della Quantizzazione: La stima interna del modello è corrotta dal rumore neurale ($\epsilon$). Gli errori si verificano quando questo rumore spinge il potenziale percepito ($\hat{\Phi} = \Phi + \epsilon$) oltre una soglia di quantizzazione intera.
• Distribuzione dell'Errore a "Vasca da Bagno" (Bathtub): Questo meccanismo predice una distribuzione dell'errore periodica a forma di "vasca da bagno", dove i tassi di errore aumentano vicino ai confini interi (metastabilità) e scompaiono in corrispondenza dei valori semi-interi (plateau robusti). I dati empirici confermano questo schema, permettendo la stima del livello di rumore cognitivo interno del modello ($\sigma \approx 0.05$ per l'addizione a 3 termini).

D. Origine Geometrica della Versatilità dei Probe

Il paper fornisce una spiegazione geometrica del perché i probe leggeri possano decodificare simultaneamente segnali diversi (Verità Fondamentale, Output del Modello, Riporto) da un singolo vettore. Questa "versatilità del probe" è una funzione diretta della separabilità topologica del manifold. L'alta separabilità della Somma Grezza e la natura strutturata delle fibre IRST permettono ai probe di disaggregare segnali latenti coesistenti, anche quando l'output finale è errato.

E. Autocorrezione al Tempo di Inferenza

Validando la ritenzione di segnali latenti corretti, gli autori introducono un Protocollo di Coerenza a Doppio Flusso:

1. Decodificare lo Stream di Calcolo Locale (Somma Grezza) e lo Stream di Contesto Globale (Potenziale di Riporto).
2. Verificare se l'output del modello è coerente con un eventuale riporto plausibile derivato dal vicinato del potenziale.
3. In caso di incoerenza, sovrascrivere i logit di output per proiettare lo stato sul corretto manifold fiber.
   Questo metodo recupera significativamente le prestazioni (ad esempio, aumentando l'accuratezza dei token dall'86,26% all'89,56% su Qwen3-4B), confermando che il modello mantiene componenti matematiche corrette anche quando la selezione del token discreto fallisce.

4. Risultati

• Visualizzazione: Le proiezioni UMAP rivelano una chiara struttura gerarchica con bacini di cifre e fibre di riporto stratificate, coerente tra diversi modelli (Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT) e complessità del compito (addizione da 3 a 5 termini).
• Modellazione dell'Errore: Il Modello di Quantizzazione Rumorosa si adatta con alta fedeltà alla distribuzione dell'errore empirico ($R^2 \approx 0.80$), predendo accuratamente la natura periodica degli errori.
• Validazione Causale: Gli esperimenti di steering dimostrano che muovere le rappresentazioni lungo la direzione IRST cambia causalmente la cifra generata, con gli stati adiacenti ai confini che richiedono perturbazioni minori per il "flip" rispetto agli stati stabili.
• Efficacia della Correzione: Il controllo di coerenza a doppio flusso corregge efficacemente gli scivolamenti geometrici, con la maggior parte degli errori corretti che sono casi "off-by-one". Gli studi di ablazione confermano che il segnale della somma grezza locale rimane robusto anche quando l'output è errato, isolando il potenziale di riporto rumoroso come il collo di bottiglia primario.

5. Significato e Rivendicazioni

Il paper sostiene di fornire una spiegazione geometrica meccanicistica per i fallimenti aritmetici nei LLM, andando oltre la visione dell'aritmetica come pura manipolazione simbolica o transizioni di stato discrete.

• Framework Unificato: Unifica l'osservazione della versatilità dei probe e della fragilità aritmetica sotto un unico framework geometrico in cui gli errori sono derive continue su un manifold.
• Ritenzione del Segnale Latente: Dimostra che gli LLM mantengono spesso rappresentazioni continue corrette (Potenziale di Riporto) anche quando falliscono nel produrre l'output discreto corretto, suggerendo che le allucinazioni nell'aritmetica sono spesso fallimenti di quantizzazione piuttosto che mancanza di conoscenza.
• Universalità: La geometria IRST e la dinamica della Quantizzazione Rumorosa sono osservate attraverso diverse architetture e scale di modelli, suggerendo un meccanismo convergente per la rappresentazione aritmetica nei modelli allo stato dell'arte.
• Intervento Pratico: Il lavoro valida che gli interventi al tempo di inferenza basati sulla coerenza interna possono recuperare le prestazioni, offrendo una via per migliorare l'affidabilità degli LLM stabilizzando la mappatura dai pensieri neurali continui agli output simbolici discreti.

Gli autori rimangono modesti, osservando che le loro prove combinano visualizzazione e probing piuttosto che una localizzazione completa a livello di circuito, e che il focus è principalmente sull'addizione. Suggeriscono che i modelli basati su BPE con token multi-digitale potrebbero avere segnali di riporto intrecciati, presentando una frontiera per la ricerca futura.