Riepilogo Tecnico: Aritmetica nel Mondo Reale

Enunciato del Problema

Il documento indaga il ruolo algoritmico della geometria della rappresentazione nei grandi modelli linguistici (LLM), concentrandosi specificamente su come i modelli ragionano riguardo a concetti ciclici (ad esempio, mesi, giorni della settimana, ore). Sebbene lavori precedenti abbiano stabilito che gli LLM rappresentano questi concetti utilizzando una geometria circolare (Engels et al., 2025) e che piccoli transformer addestrati sull'aritmetica modulare operino su basi periodiche (Nanda et al., 2023), rimane una domanda critica: la struttura circolare della rappresentazione in ingresso implica un calcolo circolare?

Gli autori ipotizzano che Llama-3.1-8B potrebbe calcolare le risposte a domande come "Che mese è sei mesi dopo agosto?" ruotando lungo una varietà circolare. Tuttavia, scoprono che il modello non esegue un'aritmetica modulare diretta all'interno del periodo specifico del concetto (ad esempio, modulo 12 per i mesi). Invece, il modello utilizza un meccanismo generico, agnostico rispetto al compito, di addizione in base 10 prima di mappare il risultato nello spazio ciclico.

Metodologia

Lo studio impiega una combinazione di analisi causale e sonda geometrica per smontare i meccanismi interni di Llama-3.1-8B.

1. Astrazione Causale tramite Ricerca di Allineamento Distribuito (DAS):

   • Gli autori utilizzano DAS (Geiger et al., 2023) per localizzare sottospazi a basso rango nel flusso residuo che codificano variabili causali: il concetto in ingresso, l'offset e il concetto in uscita.
   • Misurano l'Accuratezza dell'Intervento di Scambio (IIA) per determinare quando e dove queste variabili vengono combinate. Ciò comporta l'inserimento di stati nascosti da prompt controfattuali nei prompt originali per verificare se l'output del modello cambia in modo prevedibile.
   • Questa analisi isola il livello specifico e la posizione del token in cui avviene il calcolo.

2. Inserimento Incrociato tra Compiti (Cross-Task Patching):

   • Per testare l'ipotesi di un meccanismo condiviso, gli autori eseguono esperimenti di "inserimento" tra compiti aritmetici standard ($a+b=$) e compiti ciclici (ad esempio, mesi).
   • Inseriscono il flusso residuo da un prompt di addizione in un prompt ciclico (e viceversa) all'interno dei sottospazi DAS condivisi per osservare se il modello produce la somma o il concetto ciclico, rispettivamente.

3. Sonda e Guida Fourier:

   • Gli autori addestrano sonde lineari per rilevare caratteristiche Fourier (rappresentazioni sinusoidali) con periodi specifici $T \in \{2, 5, 10, 20, 50, 100\}$, note per rappresentare numeri in base 10 (Kantamneni & Tegmark, 2025).
   • Verificano se queste caratteristiche, addestrate sull'addizione standard, sono presenti e causali nei compiti ciclici.
   • Utilizzano queste sonde per guidare lo stato interno del modello, forzando la "somma pre-modulo" a un valore controfattuale per vedere se l'output si sposta di conseguenza.

4. Identificazione e Ablazione dei Neuroni:

   • Gli autori identificano un insieme sparso di neuroni MLP al Livello 18 che scrivono nei sottospazi di output DAS.
   • Analizzano i pattern di attivazione di questi neuroni, suddividendoli in cluster in base alla loro periodicità.
   • Eseguono studi di ablazione (azzerando neuroni specifici) per quantificare il loro contributo causale alle prestazioni del modello.

Risultati Chiave

1. Un Meccanismo Condiviso di Addizione in Base 10

Contrariamente all'ipotesi di un calcolo circolare, il modello calcola i compiti ciclici utilizzando un meccanismo di addizione in base 10.

• Processo in Due Fasi: Il modello calcola prima la somma degli input nello spazio numerico (ad esempio, $6 + 8 = 14$) e solo nei livelli successivi mappa questa somma indietro nello spazio del concetto ciclico (ad esempio, $14 \to \text{Febbraio}$).
• Localizzazione al Livello 18: L'analisi causale rivela che i concetti in ingresso e gli offset vengono combinati al MLP del Livello 18 all'ultima posizione del token. Crucialmente, la geometria circolare del concetto in uscita (ad esempio, il "cerchio dei giorni della settimana") non è presente al Livello 18; emerge solo nei livelli 22–25.
• Inserimento Incrociato tra Compiti: Inserire da un prompt di addizione ($6+8=$) in un prompt ciclico causa al modello di produrre il concetto ciclico corrispondente alla somma (ad esempio, Febbraio). Viceversa, inserire da un prompt ciclico in un prompt di addizione causa al modello di produrre la somma pre-modulo (ad esempio, 14), anche se il modello fallisce nel produrre la risposta ciclica corretta in una esecuzione pulita.

2. Caratteristiche Fourier e Agnosticismo del Compito

Il modello utilizza caratteristiche Fourier agnostiche rispetto al compito per eseguire l'addizione.

• Le rappresentazioni interne rispettano le periodicità standard in base 10 ($T \in \{2, 5, 10, 20, 50, 100\}$) piuttosto che il periodo specifico del concetto ciclico (ad esempio, 12 per i mesi o 7 per i giorni della settimana).
• Le sonde Fourier addestrate sull'addizione standard guidano con successo i compiti ciclici, confermando che le stesse caratteristiche geometriche guidano il calcolo attraverso i domini.

3. Circuito di Neuroni Sparso

Gli autori identificano un insieme sparso di 28 neuroni MLP al Livello 18 (circa lo 0,2% dell'MLP del livello) responsabili di questa addizione.

• Raggruppati per Periodo: Questi neuroni possono essere suddivisi in cluster disgiunti, dove ogni cluster calcola la somma per un periodo Fourier specifico (ad esempio, un cluster per $T=2$, un altro per $T=5$, ecc.).
• Meccanismo: I neuroni operano in modo distribuito. Alcuni neuroni mostrano pattern di attivazione "divisi" (leggendo il concetto in ingresso tramite il vettore di gate e l'offset tramite il vettore up), mentre altri sono "misti". I loro vettori di proiezione down sommano a un vettore che punta all'angolo corretto sul piano Fourier, codificando la somma modulo $T$.
• Impatto dell'Ablazione: L'azzeramento di questi 28 neuroni causa un crollo drastico dell'accuratezza (ad esempio, dal 95% al 24% per l'addizione), mentre l'ablazione di tutti gli altri neuroni del Livello 18 mantiene la maggior parte delle prestazioni.

Significato e Affermazioni

Il documento afferma di fornire una comprensione meccanicistica di come i grandi modelli linguistici eseguano l'aritmetica su concetti ciclici, colmando il divario tra geometria della rappresentazione e calcolo causale.

• Geometria vs. Calcolo: Il lavoro dimostra che, sebbene le rappresentazioni possano essere circolari, il calcolo sottostante non è necessariamente aritmetica modulare su quel cerchio. Invece, il modello riutilizza un circuito generico di addizione in base 10, mappando il risultato sul dominio target solo dopo che il calcolo è completato.
• Interazione dei Metodi: Lo studio evidenzia la potenza della combinazione di astrazione causale (per localizzare dove l'informazione viene elaborata) con analisi geometrica (per comprendere come è rappresentata). L'analisi causale ha localizzato il calcolo al Livello 18, mentre l'analisi geometrica ha rivelato che il calcolo si basa su caratteristiche Fourier in base 10 piuttosto che su strutture circolari specifiche del compito.
• Circuiti Sparsi: L'identificazione di un piccolo insieme riutilizzabile di neuroni (28 neuroni) che eseguono l'addizione attraverso compiti diversi (mesi, giorni, ore, numeri) suggerisce che gli LLM sviluppano sottocircuiti condivisi altamente efficienti per le operazioni aritmetiche fondamentali, indipendentemente dal dominio semantico dell'input.

Gli autori rimangono modesti riguardo alla generalizzazione, notando che questi meccanismi specifici sono stati identificati in Llama-3.1-8B e potrebbero non generalizzarsi a tutti i modelli o a tutti i tipi di ragionamento ciclico (ad esempio, offset all'indietro o query di distanza erano al di fuori dello scopo). Tuttavia, i risultati offrono un esempio concreto di come "l'aritmetica nel mondo reale" sia implementata attraverso l'interazione di neuroni sparsi e geometria Fourier.