Sintesi Tecnica: Il Grokking è Giustificato?

Definizione del Problema

I Large Language Models (LLM) esibiscono frequentemente una "maledizione del ragionamento a due salti" (two-hop reasoning), in cui falliscono nel comporre fatti appresi separatamente in una catena di inferenza coerente. Ad esempio, un modello può ricordare "la moglie di Barack è Michelle" e "Michelle è nata nel 1964", ma non riesce a inferire "la moglie di Barack è nata nel 1964" attraverso il calcolo interno. Questo fallimento è attribuito a un disallineamento rappresentazionale: i Transformer standard recuperano fatti atomici in strati superficiali, ma gli strati più profondi non sono addestrati a utilizzare queste specifiche rappresentazioni latenti come input per passaggi di recupero successivi.

La letteratura recente suggerisce che i Transformer con condivisione dei parametri possono superare questo problema attraverso una fase di addestramento prolungata nota come "grokking", durante la quale emerge un "Circuito di Generalizzazione". Questo circuito permette al modello di interiorizzare catene di ragionamento recuperando esplicitamente entità intermedie (ponte) negli strati centrali. Tuttavia, rimangono domande fondamentali: un modello che ha fatto grokking è davvero superiore alla sua controparte non-grokked su task downstream? Il costo computazionale esteso dell'attesa della fase di grokking è giustificato? La capacità di ragionamento acquisita tramite il grokking si trasferisce efficacemente a nuovi fatti?

Metodologia

Gli autori utilizzano uno studio meccanicistico su un'architettura Transformer con condivisione dei parametri allo stato dell'arte su un compito di ragionamento composizionale sintetico.

• Costruzione del Dataset: È stato costruito un dataset sintetico comprendente 2.000 entità e 200 relazioni uniche, per un totale di 40.000 fatti atomici. I dati sono suddivisi in sottoinsiemi In-Distribution (ID) e Out-of-Distribution (OOD). I modelli vengono addestrati su tutte le query atomiche, ma solo sulle query composizionali costruite con fatti ID. La valutazione avviene su query composizionali che coinvolgono fatti OOD per testare la reale generalizzazione piuttosto che la memorizzazione.
• Analisi Meccanicistica: Lo studio utilizza la tecnica della "logit lens" per decodificare gli stati nascosti attraverso tutti gli strati, visualizzando la maturazione dei Circuiti di Generalizzazione. Una traccia di inferenza è categorizzata come "Ponte trovato" (Bridge found) se lo stato nascosto decodificato corrisponde all'entità ponte della verità di base (ground-truth).
• Variazioni Sperimentali:
  1. Grokking Naturale: Addestramento su dati composizionali standard solo ID per osservare l'emergere naturale del grokking.
  2. Aumento della Supervisione Completa: Fornire supervisione composizionale sui fatti OOD (First Hop Full Augmentation e Second Hop Full Augmentation) per accelerare l'apprendimento e testare se il percorso di ragionamento cambi.
  3. Valutazione della Trasferibilità: Fine-tuning di modelli pre-addestrati (sia modelli naturalmente grokked che "fake grokked") su un mix di fatti ID mantenuti e 2.000 nuovi fatti atomici per valutare la capacità di assimilare nuova conoscenza e comporla.

Risultati Chiave

1. Percorsi di Ragionamento Identici

Contrariamente all'ipotesi che il grokking rappresenti l'acquisizione improvvisa di un nuovo paradigma di ragionamento, lo studio rileva che i modelli non-grokked e quelli grokked seguono percorsi di inferenza identici per le query composizionali in-distribuzione.

• Il "Circuito di Generalizzazione" non è una nuova struttura formata solo dopo il grokking; piuttosto, il percorso di ragionamento viene stabilito precocemente durante l'addestramento per i fatti ID.
• Il grokking è caratterizzato come il processo di integrazione di fatti OOD supervisionati in modo sparso in questo circuito naturalmente stabilito.
• I modelli addestrati con supervisione composizionale completa sui fatti OOD raggiungono lo stesso percorso di ragionamento e le stesse prestazioni di trasferimento dei modelli naturalmente grokked, ma in molti meno step.

2. Dissociazione tra Comportamento e Meccanismo

Il documento dimostra che il grokking comportamentale (alta accuratezza su casi non visti) non è intrinsecamente legato alla formazione di un Circuito di Generalizzazione.

• Sotto specifici regimi di dati (ad esempio, Second Hop Full Augmentation), i modelli possono raggiungere un'alta accuratezza sulle composizioni OOD senza mai recuperare correttamente l'entità ponte negli strati intermedi.
• Questi modelli "fake grokked" mancano del meccanismo sottostante del Circuito di Generalizzazione e, cosa cruciale, non riescono a trasferire questa capacità a nuovi fatti, a differenza dei modelli che possiedono il vero circuito.

3. Trasferibilità Limitata

Anche quando è presente un Circuito di Generalizzazione maturo, la sua trasferibilità a nuova conoscenza è limitata.

• Sebbene il circuito permetta ai modelli di recuperare le entità ponte per nuovi fatti, non garantisce la capacità di completare il secondo salto del ragionamento se il secondo salto coinvolge un fatto nuovo.
• Per stabilire un circuito affidabile per la nuova conoscenza, i modelli richiedono comunque un ulteriore processo di grokking o un fine-tuning sostanzialmente più esteso che copra i nuovi fatti e le loro composizioni.
• I modelli "fake grokked" falliscono nell'adattarsi al ragionamento composizionale che mescola vecchi e nuovi fatti, limitandosi a memorizzare i nuovi fatti atomici senza imparare a ragionare su di essi.

Significato e Rivendicazioni

Il paper sfida la visione prevalente secondo cui il grokking rappresenti l'acquisizione genuina di un paradigma di ragionamento generalizzato. Al contrario, pone il grokking come un meccanismo per integrare dati sparsi in una struttura esistente.

Gli autori concludono che la decisione di perseguire il grokking comporta un compromesso tra scarsità di dati e risorse computazionali:

• Sotto supervisione sparsa: L'addestramento fino al grokking può essere necessario per forzare l'integrazione dei fatti nel circuito di ragionamento.
• Sotto supervisione sufficiente: Se è disponibile una supervisione composizionale sufficiente, i modelli possono fermarsi alla saturazione dell'addestramento e ottenere prestazioni equivalenti senza l'overhead computazionale della prolungata fase di grokking.

In definitiva, lo studio suggerisce che i Transformer "grokked" non raggiungono una piena padronanza della logica composizionale paragonabile al ragionamento umano, poiché la loro capacità di generalizzare i pattern di ragionamento attraverso i domini rimane limitata.

Limitazioni

Gli autori riconoscono due limitazioni primarie:

1. Vincoli Computazionali: L'indagine sul "fake grokking" non è esaustiva a causa dei cicli di addestramento estremi richiesti per osservare i fenomeni di grokking, lasciando aperta la questione delle precise condizioni di confine per il collasso del circuito.
2. Ambito Architetturale: Le conclusioni sono specifiche per i Transformer con condivisione dei parametri. I Transformer standard con pesi degli strati indipendenti faticano intrinsecamente con questa forma di generalizzazione implicita, e i risultati potrebbero non estendersi a tali architetture.