Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

1. Il Problema

I modelli linguistici basati su trasformatori (LM) eccellono nelle attività con mappature input-output chiare e sui dati in distribuzione (In-Distribution, IID). Tuttavia, faticano a generalizzare su compiti composti (compound tasks) che richiedono pianificazione dinamica, ragionamento multi-step e adattamento a contesti evolutivi, specialmente quando si verifica uno spostamento di distribuzione (Out-of-Distribution, OOD).

Il paper evidenzia un paradosso critico: i modelli addestrati su coppie Domanda-Risposta (Q-A) possono raggiungere un'accuratezza quasi perfetta sui dati di addestramento, ma le loro prestazioni crollano drasticamente (spesso sotto il 10-30%) quando testati su compiti nuovi o con strutture diverse, anche con dataset di addestramento molto grandi (fino a 10 milioni di esempi). Questo suggerisce che i modelli imparano "scorciatoie" superficiali invece di internalizzare le strutture di dipendenza valide necessarie per il ragionamento robusto.

2. Metodologia

Gli autori hanno condotto esperimenti controllati su tre compiti sintetici di ragionamento composto, progettati per introdurre spostamenti di distribuzione sistematici tra addestramento e valutazione:

1. LIS (Longest Increasing Subsequence): Trovare la lunghezza della sottosequenza crescente più lunga.
2. MPC (Multi-Step Path Counting): Contare i percorsi unici su una griglia con vincoli di movimento.
3. ERVC (Equation Restoration with Variable Computation): Recuperare equazioni lineari da dati osservati e calcolare variabili target.

Paradigmi di Addestramento Confrontati:

• Q-A (Question-Answer): Coppie dirette domanda-risposta (senza passaggi di ragionamento).
• Q-CoT (Question-Chain-of-Thought): Domande accompagnate da spiegazioni passo-passo.
• Granularità CoT: È stata studiata l'impatto della granularità dei dati CoT variando la percentuale di passaggi di ragionamento inclusi nell'addestramento (da 0% a 100%, con dropout probabilistico del 30%, 50%, 70%).

Analisi Teorica:
Il lavoro integra un'analisi teorica basata sulla complessità dei circuiti e sulle proprietà dei trasformatori. Gli autori formalizzano i compiti composti come un framework di transizione di stato con dipendenze dinamiche. Introducono due condizioni chiave per un ragionamento efficace:

1. Condizione di Riepilogo Esterno (Outside Window Recap): A causa della precisione finita e della finestra di attenzione, i token critici oltre una certa distanza devono essere "ricapitolati" (copiati) all'interno della finestra di attenzione per essere recuperati.
2. Condizione di Riepilogo Interno (Inside Window Recap): I token all'interno della finestra devono essere organizzati secondo l'ordine causale della verità fondamentale per evitare l'uso di token irrilevanti che rallentano la convergenza.

3. Contributi Chiave

Il paper offre tre intuizioni fondamentali supportate da dati empirici e prove teoriche:

1. Il Divario di Generalizzazione (Generalization Gap): I modelli addestrati solo su Q-A mostrano un crollo catastrofico delle prestazioni OOD, indipendentemente dalla dimensione del dataset (anche con 10.000k esempi). Non riescono a generalizzare la logica sottostante, affidandosi a correlazioni superficiali.
2. Trade-off Granularità-Generalizzazione: Esiste una forte correlazione positiva tra la granularità dei dati CoT e le prestazioni di generalizzazione. Dati CoT più dettagliati (passaggi intermedi completi) portano a una generalizzazione OOD superiore. L'omissione di passaggi di ragionamento (dropout) degrada le prestazioni in modo esponenziale.
3. Efficienza del Campionamento (Sample Efficiency): L'addestramento con dati CoT fini-granulari è estremamente efficiente. I modelli CoT raggiungono prestazioni OOD comparabili o superiori ai modelli Q-A utilizzando una frazione significativa dei dati (fino all'80% in meno).

Contributo Teorico:
Gli autori dimostrano che l'addestramento CoT forza il modello a internalizzare le strutture di dipendenza valide. Inoltre, mostrano che gli positional embeddings dei trasformatori possono amplificare la generalizzazione enfatizzando la ricorrenza delle condizioni dei sottocompiti nelle sequenze CoT lunghe, riducendo la dipendenza dalle scorciatoie.

4. Risultati Sperimentali

• Curve di Scalatura: Le curve di accuratezza mostrano che mentre l'accuratezza IID per i modelli Q-A e CoT è alta, solo i modelli CoT continuano a migliorare le prestazioni OOD all'aumentare della scala dei dati. I modelli Q-A raggiungono un plateau OOD molto basso.
• Impatto della Granularità: I modelli addestrati con CoT al 100% (tutti i passaggi) hanno mantenuto un'accuratezza OOD superiore allo 0.8 su compiti complessi, mentre i modelli Q-A sono scesi sotto lo 0.2. I modelli con CoT parziale (es. 30-50%) hanno mostrato prestazioni intermedie ma degradate rispetto al 100%.
• Condizioni di Riepilogo: L'analisi di ablazione sui compiti di restauro delle equazioni (ERVC) ha dimostrato che l'uso delle condizioni di riepilogo (copiare i token dipendenti all'interno della finestra di attenzione) è cruciale: senza di esse, l'accuratezza OOD crolla drasticamente (da ~0.95 a ~0.12).
• Efficienza: Con dataset piccoli (1k-10k campioni), i modelli CoT-100% mantengono prestazioni robuste (0.55-0.75), mentre i modelli con meno supervisione CoT faticano (sotto 0.4).

5. Significato e Implicazioni

Questo studio fornisce prove convincenti che il Chain-of-Thought non è solo una tecnica di prompting per l'inferenza, ma un paradigma di addestramento essenziale per la generalizzazione dei modelli linguistici su compiti multi-step.

• Per la Raccolta Dati: Suggerisce che investire nella creazione di dati di addestramento con passaggi di ragionamento dettagliati (alta granularità) è più efficace che semplicemente aumentare la quantità di dati Q-A grezzi.
• Per il Deployment: Offre una guida per l'implementazione di LM in scenari reali soggetti a spostamenti di distribuzione (es. diagnosi medica, automazione GUI, giochi strategici), dove la robustezza è più importante della semplice accuratezza sui dati storici.
• Limiti: Gli autori riconoscono che i compiti sono sintetici e che l'uso di CoT completo aumenta i costi di inferenza (lunghezza della sequenza), creando un compromesso tra efficienza di addestramento e costo computazionale.

In sintesi, il paper dimostra che per superare i limiti di generalizzazione dei trasformatori, è necessario insegnare loro non solo cosa rispondere, ma come ragionare, strutturando i dati di addestramento per riflettere le transizioni di stato dinamiche e le dipendenze causali dei compiti complessi.