💬 NLP

Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning

Questo lavoro dimostra che l'addestramento con Chain-of-Thought potenzia la generalizzazione composizionale nei modelli linguistici, permettendo loro di combinare abilità apprese per risolvere problemi complessi attraverso un circuito di ragionamento strutturato in due fasi che favorisce l'apprendimento del "come pensare" piuttosto che del "cosa pensare".

Autori originali: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Pubblicato 2026-02-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un bambino come risolvere un problema di matematica complesso, tipo "Se ho 3 mele e ne compro altre 2, poi ne mangio una, quante ne rimangono?".

Ci sono due modi per farlo:

Il metodo "Risposta Secca" (Senza CoT): Gli dici solo: "La risposta è 4". Ripeti questo esercizio mille volte. Il bambino impara a memoria che quando vedi "3, 2, 1" devi dire "4". Ma se gli chiedi: "Se ho 5 mele, ne compro 3 e ne mangio 2, quante ne rimangono?", il bambino va in panico. Non sa come arrivare alla risposta, sa solo qual è la risposta per il caso specifico che ha memorizzato.
Il metodo "Pensiamo Insieme" (Con CoT - Chain of Thought): Gli dici: "Ok, partiamo da 3. Aggiungiamo 2, ora ne abbiamo 5. Ne mangiamo 1, quindi sottraiamo 1. 5 meno 1 fa 4". Gli mostri i passaggi.

Questo articolo di ricerca, presentato alla conferenza ICLR 2026, spiega perché il secondo metodo è molto più potente e come funziona "dentro la testa" di un'intelligenza artificiale (come i grandi modelli linguistici).

Ecco la spiegazione semplice, con qualche metafora creativa:

1. Il Segreto: Non è "Cosa" pensare, ma "Come" pensare

L'idea centrale è che l'addestramento con la "Catena di Pensiero" (CoT) insegna all'IA a comporre competenze semplici per risolvere problemi nuovi.

Metafora dei LEGO: Immagina che l'IA sia un bambino con un secchiello di LEGO.
- Senza CoT, l'IA impara a memoria come appare una specifica torre di 10 mattoni. Se gli chiedi di costruire una torre di 10 mattoni rossi, ci riesce. Ma se gli chiedi una torre di 10 mattoni blu o di costruire un castello, non sa cosa fare perché non ha imparato le regole di assemblaggio, ha solo memorizzato la foto della torre rossa.
- Con CoT, l'IA impara le regole: "Per fare una torre, prendi un mattone, mettilo sopra l'altro". Una volta imparata questa regola (il "passo intermedio"), può costruire qualsiasi cosa, anche cose che non ha mai visto prima, semplicemente combinando i suoi "mattoni" (competenze apprese) in modo nuovo.

2. La Teoria: Perché funziona con cose mai viste?

Gli autori hanno usato la matematica (teoria dell'informazione) per dimostrare due cose:

Problemi familiari (ID): Se il problema è simile a quelli visti in allenamento, anche il metodo "risposta secca" funziona.
Problemi nuovi (OOD - Fuori Distribuzione): Qui sta il trucco. Se il problema è nuovo, l'IA addestrata senza CoT fallisce perché non ha mai visto quel "disegno" specifico. L'IA addestrata con CoT, invece, riesce a risolvere il problema perché sa scomporlo.
- Immagina di dover attraversare un fiume sconosciuto. L'IA senza CoT cerca un ponte che ha già visto (e non c'è). L'IA con CoT sa che deve prima trovare delle pietre (passo 1), poi saltare su un tronco (passo 2), e poi nuotare (passo 3). Anche se il fiume è nuovo, sa come usare le sue abilità di base per attraversarlo.

3. La Struttura Interna: Come cambia il "cervello" dell'IA

Gli scienziati hanno guardato dentro il "cervello" digitale del modello (usando una sorta di "raggi X" chiamato Logit Lens) e hanno scoperto una differenza strutturale affascinante:

Senza CoT: L'IA cerca di saltare direttamente alla risposta finale. È come se un architetto provasse a disegnare l'intero edificio in un solo colpo d'occhio. Se l'edificio è complesso, si blocca.
Con CoT: L'IA sviluppa un circuito a due stadi.
- Metafora della Fabbrica: Immagina una catena di montaggio.
  - Con CoT, la prima parte della fabbrica (gli strati più bassi del cervello) risolve il primo problema (es. "Qual è la capitale della Francia?"). Poi passa il risultato alla seconda parte della fabbrica (strati più alti) che usa quella risposta per risolvere il secondo problema ("Qual è la moneta di quella capitale?").
  - Senza CoT, la fabbrica cerca di fare tutto in una volta sola, e spesso si inceppa perché non ha spazio per elaborare i passaggi intermedi.
- Il vantaggio: Con il CoT, l'IA risolve i passaggi intermedi molto prima (in strati più bassi), lasciando gli strati superiori liberi e potenti per il ragionamento finale. È come se avesse più "piani" nel suo grattacielo mentale da usare per pensare.

4. Robustezza: Cosa succede se ci sono errori?

Una domanda importante: "E se i passaggi di ragionamento che diamo all'IA durante l'addestramento contengono errori?"

Risultato sorprendente: L'IA è molto resistente! Anche se il 20% dei passaggi di ragionamento sono sbagliati o saltati, l'IA impara comunque a costruire il "circuito" corretto.
Metafora: È come imparare a guidare guardando qualcuno che guida. Se il guidatore fa qualche piccolo errore di sterzata, tu imparerai comunque a guidare bene, purché la strada principale sia chiara. Tuttavia, se gli errori sono troppi o troppo gravi (es. il guidatore gira al contrario), allora l'IA si confonde.

In Sintesi

Questo studio ci dice che i modelli di intelligenza artificiale non stanno solo imparando "le risposte" (il cosa pensare), ma stanno imparando "il metodo" (il come pensare).
Insegnare a un'IA a spiegare il suo ragionamento passo dopo passo (CoT) non è solo un trucco per farla sembrare più intelligente: è il modo in cui la sua struttura interna si riorganizza per diventare capace di affrontare problemi nuovi, complessi e mai visti prima, proprio come fa un essere umano quando impara a ragionare.

È la differenza tra avere un dizionario di risposte memorizzate e avere un manuale di istruzioni per costruire qualsiasi cosa.

1. Problema e Contesto

Nonostante il successo empirico del Chain-of-Thought (CoT) nel migliorare le capacità di ragionamento dei Large Language Models (LLM), i meccanismi sottostanti che ne spiegano la capacità di generalizzazione rimangono poco chiari.

Il Gap: Esiste un divario tra la capacità dei modelli di apprendere fatti atomici e la loro capacità di comporli sistematicamente per risolvere problemi nuovi e complessi (generalizzazione fuori distribuzione, OOD).
Le Domande Chiave:
1. Il training con CoT migliora la generalizzazione sia in-distribution (ID) che out-of-distribution (OOD), e quali principi teorici lo governano?
2. Come viene realizzata questa capacità di generalizzazione all'interno delle rappresentazioni interne del modello (circuiti computazionali)?

2. Metodologia

Gli autori adottano un approccio ibrido che combina analisi teorica (basata sulla teoria dell'informazione) e analisi strutturale (meccanistica) su modelli controllati e dataset reali.

A. Analisi Teorica (Generalizzazione e Divergenza)

Impostazione: Il problema è formalizzato come una distribuzione di dati mista, composta da dati ID (pattern compositivi noti) e OOD (nuove combinazioni di abilità apprese).
Strumento: Vengono utilizzati i bound di generalizzazione basati sulla divergenza di Kullback-Leibler (KL).
Ipotesi: Il training senza CoT apprende solo la mappatura diretta $P(Y|X)$ , mentre il training con CoT apprende esplicitamente la distribuzione delle fasi intermedie $P(C|X)$ e la relazione condizionata $P(Y|X, C)$ .
Dimostrazione: Si dimostra che l'errore di generalizzazione può essere scomposto in componenti ID e OOD. Senza CoT, i modelli falliscono su compiti OOD perché non hanno appreso la distribuzione delle fasi di ragionamento ( $C$ ). Con CoT, il modello impara a comporre abilità più semplici, riducendo la divergenza KL anche per pattern mai visti.

B. Analisi Strutturale (Circuiti Interni)

Setup Sperimentale: Utilizzo di un dataset sintetico controllato basato su fatti relazionali (fatti a "uno hop" e "due hop").
- Fatti Atomici: $(e_1, r_1, e_2)$ .
- Fatti Multi-hop: $(e_1, r_1, r_2, e_3)$ derivati dalla composizione di due fatti atomici.
Tecniche di Interpretazione:
- Logit Lens: Per proiettare gli stati nascosti intermedi nello spazio del vocabolario e vedere quale token il modello "pensa" a ogni layer.
- Causal Tracing: Per identificare quali neuroni e layer sono causalmente responsabili della generazione del risultato finale, intervenendo sulle attivazioni.
Confronto: Si confrontano modelli addestrati senza CoT (predizione diretta della risposta finale) e con CoT (predizione esplicita delle fasi intermedie).

C. Robustezza al Rumore

Vengono introdotti errori deliberati (rumore) nei dati di training (fasi di ragionamento errate o saltate) per valutare la resilienza del modello e la qualità necessaria dei dati CoT.

3. Contributi Chiave

Quadro Teorico Unificato:
- Dimostrazione che il training CoT riduce l'errore di generalizzazione decomponendo il problema in sottocomponenti appresi.
- Teorema 2: L'errore di generalizzazione OOD è limitato dalla divergenza KL delle fasi intermedie ( $C$ ) e della distribuzione condizionata finale. Se il modello apprende le fasi intermedie, può generalizzare a nuove composizioni.
Scoperta del "Circuito Compositivo a Due Stadi":
- Il training CoT internalizza il ragionamento in un circuito strutturato a due stadi che corrisponde ai passi espliciti di ragionamento.
- Differenza Critica: Nei modelli CoT, il risultato intermedio (es. l'entità ponte $e_2$ ) viene risolto a layer più superficiali (es. layer 3) rispetto ai modelli non-CoT (es. layer 5). Questo "risparmia" i layer più profondi per elaborare il secondo passo di ragionamento, migliorando l'efficienza e la capacità di generalizzazione.
- I modelli non-CoT mostrano circuiti di generalizzazione solo in scenari ID e falliscono in OOD a causa di un disallineamento semantico tra i layer.
Robustezza al Rumore:
- Il training CoT mantiene capacità di generalizzazione sistematica anche con dati di training rumorosi, purché il rumore rimanga entro una soglia tollerabile (es. < 20%).
- Errori nelle fasi intermedie sono meno critici rispetto a errori completi in tutte le fasi, suggerendo che la qualità dei dati è importante ma non deve essere perfetta per essere utile.

4. Risultati Sperimentali

Convergenza e Generalizzazione:
- Il training con CoT accelera drasticamente la convergenza (raggiunge accuratezza quasi perfetta in ~4.000 step contro milioni di step per i modelli non-CoT).
- Mentre i modelli non-CoT generalizzano solo su dati ID (memorizzando pattern), i modelli CoT generalizzano efficacemente su dati OOD (nuove combinazioni di relazioni).
Analisi dei Circuiti:
- Conferma visiva e quantitativa che i modelli CoT risolvono i sottoproblemi in fasi distinte e sequenziali all'interno della rete, mentre i modelli non-CoT tentano di risolvere tutto in un unico passaggio complesso che fallisce su dati nuovi.
Validazione su Dati Reali (GSM8K e Wikidata):
- Su dataset matematici reali (GSM8K), il fine-tuning con CoT ha portato a un aumento drastico dell'accuratezza (es. da ~22% a ~74% su LLaMA3.1-8B), mentre il fine-tuning senza CoT ha talvolta degradato le prestazioni.
- Anche con un rapporto di rumore del 100% (tutti i passaggi di ragionamento contengono errori matematici ma la struttura logica è preservata), il modello CoT ha mantenuto prestazioni superiori rispetto al training senza CoT.

5. Significato e Implicazioni

Cambiamento di Paradigma: Il paper suggerisce che il valore del CoT non risiede solo nel fornire la risposta corretta ("cosa pensare"), ma nell'insegnare al modello la struttura del processo di pensiero ("come pensare").
Efficienza dei Modelli: La scoperta che un modello a 2 layer può apprendere circuiti compositivi tramite CoT sfida l'idea che servano architetture enormi per il ragionamento complesso; è la struttura del training a essere determinante.
Guida per la Raccolta Dati: Le implicazioni pratiche indicano che nella creazione di dataset per il fine-tuning (es. per modelli come O1 o DeepSeek-R1), non è necessario che ogni singolo passaggio di ragionamento sia perfetto. È cruciale che la decomposizione del problema e la struttura logica siano chiare, poiché il modello impara a comporre abilità semplici.
Limiti delle Architetture Tradizionali: Il lavoro evidenzia i limiti intrinseci dei transformer standard nel parallelizzare sottocompiti senza un training esplicito che guidi la decomposizione sequenziale.

In sintesi, questo lavoro fornisce una spiegazione rigorosa del perché il Chain-of-Thought funziona, collegando la teoria dell'informazione alla meccanistica interna delle reti neurali, e offre linee guida concrete per migliorare la robustezza e la generalizzazione dei futuri LLM.