Sintesi Tecnica: Apprendimento attraverso l'Internalizzazione

Problema

Il documento investiga il fenomeno dell'internalizzazione nei sistemi basati su reti neurali, concentrandosi specificamente su come questi sistemi assorbano procedure computazionali esplicite (come il Chain-of-Thought, o CoT) nei propri pesi per eseguire i compiti in modo più efficiente. Sebbene le reti neurali spesso beneficino di una supervisione passo dopo passo per apprendere compiti complessi (ad esempio, simulare semiautomati o calcolare parità), l'apprendimento diretto di tali compiti senza tale impalcatura è spesso computazionalmente difficile o impossibile per le architetture standard.

Il problema centrale affrontato è duplice:

1. Meccanismo: Come fanno i transformer a passare dalla generazione di passaggi di ragionamento intermedi espliciti (CoT) al calcolo diretto dell'output finale in meno passaggi (idealmente un singolo passaggio in avanti) mantenendo l'accuratezza?
2. Trade-off di Generalizzazione: Il processo di internalizzazione preserva la robustezza del ragionamento originale, o porta a soluzioni di tipo "scorciatoia" (shortcut) che degradano le prestazioni Out-of-Distribution (OOD)?
3. Difficoltà Teorica: L'internalizzazione può servire come strategia valida per aggirare i noti limiti inferiori computazionali per l'apprendimento di determinate funzioni difficili (come le parità) che sono difficili da apprendere tramite l'addestramento diretto end-to-end?

Metodologia

Gli autori utilizzano una combinazione di studi empirici su transformer autoregressivi e un'analisi teorica rigorosa di architetture transformer semplificate.

1. Framework Empirico: Simulazione di Semiautomati

Gli autori studiano la simulazione di semiautomati (specificamente l'automa a contatore modulare $C_n$ e il gruppo di permutazione $S_3$) su $T$ passi temporali. Confrontano tre regimi di addestramento:

• End-to-End (E2E): Addestramento solo sullo stato finale.
• Chain-of-Thought (CoT): Addestramento con tutti gli stati intermedi esplicitamente forniti.
• Internalizzazione tramite Curriculum: Un processo in due fasi in cui il modello viene prima addestrato con una supervisione CoT completa, seguita da un curriculum che rimuove progressivamente i token intermedi (amputandoli da sinistra, da destra o in modo induttivo) per costringere il modello a internalizzare il calcolo.

Analizzano l'impatto delle scelte architettoniche (profondità vs larghezza) e delle proprietà specifiche dei semiautomati (ad esempio, l'ordine del gruppo) sul successo dell'internalizzazione.

2. Framework Teorico: Parità Sparsa

Per fornire garanzie dimostrabili, gli autori analizzano un transformer semplificato a uno strato con attenzione lineare e un MLP non lineare fisso. Studiano il compito di apprendere una funzione di parità nascosta su un insieme di supporto sconosciuto.

• Curriculum: Il modello viene addestrato su una sequenza di input in cui i token CoT (parità parziali) vengono rimossi progressivamente da sinistra.
• Algoritmo: Definiscono un algoritmo di addestramento specifico (Algoritmo 2) che coinvolge la discesa del gradiente con una specifica inizializzazione e passi di arrotondamento per dimostrare che il modello può apprendere prima il CoT esplicito e poi internalizzare il calcolo per produrre direttamente la parità.

3. Connessione con lo Spostamento di Distribuzione Positivo (PDS)

Il documento inquadra l'internalizzazione all'interno del framework dello Spostamento di Distribuzione Positivo (PDS) (Medvedev et al., 2026). Argomentano che apprendere un sistema "lento" (con CoT) su una distribuzione che include suggerimenti (hints), e poi internalizzarlo, costituisce un PDS. Ciò consente al modello di apprendere una distribuzione target "difficile" apprendendo prima una distribuzione spostata più "facile". Esplorano inoltre se un curriculum sequenziale possa essere sostituito da una singola distribuzione di miscela contenente esempi di diverse lunghezze di CoT.

Contributi Chiave

1. Risultati Empirici sui Semiautomati

• Larghezza vs Profondità: L'internalizzazione riuscita è correlata più fortemente alla larghezza del modello che alla profondità. Architetture più larghe e meno profonde (ad esempio, profondità 4) superano quelle più profonde (ad esempio, profondità 25) a parità di budget di parametri. Ciò suggerisce che l'internalizzazione avvenga "orizzontalmente" attraverso la larghezza del modello piuttosto che "verticalmente" attraverso i layer.
• Difficoltà dell'Ordine Primo: I semiautomati con ordini primi (ad esempio, $C_{13}, C_{17}$) sono significativamente più difficili da internalizzare rispetto a quelli con ordini composti (ad esempio, $C_{14}, C_{15}$). Gli autori ipotizzano che ciò sia legato alla capacità dei transformer di rappresentare in modo compatto automi a contatore i cui ordini hanno piccoli fattori di potenza prima (Teorema 1).
• Il Trade-off OOD: L'internalizzazione porta spesso a un degrado delle prestazioni Out-of-Distribution (OOD). Mentre i modelli addestrati con CoT generalizzano bene a distribuzioni di input distorte, i modelli internalizzati tendono a imparare soluzioni di tipo "scorciatoia" che falliscono in condizioni OOD (Figura 1, destra).
• Direzione del Curriculum: Il curriculum a sinistra (rimozione dei token dall'inizio) è generalmente più efficace del curriculum a destra per l'internalizzazione, probabilmente a causa della stabilità dei positional embedding nel transformer.

2. Dimostrazioni Teoriche per la Parità

• Internalizzazione Dimostrabile: Gli autori forniscono la prima analisi dimostrabile che mostra come un transformer semplificato a uno strato possa apprendere una parità nascosta con supervisione CoT esplicita e poi internalizzare provabilmente il calcolo man mano che i token CoT vengono rimossi (Teorema 2).
• Difficoltà Computazionale: Dimostrano che l'apprendimento della rappresentazione della parità direttamente dai dati senza l'internalizzazione del CoT è computazionalmente difficile (nel modello Statistical Query), mentre il percorso di internalizzazione è trattabile.

3. Le Distribuzioni di Miscela come Alternativa

• Il documento dimostra che, sia per gli MLP che per i transformer autoregressivi, il curriculum sequenziale per l'internalizzazione può essere sostituito dall'addestramento su una singola distribuzione di miscela contenente esempi con diverse lunghezze di CoT (e suggerimenti sulla lunghezza). Questo approccio di miscela raggiunge un successo simile nell'apprendimento di compiti difficili e, cosa importante, può recuperare una migliore robustezza OOD nel regime di CoT completo rispetto ai modelli addestrati con curriculum.

Risultati

• Semiautomati: I transformer addestrati con CoT raggiungono un'accuratezza quasi perfetta sia In-Distribution (ID) che OOD. Tuttavia, dopo l'internalizzazione tramite un curriculum a sinistra, l'accuratezza ID rimane elevata, ma l'accuratezza OOD scende significativamente (spesso al caso casuale per gli automi a ordine primo).
• Compito di Parità: Il modello teorico apprende con successo la funzione di parità. Dopo il curriculum, il modello produce la parità corretta in un singolo passaggio in avanti, avendo internalizzato la logica multi-step.
• Apprendimento di Miscela: Gli esperimenti mostrano che l'addestramento su una miscela di lunghezze CoT (con suggerimenti sulla lunghezza) permette a un singolo modello di rispondere direttamente ed eseguire un CoT completo, spesso superando le prestazioni dei modelli addestrati con curriculum in termini di robustezza OOD quando è consentito il CoT completo.

Significatività e Rivendicazioni

Il documento sostiene che l'apprendimento attraverso l'internalizzazione è una strategia potente che consente alle reti neurali di risolvere compiti che sarebbero altrimenti computazionalmente intrattabili per l'apprendimento diretto. Imparando prima un sistema "lento" con ragionamento esplicito e poi comprimendo questo in pesi, i modelli possono aggirare le barriere di difficoltà (come visto nel compito della parità).

Tuttavia, gli autori evidenziano anche un avvertimento critico: l'internalizzazione non è una panacea. Il processo porta spesso a una perdita di robustezza, dove il modello impara scorciatoie fragili che falliscono sotto spostamenti distribuzionali. Ciò suggerisce che, sebbene l'internalizzazione riduca i costi di inferenza e permetta l'apprendimento, può compromettere le capacità di generalizzazione fornite dal ragionamento esplicito.

Infine, il lavoro collega queste osservazioni empiriche al framework dello Spostamento di Distribuzione Positivo, suggerendo che il successo dell'apprendimento basato su curriculum e dell'internalizzazione può essere compreso come l'utilizzo di una sequenza di distribuzioni più facili per apprendere una distribuzione target difficile. La scoperta che una singola distribuzione di miscela può sostituire i complessi curriculum offre un percorso più pratico e robusto per l'addestramento di modelli su compiti di ragionamento difficili.