To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

Titolo

Vedere l'Invisibile: sulla Capacità di Generalizzazione dei Transformer nel Ragionamento Simbolico

1. Il Problema

Il lavoro indaga la capacità dei modelli Transformer (specificamente decoder-only) di eseguire ragionamento simbolico astratto, in particolare la risoluzione di problemi di logica proposizionale forniti "in-context" (ICL).
Nonostante il successo dei Large Language Models (LLM) in compiti complessi, questi modelli mostrano una fragilità significativa quando si tratta di generalizzare a token mai visti durante l'addestramento.

• Il fallimento: I modelli falliscono quando devono copiare o generare variabili (token) che non hanno mai incontrato nel set di dati di addestramento, anche se la struttura logica del problema è identica a quella appresa.
• Ipotesi precedenti: Lavori precedenti (es. Boix-Adserà et al., 2024) avevano attribuito questo fallimento alla difficoltà di copiare token sconosciuti. Altri (Anand et al., 2025) avevano notato che il "dimenticamento attivo" (reset periodico degli embedding) aiutava, ma senza fornire una spiegazione meccanica completa.

2. Metodologia e Analisi Teorica

Gli autori combinano analisi teorica ed esperimenti empirici controllati per identificare la causa radice del fallimento.

A. Il Collasso degli Embedding/Unembedding (Teoria)

Il contributo teorico centrale è la dimostrazione che, durante l'addestramento con discesa del gradiente (SGD) e regolarizzazione L2 (weight decay), i vettori di unembedding (gli ultimi pesi del modello, spesso condivisi con gli embedding) relativi ai token mai visti tendono a collassare verso lo stesso vettore.

• Meccanismo: Se un token non appare nei dati di addestramento, i gradienti non lo aggiornano in modo differenziato. La regolarizzazione L2 spinge questi pesi verso l'origine o verso un vettore comune, rendendo i token indistinguibili per il modello.
• Dimostrazione: Viene dimostrato che questo collasso è inevitabile quando le feature di input hanno norma limitata (garantito dal LayerNorm) e il modello si adatta bene ai dati di addestramento.

B. Architetture e Interventi Proposti

Per mitigare questo problema, gli autori testano una combinazione di tecniche:

1. Copy Attention: Una modifica architetturale che aggiunge un "shortcut" diretto dagli embedding di input agli strati di output. Questo permette al modello di copiare fedelmente i token di input (anche quelli mai visti) senza doverli generare attraverso la complessa catena di trasformazioni degli strati nascosti.
2. Diversità dei Dati: Addestramento su un vocabolario simbolico estremamente vasto per aumentare la probabilità di vedere combinazioni diverse.
3. Gestione degli Embedding:
   • Congelamento (Freezing): Mantenere gli embedding fissi ai valori di inizializzazione (che sono tipicamente ortogonali e distinguibili).
   • Reset Attivo (Active Forgetting): Reinizializzare periodicamente gli embedding durante l'addestramento per prevenire il collasso.

C. Setup Sperimentale

• Dati Sintetici: Problemi di logica proposizionale (clausole definite/Horn clauses) con ragionamento a catena di pensiero (Chain-of-Thought, CoT) generato tramite algoritmo di forward-chaining.
• Variabili: Vocabolari di addestramento di diverse dimensioni (da 150 a 9600 token) e vocabolari di test con token completamente nuovi (query o tutti i predicati).
• Modelli: Transformer decoder-only piccoli (60-75M parametri) addestrati da zero, e modelli open-weight più grandi (famiglia Gemma 3).

3. Risultati Chiave

Esperimenti Sintetici

• Fallimento Standard: I transformer standard falliscono completamente quando devono copiare token mai visti, spesso ignorandoli o sostituendoli con token noti.
• Efficacia della Copy Attention + Diversità: L'aggiunta di copy attention e un'alta diversità simbolica permette una buona generalizzazione quando solo la query è unseen. Tuttavia, fallisce se tutti i predicati sono unseen a causa del collasso degli embedding.
• Soluzione del Collasso:
  • Congelamento degli Embedding: Permette a tutti i modelli di generalizzare perfettamente, poiché i token rimangono distinti.
  • Reset Attivo: Funziona bene se combinato con copy attention e alta diversità.
  • Temporaneo Reset: Il reset solo nelle prime fasi (come proposto da Anand et al.) non è sufficiente per l'architettura standard, ma funziona con copy attention.
• Conclusione: Il collasso degli embedding è il principale ostacolo alla distinzione tra variabili sconosciute.

Esperimenti su Gemma 3 (Modelli Reali)

• Collasso nei Token Non Usati: Analizzando i modelli Gemma 3 (1B, 4B, 12B, 27B), gli autori trovano che i 99 token deliberatamente non usati nel vocabolario hanno una similarità coseno molto più alta rispetto ai token usati (es. 0.78 vs 0.09 per il modello 1B). Questo conferma che il collasso avviene anche su modelli pre-addestrati su larga scala.
• Impatto sul Fine-tuning: Quando si fa fine-tuning su Gemma 3 1B usando i token "non usati" come simboli per la logica, l'addestramento è drasticamente più lento (circa 5000 step per raggiungere il 90% di accuratezza) rispetto all'uso di token comuni (adjectives o lettere, che richiedono <500 step). Questo suggerisce che l'inizializzazione correlata di questi token è un pessimo punto di partenza per applicazioni downstream.

4. Contributi Principali

1. Identificazione del Collasso: Dimostrazione teorica ed empirica che il collasso degli unembedding per i token non visti è una causa fondamentale del fallimento nella generalizzazione simbolica.
2. Spiegazione Meccanicistica: Fornisce una spiegazione fisica del perché strategie come il "dimenticamento attivo" funzionano (prevengono il collasso) e perché le modifiche architetturali da sole (senza gestione degli embedding) sono insufficienti in presenza di molte variabili sconosciute.
3. Soluzione Pratica: Propone una combinazione efficace di copy attention, alta diversità dei dati e gestione degli embedding (congelamento o reset) per abilitare il ragionamento simbolico robusto.
4. Analisi su Modelli Reali: Estende le scoperte ai modelli Gemma 3, mostrando che il collasso esiste anche nei modelli open-weight e ha implicazioni negative per il fine-tuning su token rari/non usati.

5. Significato e Implicazioni

Questo lavoro sfida l'idea che i Transformer siano semplici memorizzatori di pattern statistici, mostrando che la loro incapacità di ragionare su simboli nuovi è legata a un difetto strutturale nell'addestramento degli strati finali (unembedding).

• Per la Ricerca: Suggerisce che per ottenere un vero ragionamento simbolico, non basta aumentare la dimensione del modello, ma è necessario modificare l'architettura (per facilitare la copia) e la dinamica di addestramento degli embedding.
• Per le Applicazioni: Avverte che l'uso di token "riservati" o non usati nei vocabolari di modelli LLM per compiti di fine-tuning (es. per creare nuovi simboli) potrebbe essere inefficiente o fallimentare a causa della loro alta correlazione iniziale.
• Futuro: Apre la strada a strategie per migliorare il fine-tuning su token collassati e all'indagine sul ragionamento con simboli composti da più token.