Sintesi Tecnica: I Large Language Models possono generalizzare le procedure tra diverse rappresentazioni?

Definizione del Problema

I Large Language Models (LLM) sono addestrati estensivamente su rappresentazioni simboliche come il codice e i grafi, ma i compiti reali degli utenti sono prevalentemente specificati in linguaggio naturale (NL). Una capacità critica e poco esplorata per la robustezza degli LLM è la generalizzazione cross-rappresentazione: la capacità di trasferire la conoscenza procedurale appresa in una rappresentazione (es. codice o grafi) per risolvere compiti specificati in un'altra (es. linguaggio naturale).

La ricerca esistente spesso confonde i fattori superficiali della rappresentazione con quelli strutturali più profondi, fallendo nel isolare se l'addestramento simbolico aiuti o ostacoli il ragionamento in linguaggio naturale. Inoltre, mentre la scienza cognitiva identifica l'analogia generativa — la capacità di mappare strutture apprese attraverso diverse rappresentazioni allineando le strutture sottostanti condivise — come un nucleo fondamentale del ragionamento umano, gli LLM sono studiati principalmente su analogie proporzionali con alta somiglianza superficiale. Questo articolo investiga se gli LLM possano generalizzare le procedure attraverso compiti isomorfi presentati in linguaggio naturale, grafi e codice, e se non sia così, come colmare questo divario.

Metodologia

Setup Sperimentale

Gli autori hanno costruito un ambiente sperimentale controllato utilizzando compiti isomorfi dove l'algoritmo sottostante rimane identico, ma la rappresentazione superficiale varia. Il compito principale è la pianificazione asincrona (pianificare i passaggi con dipendenze e durate temporali), formalizzata come la ricerca del percorso più lungo (critical path) in un Grafo Aciclico Diretto (DAG).

• Linguaggio Naturale (NL): Compiti descritti come istruzioni passo dopo passo con dipendenze (es. "Il passaggio 1 deve precedere il passaggio 3").
• Grafo: Compiti rappresentati come liste di adiacenza e pesi dei nodi.
• Codice: Compiti rappresentati come snippet Python che implementano algoritmi di percorso più lungo in DAG con input specifici.

Lo studio ha valutato tre famiglie di modelli (Qwen-2.5, Llama-3, Olmo-2) attraverso varie scale (da 1.5B a 7B di parametri) utilizzando quattro strategie di post-training:

1. Vanilla SFT: Fine-tuning su coppie prompt-risposta senza Chain-of-Thought (CoT).
2. Distillazione: Addestramento su ragionamenti CoT generati da un modello insegnante più forte (DeepSeek-R1-Distill-Qwen-32B).
3. STaR (Self-Taught Reasoner): Un metodo di bootstrapping in cui il modello si addestra sulle proprie generazioni corrette.
4. GRPO (Group Relative Policy Optimization): Un metodo di reinforcement learning che utilizza ricompense basate su esiti verificabili.

Soluzione Proposta: Curriculum di RL a Due Stadi

Per affrontare il fallimento osservato dell'addestramento a singola rappresentazione, gli autori propongono un curriculum di reinforcement learning a due stadi:

1. Stadio 1 (Induzione Simbolica): Addestrare il modello su dati simbolici (Grafo o Codice) per apprendere procedure astratte.
2. Stadio 2 (Adattamento al Linguaggio Naturale): Addestrare continuamente il modello su dati in Linguaggio Naturale per adattare le procedure apprese alla rappresentazione target.

Questo approccio separa l'apprendimento della struttura astratta dalla forma superficiale di adattamento.

Risultati Chiave

1. Fallimento della Generalizzazione Cross-Rappresentazione Naive

• Da Simbolico a NL: L'addestramento esclusivamente su dati di Grafi o Codice produce alte prestazioni all'interno di quelle rappresentazioni, ma fallisce nel generalizzare a compiti in NL. Le prestazioni spesso crollano sotto lo shift di rappresentazione, anche quando la logica sottostante è identica.
• Da NL a Simbolico: L'addestramento esclusivamente su dati NL porta a guadagni di prestazione inefficienti e non trasferisce in modo affidabile ai compiti simbolici.
• Confronto dei Metodi: Sebbene GRPO e la Distillazione mostrino una forte performance intra-rappresentazione, essi non risolvono intrinsecamente il divario cross-rappresentazione. Scalare i parametri del modello (es. da 1.5B a 7B) non cambia qualitativamente questo schema di fallimento; i modelli più grandi mostrano spesso un calo più netto nelle prestazioni fuori distribuzione.

2. Efficacia del Curriculum a Due Stadi

• Guadagni di Prestazione: Il curriculum Grafo $\to$ NL migliora sostanzialmente le prestazioni. Un modello Qwen da 1.5B addestrato con questo curriculum supera la sua variante da 7B addestrata solo su NL e eguaglia la prestazione zero-shot di GPT-4o sul compito di pianificazione asincrona.
• Robustezza: Il curriculum dimostra robustezza alle variazioni linguistiche, superando i baseline su NL-AAVE (African American Vernacular English), un dialetto che sfida i modelli di frontiera.
• Sensibilità all'Ordine: L'ordine di addestramento è critico. Invertire il curriculum (NL $\to$ Grafo) performa peggio rispetto all'addestramento solo su NL, indicando che l'induzione simbolica è necessaria per stabilire la base strutturale prima dell'adattamento.
• Generalizzazione: I benefici del curriculum si estendono oltre la pianificazione a compiti di Matematica e Fisica, mostrando un miglioramento della generalizzazione attraverso i domini.

3. Meccanismo di Generalizzazione: Analogia Generativa

Gli autori analizzano se il successo sia guidato dalla frequenza dei dati o dalla somiglianza strutturale (analogia).

• Analisi di Correlazione: Utilizzando la teoria della mappatura strutturale, quantificano la "forza analogica" tra gli esempi di addestramento e di test. I risultati mostrano che la generalizzazione cross-rappresentazione di successo correla significativamente di più con un'alta forza analogica (somiglianza strutturale) rispetto alla frequenza di istanze di addestramento simili.
• Evidenza Qualitativa: I modelli addestrati con il curriculum esibiscono un ragionamento più sistematico (iterando attraverso molteplici percorsi per trovare il più lungo) rispetto al "ragionamento pigro" o alla semplice sommatoria osservata nei modelli addestrati solo su NL o Grafo.

Significato e Rivendicazioni

L'articolo sostiene che, sebbene gli LLM possiedano la capacità di generalizzare tra le rappresentazioni, non lo fanno naturalmente attraverso i metodi standard di post-training. Al contrario, questa capacità deve essere coltivata attraverso curricula specifici.

• Analogia Generativa: Lo studio interpreta il successo della generalizzazione cross-rappresentazione come una forma di analogia generativa, dove il modello allinea le strutture sottostanti condivise piuttosto che memorizzare pattern superficiali. Il curriculum proposto incoraggia efficacemente questo comportamento analogico.
• Requisiti di Addestramento: A differenza del ragionamento analogico umano, che può generalizzare con un'esposizione minima, gli LLM richiedono un addestramento esteso nelle nuove rappresentazioni (tramite lo stadio di adattamento) per utilizzare efficacemente le procedure astratte apprese nello stadio simbolico.
• Limitazioni: Gli autori notano che, nonostante i miglioramenti, permane un divario di prestazione tra il NL standard e le varianti dialettali (NL-AAVE), evidenziando sfide aperte riguardanti l'equità tecnologica. Inoltre, il documento non afferma che scalare le rappresentazioni al tempo dell'addestramento da solo risolverà il problema, poiché lo scaling a singola rappresentazione non ha prodotto trasferimento.

In conclusione, il lavoro dimostra che un curriculum di RL strutturato a due stadi può colmare il divario tra il ragionamento simbolico e quello in linguaggio naturale, permettendo a modelli più piccoli di raggiungere livelli di prestazione comparabili a modelli molto più grandi, zero-shot, su complessi compiti procedurali.