Riepilogo Tecnico: Dai Tracciati di Ragionamento ai Moduli Riutilizzabili

Definizione del Problema

Le pipeline di post-addestramento che combinano il Supervised Fine-Tuning (SFT) e il Reinforcement Learning (RL) hanno recentemente guidato miglioramenti significativi nelle capacità di ragionamento dei Large Language Models (LLM). Empiricamente, l'SFT da solo porta spesso a modelli che memorizzano tracciati di ragionamento "canonici" (golden), ma che falliscono quando sono richiesti di ricombinare passaggi familiari in modi insoliti (composizioni Out-of-Distribution o OOD). Al contrario, un SFT seguito da RL gestisce tali composizioni OOD in modo più affidabile. Tuttavia, il meccanismo sottostante che guida questo successo combinato rimane poco chiaro: nello specifico, quali contributi distinti apportano SFT e RL, e quali configurazioni di dati sono ottimali per ciascuna fase?

Metodologia

Framework Teorico: Modello di Selezione Latente Gerarchica

Gli autori formalizzano il ragionamento come un Modello di Selezione Latente Gerarchica. In questo framework:

• Descrittore del Problema ($P$): Il prompt di input induce una gerarchia di variabili latenti di selezione discrete.
• Variabili Latenti ($S$): Queste variabili selezionano da una libreria di moduli atomici riutilizzabili:
  • Skill (Abilità): Operazioni locali (es. passaggi aritmetici, regole di riscrittura).
  • Meccanismi di Routing: Decisioni su come le informazioni intermedie vengono selezionate, riutilizzate e composte (es. inoltro degli output precedenti, branching).
• Tracciato Osservabile ($D$): Il tracciato di ragionamento finale è generato dalla cascata di queste selezioni.

L'ipotesi centrale è che i tracciati di ragionamento siano generati componendo questi moduli atomici. L'SFT fornisce la materia prima (tracciati contenenti questi moduli), mentre l'RL è responsabile della decomposizione di questi tracciati composti per identificare i moduli latenti e consentire la loro ricombinazione flessibile.

Contributi Teorici

Il documento stabilisce due risultati teorici chiave:

1. Identificabilità (Teorema 3.1): Sotto condizioni deboli (fedeltà, fedeltà di rango, set di scelta ristretti e copertura di vicinato), la gerarchia di selezione latente (skill e routing) è identificabile dalla distribuzione osservabile dei tracciati.
2. Generalizzazione Composizionale (Teorema 3.4): Una volta identificati i moduli, essi possono essere ricombinati in nuove composizioni se ogni configurazione locale nel nuovo prompt ha un "testimone locale" nei dati di addestramento (ovvero, l'interfaccia tra i moduli è stata osservata durante l'addestramento).

Gli autori caratterizzano ulteriormente i ruoli di SFT e RL attraverso l'analisi del supporto:

• Limitazioni dell'SFT (Proposizione 3.2): L'SFT su tracciati canonici spesso lascia i moduli atomici "intrecciati" con i loro contesti specifici perché rivela solo un sottoinsieme di tracciati validi. Eventi locali critici che decomporrebbero i moduli potrebbero trovarsi al di fuori del supporto dell'SFT.
• Meccanismo dell'RL (Proposizione 3.3): L'RL arricchisce la distribuzione tramite il re-sampling dei rollout basato sulla ricompensa. Se un evento locale "nascosto" (es. una specifica scelta di routing) porta a ricompense più elevate, l'RL ne aumenta la probabilità, decomponendo efficacemento il tracciato intrecciato e rendendo identificabile il modulo atomico.

Setup Empirico

Per validare queste teorie, gli autori hanno condotto esperimenti controllati su compiti di trasformazione di stringhe sintetiche (basati su Yuan et al., 2025).

• Skill Atomiche: 24 funzioni deterministiche di trasformazione delle stringhe.
• Meccanismi di Routing: 10 diverse definizioni di struttura dell'input (che determinano quali output intermedi alimentano il passaggio successivo).
• Protocollo: I modelli sono stati addestrati su tracciati di profondità variabile ($L$). Lo studio ha intervenuto sistematicamente sulla struttura dei dati per testare:
  • La decomposizione di tracciati composti in atomi.
  • La necessità di esposizione composizionale rispetto all'esposizione atomica isolata.
  • La relazione distributiva ottimale tra i dati di SFT e RL (sovrapposizione vs. disgiunzione).
• Evidenza Supplementare: Analisi di modelli open-source (Qwen3-4B) su benchmark matematici reali (MATH, AIME) per osservare la tokenizzazione delle skill e la diversità degli n-grammi.

Risultati Chiave

1. L'RL Decompone e Ricombina: I modelli addestrati con RL su tracciati composti ($L=3$) hanno superato significativamente i modelli addestrati solo con SFT su composizioni inedite ($L=4$ a $L=8$). L'RL ha permesso al modello di recuperare le skill atomiche e i meccanismi di routing dai tracciati composti e di ricombinarli per la generalizzazione.
2. I Tracciati Composti sono Superiori per l'RL: Quando l'RL è stato addestrato su moduli atomici isolati ($L=1$) rispetto a tracciati composti ($L=3$), questi ultimi hanno prodotto una precisione OOD significativamente più alta (+37,8% di guadagno rispetto a +10,0% di guadagno). Ciò conferma che l'esposizione alle interfacce dei moduli (composizioni) è critica per apprendere come ricombinarli.
3. La Re-iniezione Richiede la Composizione: Quando specifiche skill atomiche o router sono stati esclusi dall'addestramento RL, le prestazioni sono diminuite. La semplice re-iniezione di skill atomiche isolate ($L=1$) non ha ripristinato le prestazioni. Le prestazioni sono state recuperate solo quando sono stati re-iniettati tracciati composizionali contenenti gli atomi esclusi, provando che gli atomi devono essere appresi in un contesto composizionale per essere riutilizzabili.
4. Accoppiamento Ottimale dei Dati SFT-RL: La più forte generalizzazione OOD si è verificata quando le distribuzioni dei dati SFT e RL erano disgiunte ($C_{SFT} \cap C_{RL} = \emptyset$).
   • Ruolo dell'SFT: Dovrebbe coprire l'intero inventario di moduli atomici attraverso tracciati composizionali.
   • Ruolo dell'RL: Dovrebbe concentrarsi su nuove composizioni al di fuori del supporto dell'SFT per guidare l'esplorazione e identificare nuove interfacce.
   • I dati sovrapposti ($C_{SFT} \supset C_{RL}$) hanno prodotto la generalizzazione più debole.
5. Evidenza da Modelli Reali: L'analisi dei modelli Qwen3 ha mostrato che i modelli sottoposti a RL esibivano una maggiore diversità negli n-grammi brevi delle skill (n=2, 3), indicando una ricombinazione locale più flessibile dei passaggi astratti, coerentemente con il modello teorico del riutilizzo modulare.

Significato e Rivendicazioni

Il documento sostiene di fornire una spiegazione basata su variabili latenti del successo delle pipeline SFT+RL nel ragionamento composizionale. La sua importanza primaria risiede nel:

• Formalizzare il Meccanismo: Andare oltre l'osservazione empirica verso un framework teorico in cui l'SFT fornisce i "materiali" (tracciati intrecciati) e l'RL esegue la "decomposizione" (identificazione dei moduli latenti tramite l'espansione del supporto guidata dalla ricompensa).
• Design del Curriculum: Offrire un protocollo concreto per il post-addestramento: l'SFT deve garantire la copertura di tutti i moduli atomici tramite composizioni, mentre l'RL dovrebbe mirare a nuove composizioni per esplorare nuove interfacce.
• Condizioni di Identificabilità: Fornire le condizioni sufficienti sotto le quali le strutture di ragionamento latenti possono essere recuperate dai dati osservati, collegando il successo dell'RL all'arricchimento dei "testimoni locali" necessari per la generalizzazione composizionale.

Gli autori pongono questo lavoro come un passo verso la comprensione di come gli LLM imparano a ragionare in modo composizionale, suggerendo che la "scatola nera" dell'RL sia effettivamente un meccanismo per scoprire e ricombinare unità di ragionamento atomiche riutilizzabili.