Riassunto Tecnico: TrajFusion per la Scalabilità del Ragionamento Matematico

Problema

I Large Language Models (LLM) hanno ottenuto progressi significativi nel ragionamento matematico, principalmente attraverso il Supervised Fine-Tuning (SFT) su traiettorie di soluzione di alta qualità. Il paradigma dominante per la costruzione di questi dati è il Rejection Sampling Fine-Tuning (RFT). Nell'RFT, un modello insegnante genera molteplici percorsi di ragionamento candidati per un dato problema, e solo quelli con risposte finali corrette vengono conservati per l'addestramento; tutte le traiettorie errate vengono scartate.

Sebbene efficace, questo approccio tratta la supervisione come un filtro binario. Esclude sistematicamente gli errori generati dal modello insegnante, creando un divario nel modo in cui i fallimenti del ragionamento vengono modellati durante l'addestramento. Gli autori sostengono che le traiettorie errate contengano informazioni diagnostiche preziose — come errori computazionali comuni, assunzioni mancanti o percorsi argomentativi logicamente plausibili ma invalidi — che potrebbero aiutare i modelli a riconoscere ed evitare specifici modi di fallimento, particolarmente in compiti di ragionamento a lungo formato o ambigui. Gli attuali metodi trattano questi errori come rumore da scartare piuttosto che come supervisione strutturata da sfruttare.

Metodologia: TrajFusion

Il paper propone TrajFusion, una strategia di fine-tuning che inquadra l'RFT da meccanismo di filtraggio binario a processo di costruzione della supervisione strutturata. TrajFusion integra le traiettorie di ragionamento errate selezionate con quelle corrette in un singolo campione di addestramento fuso, modellando esplicitamente un processo di ragionamento per tentativi ed errori.

Componenti Core

1. Campionamento e Analisi: Per ogni problema $x$, il modello insegnante campiona $K$ traiettorie. Queste vengono partizionate in set corretti ($Y^+$) e errati ($Y^-$) tramite un verificatore automatico.
2. Selezione Adattiva: Il metodo determina adattivamente quanti percorsi errati includere basandosi su due statistiche:
   • Tasso di Errore ($r(x)$): La frequenza dei tentativi errati.
   • Diversità dell'Errore ($u(x)$): Il numero di risposte finali uniche tra i tentativi errati (misurato tramite l'entropia di Shannon o il conteggio delle risposte uniche).
     Il numero di traiettorie errate mantenute $k(x)$ è calcolato come:
     $$k(x) = \min(k_{max}, \lfloor \alpha \cdot r(x) \cdot u(x) \rfloor)$$
     Ciò garantisce che i problemi con errori diversificati e frequenti ricevano una supervisione più ricca, mentre i problemi con errori sparsi o non informativi degenerano naturalmente in un RFT vanilla.
3. Costruzione del Campione Fuso: Le traiettorie errate selezionate sono intercalate con la traiettoria corretta utilizzando prompt di riflessione fissi (es. "Aspetta... questo non sembra corretto. Proviamo di nuovo."). La struttura finale è:
   $$T(x) = [y_{e1}, \rho_1, \dots, y_{ek}, \rho_k, y^*]$$
   dove $y_{ei}$ sono i percorsi errati, $\rho_i$ sono i prompt di riflessione e $y^*$ è la soluzione corretta.
4. Addestramento: Le sequenze fuse sono addestrate utilizzando lo standard next-token prediction (SFT) senza modifiche all'architettura del modello o all'obiettivo di addestramento.

Contributi Chiave

• Formalizzazione di un Gap di Supervisione: Gli autori identificano e formalizzano l'esclusione sistematica delle traiettorie errate generate dall'insegnante nell'RFT, sostenendo che questi errori forniscono un valore diagnostico per la modellazione dei fallimenti del ragionamento.
• Framework TrajFusion: Un framework di supervisione strutturata che fonde adattivamente traiettorie errate e corrette. Tratta la diversità dell'errore come un segnale di controllo esplicito, permettendo al metodo di scalare robustamente attraverso problemi di diversa difficoltà senza richiedere modelli ausiliari, generatori di critiche o etichette di difficoltà esterne.
• Validazione Empirica: Il metodo dimostra miglioramenti costanti rispetto all'RFT vanilla su molteplici benchmark di ragionamento matematico (GSM8K, MATH, CollegeMath, DeepMind-Mathematics, OlympiadBench, TheoremQA) e dataset di livello competitivo (AIME24, AIME25, MATH-500).

Risultati Sperimentali

Gli autori hanno valutato TrajFusion su sei benchmark di ragionamento matematico (GSM8K, MATH, CollegeMath, DeepMind-Mathematics, OlympiadBench, TheoremQA) e dataset di livello competitivo (AIME24, AIME25, MATH-500).

• Guadagni di Performance: TrajFusion ha superato costantemente l'RFT vanilla. Sul dataset MATH con LLaMA3-8B (100K dati), TrajFusion ha raggiunto il 51.4% di accuratezza rispetto al 48.5% dell'RFT. Su DeepSeekMath-7B, ha raggiunto il 52.3% contro il 50.2%.
• Impatto sulla Complessità: I miglioramenti sono stati più pronunciati sui benchmark di ragionamento a lungo formato e più impegnativi (MATH, OlympiadBench, TheoremQA), dove i percorsi di ragionamento sono più lunghi e i modi di fallimento sono più diversificati. I guadagni su dataset più semplici come GSM8K sono stati minori ma comunque positivi.
• Efficienza dei Dati: TrajFusion ha ottenuto risultati competitivi con soli 15K esempi di addestramento, superando i baseline che utilizzavano dataset significativamente più grandi (es. MMIQC con 2.3M esempi).
• Scalabilità al Lungo Contesto: Applicato a una versione a contesto di 32K di Qwen2.5-Math-7B con dati a lungo formato distillati da DeepSeek-R1, TrajFusion ha migliorato il Pass@1 su AIME24 dal 40.0% (RFT) al 43.3%.
• Studi di Ablazione:
  • L'aumento del numero di errori fusi ($k_{max}$) ha migliorato le performance fino a un certo punto (si sono osservati rendimenti decrescenti a $k_{max}=6$).
  • La selezione degli errori basata sulla diversità (HighDiv) ha prodotto risultati migliori rispetto alla selezione basata solo sulla frequenza (LowDiv), suggerando che i modi di fallimento strutturalmente distinti siano più informativi.
  • I modelli addestrati con TrajFusion inizialmente generavano sequenze più lunghe, ma sono diventati gradualmente più concisi aumentando la frequenza dei token di riflessione, indicando un uso più efficiente dei pattern strutturali.

Significato e Affermazioni

Il paper afferma che TrajFusion offre un modo semplice ed efficace per scalare il ragionamento matematico sfruttando segnali di supervisione che vengono tipicamente scartati. Inquadrando il rejection sampling come un processo di costruzione di traiettorie strutturate di tentativi ed errori, il metodo fornisce una supervisione più ricca senza modifiche architettoniche o complessi pipeline di apprendimento per rinforzo.

Gli autori sottolineano che TrajFusion è particolarmente prezioso per problemi di ragionamento difficili e a lungo formato, dove distinguere il ragionamento valido da quello errato è essenziale. Affermano che la natura adattiva di TrajFusion ne garantisce la robustezza: arricchisce la supervisione quando gli errori sono informativi e ritorna in sicurezza al comportamento RFT standard quando non lo sono. Questo approccio colma il divario tra il filtraggio binario della correttezza e la realtà sfumata dei fallimenti del ragionamento, permettendo ai modelli di imparare dai propri errori in un contesto supervisionato.