MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task

1. Il Problema

Il ragionamento matematico rappresenta una frontiera critica per i Large Language Models (LLM). Sebbene l'approccio "Chain-of-Thought" (CoT), che richiede ai modelli di articolare passaggi intermedi, abbia migliorato l'accuratezza, la qualità dei passaggi di ragionamento nei dati di training rimane un collo di bottiglia fondamentale.
Le ricerche recenti indicano che passaggi intermedi più dettagliati migliorano le prestazioni, ma i metodi esistenti per espandere questi passaggi presentano tre limiti principali:

1. Dipendenza da modelli esterni: Richiedono modelli più potenti (e costosi) per generare nuovi passaggi, creando un ciclo infinito di necessità di modelli più grandi.
2. Costi computazionali elevati: Tecniche avanzate come la Ricerca ad Albero Monte Carlo (MCTS) richiedono risorse immense.
3. Affidabilità: Spesso generano catene di ragionamento completamente nuove invece di migliorare quelle esistenti, introducendo potenziali errori e riducendo l'affidabilità rispetto alle soluzioni verificate dall'uomo.

L'obiettivo è sviluppare un metodo efficiente e affidabile per espandere i passaggi di ragionamento preservando la validità delle soluzioni umane esistenti.

2. Metodologia: MathFimer

Gli autori propongono MathFimer, un framework ispirato al compito "Fill-in-the-Middle" (FIM) utilizzato nel ragionamento sul codice. L'idea centrale è decomporre le catene di soluzione esistenti in coppie "prefisso-suffisso" e addestrare un modello a ricostruire i passaggi intermedi mancanti.

Il processo si articola in tre fasi principali:

A. Costruzione del Dataset (NuminaMath-FIM)

• Partendo dal dataset di alta qualità NuminaMath-CoT, le soluzioni sono state decomposte in passaggi individuali.
• Per ogni problema, viene selezionato casualmente un passaggio da rimuovere.
• I passaggi precedenti formano il Prefisso (P), quelli successivi formano il Suffisso (S), e il passaggio rimosso è l'Obiettivo (M).
• Vengono utilizzati token speciali (<|fim_prefix|>, <|fim_suffix|>, <|fim_middle|>) per strutturare i dati di addestramento.
• Il risultato è il dataset NuminaMath-FIM, contenente 2,5 milioni di campioni.

B. Addestramento del Modello (MathFimer-7B)

• Viene addestrato un modello specializzato, MathFimer-7B, basato su Qwen2.5-Math-7B.
• L'obiettivo è apprendere a generare il passaggio mancante (M) dato il contesto (Q, P, S), preservando la struttura della soluzione originale.
• L'addestramento avviene tramite Supervised Fine-Tuning (SFT), calcolando la loss solo sui token del passaggio da generare.

C. Espansione dei Passaggi di Ragionamento

• Una volta addestrato, MathFimer-7B viene applicato a dataset esistenti (es. MathInstruct, MetaMathQA) per espandere le soluzioni.
• Per ogni coppia di passaggi consecutivi in una soluzione originale, il modello genera potenziali passaggi intermedi mancanti o spiegazioni più dettagliate.
• Filtro di Similarità: Poiché il modello potrebbe generare contenuti ridondanti se i passaggi originali sono già dettagliati, viene calcolata la similarità sequenziale tra il passaggio generato e quello originale. Se la similarità supera una soglia ($\eta = 0.8$), il passaggio viene scartato come invalido.
• I passaggi validi vengono inseriti nella catena originale, creando versioni "espanso" dei dati di training.

3. Contributi Chiave

1. Nuovo Framework di Espansione: Introduzione di MathFimer, che utilizza la tecnica FIM (solitamente usata per il codice) per arricchire il ragionamento matematico inserendo passaggi intermedi mirati senza generare catene da zero.
2. Dataset e Modello Open: Rilascio del dataset NuminaMath-FIM e del modello MathFimer-7B, offrendo una soluzione scalabile e pratica per migliorare i dataset di ragionamento matematico senza dipendere da modelli esterni costosi.
3. Validazione Sperimentale: Dimostrazione che l'addestramento su dati espansi con MathFimer migliora costantemente le prestazioni su vari benchmark, fornendo nuove intuizioni sulla relazione tra granularità dei passaggi e qualità del ragionamento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli base (da 8B a 72B parametri, inclusi Meta-Llama-3.1 e Qwen2.5-Math) e su dataset di training diversi (GSM8K+MATH, MathInstruct-CoT, MetaMathQA).

• Prestazioni Generali: I modelli addestrati su dati espansi con MathFimer hanno mostrato miglioramenti consistenti rispetto ai modelli addestrati sui dati originali.
  • Su GSM8K (matematica elementare), con Meta-Llama3.1-8B e dati MathInstruct-CoT, l'accuratezza media è passata dal 67.78% al 75.21% (+7.43 punti percentuali).
  • Su MATH (matematica competitiva), con Qwen2.5-Math-7B e dati MetaMathQA, l'accuratezza è salita dal 70.22% al 79.08% (+8.86 punti percentuali).
• Scalabilità Iterativa: L'espansione iterativa (applicare MathFimer più volte) ha portato a guadagni progressivi, confermando che catene di ragionamento più lunghe e dettagliate migliorano le capacità di inferenza.
• Efficienza e Confronto:
  • MathFimer supera i metodi basati su prompt (usando modelli generalisti per espandere i passaggi) sia in accuratezza che in efficienza computazionale.
  • L'approccio è complementare alle tecniche di ottimizzazione come RL (Reinforcement Learning) e DPO; i dati espansi da MathFimer fungono da punto di partenza di migliore qualità per l'addestramento RL.
• Qualità dei Passaggi: L'uso di un Process Reward Model (PRM) ha mostrato che i passaggi generati mantengono un'alta correttezza (PRM score > 0.8) e, in alcuni casi, superano la qualità dei passaggi originali.
• Generalizzazione: Il metodo ha dimostrato efficacia anche su compiti fuori distribuzione (OOD) come ragionamento logico e scientifico, suggerendo che l'abilità di generare passaggi dettagliati è trasferibile.

5. Significato e Impatto

MathFimer offre una soluzione pratica e scalabile per potenziare le capacità di ragionamento matematico degli LLM.

• Indipendenza dai Modelli Giganti: Elimina la necessità di utilizzare modelli ancora più grandi per migliorare i dati di training di modelli più piccoli.
• Affidabilità: Migliora i dati esistenti invece di sostituirli, riducendo il rischio di allucinazioni e errori logici rispetto alla generazione di catene di ragionamento ex-novo.
• Efficienza: Permette di ottenere guadagni significativi nelle prestazioni con un costo computazionale contenuto rispetto a metodi come MCTS o RL su larga scala.

In sintesi, il paper dimostra che la granularità e la completezza dei passaggi di ragionamento sono fattori determinanti per il successo dei modelli matematici, e che la tecnica "Fill-in-the-Middle" è uno strumento efficace per ottimizzare questi aspetti in modo automatizzato ed economico.