Sintesi Tecnica: Il Paradosso Qualità-Utilità nel Ragionamento Matematico dei Modelli Piccoli

Enunciato del Problema

Il paradigma prevalente per l'addestramento di Small Language Models (SLM) sul ragionamento matematico si basa sulla distillazione della conoscenza da modelli "Oracle" più forti. L'assunto standard è che le tracce di ragionamento con punteggi di modello di ricompensa (reward model) più elevati — che indicano una percezione di maggiore qualità, rigore o correttezza — forniscano una supervisione superiore per l'SLM target. Tuttavia, questo articolo identifica un fenomeno controintuitivo denominato Paradosso Qualità-Utilità: i dati di addestramento raffinati o sintetizzati da un potente Oracle, nonostante raggiungano punteggi di ricompensa significativamente più alti, performano costantemente peggio rispetto alle tracce generate dallo stesso SLM tramite campionamento di rifiuto (RFT).

Il problema centrale non è che il raffinamento dell'Oracle sia intrinsecamente dannoso, ma che i criteri attuali di selezione dei dati confondono due effetti distinti:

1. Riparazione Logica: Il miglioramento dei passaggi di ragionamento e della correttezza.
2. Deriva Distribuzionale: Lo spostamento della traccia di ragionamento dalla distribuzione nativa dell'SLM, che spesso si manifesta come "Compattazione Sintattica" (ad esempio, la sostituzione di spaziature naturali e delimitatori verbali con operatori simbolici densi).

Questa deriva aumenta il costo di adattamento del modello target, il che può superare i benefici di una migliore presentazione logica.

Metodologia

Gli autori stabiliscono un framework sperimentale controllato per isolare l'impatto della rappresentazione dei dati dalla difficoltà del problema.

• Costruzione dei Dati: Utilizzando un set di problemi fisso derivato dal dataset NuminaMath, vengono costruiti quattro flussi di dati paralleli:
  1. SLM-RFT: Soluzioni valide generate dall'SLM target (es. Qwen2.5-Math-1.5B) e filtrate tramite un processo conservativo per rimuovere gli artefatti preservando lo stile nativo.
  2. Oracle-Refined: Soluzioni SLM-RFT riscritte da un potente Oracle (GPT-5.2) per riparare la logica e la formattazione.
  3. Oracle-Synthesized: Soluzioni generate da zero dall'Oracle.
  4. Sottoinsieme NuminaMath: Soluzioni di ground-truth recuperate tramite reverse matching.
• Paradigmi di Addestramento: Gli esperimenti utilizzano sia il Supervised Fine-Tuning (SFT) standard che il Dynamic Fine-Tuning (DFT) per garantire che i risultati non siano artefatti di un obiettivo di ottimizzazione specifico.
• Valutazione: I modelli sono valutati su uno spettro di benchmark matematici (MATH500, AIME24, AMC23, Minerva, OlympiadBench) utilizzando l'accuratezza Avg@16. La qualità percepita è misurata tramite molteplici modelli di ricompensa (Qwen2.5-Math-RM, Skywork-Reward, Nemotron-Reward).
• Analisi del Meccanismo:
  • Spostamento della Distribuzione dei Token: L'analisi delle frequenze unigramma dei token rivela che il raffinamento dell'Oracle sopprime i token di "scaffolding nativo" (es. backslash spaziati, delimitatori naturali come "the" o "of") a favore di operatori densi e non spaziati.
  • Perplessità (PPL): Utilizzata come proxy del costo di adattamento. Una PPL inferiore indica una maggiore compatibilità tra la distribuzione dei dati di addestramento e la distribuzione nativa del modello target.
  • Preservazione Semantica: Un protocollo "LLM-as-a-Judge" valuta quanto strettamente i candidati soluzioni preservino gli atomi informativi della traiettoria originale dell'SLM, indipendentemente dalla formattazione.
• Intervento: Gli autori introducono il Raffinamento Allineato allo Stile (Style-Aligned Refinement), un intervento basato su prompt in cui l'Oracle riceve l'istruzione di correggere gli errori logici pur emulando strettamente lo stile linguistico e la spaziatura nativa dell'SLM.

Contributi Chiave

1. Identificazione del Paradosso Qualità-Utilità: Il documento dimostra che nella distillazione del ragionamento matematico, i dati con punteggi di reward model più elevati possono produrre prestazioni a valle inferiori rispetto ai dati generati dal modello apprendente stesso.
2. Meccanismo della Deriva Distribuzionale: Gli autori mostrano che il raffinamento dell'Oracle introduce un problema di compatibilità in cui la riparazione logica è accoppiata a uno spostamento della forma di rappresentazione (compattazione sintattica). Ciò aumenta il costo di adattamento dell'SLM target, come dimostrato dalla maggiore perplessità e dalla minore utilità a valle.
3. Raffinamento Allineato allo Stile: Il documento propone e valida un intervento che scinde la rettifica logica dalla deriva stilistica. Preservando la traiettoria nativa dell'SLM pur mantenendo le riparazioni logiche, questo metodo riduce il costo di adattamento e ripristina l'utilità a valle.

Risultati

• Mismatch delle Prestazioni: Sotto SFT e DFT, i dati SLM-RFT (punteggi di reward più bassi, es. 1.47) hanno costantemente superato i dati Oracle-Refined (punteggi più alti, es. 1.70) e Oracle-Synthesized (punteggi massimi, es. 1.88). Ad esempio, sul modello Qwen2.5-Math-1.5B con DFT, l'SLM-RFT ha raggiunto un'accuratezza Avg@16 del 37.06%, mentre l'Oracle-Refined ha raggiunto il 34.06% e l'Oracle-Synthesized il 30.02%.
• Robustezza: Il paradosso si mantiene attraverso diverse scale di modelli (1.5B, 3B, 7B), famiglie di modelli (Qwen, LLaMA, DeepSeek) e iperparametri di addestramento.
• Costo di Adattamento: I dati Oracle-Refined hanno mostrato una Perplessità Globale significativamente più alta (1.85) rispetto all'SLM-RFT (1.52), indicando un carico maggiore per il modello nell'adattarsi alla nuova distribuzione. La fase Q1 (iniziazione) ha mostrato la perdita di attribuzione più significativa verso i marcatori sintattici (es. \( ) nei dati Oracle rispetto agli iniziatori di linguaggio naturale (es. "To", "the") nei dati SLM.
• Successo dell'Intervento: Il raffinamento Style-Aligned (Qwen) ha ottenuto la perplessità più bassa (1.46, persino inferiore all'SLM-RFT nativo) e l'accuratezza a valle più elevata (39.12%), superando tutti i baseline. Notevolmente, questi dati ad alte prestazioni hanno ricevuto i punteggi di reward più bassi (1.37), rinforzando il distacco tra la percezione del modello di ricompensa e la apprendibilità.
• Validazione Cross-Model: Il paradosso è stato confermato da tre diversi modelli di ricompensa, indicando che la sottovalutazione delle tracce della distribuzione nativa è un problema sistemico nella modellazione della ricompensa attuale, non specifico di un singolo valutatore.

Significato e Rivendicazioni

Il documento sostiene che una distillazione efficace del ragionamento matematico per gli SLM deve ottimizzare congiuntamente la qualità percepita della soluzione e la compatibilità tra apprendente e dati. Affidarsi esclusivamente ai punteggi dei modelli di ricompensa per selezionare i dati di addestramento è insufficiente e potenzialmente dannoso.

Gli autori argomentano che il "Paradosso Qualità-Utilità" nasce dal fatto che i modelli più forti esprimono spesso il ragionamento riparato attraverso rappresentazioni che sono efficienti per se stessi o preferite dai modelli di ricompensa (sintassi densa e compatta), ma che sono costose da imitare e interiorizzare per i modelli target più piccoli. Lo studio suggerisce che la compatibilità distribuzionale — specificamente la preservazione della traiettoria di ragionamento nativa dell'apprendente — è un fattore critico e spesso trascurato nella distillazione.

Le conclusioni implicano che le future strategie di distillazione dovrebbero dare priorità a interventi che allineino le proprietà stilistiche e sintattiche dell'output dell'insegnante con la distribuzione nativa dello studente, piuttosto che massimizzare isolatamente la qualità logica grezza o i punteggi di ricompensa. Il lavoro è modesto nell'ambito, concentrandosi sul ragionamento matematico all'interno del regime SLM, e riconosce che la generalizzabilità a modelli più grandi o a domini non matematici rimane una questione aperta.