Sintesi Tecnica: Difficile o Solo Inarrivabile? Diagnosticare il Punto Cieco del Campionamento nella Stima della Difficoltà del Ragionamento Matematico

1. Definizione del Problema

Le attuali pipeline per il ragionamento matematico — che comprendono l'Apprendimento per Rinforzo (RL) con ricompense verificabili, la cura dei dati, la generazione di curricula sintetici e l'annotazione della difficoltà — si affidano pesantemente al pass@k come segnale canonico per la difficoltà per singolo esempio. In questo framework, un esempio viene etichettato come "difficile" se nessuno dei campioni generati tra $k$ tentativi raggiunge la risposta corretta. Di conseguenza, gli esempi con $pass@k=0$ vengono spesso filtrati, declassati o trattati come intrinsecamente insolubili.

Il documento sostiene che questa dipendenza dal campionamento stocastico crea un punto cieco persistente sullo strato più difficile dei problemi. L'ipotesi centrale è che gli esempi classificati come "difficili" dagli stimatori basati solo sul campionamento non siano necessariamente intrinsecamente difficili; piuttosto, potrebbero essere strutturalmente irraggiungibili sull'asse stocastico ma raggiungibili tramite una decodifica deterministica a parità di budget computazionale. Gli autori sostengono che l'etichetta "difficile" confonda il concetto di "intrinsecamente difficile" con quello di "non raggiunto dal campionamento stocastico".

2. Metodologia

Configurazione Sperimentale

Lo studio valuta quattro modelli open-weight istruiti (Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B) attraverso tre benchmark di ragionamento (GSM8K, MATH, MMLU-Pro).

• Regime di Campionamento: Sei catene indipendenti ($k=6$) generate con temperatura $T=0.7$ e top-p $p=0.9$.
• Regime Deterministico: Un "regime deterministico a sei catene" costruito eseguendo la decodifica greedy ($T=0$) con innesto di attivazioni (activation grafting).
• Innesto di Attivazioni (Activation Grafting): Questo è un intervento diagnostico, non un metodo di decodifica. Al livello $\ell=26$ (l'ultimo token del prompt), lo stato latente del modello ($h_{last\_token}$) viene sostituito con diversi vettori sintetici privi di parametri prima di continuare il passaggio in avanti (forward pass). I vettori di innesto includono:
  • $g_B$: Baseline greedy (senza innesto).
  • $g_Z$: Vettore nullo.
  • $g_R$: Gaussiano con norma corrispondente.
  • $g_{RUNIT}$: Direzione unitaria casuale.
  • $g_{SHUF}$: Permutazione della dimensione nascosta.
  • $g_{BOS}$: Attivazione del token BOS.
  • $g_{AVG}$: Media sulle attivazioni dei token del prompt.
  • $g_{PREV}$: Stato del livello precedente alla stessa posizione.
• Computo Corrispondente: Il confronto è strettamente controllato per costo computazionale. Il "regime deterministico a sei catene" esegue lo stesso numero di passaggi in avanti (prefill + decode) del regime di campionamento a sei catene.

Logica Diagnostica

Gli autori isolano lo strato $pass@6=0$ (esempi in cui nessun seme di campionamento ha successo). Successivamente, misurano quanti di questi specifici esempi sono risolti dal regime deterministico ($R_k$). Se una frazione significativa di questi esempi "difficili" è risolta dal regime deterministico, l'assunto di "difficoltà intrinseca" viene falsificato.

3. Contributi Chiave e Risultati

(1) La Decodifica Greedy è Competitiva a $k=1$

Contrariamente alla visione secondo cui la decodifica greedy sia una baseline debole rispetto al campionamento, gli autori riscontrano che a $k=1$, la decodifica greedy è competitiva o superiore all'accuratezza media di un singolo campione nella maggior parte delle celle. Il divario raggiunge il +2.8% su Llama-3.2-3B/MATH. Ciò suggerisce che la baseline predefinita di singolo passaggio per la self-consistency è già più debole di un'alternativa deterministica a parità di calcolo.

(2) Il Punto Cieco del Campionamento è Strutturale

Nello strato $pass@6=0$ (che comprende il 5.1%–43.5% dei prompt a seconda del modello/benchmark), un regime deterministico a computo corrispondente recupera una frazione non trascurabile di esempi:

• Tasso di Recupero: Il regime deterministico a sei catene ($R_6$) risolve il 10.3%–22.9% degli esempi che sei semi di campionamento collettivamente mancano nelle otto celle di matematica a formato libero (GSM8K e MATH). Su tutte le dodici celle, l'intervallo è tra il 10% e il 29%.
• Scalabilità: Il recupero scala con il budget deterministico. $R_1$ (solo greedy) recupera solo lo 0–9%, ma l'aggiunta di innesti diversi aumenta significamente il recupero, indicando che la porzione "difficile" è accessibile tramite molteplici traiettorie deterministiche distinte.
• Distinzione Meccanicistica: Il recupero non è guidato da un singolo vettore "privilegiato". La similarità di Jaccard tra set fissi cross-kind è bassa ($\le 0.47$) in tutte le celle, provando che diversi tipi di innesto recuperano sottoinsiemi disgiunti dello strato.

(3) Meccanismo: Perturbazione dello Stream Residuo, Non Riorientamento dell'Attenzione

Il documento investiga perché gli innesti abbiano successo. L'strumentazione del modello Qwen-2.5-3B rivela:

• Divergenza dello Stato Latente: L'innesto al livello 26 causa una divergenza significativa dello stato latente dalla baseline (la distanza L2 cresce monotonicamente attraverso i livelli rimanenti; la similarità del coseno rimane bassa).
• Stabilità dell'Attenzione: L'innesto ha un effetto diretto trascurabile sui pesi dell'attenzione ($\sim 10^{-5}$ di differenza).
• Conclusione: L'innesto agisce come una condizione iniziale differente per i restanti blocchi del transformer. Il passaggio in avanti del modello non proietta queste perturbazioni sulla traiettoria di base; invece, le trasporta in avanti, consolidando traiettorie a valle distinte. Ciò conferma che la porzione "difficile" è strutturalmente identificabile nello stream residuo.

(4) Utilità Pratica

Gli autori propongono due strategie implementabili basate su queste scoperte:

1. Sostituzione a Costo Corrispondente: Sostituire un passaggio di campionamento con un singolo innesto deterministico (specificamente l'innesto della media delle attivazioni del prompt, $AVG$) in una pipeline di cura, coprendo una porzione maggiore del dataset rispetto all'uso di tutti i passaggi per il campionamento nella maggior parte delle configurazioni.
2. Identificazione Senza Etichette: Un semplice probe utilizzando il disaccordo tra catene tra tre catene (greedy + due semi di campionamento) può classificare gli elementi recuperabili (quelli nello strato $pass@6=0$ ma risolvibili deterministicamente) con un incremento di 3–5× sui compiti di matematica a formato libero, senza richiedere etichette gold.

4. Significato e Rivendicazioni

Il documento afferma che le stime di difficoltà derivate dal campionamento etichettano sistematicamente una frazione strutturalmente identificabile dello strato più difficile.

• Ridefinire il concetto di "Difficile": L'etichetta "difficile" nelle attuali pipeline spesso significa "non raggiunto sull'asse stocastico" piuttosto che "intrinsecamente difficile".
• Impatto sulle Pipeline:
  • Costruzione dei Benchmark: Le categorie più "difficili" in benchmark come GSM8K e MATH sono in parte artefatti del regime di decodifica, non solo degli item stessi.
  • Cura dei Dati: Le pipeline di rejection-sampling potrebbero scartare problemi risolvibili come "insolubili", sprecando potenziali dati di addestramento.
  • RL e Addestramento dei Verifier: I dataset di preferenza costruiti da catene campionate ereditano questo punto cieco, contribuendo solo con segnali negativi per item che una catena deterministica potrebbe risolvere.
• Modestia delle Rivendicazioni: Gli autori dichiarano esplicitamente di non proporre l'innesto di attivazioni come un nuovo metodo di inferenza per la distribuzione. Invece, è uno strumento diagnostico per esporre una porzione dello spazio dei problemi che è attualmente invisibile alle metriche standard basate sul campionamento. Il modello non modificato non raggiunge questi item sotto l'inferenza ordinaria; la porzione è raggiungibile solo tramite specifici interventi interni.

5. Limitazioni

• Recupero Incompleto: Anche con otto catene deterministiche, il 66–88% dello strato $pass@6=0$ rimane non recuperato. Questi potrebbero essere genuinamente difficili o raggiungibili tramite assi di diversità non testati.
• Ambito: Lo studio è limitato a quattro modelli e tre benchmark.
• Precisione Senza Etichette: Sebbene il disaccordo tra catene possa classificare gli elementi recuperabili, la garanzia di precisione per l'identificazione senza etichette non è completamente quantificata e degrada nei benchmark a scelta multipla (MMLU-Pro) a causa dell'accordo casuale.
• Rumore: Sui più piccoli strati (es. ~50 esempi), i conteggi assoluti di recupero sono piccoli, sebbene i tassi rimangano coerenti.

In sintesi, il documento dimosta che i problemi più "difficili" nei benchmark di ragionamento matematico sono spesso non intrinsecamente insolubili, ma semplicemente mancati dal campionamento stocastico, un fatto che può essere rivelato attraverso interventi deterministici sullo stream residuo.