Sintesi Tecnica: Una Ricerca Verificabile non è un Chain-of-Thought Apprendibile

Definizione del Problema

Il paper investiga un'ipotesi centrale nella distillazione del ragionamento: se un compito può essere risolto da un programma deterministico breve, la logica di tale programma può essere insegnata a un modello linguistico più piccolo come un Chain-of-Thought (CoT) verificabile? L'intuizione suggerisce che scrivere i passaggi di un risolutore in linguaggio naturale e sottoporre il modello a fine-tuning su di essi dovrebbe consentire al modello di riprodurre il ragionamento.

L'autore sfida questa intuizione utilizzando un benchmark controllato di nove compiti di ragionamento. Il benchmark possiede una proprietà unica: l'insieme di test nascosto è generato dagli stessi generatori deterministici dell'insieme di addestramento pubblico. Ciò garantisce che una porzione trattenuta dei dati di addestramento sia un proxy fedele dell'accuratezza del test, permettendo all'autore di misurare il "gap di apprendibilità" tra un risolutore simbolico perfetto e un modello sottoposto a fine-tuning senza accesso a etichette di test esterne.

La domanda centrale è se la copertura di un risolutore verificabile predica l'accuratezza di un modello che tenta di apprendere la procedura tramite CoT. Lo studio si concentra specificamente su compiti in cui la soluzione richiede la ricerca (es. backtracking) rispetto a compiti che sono computabili in avanti (es. aritmetica, conversione di unità).

Metodologia

La ricerca impiega una pipeline rigorosa e strumentata per isolare l'apprendibilità dal rumore dei dati o dai limiti architettonici:

1. Costruzione del Benchmark: Sono state definite nove categorie di compiti, tra cui numeri romani, conversione di unità, fisica della caduta libera, cifrari a sostituzione monoalfabetica, induzione di regole booleane a 8 bit, induzione di equazioni e due famiglie di criptaritmi (deduzione e indovinello).
2. Reverse Engineering del Solver: L'autore ha effettuato il reverse engineering dei generatori deterministici in solver Python. Cinque compiti hanno prodotto solver con un'accuratezza $\ge$ 98%. Il compito del criptaritmo è stato risolto tramite un solver di ricerca con backtracking che ha raggiunto circa il 71% di accuratezza (il resto essendo informazionalmente ambiguo).
3. Generazione di CoT Sintetico: I solver sono stati strumentati per narrare i propri passaggi nello stile ASCII nativo del modello base. È stata imposta una disciplina critica: ogni "verdetto" (es. "scarta questo candidato") doveva essere testimoniato, ovvero l'evidenza che costringeva la decisione doveva essere esplicitamente ribadita sulla stessa riga.
4. Regime di Addestramento:
   • Modello Base: Nemotron-3-Nano-30B-A3B (un modello ibrido Mamba-2/Mixture-of-Experts).
   • Adapter: Adapter LoRA con Rank $\le$ 32 addestrati tramite Supervised Fine-Tuning (SFT) su CoT sintetico.
   • Escalation: Quando l'SFT ha raggiunto un plateau, l'autore ha applicato Reinforcement Learning from Verifiable Rewards (RLVR/GRPO) e l'addestramento Self-Taught Reasoner (STaR), raccogliendo le proprie esecuzioni (rollout) di successo del modello.
5. Valutazione: I modelli sono stati valutati su righe di addestramento reali trattenute (agendo come set di test) sotto decoding greedy. Lo studio ha incluso anche un controllo dell'architettura (testando Transformer densi e MoE da 3B a 671B) e un intervento causale (rivelando parti della chiave del cifrario per testare la derivabilità in avanti).

Contributi Chiave e Risultati

1. Il Gap Solvability–Learnability (Risolvibilità–Apprendibilità)

Il paper quantifica una divergenza netta tra l'accuratezza del solver e l'accuratezza del modello.

• Compiti Computabili in Avanti: Per compiti come numeri romani, conversione di unità e semplici cifrari, la copertura del solver (vicina al 100%) si traduce direttamente nell'accuratezza del modello ($\ge$ 0,99).
• Compiti di Ricerca: Per il criptaritmo, il solver raggiunge circa il 71% di accuratezza, ma il modello fine-tuned si ferma a un tetto di 0,01–0,07, indipendentemente dal metodo di addestramento (SFT, RLVR, STaR) o dal design del CoT (sono stati testati 11 diversi design).
• Manipolazione di Bit: Questo compito si colloca nel mezzo. Il solver raggiunge il 98,9%, ma il modello raggiunge solo lo 0,678. Il gap è colmato parzialmente da STaR, che permette al modello di imitare le proprie ricerche di successo, suggerendo che il modello può apprendere la ricerca se è in grado di eseguirla all'interno della finestra di contesto.

2. Meccanismo di Fallimento: "Verdict-as-Token" (Verdetto come Token)

Il paper identifica un particolare modo di fallimento nei compiti di ricerca chiamato "verdict-as-token".

• Osservazione: Nelle tracce del criptaritmo, il modello esegue correttamente l'aritmetica nel 97–100% delle righe. Tuttavia, il verdetto (la conclusione che un candidato è invalido) è spesso scollato dall'evidenza presente su quella riga.
• Meccanismo: Sotto teacher forcing, il modello impara a emettere una frase fissa (es. "nessuno corrisponde $\to$ scarta") perché appare sempre in un contesto corretto durante l'addestramento. Durante l'inferenza (esecuzione libera), questa frase viene attivata incondizionatamente, anche quando l'aritmetica sulla riga la contraddice.
• Evidenza: Un audit di fedeltà per riga ha mostrato che, mentre la correttezza aritmetica era quasi perfetta, la fedeltà logica del verdetto (la conclusione segue dai numeri?) era solo del 16–57%.

3. Indipendenza dall'Architettura e Derivabilità in Avanti

Il fallimento non è specifico dell'architettura ibrida Mamba-2/MoE.

• Controllo dell'Architettura: L'addestramento dello stesso corpus di criptaritmi su Transformer densi (Llama-3.2-3B, Qwen3.5-4B) e Transformer MoE (gpt-oss-20b) ha prodotto lo stesso pavimento di accuratezza $\le$ 0,04.
• Intervento Causale: Rivelare l'intera chiave del cifrario (trasformando il compito da ricerca a lookup in avanti) ha elevato l'accuratezza del modello dallo 0,03 allo 0,571. Rivelare solo metà della chiave ha aiutato appena.
• Conclusione: Il vincolo limitante è la derivabilità in avanti. Un compito la cui unica soluzione onesta è la ricerca con backtracking su una struttura priva di informazioni non ammette un CoT fedele in avanti. Senza una traccia in avanti da imitare, l'SFT apprende solo la forma superficiale della ricerca, non la sua logica.

4. L'Uscita di Sicurezza: Memorizzazione, non Ricerca

Il paper dimostra che il compito è apprendibile, ma non tramite la distillazione del processo di ricerca.

• La Soluzione al 1° Posto: Il vincitore della competizione (Private LB 0.92) non ha insegnato al modello a cercare. Inveve, ha precomputato il nucleo combinatorio della ricerca (un catalogo di 4.205 firme di candidati per il criptaritmo) e lo ha fatto memorizzare. Il CoT del modello si è quindi ridotto al richiamo (lookup nel catalogo) più verifica limitata.
• Implicazione: Ciò che si distilla è la memorizzazione e la verifica, non la ricerca stessa. Una ricerca verificabile è apprendibile come CoT solo se la sua struttura di candidati può essere compressa in un catalogo finito abbastanza piccolo da essere memorizzato.

Significato e Rivendicazioni

Il contributo primario del paper è un risultato negativo con evidenze convergenti: una ricerca verificabile non è un chain-of-thought apprendibile.

• Confutazione dell'Intuizione: L'assunto che "qualsiasi compito risolvibile è apprendibile tramite CoT" fallisce per le procedure che richiedono il backtracking su strutture prive di informazioni.
• Identificazione del Meccanismo: Il paper isola il "verdict-as-token" come il modo di fallimento specifico in cui l'SFT scollega la forma di un passaggio di ragionamento dal suo contenuto logico, portando a tracce non fedeli che collassano durante l'inferenza.
• Euristica Predittiva: L'autore propone un test di pre-training per l'apprendibilità: la chiusura puramente in avanti (senza backtracking) copre una frazione significativa di istanze? Se non è così, il compito probabilmente resisterà alla distillazione CoT.
• Distinzione: Il paper distingue tra solvability (una soluzione esiste) e learnability (un modello può ragionare per trovarla). La copertura del solver predice l'accuratezza del modello solo quando il solver è una mappa in avanti; per le procedure di ricerca, non predice quasi nulla.

L'autore afferma esplicitamente che il contributo non è una nuova capacità del modello o un ranking in una competizione (il suo miglior punteggio era 0,85, la mediana del campo), ma un "conto pulito e strumentato di dove e perché una ricerca verificabile fallisce nel diventare ragionamento del modello". Le conclusioni suggeriscono che, per compiti di ricerca complessi, la strada verso alte prestazioni risiede nel riformulare il compito per separare la memorizzazione dal calcolo, piuttosto che tentare di distillare il processo di ricerca stesso.