Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

Sintesi Tecnica: Il Paradosso dei Premi Spuri: Comprendere Meccanicisticamente come l'RLVR Attiva le Scorciatoie di Memorizzazione negli LLM

Problema
L'Apprendimento per Rinforzo con Premi Verificabili (RLVR - Reinforcement Learning with Verifiable Rewards) è diventato un paradigma dominante per potenziare le capacità di ragionamento dei Grandi Modelli Linguistici (LLM), in particolare in domini deterministici come la matematica. L'ipotesi prevalente è che i guadagni di prestazione derivino dall'ottimizzazione di policy di ragionamento robuste tramite supervisione basata su verità di base (ground-truth). Tuttavia, recenti osservazioni empiriche sfidano questa narrazione. Modelli come Qwen2.5-Math hanno dimostrato miglioramenti significativi delle prestazioni su benchmark standard (es. MATH-500, AIME) anche quando addestrati con "premi spuri" — segnali che sono casuali, basati sul formato o interamente errati. Sebbene studi precedenti suggerissero che tali guadagni potessero derivare dalla contaminazione dei dati (memorizzazione dei set di test durante il pre-training), rimaneva una lacuna critica: se i dati erano già presenti, perché l'accuratezza iniziale era limitata, e come fa l'addestramento con premi errati a sbloccare paradossalmente questa prestazione? Questo articolo investiga i meccanismi interni attraverso i quali l'RLVR spurio innesca uno spostamento dal ragionamento generale alla "memorizzazione ostinata".

Metodologia
Gli autori utilizzano una suite di strumenti di interpretabilità meccanicistica per scomporre la dinamica di apprendimento del modello Qwen2.5-Math-7B sotto l'addestramento RLVR spurio. La metodologia combina analisi statiche e dinamiche:

1. Analisi della Perplessità: Lo studio traccia la perplessità dei token di risposta rispetto ai token del prompt per identificare anomalie macroscopiche di apprendimento.
2. Path Patching: Per attribuire causalmente gli output a specifiche componenti del modello, gli autori scambiano le attivazioni tra campioni di "Leakage" (dove la memorizzazione è attiva) e campioni "Stable" (dove il ragionamento è mantenuto) attraverso diversi strati. Ciò isola gli archi nel grafo computazionale responsabili dell'attivazione del recupero della memoria.
3. Logit Lens & Divergenza di Jensen-Shannon (JSD): Questi strumenti sono utilizzati per monitorare l'emergere degli strati dei token e quantificare l'allineamento tra gli stati latenti intermedi e la distribuzione finale dell'output. Alti punteggi JSD indicano una significativa computazione rimanente prima che il modello si impegni su una risposta.
4. Equazioni Differenziali Neurali (NDE): Gli aggiornamenti dello stream residuo sono modellati come una traiettoria continua ($dx(t)/dt = F_\theta(x(t))$). Ciò consente l'identificazione matematica dei "punti di biforcazione" in cui le traiettorie di memorizzazione e di ragionamento divergono nello spazio latente.
5. Intervento Meccanicistico: Gli autori eseguono lo steering causale scalando le chiavi (keys) di specifici neuroni MLP identificati come critici per il circuito di memorizzazione. Questo testa la sufficienza causale di tali neuroni nell'attivare o sopprimere la scorciatoia.

Contributi Chiave e Risultati

1. Il Paradosso della Perplessità
Lo studio identifica un "Paradosso della Perplessità" unico per i modelli che esibiscono guadagni da RLVR spurio. Sui dataset contaminati, la perplessità del modello sui token di risposta diminuisce significativamente, mentre la perplessità sul lato del prompt (coerenza) degrada. Questa divergenza suggerisce che il modello stia bypassando il ragionamento generale per recuperare direttamente soluzioni memorizzate, sacrificando la qualità del modello linguistico sull'input per minimizzare la perdita (loss) sull'output.

2. Scoperta del Circuito Anchor–Adapter
Attraverso l'analisi meccanicistica, gli autori localizzano un circuito precedentemente sconosciuto responsabile di questo comportamento, composto da due distinti componenti:

• Ancora Funzionale (Strati 18–20): Questi strati intermedi fungono da trigger decisivo. Il path patching e l'analisi NDE rivelano che la "forza di separazione" tra i campioni di leakage e quelli stabili raggiunge il picco qui. È in questo punto che il modello decide causalmente di recuperare una risposta memorizzata e inietta un token di trigger ad alta probabilità.
• Adapter Strutturali (Strati 21+): Gli strati successivi subiscono una drastica riorganizzazione dei pesi (alta JSD in $W_{up}$ e $W_{gate}$) non per memorizzare nuova conoscenza, ma per trasformare la rappresentazione interna al fine di accomodare il segnale proveniente dall'Ancora Funzionale. Questi strati agiscono come adapter che ruotano lo spazio delle feature per allinearlo alla soluzione memorizzata.

3. Validazione Empirica della Contaminazione
Gli studi di ablazione confermano che questo circuito dipende dal dataset. Resettando gli strati dell'Ancora Funzionale ai pesi del modello base, si verifica un calo significativo dell'accuratezza sui benchmark contaminati (es. MATH-500), lasciando invece pressoché invariate le prestazioni sui dataset puliti e privi di leakage (es. LiveMathBench). Viceversa, manipolare questi strati ha un impatto minimo sui campioni "Stable" che si affidano al ragionamento genuino, indicando che le capacità di ragionamento generale sono distribuite in tutta la rete e non dipendono criticamente da questo specifico circuito.

4. Causal Steering tramite Intervento MLP
Gli autori dimostrano che scalare le chiavi di specifici neuroni MLP all'interno del circuito identificato permette uno steering causale bidirezionale.

• Amplificazione: Aumentare il fattore di scala potenzia artificialmente la dipendenza del modello dai dati contaminati, recuperando le prestazioni anche sui campioni dove il modello di base aveva fallito.
• Soppressione: Diminuire il fattore di scala sopprime la scorciatoia, rivelando le prestazioni basali sottostanti del modello.
  Ciò fornisce una prova causale definitiva che questi neuroni sono il meccanismo di attivazione della scorciatoia. Inoltre, viene proposto un intervento "probe-gated", che sopprime selettivamente il circuito solo quando un probe di leakage rileva un'alta probabilità di contaminazione, effettuando efficacemente l'audit di guadagni sospetti senza danneggiare le prestazioni su nuovi benchmark.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima spiegazione meccanicistica di come i segnali RLVR spuri riconfigurino fisicamente l'architettura interna di un LLM per favorire la memorizzazione rispetto al ragionamento. Identificando il circuito "Anchor–Adapter" e il "Paradosso della Perplessità", gli autori offrono una tabella di marcia per:

• Distinguere Capacità da Contaminazione: Fornire strumenti per differenziare la generalizzazione del ragionamento genuino dal recupero di dati pre-memorizzati.
• Mitigare la Contaminazione dei Dati: Dimostrare che interventi specifici possono sopprimere la prestazione guidata dalla contaminazione senza necessità di riaddestramento, offrendo un metodo per "decontaminare" i modelli post-hoc.
• Migliorare la Sicurezza dell'RLVR: Evidenziare la vulnerabilità dell'RLVR all'ottimizzazione tramite scorciatoie, suggerendo la necessità di funzioni di ricompensa più sofisticate e benchmark di valutazione resistenti al leakage.

Gli autori mantengono una posizione modesta, inquadrando le loro scoperte come prova di un meccanismo specifico all'interno della famiglia Qwen quando opera su dati contaminati, piuttosto che come una legge universale per tutti gli LLM. Sottolineano che il loro lavoro funge da strumento diagnostico per migliorare la trasparenza e la sicurezza dei sistemi di IA impiegati in domini critici.