Riepilogo Tecnico: INFUSER – L'influenza guidata dall'auto-evoluzione migliora il ragionamento

1. Definizione del Problema

I recenti progressi nel ragionamento dei grandi modelli linguistici (LLM) si basano pesantemente sul Reinforcement Learning con Ricompense Verificabili (RLVR). Tuttavia, la scalabilità dell'RLVR è limitata dalla scarsità di dati di addestramento di alta qualità e verificabili, che sono costosi da curare. L'auto-evoluzione offre una via d'uscita permettendo a un modello di generare i propri dati di addestramento da documenti non strutturati o dai propri output, eliminando la necessità di modelli docenti esterni o corpora curati.

I metodi di auto-evoluzione esistenti affrontano due limitazioni primarie:

1. Fondamento (Grounding): I metodi di puro self-play (es. R-Zero) si affidano esclusivamente alla conoscenza pregressa del modello, rischiando risposte di riferimento allucinatate. I metodi basati su esecutori (es. AZR) ripristinano la verificabilità ma sono limitati a domini con esecutori formali (codice, matematica), fallendo nel sfruttare l'abbondante testo non strutturato.
2. Obiettivi del Generatore: Gli approcci basati su documenti (es. SPICE) spesso premiano il generatore in base a euristiche di difficoltà (es. massimizzare il tasso di fallimento del solver intorno al 50%). La difficoltà è una metrica grossolana per l'utilità; una domanda può essere "difficile" a causa di ambiguità o disallineamento con la fonte, senza garantire alcun miglioramento del solver sulla distribuzione target.

La domanda centrale affrontata è: Possiamo addestrare un generatore per produrre dati di addestramento radicati nei documenti che migliorino realmente l'attuale solver su una distribuzione target, evolvendo contemporaneamente con esso?

2. Metodologia: INFUSER

Gli autori propongono INFUSER (INFluence-gUided Self-Evolution Improves Reasoning), un framework di co-addestramento iterativo che inquadra l'auto-evoluzione come un gioco a due livelli tra un Generatore ($\pi_\phi$) e un Solver ($\pi_\theta$). Entrambi sono inizializzati dallo stesso modello pre-addestrato.

2.1 Formulazione del Gioco a Due Livelli

• Livello Inferiore (Solver): Il solver si addestra su un curriculum di coppie domanda-risposta (QA) ($Q_\phi$) generate dal generatore da un pool di documenti non strutturati ($D_{doc}$). Il solver ottimizza per massimizzare l'accuratezza su questo curriculum utilizzando l'RLVR standard (es. Dr.GRPO).
• Livello Superiore (Generatore): Il generatore mira a produrre un curriculum $Q_\phi$ tale che, dopo l'aggiornamento del solver, le prestazioni del solver migliorino su una distribuzione target ($P$).
• Natura Cooperativa: A differenza del self-play avversariale, il generatore è premiato per aiutare il solver a migliorare sulla distribuzione target, non per sconfiggerlo.

2.2 Punteggio di Influenza Consapevole dell'Ottimizzatore

Per evitare il costo proibitivo della differenziazione esatta a due livelli (retropropagazione attraverso l'intero ciclo di addestramento del solver), INFUSER impiega un'approssimazione del primo ordine ispirata alle funzioni di influenza.

• Ancora del Dev-Set: Un piccolo set di sviluppo tenuto separato ($D_{dev}$), campionato dalla distribuzione target $P$, viene utilizzato per definire la "direzione di miglioramento". Il gradiente delle prestazioni del solver sul $D_{dev}$ ($\hat{g}_{dev}$) funge da vettore target.
• Calcolo dell'Influenza: Per ogni coppia QA generata $(q, a_\phi)$, il sistema stima la direzione dell'aggiornamento dei parametri del solver ($\hat{\Gamma}(q, a_\phi)$) indotta dall'addestramento su quella specifica coppia. Questa direzione è precondizionata dallo stato dell'ottimizzatore AdamW per riflettere l'effettivo passo di aggiornamento.
• Segnale di Ricompensa: Il punteggio del generatore è la similarità del coseno tra il gradiente target ($\hat{g}_{dev}$) e la direzione di aggiornamento indotta ($\hat{\Gamma}$):
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  Un punteggio positivo indica che l'addestramento su $(q, a_\phi)$ è allineato con il miglioramento delle prestazioni sulla distribuzione target. Questo punteggio sostituisce la tradizionale metrica di "difficoltà".

2.3 DuGRPO: Dual-Normalized GRPO

Il punteggio di influenza è un segnale continuo e rumoroso, il che pone sfide per la standard Group Relative Policy Optimization (GRPO).

• Sfida: Normalizzare le ricompense solo all'interno di un gruppo di documenti (stile GRPO) amplifica il rumore nei gruppi a bassa varianza. Normalizzare solo attraverso il batch (stile BatchNorm) permette ai gruppi ad alta varianza di dominare.
• Soluzione: Gli autori propongono DuGRPO, un estimatore di vantaggio a doppia normalizzazione che combina la normalizzazione all'interno del gruppo e tra i gruppi:
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  dove $\sigma_d$ è la deviazione standard all'interno del gruppo di documenti e $\sigma_B$ è la media delle deviazioni standard attraverso il batch. Ciò stabilizza l'addestramento smorzando il rumore a bassa varianza e prevenendo la dominanza ad alta varianza.

2.4 Ciclo di Addestramento

L'algoritmo procede in fasi per ogni iterazione:

1. Riferimento Dev: Calcola il gradiente target $\hat{g}_{dev}$ dai rollout del solver su $D_{dev}$.
2. Generazione: Il generatore campiona documenti e produce coppie QA.
3. Valutazione del Solver: Il solver tenta di rispondere alle domande generate; vengono stimati i gradienti per ogni domanda.
4. Scoring dell'Influenza: Calcola i punteggi di influenza usando la similarità del coseno con $\hat{g}_{dev}$.
5. Aggiornamenti: Aggiorna il generatore usando DuGRPO con i punteggi di influenza come ricompense; aggiorna il solver usando Dr.GRPO con ricompense di correttezza binaria.

3. Contributi Chiave

1. Auto-evoluzione Guidata dall'Influenza: Un nuovo framework che sostituisce le ricompense del generatore basate sulla difficoltà con un punteggio di influenza consapevole dell'ottimizzatore, ottimizzando direttamente l'utilità su una distribuzione target invece della semplice difficoltà.
2. DuGRPO: Una nuova variante della policy gradient progettata specificamente per la natura continua e rumorosa delle ricompense basate sull'influenza, consentendo un addestramento stabile del generatore.
3. Co-evoluzione Radicata nei Documenti: Un metodo che sfrutta libri di testo non strutturati per generare dati di addestramento, evitando la necessità di docenti esterni o esecutori, mantenendo la verificabilità attraverso il ragionamento del solver stesso.
4. Scalabilità: Dimostrare che un generatore da 8B in co-evoluzione può superare un generatore "pensante" da 32B congelato in compiti di matematica e coding, suggerendo che l'adattamento è più critico della scala bruta del modello per la generazione del curriculum.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su anchor Qwen3-4B-Base e Qwen3-8B-Base, confrontando INFUSER con baseline forti (R-Zero, AZR, R-Few, SPICE) e un General-Reasoner baseline.

• Guadagni di Performance: INFUSER ha ottenuto i punteggi più alti in 8 su 14 benchmark. Su Qwen3-8B-Base, ha mostrato miglioramenti relativi superiori al 20% su OlympiadBench (Math), SuperGPQA e GPQA-Diamond rispetto al modello base.
• Scalabilità: I guadagni di performance di INFUSER sono stati coerenti tra le dimensioni dei modelli (da 4B a 8B), mentre le baseline come R-Zero e SPICE hanno mostrato un significativo decadimento delle prestazioni all'aumentare della scala.
• Qualità del Generatore: L'analisi ha mostrato che il generatore in co-evoluzione produce domande sempre più ben formulate e impegnative nel tempo. Il divario "Strong-vs-Weak" (differenza di accuratezza tra un modello forte e il modello base sulle domande generate) è aumentato, indicando che il generatore sta creando domande che sono difficili per il modello base ma risolvibili da modelli più forti (ovvero, sfide di ragionamento di alta qualità).
• Studi di Ablazione:
  • Necessità del Generatore: Rimuovere il generatore (addestramento diretto su $D_{dev}$) ha portato all'overfitting sul dev set e a una scarsa generalizzazione.
  • Co-evoluzione: Un generatore da 8B congelato è stato meno performante del generatore da 8B in co-evoluzione, specialmente nella matematica. Un generatore da 32B congelato ha superato il generatore da 8B in co-evoluzione su compiti ricchi di conoscenza (ragionamento generale, medicina), evidenziando che l'adattamento batte la scala per il ragionamento.
  • Componenti: Sia il punteggio di influenza consapevole dell'ottimizzatore che la normalizzazione DuGRPO sono risultati essenziali; rimuoverli ha causato una regressione delle prestazioni ai livelli di un generatore congelato.
• Estensioni:
  • Anchor con Instruction-Finetuning: INFUSER ha migliorato con successo un anchor con instruction-finetuning (OLMo-3-7B-Instruct-SFT), superando gli altri in 10 di 13 benchmark.
  • Hybrid RLVR: Combinare l'auto-evoluzione basata su documenti con l'RLVR matematico verificabile tramite regole ha stabilizzato il "collasso della lunghezza della risposta" osservato nell'addestramento solo scientifico, riducendo la varianza del seed nelle prestazioni matematiche.

5. Significato e Rivendicazioni

Il paper afferma che INFUSER offre una via scalabile verso un ragionamento più forte, convertendo abbondanti corpora non strutturati in segnali di addestramento strutturati e allineati all'utilità, senza dipendere da dataset curati o modelli docenti.

• Cambio di Paradigma: Sposta l'obiettivo del generatore da "rendere le cose difficili" a "rendere le cose utili", utilizzando le funzioni di influenza per allineare la generazione del curriculum alla traiettoria di apprendimento del solver.
• Efficienza: Dimostra che un generatore più piccolo in co-evoluzione può superare un generatore molto più grande e congelato nei compiti di ragionamento, suggerendo che il processo di adattamento del curriculum è più prezioso della conoscenza statica di un modello più grande.
• Generalizzabilità: Il framework si è dimostrato flessibile, funzionando sia con modelli base che con modelli instruction-finetuned, ed è capace di integrare altri segnali RLVR (come i verificatori matematici) per stabilizzare la dinamica dell'addestramento.

Gli autori concludono che, sebbene il framework attualmente dipenda da un piccolo dev set per ancorare la direzione target, rappresenta una direzione promettente per scalare le capacità di ragionamento accoppiando la generazione di curriculum basata sull'utilità con pool di documenti più ampi e orizzonti di addestramento più lunghi.