💬 NLP

SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

SD-Search introduce un framework di auto-distillazione in hindsight on-policy che permette agli agenti di ragionamento potenziati dalla ricerca di generare segnali di supervisione a livello di passo internamente, addestrando un modello studente a imitare un insegnante condizionato al hindsight, superando così i limiti di assegnazione del credito del reinforcement learning basato sulla ricompensa finale senza richiedere insegnanti esterni o annotazioni aggiuntive.

Autori originali: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a uno studente come risolvere un mistero complesso. Lo studente ha una biblioteca (internet) che può consultare, ma non sa cosa chiedere al bibliotecario.

Nello stato attuale della ricerca sull'intelligenza artificiale, la maggior parte dei metodi di addestramento è come un insegnante che valuta lo studente solo sulla risposta finale.

Il Problema: Se lo studente ottiene la risposta corretta, l'insegnante dice: "Ottimo lavoro!" Ma se lo studente ha avuto fortuna con una domanda sbagliata e una risposta fortunata, l'insegnante dice comunque "Ottimo lavoro!". Lo studente non impara mai che la sua domanda specifica era in realtà terribile. Sa solo che il risultato era buono. Questo è chiamato "Ricompensa per l'esito".
La Vecchia Soluzione: Alcuni ricercatori hanno cercato di risolvere il problema assumendo un "Detective Maestro" super-intelligente e costoso (un'enorme IA esterna) per osservare lo studente e dire: "Quella era una buona domanda", oppure "Quella era una cattiva domanda". Questo funziona, ma è incredibilmente costoso e lento perché hai bisogno di quel gigantesco Detective Maestro per ogni singola sessione di addestramento.

SD-Search è un modo nuovo e intelligente per insegnare allo studente senza aver bisogno del costoso Detective Maestro. Ecco come funziona, usando una semplice analogia:

La Classe "Viaggio nel Tempo"

Immagina che lo studente stia sostenendo un esame.

Lo Studente (Il "Presente" Sé): Lo studente è seduto alla sua scrivania, guardando la domanda. Deve decidere cosa cercare adesso, senza sapere se avrà ragione o torto. Sta indovinando basandosi su ciò che sa in quel momento.
L'Insegnante (Il "Futuro" Sé): Ora, immagina lo stesso studente, ma questa volta ha un quaderno magico che viaggia nel tempo. Questo quaderno contiene i risultati di molti tentativi sulla stessa domanda. Dice: "Nel Tentativo A, abbiamo chiesto 'Chi è il padre?' e abbiamo ottenuto la risposta giusta. Nel Tentativo B, abbiamo chiesto 'Qual è il colore del cielo?' e abbiamo sbagliato".

SD-Search usa questo quaderno magico per creare una versione "Insegnante" dello studente.

L'Insegnante guarda la domanda e legge il quaderno. Poiché l'Insegnante sa quali domande hanno portato al successo e quali al fallimento, può dire: "Ah, vedo che chiedere del padre era la mossa giusta. Avrei chiesto quello".
Allo Studente (che non ha ancora il quaderno) viene poi chiesto di copiare le scelte dell'Insegnante. L'obiettivo è far sì che le ipotesi dello Studente corrispondano alla saggezza "retrospettiva" dell'Insegnante.

Come Funziona nella Pratica

Il documento definisce questo "Auto-distillazione Retrospettiva On-Policy". Analizziamo il termine:

Auto-distillazione: L'IA si sta insegnando da sola. Non ha bisogno di un esperto esterno. Genera un mucchio di tentativi (rollout), guarda i risultati e poi usa i modelli "di successo" per insegnare alla versione "studente" di se stessa.
Retrospettiva: Guarda indietro a ciò che è accaduto dopo che la decisione è stata presa per giudicare se la decisione era buona.
On-Policy: Lo fa utilizzando i propri dati attuali, non dati provenienti da un'IA diversa e più grande.

Il Focus sulle "Query di Ricerca"

Il documento si concentra specificamente sulle query di ricerca (le domande che l'IA pone al motore di ricerca).

Nei vecchi metodi, se la risposta finale era corretta, ogni parola scritta dall'IA (incluse le domande di ricerca) riceveva un adesivo "bravo", anche se la domanda di ricerca era vaga o sbagliata.
In SD-Search, l'IA riceve un segnale specifico di "bravo" o "cattivo lavoro" per ogni singola domanda di ricerca. Se la domanda di ricerca ha portato a un vicolo cieco, l'Insegnante (con il quaderno che viaggia nel tempo) mostra allo Studente una domanda diversa e migliore. Lo Studente impara a imitare la domanda migliore.

I Risultati (La "Classifica")

I ricercatori hanno testato questo su sette diversi benchmark di risposta alle domande (come un quiz di cultura generale).

Prestazioni: Il loro metodo (SD-Search) ha funzionato esattamente quanto i metodi costosi che utilizzano un'enorme IA "Detective Maestro" da 72 miliardi di parametri, e meglio dei metodi che guardano solo la risposta finale.
Efficienza: Hanno fatto questo senza bisogno di aiuti esterni, senza API costose e senza fasi di addestramento aggiuntive. Hanno semplicemente usato il ciclo di addestramento standard, aggiungendo un piccolo passaggio "di viaggio nel tempo" in cui l'IA rivede i propri tentativi passati.
Scalabilità: Man mano che il modello IA diventava più grande (da 3 miliardi a 7 miliardi di parametri), questo metodo di auto-insegnamento continuava a migliorare, mentre i metodi che si affidavano al "Detective Maestro" iniziavano a perdere il loro vantaggio.

In Sintesi

SD-Search è come uno studente che, dopo aver sostenuto un esame, ha la possibilità di guardare la chiave delle risposte e gli appunti dei suoi compagni che hanno sostenuto l'esame nello stesso momento. Quindi ripete l'esame, cercando di fare esattamente le stesse domande che le versioni "di successo" di se stesso avevano fatto. Impara dai propri errori e successi passati, diventando più intelligente senza aver mai bisogno di un insegnante umano o di un supercomputer per dirgli cosa fare.

Riepilogo Tecnico: SD-Search

Enunciato del Problema

Gli agenti di ragionamento potenziati dalla ricerca, che alternano ragionamento interno a chiamate di recupero esterne, dipendono fortemente dalla qualità delle singole query di ricerca. Tuttavia, gli approcci standard di apprendimento per rinforzo (RL) per questi agenti, come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), utilizzano tipicamente ricompense a livello di esito (ad esempio, la correttezza della risposta finale). Questa formulazione assegna la stessa ricompensa a livello di traiettoria a ogni token in un rollout, fallendo nel fornire un credito specifico per il passaggio per le singole decisioni di ricerca. Di conseguenza, il modello non riceve alcun segnale che distingua una query ben formata e ad alto valore da una ridondante o scadente.

I recenti tentativi di affrontare questo problema tramite supervisione di processo (ad esempio, Thinker, StepSearch) iniettano segnali a livello di passaggio affidandosi a risorse esterne: o un modello insegnante significativamente più grande (ad esempio, 72B parametri) per decomporre i problemi, o annotazioni da sistemi esterni più potenti (ad esempio, GPT-4o). Questi metodi migliorano le prestazioni ma introducono costi significativi, dipendenze da API o modelli esterni e limitano l'applicabilità a contesti in cui tali risorse sono disponibili.

Metodologia: SD-Search

Gli autori propongono SD-Search (Auto-distillazione Hindsight On-Policy), un framework che deriva la supervisione a livello di passaggio interamente dalla politica stessa, eliminando la necessità di insegnanti esterni o annotazioni ausiliarie. L'innovazione centrale è l'auto-distillazione hindsight on-policy, dove un singolo modello svolge due ruoli distinti solo dal loro contesto di condizionamento:

Vista Studente: La politica opera in condizioni standard di inferenza, vedendo solo il prefisso della traiettoria disponibile al momento della decisione.
Vista Insegnante: Gli stessi parametri della politica sono condizionati su un blocco hindsight ( $h(G)$ ). Questo blocco aggrega le traiettorie di ricerca e le etichette di esito (CORRETTO/ERRATO) di un gruppo di rollout fratelli campionati dalla stessa domanda. Crucialmente, l'insegnante vede una vista "mascherata" di questi rollout, trattenendo solo gli span di ricerca e le etichette di esito, scartando il ragionamento a valle, i documenti recuperati e le risposte finali per impedire che la risposta sia direttamente estraibile.

L'Obiettivo di Addestramento

Il metodo allinea la distribuzione delle query dello studente con quella dell'insegnante alle posizioni delle query di ricerca ( $Q_\tau$ ) utilizzando una perdita di Divergenza di Jensen-Shannon (JSD) a livello di token.

Distribuzione dell'Insegnante: Poiché l'insegnante conosce gli esiti dell'intero gruppo di rollout, la sua distribuzione predittiva sui token di ricerca codifica implicitamente quali query hanno portato al successo e quali no.
Allineamento dello Studente: Lo studente minimizza la JSD tra la propria distribuzione e quella dell'insegnante alle posizioni delle query. Questo fornisce un segnale denso a livello di passaggio che completa i vantaggi a livello di traiettoria grezzi del GRPO.
Integrazione: La perdita totale è $L_{totale} = L_{GRPO} + \alpha_{SD} L_{SD}$ . Il termine JSD viene aggiunto come perdita ausiliaria senza modificare lo stimatore del vantaggio o il processo di campionamento dei rollout GRPO.

Scelte Chiave di Progettazione

Mascheramento Futuro: Il blocco hindsight maschera i token non di ricerca (THINK, DOCUMENTI, RISPOSTA) per impedire all'insegnante di "barare" vedendo la risposta nel contesto recuperato, il che collasserebbe la distribuzione di ricerca.
Contrasto di Esito: L'insegnante si condiziona sulle etichette binarie di esito dei rollout fratelli. Questo contrasto permette all'insegnante di rafforzare i pattern di query di successo e ridistribuire la massa di probabilità lontano da quelli falliti, anche se il rollout specifico sotto supervisione finisce in un fallimento.
Warmup: Viene impiegato un periodo di warmup in cui il coefficiente di distillazione è zero, permettendo alla politica di apprendere il formato strutturato della traiettoria prima che venga introdotto il segnale di auto-distillazione.

Contributi Chiave

Framework: SD-Search è il primo framework a fornire supervisione a livello di passaggio per il ragionamento potenziato dalla ricerca tramite auto-distillazione hindsight on-policy, richiedendo nessun insegnante esterno o annotazioni oltre alle coppie domanda-risposta standard utilizzate per l'addestramento con ricompensa di esito.
Obiettivo: Un nuovo obiettivo JSD a livello di token che allinea la distribuzione delle query della politica con una distribuzione condizionata hindsight. Questo si integra perfettamente nelle pipeline GRPO esistenti con un'unica passata in avanti ausiliaria e un solo termine di perdita.
Validazione Empirica: Estesi esperimenti su sette benchmark QA a singolo e multi-hop dimostrano che SD-Search eguaglia o supera le baseline di supervisione di processo che si affidano a risorse esterne, superando al contempo le baseline di pura ricompensa di esito.

Risultati Sperimentali

Gli autori hanno valutato SD-Search utilizzando i backbones Qwen2.5-3B e Qwen2.5-7B su sette benchmark (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

Scala 3B: SD-Search ha raggiunto una Exact Match (EM) media di 0.428, superando le baseline di ricompensa di esito più forti (AutoRefine: 0.405, MR-Search: 0.414) e corrispondendo statisticamente alla baseline di supervisione di processo leader Thinker (0.430), nonostante Thinker si affidi a un insegnante da 72B.
Scala 7B: SD-Search ha raggiunto una EM media di 0.476, superando tutte le baseline, incluso Thinker (0.452) e AutoRefine (0.455).
Comportamento di Scalabilità: A differenza di Thinker, il cui guadagno di prestazioni rispetto alle baseline di ricompensa di esito diminuisce e alla volta diventa negativo all'aumentare delle dimensioni del modello (a causa dell'insegnante esterno fisso che diventa un collo di bottiglia), i guadagni di SD-Search rimangono positivi su tutte le scale (da 1.5B a 14B). Ciò suggerisce che il metodo scala con la capacità di lettura in contesto dello studente stesso.
Efficienza: Il metodo comporta un sovraccarico di addestramento end-to-end del 15.5% (misurato su 8×GPU H800) rispetto alle baseline di ricompensa di esito. Questo sovraccarico è contenuto interamente all'interno del ciclo RL standard, evitando i massicci costi di inferenza dei modelli insegnanti da 72B o delle pipeline di annotazione GPT-4o richiesti dai metodi concorrenti.

Significato e Affermazioni

Il paper afferma che il segnale a livello di passaggio tradizionalmente ottenuto da fonti esterne può essere recuperato dalla politica stessa attraverso il condizionamento hindsight. Sfruttando il contrasto tra rollout di successo e fallimento all'interno di un singolo gruppo di addestramento, la politica impara a identificare decisioni di ricerca di alta qualità senza supervisione esterna.

Gli autori posizionano SD-Search come un'alternativa più accessibile e scalabile alla supervisione di processo. Rimuove la dipendenza da modelli o API esterni costosi, rendendo la supervisione di alta qualità a livello di passaggio fattibile per i praticanti con risorse limitate. Inoltre, i risultati suggeriscono che l'"insegnante" nell'auto-distillazione non ha bisogno di essere un modello separato e più grande; piuttosto, la stessa politica, quando ha accesso agli esiti delle proprie esplorazioni, possiede informazioni sufficienti per guidare efficacemente la propria strategia di ricerca.

Limitazioni: Gli autori notano che il metodo si basa attualmente su etichette di esito binarie derivate da risposte gold, limitandolo a compiti con riferimenti valutabili. Inoltre, l'efficacia del contrasto hindsight potrebbe degradarsi in scenari in cui l'intero gruppo di rollout condivide lo stesso esito (tutti successo o tutti fallimento), sebbene ciò sia meno frequente a scale più piccole.