Riepilogo Tecnico: Search-E1

Enunciato del Problema

Sebbene i grandi modelli linguistici (LLM) abbiano raggiunto capacità di ragionamento solide, rimangono vincolati dalle conoscenze pre-addestrate e non possono incorporare informazioni emerse dopo l'addestramento. Gli agenti di ragionamento potenziati dalla ricerca affrontano questo problema intercalando il ragionamento interno con chiamate di recupero esterne. Tuttavia, le attuali pipeline di post-addestramento per questi agenti si basano sul rinforzo a livello di esito (RL), tipicamente utilizzando l'ottimizzazione della politica relativa di gruppo (GRPO) con una ricompensa basata esclusivamente sulla correttezza della risposta finale.

Questa supervisione a livello di traiettoria crea un limite critico: ogni token in una simulazione riceve lo stesso segnale di gradiente, indipendentemente dal fatto che una specifica query di ricerca sia stata ben formulata o ridondante. Per superare ciò, lavori recenti hanno introdotto macchinari elaborati, tra cui:

• Supervisione Esterna: Distillazione di sotto-domande da insegnanti più potenti (ad es. modelli da 72B) o derivazione di ricompense passo-passo da annotazioni di modelli come GPT-4o.
• Moduli Ausiliari: Attacco di modelli di ricompensa di processo, critici retrospettivi o stimatori intrinseci che richiedono fasi di addestramento separate o ipotesi restrittive.
• Modifiche Strutturali: Ristrutturazione delle simulazioni tramite ricerca ad albero o curricula multistadio.
• Ricompense Manuali: Sintonizzazione di bonus e penalità per specifici passaggi di recupero.

Sebbene questi metodi producano guadagni, essi gonfiano la pipeline di addestramento e vincolano la ricetta a risorse o design che potrebbero non essere universalmente disponibili. Il lavoro si chiede se tale macchinario sia necessario e propone un metodo per ottenere una supervisione passo-passo utilizzando esclusivamente i dati della politica stessa.

Metodologia: Search-E1

Search-E1 è una pipeline di auto-evoluzione che alterna GRPO standard e Auto-distillazione Offline (OFSD). Non richiede insegnanti esterni, moduli ausiliari né annotazioni oltre alle coppie domanda-risposta standard.

1. Il Round GRPO (Esplorazione)

La pipeline inizia con un round GRPO standard utilizzando una ricompensa di esito a corrispondenza esatta.

• Per ogni domanda $q$, viene campionata una serie di $G$ traiettorie dalla politica corrente $\pi_{\theta}$.
• Vengono assegnate ricompense basate sulla correttezza della risposta finale.
• La politica viene aggiornata utilizzando la perdita GRPO standard, dove il vantaggio è condiviso su tutti i token di una traiettoria. Questa fase esplora lo spazio delle traiettorie ma manca di segnali densi passo-passo.

2. Il Round OFSD (Consolidamento)

Dopo che un round GRPO converge, la politica esegue un passo di auto-distillazione offline per estrarre segnali densi a livello di token dalle proprie simulazioni.

• Estrazione di Coppie: Dal pool di simulazioni della politica convergente, vengono costruite coppie di traiettorie $(\tau_{ref}, \tau_{stu})$ per ogni domanda.
  • Riferimento ($\tau_{ref}$): La traiettoria corretta ($R=1$) con il minor numero di chiamate di recupero.
  • Studente ($\tau_{stu}$): Una traiettoria errata ($R=0$) che differisce massimamente dal riferimento, oppure la traiettoria corretta più distinta se non esiste un fratello errato.
• Condizionamento Asimmetrico: Gli stessi parametri della politica $\theta$ agiscono sia come insegnante che come studente, ma operano sotto prompt diversi:
  • Studente: Condizionato sul prompt di inferenza standard $P_S(q) = [\text{istruzione}] \parallel q$.
  • Insegnante: Condizionato su un prompt privilegiato $P_T(q, \tau_{ref}) = [\text{istruzione}] \parallel q \parallel \tau_{ref}$, che espone la traiettoria di riferimento efficiente come guida esperta.
• Obiettivo Forward KL a Livello di Token: Lo studente viene addestrato ad allineare la sua distribuzione al momento dell'inferenza con la distribuzione dell'insegnante nel contesto privilegiato.
  • La perdita è calcolata sulle posizioni generate dalla politica (escludendo il testo recuperato).
  • Un meccanismo di clipping puntuale ($\tau_{clip}$) limita il contributo dei token ad alta divergenza per prevenire la dominanza del gradiente da parte di valori anomali rari.
  • L'obiettivo è: $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$.
• Implementazione: OFSD è realizzato tramite un adattatore LoRA attaccato al checkpoint GRPO. Il passaggio dell'insegnante utilizza i pesi base congelati, mentre il passaggio dello studente utilizza i pesi LoRA attivi.

3. Il Ciclo Alternato

La pipeline itera:

1. Round GRPO: Aggiorna la politica tramite RL a livello di esito.
2. Round OFSD: Estrae coppie dalle simulazioni della politica aggiornata e addestra un adattatore LoRA per minimizzare la divergenza KL, fondendo l'adattatore nuovamente nei pesi base.
   Questo ciclo si ripete, con ogni iterazione che fornisce guadagni positivi finché il modello non si avvicina al limite di capacità del backbone.

Contributi Chiave

1. Pipeline Search-E1: Un framework di auto-evoluzione che alterna GRPO puro con auto-distillazione offline, eliminando la necessità di insegnanti esterni, moduli ausiliari o annotazioni non standard.
2. Obiettivo OFSD: Un meccanismo di auto-distillazione offline accoppiato in cui la politica funge sia da insegnante che da studente in contesti di condizionamento diversi. Utilizza un forward KL a livello di token con clipping puntuale per fornire una supervisione densa passo-passo derivata interamente dalle simulazioni GRPO della politica stessa.
3. Prestazioni Empiriche: Dimostrato su sette benchmark QA (sia single-hop che multi-hop), Search-E1 ottiene risultati all'avanguardia tra i metodi open-source senza supervisione esterna.

Risultati Sperimentali

Il metodo è stato valutato su sette benchmark QA utilizzando Qwen2.5-3B-Instruct e Qwen2.5-7B-Instruct.

• Prestazioni Complessive: Search-E1 ha raggiunto una corrispondenza esatta (EM) media di 0.440 con il modello da 3B, superando tutti i baseline open-source a quella scala.
• Confronto con Baseline a Ricompensa di Esito: Ha superato il baseline a ricompensa di esito più forte (AutoRefine-Base) di 3.5 punti in media. I guadagni sono stati particolarmente pronunciati sui dataset multi-hop (ad es. +12.0 su Bamboogle, +6.6 su 2Wiki), suggerendo che l'allineamento passo-passo è più benefico quando le traiettorie coinvolgono catene di ricerca complesse e multistadio.
• Confronto con Baseline a Supervisione di Processo: Search-E1 ha superato i metodi che si basano su annotazioni esterne (StepSearch) e sul raggruppamento basato sullo stato (GiGPO) su sei dei sette benchmark.
  • Ha superato StepSearch su tutti e quattro i benchmark multi-hop senza utilizzare annotazioni GPT-4o.
  • Ha superato GiGPO su 2Wiki, MuSiQue e HotpotQA. L'unica eccezione è Bamboogle, che gli autori attribuiscono alla piccola dimensione della divisione di test e alla natura specifica delle query su entità ponte che favoriscono il raggruppamento dello stato di ancoraggio di GiGPO.
• Ablazione: I risultati confermano che il ciclo alternato di GRPO e OFSD produce guadagni positivi consistenti, con un segnale sufficiente a colmare e invertire il divario di prestazioni tipicamente osservato tra le varianti di modello "Base" e "Instruct" in contesti RL.

Significato e Affermazioni

Il lavoro afferma che Search-E1 dimostra che macchinari esterni elaborati non sono strettamente necessari per migliorare il ragionamento potenziato dalla ricerca. Sfruttando il contrasto tra le traiettorie fratelli generate durante l'addestramento GRPO standard, il metodo fornisce naturalmente una supervisione densa passo-passo.

• Semplicità: L'approccio si basa su GRPO "puro" e un obiettivo di auto-distillazione, evitando la complessità dell'addestramento di modelli di ricompensa separati, critici o della distillazione da insegnanti più grandi.
• Efficienza delle Risorse: Rimuove la dipendenza da sistemi esterni (come GPT-4o) o strutture di simulazione specifiche (come la ricerca ad albero), rendendo la ricetta più accessibile e robusta.
• Generalizzabilità: I guadagni sono consistenti tra compiti single-hop e multi-hop, con i miglioramenti più significativi che si verificano in scenari in cui la qualità della decisione passo-passo è critica (ragionamento multi-hop).

Gli autori concludono che la ricetta alternata di esplorazione (GRPO) e consolidamento (OFSD) è un percorso praticabile per l'auto-evoluzione negli agenti potenziati dalla ricerca, offrendo un'alternativa più semplice alle pipeline sempre più complesse nel settore. Si suggerisce un lavoro futuro per esplorare contesti privilegiati più ricchi (ad es. più fratelli corretti) e programmi di auto-evoluzione più lunghi.