🤖 AI

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

Il documento presenta ABSeeker, un agente di ricerca a lungo termine addestrato tramite un nuovo framework di Answer-Backtracked Credit Assignment (ABC) che converte esiti di traiettoria sparsi in ricompense dense a livello di singolo passaggio per distinguere le azioni utili dagli errori, consentendo a un modello compatto da 4B di superare agenti della stessa scala e competere con modelli molto più grandi da 30B su complessi benchmark di ricerca.

Autori originali: Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

Pubblicato 2026-08-06

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come risolvere un mistero massiccio e multi-fase. Nel mondo dell'intelligenza artificiale, questo si chiama addestrare un "agente di ricerca" (search agent). Questi agenti sono come detective digitali che non si limitano a cercare un singolo dato; devono vagare per internet, leggere decine di siti web, connettere i punti e comporre una risposta complessa. Immaginalo come una caccia al tesoro dove la mappa è scomparsa e il robot deve capire il percorso facendo domande, controllando indizi e, a volte, rendendosi conto di camminare in cerchio. La grande sfida che gli scienziati affrontano è capire come insegnare a questi robot a diventare più bravi nella caccia. Di solito, quando un robot finisce una caccia, l'insegnante dà solo un semplice "Bravo!" o "Riprova!" basandosi sul fatto che il tesoro finale sia stato trovato o meno. Questo è come valutare l'intero semestre di uno studente basandosi solo sul voto dell'esame finale, ignorando il fatto che abbia studiato duramente per settimane ma abbia commesso un piccolo errore stupido alla fine, o che abbia indovinato la risposta giusta al primo colpo senza fare alcun vero lavoro.

Questo articolo, intitolato "ABSeeker", affronta esattamente questo problema. I ricercatori, che lavorano presso la Shanghai Jiao Tong University, hanno capito che per rendere davvero intelligenti gli agenti di ricerca, dobbiamo guardare ogni singolo passo che compiono, non solo il risultato finale. Propongono un nuovo metodo di addestramento chiamato "Answer-Backtracked Credit Assignment" (ABC). Invece di dire semplicemente "Hai trovato la risposta, quindi ogni tuo passo è stato buono", il loro sistema lavora a ritroso dalla risposta corretta per capire quali indizi specifici avrebbero dovuto essere trovati lungo il percorso. Poi, torna attraverso il viaggio del robot e assegna il merito per aver trovato quegli indizi, anche se il robot alla fine si è perso, e assegna un "tempo fuori" (time-out) per i passaggi che hanno sprecato tempo o ignorato buoni indizi, anche se il robot è accidentalmente arrivato alla risposta giusta alla fine. Hanno testato questo approccio su un modello di IA relativamente piccolo (4 miliardi di parametri) e hanno scoperto che può risolvere enigmi di ricerca complessi meglio di modelli molto più grandi, dimostrando che insegnare al robot come pensare passo dopo passo è più importante che rendere il robot più grande.

Il Mistero del Voto "Tutto o Niente"

Entriamo nel dettaglio di come funziona. Immagina di addestrare un cane a trovare un giocattolo specifico nascosto in un enorme parco. Nel vecchio modo di addestrare (che l'articolo chiama "supervisione a livello di traiettoria"), daresti un premio al cane solo se ti riportasse il giocattolo. Se il cane trovasse il giocattolo ma poi lo lasciasse cadere in una pozzanghera durante il ritorno, non gli daresti alcun premio. Se il cane si fosse perso, avesse corso in cerchio e poi avesse urtato accidentalmente il giocattolo, gli daresti un premio. Questo è confusionario per il cane! Non sa che trovare il giocattolo è stato un bene, o che correre in cerchio è stato un male.

Gli autori di questo articolo sostengono che questo approccio "tutto o niente" è un difetto fondamentale nell'addestramento degli agenti di ricerca IA. Hanno notato che anche quando un'IA non riesce a trovare la risposta finale, spesso compie molti passi corretti lungo il percorso — come trovare il sito web giusto o leggere il paragrafo giusto. Al contrario, un'IA potrebbe trovare la risposta giusta per fortuna o prendendo una scorciatoia strana che salta fatti importanti. L'articolo sostiene che abbiamo bisogno di un modo per valutare ogni singola mossa dell'IA, non solo il punteggio finale.

Il Detective che "Torna Indietro"

Per risolvere questo problema, i ricercatori hanno inventato un trucco astuto chiamato Answer-Backtracked Clue Recovery. Ecco l'analogia: Immagina che l'IA sia un detective che ha appena risolto un crimine e conosce il nome del criminale (la "risposta reale" o ground-truth). L'articolo suggerisce che, invece di celebrare solo la vittoria, il detective dovrebbe lavorare a ritroso. "Ok, so che il criminale è John. Per dimostrare che è John, devo aver trovato l'impronta digitale, il suo alibi e la sua auto".

Nel caso dell'IA, il sistema prende la risposta corretta e usa un'IA potente per "tornare indietro" (backtrack) ed elencare tutti gli indizi intermedi che devono essere stati scoperti per raggiungere quella risposta. Per esempio, se la risposta è un marchio specifico di shampoo, gli indizi potrebbero essere "l'azienda che lo possiede", "l'anno in cui il fondatore si è laureato" e "la lista degli ingredienti". Questi indizi diventano la "mappa" per valutare le prestazioni dell'IA.

Valutare i Passaggi

Una volta pronta la mappa degli indizi, il sistema passa alla Clue-Anchored Step Scoring. È qui che avviene la magia. Il viaggio dell'IA viene riprodotto e ogni singolo passaggio viene controllato rispetto alla mappa degli indizi.

I Passaggi Buoni: Se l'IA trova un indizio (come la lista degli ingredienti), riceve un punteggio alto, anche se l'IA alla fine rinuncia e fallisce nel risolvere l'intero puzzle.
I Passaggi Cattivi: Se l'IA ignora un indizio o scarta una buona pista, riceve una penalità, anche se in qualche modo arriva accidentalmente alla risposta giusta.
I Passaggi Neutrali: Vagare senza trovare nulla riceve un punteggio neutro.

Questo trasforma un semplice voto "Passa/Non Passa" in una pagella dettagliata per ogni mossa fatta dall'IA. L'articolo mostra che questo metodo permette all'IA di imparare dai propri errori molto più velocemente perché sa esattamente quale mossa è stata sbagliata, piuttosto che sapere solo che l'intero tentativo è fallito.

I Risultati: Cervello Piccolo, Grandi Vittorie

I ricercatori hanno costruito un nuovo agente di ricerca chiamato ABSeeker usando questo metodo. Sono partiti da un modello chiamato Qwen3.5-4B, che è relativamente piccolo nel mondo dell'IA (pensa a un intelligente studente delle superiori rispetto a un supercomputer di livello dottorato di ricerca). Lo hanno addestrato su soli 8.500 esempi — una quantità minuscola rispetto ai milioni solitamente necessari.

I risultati sono stati sorprendenti. Su un test difficile chiamato BrowseComp, dove l'IA deve trovare risposte a domande complesse e multi-parte sul web, ABSeeker ha ottenuto il 37,3%. Quando hanno aggiunto una funzione per aiutare l'IA a gestire la propria memoria (chiamata "gestione del contesto"), il punteggio è balzato al 55,3%.

Per dare un contesto, l'articolo confronta ABSeeker con agenti IA molto più grandi (circa 30 miliardi di parametri, che sono come detective professionisti). ABSeeker, lo "studente delle superiori", è riuscito a battere o pareggiare questi agenti molto più grandi in diversi test difficili. Ad esempio, sulla versione cinese del test (BrowseComp-ZH), ha ottenuto il 52,9%, superando modelli più grandi che hanno ottenuto punteggi inferiori.

Perché Questo è Importante

L'articolo suggerisce che la "formula segreta" non è solo rendere l'IA più grande; è insegnarle come valutare i propri progressi. Usando l' "Answer-Backtracked Credit Assignment", l'IA impara a dare valore alle azioni utili ed evitare quelle inutili, indipendentemente dal fatto che alla fine vinca o perda la partita. Gli autori hanno scoperto che anche nei tentativi falliti, circa il 10% dei passaggi erano in realtà scoperte di alta qualità che avrebbero dovuto essere premiate. Con il vecchio sistema, quei buoni passaggi sarebbero stati puniti perché la risposta finale era errata.

In breve, questo articolo dimostra che se fornisci a un'IA una mappa dettagliata di cosa sia un "buon viaggio", essa può imparare a navigare in internet in modo molto più efficiente, anche se parte con un cervello più piccolo. I ricercatori credono che questo approccio potrebbe cambiare le regole del gioco per l'addestramento di futuri agenti IA destinati a risolvere problemi complessi, non solo indovinando, ma riflettendo attentamente su ogni singolo passaggio.

Riepilogo Tecnico: ABSeeker - Addestramento di Agenti di Ricerca a Lungo Orizzonte tramite Assegnazione del Credito con Backtracking della Risposta

1. Definizione del Problema

Gli agenti di ricerca a lungo orizzonte richiedono molteplici azioni sequenziali per recuperare, verificare e integrare le prove necessiarie a risolvere query complesse. Tuttavia, i metodi di addestramento esistenti per questi agenti, inclusi sia il Fine-Tuning Supervisionato (SFT) che l'Apprendimento per Rinforzo (RL), si affidano tipicamente alla supervisione a livello di traiettoria. In questo paradigma, tutti i passaggi all'interno di una traiettoria vengono trattati in modo uniforme: le traiettorie di successo ricevono un premio intero, mentre le traiettorie fallite vengono penalizzate interamente.

Questo trattamento uniforme crea un fondamentale problema di assegnazione del credito:

Falsi Negativi: Una traiettoria fallita può contenere passaggi intermedi altamente utili (ad esempio, la scoperta di prove decisive o il raffinamento di un'ipotesi) che ricevono un premio nullo perché il risultato finale è errato.
Falsi Positivi: Una traiettoria di successo può contenere passaggi errati, ridondanti o fuorvianti che ricevono il pieno premio nonostante ostacolino il processo di ricerca.
Mancanza di Granularità: I metodi esistenti non riescono a distinguere il contributo individuale di specifiche azioni, limitando la capacità di ottimizzare i comportamenti critici di ricerca e ragionamento.

2. Metodologia: Assegnazione del Credito con Backtracking della Risposta (ABC)

Gli autori propongono l'Assegnazione del Credito con Backtracking della Risposta (ABC - Answer-Backtracked Credit Assignment), un framework granulare che converte gli esiti sparsi a livello di traiettoria in una supervisione densa a livello di singolo passaggio. L'intuizione centrale è che, una volta disponibile una risposta corretta (ground-truth), il compito di ricerca diventa naturalmente retro-tracciabile (backtrackable). Tracciando a ritroso dalla risposta verificata, è possibile recuperare le prove intermedie (indizi) che avrebbero dovuto essere scoperte.

Il framework opera attraverso due fasi primarie:

2.1 Recupero degli Indizi tramite Backtracking della Risposta

Data una query $q$ e la sua risposta verificata $a^*$ , il sistema impiega un LLM per ricostruire la catena di prove necessaria a risolvere la domanda.

Processo: Il modello di recupero agisce come un agente attivo, effettuando ricerche sul web e visitando pagine (utilizzando lo stesso protocollo di chiamata agli strumenti dell'agente forward) per tracciare le prove dalla risposta verso i vincoli della query.
Output: Un insieme di indizi di evidenza intermedia $C = \{c_1, c_2, ..., c_K\}$ . Questi indizi sono pezzi di informazione concreti e verificabili (entità, fatti, attributi o relazioni) che formano una catena di evidenze verificata che collega la query alla risposta.
Ruolo: Questi indizi fungono da ancoraggi fissi per valutare la qualità di ogni passaggio in una traiettoria di ricerca, indipendentemente dal risultato finale.

2.2 Punteggio dei Passaggi Ancorato agli Indizi

Ogni passaggio $s_t$ in una traiettoria raccolta (sia essa di successo o fallita) viene valutato rispetto all'insieme di indizi recuperati $C$ .

Meccanismo di Punteggio: Ogni passaggio parte da un punteggio base di 1.0. Il punteggio viene regolato in base ai comportamenti rilevati nel ragionamento, nelle chiamate agli strumenti e nelle risposte del passaggio:
- Delta Positivi: Scoperta/verifica di un indizio corretto (+0.8), esclusione di un candidato errato (+0.4), o invio della risposta verificata (+1.0).
- Delta Negativi: Esclusione errata di un indizio corretto (-0.8) o invio di una risposta errata (-1.0).
Premio Finale: Il premio del passaggio $r_t$ è il punteggio accumulato limitato nell'intervallo $[0, 2.0]$ . Fondamentalmente, un passaggio in una traiettoria fallita che scopre un indizio corretto riceve un premio positivo, mentre un passaggio in una traiettoria di successo che scarta prove utili riceve una penalità.

2.3 Pipeline di Addestramento

Sulla base di questi premi densi a livello di passaggio, gli autori sviluppano due algoritmi di addestramento:

ABC-SFT (Fine-Tuning Supervisionato Pesato sul Premio): Lo standard SFT viene modificato per ripesare la perdita (loss) di ogni turno. Il peso $w(r_t)$ è calcolato tramite una funzione sigmoide del premio del passaggio, permettendo ai passaggi di alta qualità di contribuire maggiormente al gradiente, riducendo l'importanza dei passaggi errati.
ABC-GRPO (Apprendimento per Rinforzo a Livello di Passaggio): I punteggi a livello di passaggio fungono da premi nell'algoritmo Group Relative Policy Optimization (GRPO). Invece di un singolo vantaggio a livello di traiettoria, l'algoritmo calcola un vantaggio scontato a livello di passaggio per ogni token, consentendo aggiornamenti della policy estremamente granulari.

3. Contributi Chiave

Assegnazione del Credito con Backtracking della Risposta (ABC): Un framework innovativo che sfrutta le risposte verificate per ricostruire gli indizi di evidenza intermedia, consentendo la valutazione dei singoli passaggi di ricerca indipendentemente dall'esito finale della traiettoria.
ABC-SFT e ABC-GRPO: Due algoritmi di addestramento derivati da ABC che utilizzano premi densi a livello di passaggio per ripesare le perdite SFT e ottimizzare le policy RL, rispettivamente.
ABSeeker: Un agente di ricerca addestrato su un backbone da 4 miliardi di parametri (Qwen3.5-4B) utilizzando solo 8.5k esempi. Dimostra che la supervisione di processo fine può produrre prestazioni elevate senza richiedere scale di modelli massicce.

4. Risultati Sperimentali

Gli autori hanno valutato ABSeeker su cinque benchmark: BrowseComp, BrowseComp-ZH, xbench-2505, xbench-2510 e GAIA-text.

Prestazioni:
- BrowseComp: 37.3% (senza gestione del contesto), migliorando al 55.3% con la gestione del contesto.
- BrowseComp-ZH: 39.1% (senza gestione del contesto), migliorando al 52.9% con la gestione del contesto.
- xbench-2505: 77.0%.
- xbench-2510: 46.0%.
- GAIA-text: 81.6%.
Confronti:
- ABSeeker raggiunge le migliori prestazioni tra tutti gli agenti di ricerca da 4B (superando QUEST-4B, DR-Venus e AgentCPM-Explore).
- Supera significativamente i baseline della stessa scala e eguaglia o supera le prestazioni di agenti notevolmente più grandi (~30B), come Tongyi DeepResearch e OpenSeeker, su diversi benchmark.
Studi di Ablazione:
- Sostituire lo standard SFT con ABC-SFT produce miglioramenti costanti in tutti i benchmark.
- Sostituire lo standard GRPO a livello di traiettoria con ABC-GRPO aumenta ulteriormente le prestazioni, dimostrando che l'assegnazione del credito a livello di passaggio migliora sia l'accuratezza della ricerca che il comportamento esplorativo.
- L'analisi della distribuzione dei premi rivela che anche nelle traiettorie di successo, circa il 4% dei passaggi è di bassa qualità, mentre circa il 10% dei passaggi nelle traiettorie fallite è di alta qualità. ABC identifica e premia con successo questi ultimi, penalizzando al contempo i primi.

5. Significato e Rivendicazioni

Il documento afferma che l'Assegnazione del Credito con Backtracking della Risposta affronta efficacemente la sfida dell'assegnazione del credito nella ricerca a lungo orizzonte fornendo una supervisione di processo esplicita e granulare.

Efficienza: Il metodo consente a un modello compatto da 4B di superare agenti molto più grandi, suggerendo che la qualità della supervisione dell'addestramento (distinguere tra passaggi utili ed errati) è più critica della pura scala del modello per i compiti di ricerca.
Generalizzazione: Nonostante sia stato addestrato esclusivamente su domande in stile BrowseComp, ABSeeker si generalizza efficacemente su xbench e GAIA, indicando robuste capacità cross-benchmark.
Supervisione di Processo: I risultati validano che premiare le azioni utili nelle traiettorie fallite e sopprimere gli errori in quelle di successo porta a comportamenti di ricerca più efficienti e deliberati.

Gli autori concludono che questo approccio evidenzia l'importanza della supervisione di processo esplicita per l'addestramento scalabile di agenti di ricerca e propongono di estendere il framework ad altri compiti a lungo orizzonte dove gli esiti possono essere tracciati a ritroso in evidenze intermedie.