🤖 AI

ICA: Information-Aware Credit Assignment for Visually Grounded Long-Horizon Information-Seeking Agents

Questo articolo propone l'Information-Aware Credit Assignment (ICA), un framework centrato sull'evidenza che utilizza snapshot stabili di pagine web per identificare unità informative ad alta utilità e assegnare ricompense dense ai passaggi intermedi, migliorando significativamente le prestazioni degli agenti di ricerca informativa visivamente fondati su lunghi orizzonti temporali attraverso molteplici benchmark.

Autori originali: Cong Pang, Xuyu Feng, Yujie Yi, Jiaqi Su, Zixuan Chen, Jiawei Hong, Tiankuo Yao, Nang Yuan, Jiapeng Luo, Lewei Lu, Xin Lou

Pubblicato 2026-08-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Cong Pang, Xuyu Feng, Yujie Yi, Jiaqi Su, Zixuan Chen, Jiawei Hong, Tiankuo Yao, Nang Yuan, Jiapeng Luo, Lewei Lu, Xin Lou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto e mutevole panorama di internet, trovare un singolo fatto specifico può sembrare come cercare un ago in un pagliaio che viene costantemente riorganizzato. Per l'intelligenza artificiale, questo compito è diventato una sfida centrale. I moderni programmi informatici, noti come agenti, sono progettati per agire come ricercatori digitali. Possono leggere domande, cercare sul web, cliccare su link e mettere insieme le informazioni per formare una risposta. Quando questi compiti sono semplici, i programmi funzionano bene. Ma quando la ricerca richiede molti passaggi, scavando in profondità tra strati di informazioni per connettere punti distanti, i programmi spesso faticano. La difficoltà principale risiede nel modo in cui il computer impara dai propri errori. Se un programma cerca per ore e alla fine trova la risposta corretta, sa di aver avuto successo. Ma non sa quale specifica ricerca o quale specifica pagina web sia stata la chiave di quel successo. È come uno studente che ottiene un punteggio perfetto a un esame finale ma non sa dire quale sessione di studio o quale capitolo del libro lo abbia effettivamente aiutato di più. Senza sapere cosa ha funzionato, il programma non può migliorare la sua strategia per la volta successiva.

Un team di ricercatori ha affrontato questo problema cambiando il modo in cui questi agenti digitali vedono il web e il modo in cui imparano dai loro percorsi. Si sono resi conto che il modo in cui i computer solitamente elaborano le pagine web — eliminando il layout visivo e riducendo tutto a semplice testo — stava causando la perdita di indizi cruciali. Quando una pagina web viene convertita in una semplice lista di parole, la struttura, le tabelle e il contesto visivo che spesso contengono la risposta scompaiono. Per risolvere questo problema, i ricercatori hanno insegnato ai loro agenti a trattare le pagine web come completi scatti visivi, proprio come scattare una fotografia dello schermo. Questo preserva il layout e gli indizi visivi, rendendo l'informazione più stabile e più facile da riconoscere attraverso diverse ricerche.

Costruendo su questa visione più chiara, il team ha introdotto un nuovo metodo per insegnare agli agenti, che chiamano assegnazione del credito consapevole dell'informazione (information-aware credit assignment). Invece di aspettare la fine di una lunga ricerca per dare un singolo voto di successo o fallimento, questo metodo osserva ogni singolo passaggio lungo il percorso. Si pone una domanda semplice: questa specifica azione ha portato un pezzo di informazione che fosse utile? Confrontando migliaia di diversi tentativi di ricerca, il sistema può identificare quali pagine web o risultati di ricerca specifici erano costantemente presenti quando l'agente trovava la risposta corretta. Esso assegna quindi un "premio" ai momenti specifici della ricerca in cui sono state trovate quelle parti di informazione utili. Questo trasforma una lezione vaga e binaria in una mappa dettagliata di ciò che ha funzionato e di ciò che non ha funzionato.

I risultati di questo approccio sono stati testati su una serie di difficili sfide di ricerca delle informazioni che richiedono un ragionamento profondo e multi-step. I ricercatori hanno confrontato il loro nuovo sistema con altri programmi leader, inclusi alcuni che si affidano a enormi quantità di potenza di calcolo e dati proprietari. Anche con una dimensione del modello inferiore, il loro sistema ha costantemente superato gli altri. In un benchmark difficile riguardante la navigazione complessa, il nuovo metodo ha raggiunto un tasso di successo del 25 percento, significativamente superiore al 15 percento ottenuto dal miglior sistema open-source successivo. In un altro test progettato per misurare le capacità degli assistenti IA generici, ha raggiunto quasi il 70 percento di accuratezza, superando sistemi tre volte più grandi. Il miglioramento non riguardava solo l'ottenere più risposte corrette; riguardava anche l'efficienza. Poiché gli scatti visivi preservavano la struttura della pagina, il sistema aveva bisogno di elaborare molti meno termini per comprendere il contenuto, evitando la confusione che spesso deriva dal tentativo di leggere attraverso infiniti blocchi di testo grezzo.

I ricercatori hanno anche esaminato perché questo metodo funzioni così bene osservando i pezzi specifici di informazione che gli agenti hanno raccolto. Hanno scoperto che il sistema era straordinariamente bravo nell'identificare gli indizi più preziosi. Quando hanno preso solo le prove meglio classificate che il sistema aveva segnalato come utili, gli agenti potevano rispondere alle domande correttamente molto più spesso rispetto a quando utilizzavano pezzi di informazione casuali o i meno utili. Ciò è rimasto valido indipendentemente dalla durata della ricerca, dimostrando che il sistema stava imparando a riconoscere il segnale in mezzo al rumore. Lo studio suggerisce che, radicando l'intelligenza artificiale nella realtà visiva del web e insegnandole a dare valore alle giuste parti di informazione al momento giusto, possiamo creare agenti che non siano solo più veloci, ma anche più intelligenti e affidabili nella loro ricerca della conoscenza.

Riepilogo Tecnico: Assegnazione del Credito Consapevole dell'Informazione per Agenti di Ricerca Informativa Visivamente Fondati

Problematica

L'apprendimento per rinforzo (RL) a lungo termine per agenti di ricerca informativa affronta due colli di bottiglia primari: la scarsità di assegnazione del credito e l'instabilità della rappresentazione dell'informazione.

Scarsità di Assegnazione del Creditto: In compiti che richiedono la navigazione web multi-step, i premi terminali indicano solo se la risposta finale è corretta. Essi non riescono a identificare quali specifiche azioni di ricerca o recupero abbiano acquisito l'informazione critica necessaria per il successo. Ciò rende difficile ottimizzare le decisioni di recupero intermedie, poiché gli agenti non possono distinguere tra l'acquisizione di prove utili e l'esplorazione improduttiva.
Rappresentazione Instabile: Gli agenti esistenti si affidano tipicamente a pipeline di parsing testuale (linearizzazione, riepilogo o segmentazione) per elaborare le pagine web. Questi metodi spesso scartano le strutture del layout, gli indizi visivi e le tabelle. Inoltre, la stessa pagina web può essere parsata, troncata o riassunta in modo differente attraverso diverse traiettorie a causa di variabili budget di contesto o pipeline di strumenti, rendendo l'evidenza acquisita non identificabile e incomparabile tra diversi rollout dell'agente.

Metodologia

Gli autori propongono l'Assegnazione del Credito Consapevole dell'Informazione (ICA), un framework che tratta l'apprendimento di agenti web a lungo termine come un problema di attribuzione delle prove. La metodologia consiste in tre componenti principali:

1. Unità di Evidenza Basate su Snapshot Visivi

Invece del testo linearizzato, il framework rappresenta le pagine web recuperate come snapshot renderizzati. Questi snapshot preservano tutto il contenuto visibile, inclusi layout, tabelle e indizi multimodali.

Stabilità: Gli snapshot fungono da osservazioni stabili a livello di contenuto che permettono l'identificazione e il confronto coerente della stessa fonte di informazione attraverso diverse traiettorie.
Efficienza: Preservando il layout, gli snapshot riducono significativamente l'uso dei token (dal 27% al 65% in meno rispetto al testo parsato) e mitigano i problemi di overflow del contesto comuni nei compiti a lungo termine.

2. Assegnazione del Credito Consapevole dell'Informazione (ICA)

ICA è un metodo di propagazione del premio post-hoc che assegna premi densi ai passi intermedi in base all'utilità dell'informazione che hanno introdotto.

Associazione di Evidenza Atomica: Il sistema definisce "unità di evidenza atomica" (ad esempio, un risultato di ricerca specifico o un intero snapshot di una pagina web). Calcola un punteggio di utilità basato sull'associazione ( $\Delta_e$ $Δ_{e}$ ) per ogni unità confrontando il tasso di successo delle traiettorie che hanno acquisito l'unità rispetto a quelle che non l'hanno acquisita.
- $P^+_e$ : Probabilità di successo data l'acquisizione dell'evidenza $e$ .
- $P^-_e$ : Probabilità di successo data la mancata acquisizione dell'evidenza $e$ .
- $\Delta_e = P^+_e - P^-_e$ .
Propagazione del Premio a Livello di Turno:
- Turni di Strumenti (Tool Turns): Se un turno di ricerca o recupero introduce un'unità di evidenza ad alta utilità (classificata nella frazione superiore delle unità acquisite), riceve un premio binario positivo.
- Turni di Risposta (Answer Turns): Il turno della risposta finale riceve un premio con forma asimmetrica basato sulla correttezza, penalizzando meno severamente i fallimenti se l'agente ha esplorato approfonditamente (shaping consapevole del budget).
- Calcolo del Vantaggio: I premi sono normalizzati e assegnati come vantaggi a livello di turno, disaccoppiando la supervisione della qualità della ricerca dai risultati della risposta finale.

3. Ottimizzazione ICA-GSPO

Il metodo integra l'ICA con la Group Sequence Policy Optimization (GSPO). A differenza della GSPO standard che calcola i rapporti di importanza su un'intera traiettoria, l'ICA-GSPO calcola i rapporti di importanza indipendentemente per ogni turno. Questo design si allinea con la struttura multi-turno degli agenti e impedisce a grandi spostamenti della policy in un singolo token di contaminare le stime a livello di traiettoria. L'obiettivo finale aggrega le perdite surrogate dei turni di strumento e del turno di risposta con un fattore di ponderazione fisso.

Contributi Chiave

Formulazione dell'Attribuzione delle Prove: Il paper riformula l'apprendimento di agenti web a lungo termine come un problema di attribuzione delle prove, ottimizzando le azioni di recupero in base all'informazione che introducono piuttosto che esclusivamente sui risultati terminali.
Osservazioni Visive Stabili: Introduce gli snapshot renderizzati delle pagine web come una modalità di osservazione stabile a livello di contenuto, consentendo il confronto coerente delle informazioni recuperate tra diverse traiettorie.
Meccanismo ICA: Propone un metodo di assegnazione del credito post-hoc che stima i punteggi di utilità basati sull'associazione per le evidenze acquisite dagli strumenti e propaga premi densi ai specifici turni di ricerca e recupero che hanno introdotto evidenze ad alta utilità.
Guadagni di Performance: L'integrazione di ICA con GSPO dimostra miglioramenti consistenti in molteplici benchmark, con un modello da 8B che supera la maggior parte degli agenti open-source riportati sotto i 15B di parametri.

Risultati Sperimentali

Gli autori hanno valutato l'approccio su quattro benchmark di ricerca informativa a lungo termine: BrowseComp, GAIA, Xbench-DS e Seal-0.

Performance: Il modello proposto Qwen3-VL-8B-ICA ha raggiunto una precisione Pass@1 di 25.0 su BrowseComp, 69.9 su GAIA, 71.0 su Xbench-DS e 25.2 su Seal-0. Questo ha superato significativamente i baseline basati su testo (ad esempio, WebExplorer-8B ha ottenuto 15.7 su BrowseComp) ed è competitivo con la maggior parte dei sistemi proprietari più grandi.
Studi di Ablazione:
- Snapshot vs. Testo: L'uso di snapshot nel Supervised Fine-Tuning (SFT) ha prodotto miglioramenti costanti rispetto al parsing del testo, in particolare nei benchmark sensibili al layout (GAIA, Xbench-DS).
- ICA vs. GSPO: L'ICA ha superato costantemente la vanilla GSPO, con i guadagni più significativi osservati in compiti a lungo termine e ad alto rumore.
- Sufficienza dell'Evidenza: L'analisi ha mostrato che l'evidenza selezionata da ICA (top-p% basato sui punteggi di utilità) ha raggiunto un'accuratezza della risposta significativamente più alta (71.0%) rispetto ai baseline casuali o a basso punteggio, validando la capacità del metodo di identificare l'evidenza a supporto della risposta.
- Efficienza dei Token: Gli approcci basati su snapshot hanno ridotto i tassi di overflow del contesto allo 0.0% in tutti i dataset, mentre i baseline basati su testo hanno subito tassi di overflow fino al 36.0% su BrowseComp.

Significato e Limitazioni

Significato:
Il paper sostiene che ancorare l'apprendimento per rinforzo a osservazioni esterne visivamente strutturate e eseguire l'assegnazione del credito alla granularità dell'evidenza acquisita sia un passo avanti critico per l'addestramento di agenti web a lungo termine. Dimostra che un'ottimizzazione efficace richiede non solo di premiare le risposte corrette, ma di assegnare esplicitamente il credito alle specifiche azioni di recupero che hanno introdotto informazioni utili.

Limitazioni:
Gli autori riconoscono due limitazioni primarie:

Ridondanza Visiva: Il framework attualmente si affida a rappresentazioni visive non compresse alimentate direttamente in Vision Transformer, il che introduce ridondanza di token e overhead computazionale, specialmente per pagine web visivamente dense o estremamente lunghe.
Gestione del Contesto: Il sistema manca di strategie sofisticate di gestione del contesto (ad esempio, riduzione dinamica del contesto, finestre scorrevoli basate sulla memoria) per gestire l'esplorazione illimitata, il che può portare a overflow del contesto e perdita di evidenze recuperate precocemente in compiti di ricerca molto profondi.

Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sulla compressione dei token visivi e sulla gestione adattiva della memoria per affrontare questi colli di bottiglia di efficienza.