Technische Samenvatting: Informatiebewuste Krediettoewijzing voor Visueel Gegronde Long-Horizon Informatiezoekende Agenten

Probleemstelling

Long-horizon reinforcement learning (RL) voor informatiezoekende agenten staat voor twee primaire knelpunten: sparse credit assignment (ijle krediettoewijzing) en onstabiele informatie-representatie.

1. Sparse Credit Assignment: Taken die een meerstaps webbrowsing vereisen, hebben te maken met terminale beloningen die enkel aangeven of het uiteindelijke antwoord correct is. Ze falen in het identificeren van welke specifieke zoek- of ophaalacties de cruciale informatie hebben verworven die nodig is voor succes. Dit maakt het moeilijk om tussenliggende retrieval-beslissingen te optimaliseren, omdat agenten niet het onderscheid kunnen maken tussen nuttige bewijsverwerving en onproductieve exploratie.
2. Onstabiele Representatie: Bestaande agenten vertrouwen doorgaans op tekstgebaseerde parsing-pipelines (linearisatie, samenvatting of chunking) om webpagina's te verwerken. Deze methoden laten vaak lay-outstructuren, visuele aanwijzingen en tabellen achterwege. Bovendien kan dezelfde webpagina over verschillende trajecten heen anders worden geparsed, afgekapt of samengevat vanwege variërende context-budgetten of tool-pipelines, waardoor verworven bewijs onidentificeerbaar en onvergelijkbaar wordt over verschillende agent-rollouts.

Methodologie

De auteurs stellen Information-Aware Credit Assignment (ICA) voor, een framework dat long-horizon web-agent leren behandelt als een bewijs-attributieprobleem. De methodologie bestaat uit drie kerncomponenten:

1. Visuele Snapshot-gebaseerde Eenheden van Bewijs

In plaats van gelineariseerde tekst, representeert het framework opgehaalde webpagina's als gerenderde snapshots. Deze snapshots behouden de volledige zichtbare inhoud, inclusief lay-out, tabellen en multimodale aanwijzingen.

• Stabiliteit: Snapshots dienen als stabiele, inhoudelijke observaties die consistente identificatie en vergelijking van dezelfde informatiebron over verschillende trajecten mogelijk maken.
• Efficiëntie: Door de lay-out te behouden, verminderen snapshots het tokengebruik aanzienlijk (27%–65% minder dan geparste tekst) en verzachten ze de problemen met context-overflow die gebruikelijk zijn bij long-horizon taken.

2. Information-Aware Credit Assignment (ICA)

ICA is een post-hoc beloningspropagatiemethode die dichte beloningen toekent aan tussenliggende stappen op basis van de bruikbaarheid van de geïntroduceerde informatie.

• Atomaire Bewijsassociatie: Het systeem definieert "atomaire bewijseenheden" (bijv. een specifieke zoekresultaat of een volledige webpage snapshot). Het berekent een associatiegebaseerde bruikbaarheidsscore ($\Delta_e$) voor elke eenheid door de succesratio van trajecten die de eenheid hebben verworven te vergelijken met die welke dat niet hebben gedaan.
  • $P^+_e$: Succeskans gegeven dat bewijs $e$ is verworven.
  • $P^-_e$: Succeskans gegeven dat bewijs $e$ niet is verworven.
  • $\Delta_e = P^+_e - P^-_e$.
• Turn-Level Beloningspropagatie:
  • Tool Turns: Als een zoek- of ophaalbeurt (tool turn) een atomaire bewijseenheid met een hoge bruikbaarheid introduceert (gerangschikt in de bovenste fractie van verworven eenheden), ontvangt deze een positieve binaire beloning.
  • Answer Turns: De definitieve antwoordbeurt ontvangt een asymmetrisch gevormde beloning op basis van correctheid, waarbij fouten minder zwaar worden bestraft als de agent grondig heeft geëxploreerd (budget-bewuste shaping).
  • Advantage Berekening: Beloningen worden genormaliseerd en toegewezen als turn-level advantages, waardoor de supervisie van de zoekkwaliteit wordt ontkoppeld van de uiteindelijke antwoorduitkomsten.

3. ICA-GSPO Optimalisatie

De methode integreert ICA met Group Sequence Policy Optimization (GSPO). In tegen tegenstelling tot standaard GSPO, dat belangrijkheidsratio's over een volledige traject berekent, berekent ICA-GSPO belangrijkheidsratio's onafhankelijk voor elke beurt. Dit ontwerp sluit aan bij de multi-turn structuur van agenten en voorkomt dat grote beleidswijzigingen in een enkele token de traject-niveau schattingen besmetten. De uiteindelijke doelstelling aggregeert de surrogate losses van de tool-turns en de antwoordbeurt met een vaste weegfactor.

Belangrijkste Bijdragen

1. Bewijs-attributie Formulering: Het artikel herformuleert long-horizon web-agent leren als een bewijs-attributieprobleem, waarbij retrieval-acties worden geoptimaliseerd op basis van de informatie die zij introduceren in plaats van enkel op terminale uitkomsten.
2. Stabiele Visuele Observaties: Het introduceert gerenderde webpage snapshots als een stabiele inhoudelijke observatiemodaliteit, wat consistente cross-traject vergelijking van opgehaalde informatie mogelijk maakt.
3. ICA Mechanisme: Het stelt een post-hoc krediettoewijzingsmethode voor die associatiegebaseerde bruikbaarheidsscores schat voor door tools verworven informatie en dichte beloningen propageert naar de specifieke zoek- en ophaalbeurten die hoogwaardig bewijs hebben geïntroduceerd.
4. Prestatiewinst: De integratie van ICA met GSPO laat consistente verbeteringen zien over meerdere benchmarks, waarbij een 8B-model de meeste gerapporteerde open-source agenten onder de 15B parameters overtreft.

Experimentele Resultaten

De auteurs evalueerden de aanpak op vier long-horizon informatiezoekende benchmarks: BrowseComp, GAIA, Xbench-DS, en Seal-0.

• Prestaties: Het voorgestelde Qwen3-VL-8B-ICA model behaalde een Pass@1 nauwkeurigheid van 25.0 op BrowseComp, 69.9 op GAIA, 71.0 op Xbench-DS, en 25.2 op Seal-0. Dit presteerde aanzienlijk beter dan tekstgebaseerde baselines (bijv. WebExplorer-8B scoorde 15.7 op BrowseComp) en was competitief met grotere propriëtaire systemen.
• Ablatie-studies:
  • Snapshot vs. Tekst: Het gebruik van snapshots in Supervised Fine-Tuning (SFT) leverde consistente verbeteringen op ten opzichte van tekstparsing, met name op benchmarks die gevoelig zijn voor lay-out (GAIA, Xbench-DS).
  • ICA vs. GSPO: ICA presteerde consequent beter dan vanilla GSPO, met de meest significante winst in long-horizon, high-noise taken.
  • Bewijsvoldoendeheid: Analyse toonde aan dat door ICA geselecteerd bewijs (top-p% gebaseerd op bruikbaarheidsscores) een aanzienlijk hogere antwoordnauwkeurigheid bereikte (71.0%) vergeleken met willekeurige of laag scorende baselines, wat de bekwaamheid van de methode valideert om antwoord-ondersteunend bewijs te identificeren.
  • Token Efficiëntie: Snapshot-gebaseerde benaderingen verminderden de context-overflow rates tot 0.0% over alle datasets, terwijl tekstgebaseerde baselines overflow rates tot 36.0% leden op BrowseComp.

Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat het funderen van reinforcement learning in visueel gestructureerde externe observaties en het uitvoeren van krediettoewijzing op het niveau van verworven bewijs een cruciale stap vooruit is bij het trainen van long-horizon web-agenten. Het demonstreert dat effectieve optimalisatie niet alleen vereist dat correcte antwoorden worden beloond, maar ook dat er expliciet krediet wordt toegewezen aan de specifieke retrieval-acties die nuttige informatie hebben geïntroduceerd.

Beperkingen:
De auteurs erkennen twee primaire beperkingen:

1. Visuele Redundantie: Het framework vertrouwt momenteel op ongecomprimeerde visuele representaties die direct in Vision Transformers worden gevoed, wat leidt tot token-redundantie en computationele overhead, vooral voor visueel dichte of extreem lange webpagina's.
2. Context Management: Het systeem mist geavanceerde contextbeheerstrategieën (bijv. dynamische contextreductie, geheugen-gebaseerde sliding windows) om onbegrensde exploratie aan te pakken, wat kan leiden tot context-overflow en het verlies van vroeg verworven bewijs in zeer diepe zoektaken.

De auteurs suggereren dat toekomstig werk zich moet richten op visuele tokencompressie en adaptief geheugenbeheer om deze efficiëntie-bottlenecks aan te pakken.