Technische Samenvatting: UNIBROWSE

Probleemstelling

Multimodale BrowseComp-taken vereisen dat agenten vragen oplossen waarbij antwoorden niet direct beschikbaar zijn, maar samengesteld moeten worden uit meerdere stukken dynamisch web-bewijs. In tegenstelling tot standaard fact-seeking taken, vereisen deze problemen langdurige redenering (long-horizon reasoning), het gebruik van tools en de integratie van tekstuele en visuele modaliteiten. Browsen in de echte wereld omvat drie verschillende informatie-stroompatronen:

1. Alleen tekst: Antwoorden worden uitsluitend samengesteld uit tekstueel bewijs.
2. Beeld-naar-tekst: Een initiële visuele aanwijzing moet worden opgelost om het tekstuele browsen te starten.
3. Tekst-naar-beeld: Tekstueel browsen verkleint de doelgroep, waarna visuele verificatie vereist is voor de uiteindelijke bevestiging.

Bestaande methoden voor de constructie van data om dergelijke agenten te trainen, lijden onder drie kritieke beperkingen:

• Onvolledige dekking van patronen: Eerdere datasets (bijv. WebWatcher, Vision-DeepResearch) dekken voornaan het beeld-naar-tekst patroon, waardoor het even belangrijke tekst-naar-beeld patroon — waarbij tekstuele redenering voorafgaat aan visuele verificatie — wordt verwaarloosd.
• Paradigma-trade-offs: Methoden die vertrouwen op gecureerde kennisgrafen missen web-diversiteit, terwijl methoden die gebruikmaken van willekeurige web-wandelingen enorme hoeveelheden ruis en vals bewijs introduceren.
• Inefficiënte training: Eerdere werken passen reinforcement learning (RL) direct toe op ongefilterde synthetische data, waardoor computationele middelen worden verspild aan trajecten met een laag signaal die een gebrek hebben aan diverse redeneerpaden.

Methodologie

De auteurs stellen UNIBROWSE voor, een verenigd data-naar-agent framework bestaande uit een nieuwe datapipeline en een trainingsstrategie voor een 35B-schaal multimodale browsing-agent.

1. Dataconstructie Pipeline

De pipeline genereert hoogwaardige trainingsdata door gestructureerde kennis te overbruggen met live web-retrieval:

• Tekstuele KG met Web-expansie: Het proces begint met een tekstuele kennisgraaf ($G_{KG}$) om gestructureerde redeneerpaden te definiëren. Voor elke seed-entiteit wordt een verbonden subgraaf geconstrueerd. Om realisme te garanderen, vergroot de pipeline deze graafknopen uit met attributen die zijn geëxtraheerd uit live web-retrieval, waarbij alleen die attributen worden behouden die door meerdere zoekresultaten worden bevestigd.
• Verenigde Multimodale Patroon-expansie: De pipeline evalueert gegenereerde bewijs-subgrafen om alle drie de informatie-stroompatronen te ondersteunen:
  • Beeld-naar-tekst: Koppelt doorzoekbare beeld-knopen aan de initiële seed-entiteiten.
  • Tekst-naar-beeld: Voegt beeld-knopen toe aan de uiteindelijke antwoord-entiteit als de entiteit een onderscheidend, visueel verifieerbaar attribuut bezit dat niet in de tekst aanwezig is.
  • Alleen tekst: Genereert vragen gebaseerd op de gelaagde bewijsstructuur.
    Deze patronen kunnen binnen één enkele vraag worden gecombineerd (bijv. beginnen met een beeld en eindigen met visuele verificatie).
• Exploratie-gestuurde Selectie: Om de RL-efficiëntie te verbeteren, introduceert de pipeline een Exploratiegraad metriek ($E(q)$). Deze metriek meet de variantie in de lengte van succesvolle browsing-trajecten over meerdere rollouts. Een hoge exploratiegraad geeft aan dat correcte antwoorden via diverse paden bereikt kunnen worden (bijv. direct versus terugkeren/backtracking), wat rijkere contrastieve signalen biedt voor policy learning. Instances met een laag signaal worden eruit gefilterd.

2. Agent Training

Het framework traint een 35B-schaal agent (gebaseerd op Qwen3.5-3B-A3B) in twee stadia:

• Cold-Start Supervised Fine-Tuning (SFT): Gebruikt ~8.000 tool-gebruik trajecten om een stabiele actie-grammatica en patroon-bewuste prior vast te stellen.
• Exploratie-bewuste Reinforcement Learning (RL): Optimaliseert het SFT-model met ~10.000 QA-paren geselecteerd uit de top 30% van de instances op basis van de exploratiegraad metriek. De agent interageert met SEARCH (tekst, beeld-naar-tekst, tekst-naar-beeld) en LINKSUMMARY tools via een ReAct-stijl sequentieel besluitvormingsproces. De beloningsfunctie combineert antwoordcorrectheid en formaat-naleving, geoptimaliseerd via Group Relative Policy Optimization (GRPO).

Belangrijkste Bijdragen

1. Verenigde Datapipeline: UNIBROWSE is het eerste framework dat gelijktijdig trainingsdata genereert die de tekst-alleen, beeld-naar-tekst en tekst-naar-beeld patronen dekt, terwijl kennisgrafen worden uitgebreid met live web-retrieval voor verbeterde getrouwheid.
2. Exploratie-bewuste Filtering: De introductie van de exploratiegraad metriek maakt de selectie van hoogwaardige RL-instances mogelijk, wat de trainingsefficiëntie aanzienlijk verbetert door te focussen op problemen met rijke, diverse redeneersignalen.
3. State-of-the-Art Agent: De resulterende UNIBROWSE agent bereikt superieure prestaties op multimodale browsing-benchmarks, wat de effectiviteit van de data-naar-agent benadering aantoont.

Experimentele Resultaten

De UNIBROWSE agent werd geëvalueerd op vijf diverse benchmarks: BrowseComp-VL (BC-VL), MM-BrowseComp (MM-BC), MMSearch+, MMSearch en FVQA.

• Prestaties: Het uiteindelijke model (SFT + RL) behaalde een gemiddelde nauwkeurigheid van 54,4% over de vijf benchmarks.
• Verbetering: Dit vertegenwoordigt een verbetering van 10,5 procentpunt ten opzichte van het basismodel (Qwen3.5-3B-A3B, 43,9%).
• Vergelijking: De agent presteert beter dan verschillende closed-source workflows, waaronder GPT-5 (42,9%), Gemini-2.5 Pro (44,8%) en Gemini-2.5 Flash (41,3%). Het overtreft ook eerdere open-source baselines zoals WebWatcher-32B (31,7%) en Vision-DeepResearch-30B-A3B.
• Ablatie-studies:
  • Patroondekking: Trainen op alle drie de patronen leverde significant betere resultaten op dan trainen op enkel tekst-alleen of beeld-naar-tekst, met name op de uitdagende MM-BC benchmark.
  • Selectiestrategie: Het filteren van RL-data naar de top 30% op basis van de exploratiegraad leverde de beste prestaties op; te strikte (top 10%) of te losse (top 100%) filtering resulteerde in lagere scores.

Betekenis

Het artikel stelt dat controleerbare multimodale datacontructie en exploratie-bewuste post-training essentieel zijn voor het bouwen van effectieve browsing-agents. Door de kloof in patroondekking (specifiek de tekst-naar-beeld modaliteit) aan te pakken en de RL-trainingssignalen te optimaliseren via exploratie-diversiteit, demonstreert UNIBROWSE dat open-source modellen een concurrerende, state-of-the-art prestatie kunnen leveren in complexe, multimodale web-redeneertaken. Het framework verkleint de prestatiekloof tussen open-source agents en de sterkste propriëtaire workflows met meer dan de helft, wat de "data-naar-agent" paradigma valideert als een schaalbaar pad voor de toekomst.