VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning

Dit paper introduceert VSearcher, een versterkingsleeragent die statische multimodale modellen transformeert in een dynamisch zoekagent voor complexe, meerstaps webzoekopdrachten, ondersteund door een nieuw trainingskader en een rigoureus evaluatiebenchmark.

De kern

VSearcher: De Slimme Zoektocht van een Digitale Avonturier

Stel je voor dat je een zeer slimme robot hebt die alles weet over de wereld, maar alleen uit zijn eigen geheugen. Hij kent de geschiedenis van de oude Egyptenaren en de naam van de hoofdstad van Frankrijk. Maar als je hem vraagt: "Wat is de nieuwste prijs van de iPhone 16 en zie ik er een foto van?", dan heeft hij een probleem. Hij kan niet naar buiten kijken, hij kan niet op Google zoeken en hij kan niet zien wat er nu op het internet staat. Hij is als een bibliothecaris die in een kelder zit met boeken uit 2023, terwijl de wereld buiten al in 2026 is.

VSearcher is de oplossing voor dit probleem. Het is een nieuwe manier om die robot te leren zoeken, kijken en denken als een echte mens.

Hier is hoe het werkt, vertaald in een simpel verhaal:

1. De Leermeester en de Leerling (De "Rejection Sampling" Fase)

Stel je voor dat je een beginnende detective wilt trainen om een heel moeilijk misdrijf op te lossen. Je kunt niet zomaar zeggen: "Ga het oplossen." Hij zou vastlopen.

In plaats daarvan haal je de beste detective ter wereld (in dit geval een heel slim AI-model genaamd Gemini) en laat hij het werk doen.

• De meester-detective loopt het hele pad af: hij zoekt op internet, bekijkt foto's, leest nieuwsberichten en komt tot een antwoord.
• Maar hier is de truc: als de meester een fout maakt of het verkeerde antwoord geeft, gooien we dat hele verhaal in de prullenbak.
• Alleen de perfecte verhalen, waar de meester het juiste antwoord vindt na veel zoeken, houden we over.

De beginnende robot (VSearcher) leert dan door deze perfecte verhalen te bestuderen. Hij leert: "Ah, zo moet je het aanpakken! Eerst zoeken, dan kijken, dan lezen, dan beslissen." Dit noemen ze Rejection Sampling Fine-tuning. Het is alsof je een leerling laat kopiëren van de beste meester, maar alleen de perfecte kopieën.

2. De Gokker die Leert van zijn Fouten (De "Reinforcement Learning" Fase)

Nu is de robot al slim, maar hij is nog een beetje stijf. Hij volgt alleen de regels van de meester. Om echt slim te worden, moeten we hem in het echte leven zetten.

Stel je voor dat je de robot de computer geeft en zegt: "Ga zelf op zoek naar het antwoord. Als je het goed hebt, krijg je een sterretje. Als je het fout hebt, krijg je niets."

• De robot probeert het zelf. Soms zoekt hij te lang, soms zoekt hij op de verkeerde plek.
• Maar omdat hij in een echte webwereld oefent (met echte zoekmachines en echte websites), leert hij snel wat werkt en wat niet.
• Na duizenden pogingen wordt hij een meester in het vinden van informatie, zelfs als de vraag heel moeilijk is.

Dit noemen ze Versterkend Leren (Reinforcement Learning). Het is als een kind dat fietsen leert: eerst valt hij vaak, maar door te vallen en weer op te staan, leert hij uiteindelijk perfect te balanceren.

3. De Kunst van het Maken van Moeilijke Oefeningen (De "Data Synthesis")

Hoe train je een robot op iets dat nog niemand heeft bedacht? Je moet hem oefeningen geven die lastig genoeg zijn, maar niet onmogelijk.

De onderzoekers hebben een slimme machine bedacht die zelf duizenden moeilijke vragen bedenkt.

• Ze beginnen met een saai feitje (bijvoorbeeld: "Wie was de oom van deze koning?").
• Dan maken ze het steeds ingewikkelder door stukjes informatie weg te halen en te vervangen door: "Zoals je ziet op deze foto..." of "Zoals beschreven in dit nieuwsartikel...".
• Ze zorgen ervoor dat de robot moet zoeken op internet en moet kijken naar foto's om het antwoord te vinden. Als hij dat niet doet, kan hij het niet oplossen.

Het is alsof je een sporter traint door de heuvels steeds steiler te maken, zodat hij sterker wordt.

4. De Proef (De Benchmark)

Om te bewijzen dat VSearcher echt goed is, hebben de onderzoekers een grote test gemaakt (genaamd MM-SearchExam). Het is een soort olympische spelen voor zoekrobots.

• De test is zo moeilijk dat zelfs de duurste, meest geavanceerde robots van grote tech-bedrijven (zoals GPT-5 of Gemini) er vaak in falen.
• Maar VSearcher? Die scoort er fantastisch op. Hij wint vaak van de dure concurrenten.

Samenvattend: Wat is het grote geheim?

VSearcher is niet zomaar een robot die meer weet. Het is een robot die leert hoe hij moet zoeken.

• Eerder: Robots waren als een gesloten boek. Alles wat ze wisten, zat in hun hoofd.
• Nu: VSearcher is als een onderzoeker met een laptop, een camera en een internetverbinding. Hij kan denken, zoeken, kijken en beslissen, net als een mens.

Het is een enorme stap voorwaarts: van een robot die alleen kan praten, naar een robot die de wereld kan verkennen.

Technische samenvatting

Probleemstelling

Grote modellen (foundation models) ontwikkelen zich steeds meer tot autonome agenten die kunnen interageren met de echte wereld en externe tools gebruiken om hun statische kennis te verrijken. Echter, de meeste recente vooruitgang is beperkt tot tekst-only Large Language Models (LLMs), wat hun toepassingsmogelijkheden beperkt tot één modality. Aan de andere kant hebben multimodale grote modellen (MLLMs) wel sterke perceptieve vaardigheden, maar blijven ze vaak beperkt tot statische kennis en kunnen ze geen actuele webinformatie ophalen of externe tools effectief benutten.

Er is een tekort aan systemen die multimodale modellen kunnen omvormen tot agenten die lange-horizon, multi-turn toolgebruik kunnen uitvoeren in real-world webomgevingen (zoals zoeken naar afbeeldingen, tekst en browsen) om complexe multimodale vragen te beantwoorden.

Methodologie: VSearcher

VSearcher is een framework dat statische multimodale modellen omzet in autonome zoekagenten via een uitgebreid post-training proces bestaande uit drie hoofdfasen:

1. Iterative Injection-based Data Synthesis (Datageneratie)

Om agenten te trainen op complexe taken, is een grote hoeveelheid uitdagende trainingsdata nodig. De auteurs stellen een volledig geautomatiseerde pipeline voor:

• Zaadselectie (Seed Selection): Er worden zeldzame entiteiten geselecteerd uit Wikidata (gebaseerd op het aantal 'sitelinks' en 'statements') om te garanderen dat de agent niet op statische kennis kan vertrouwen.
• Initiële QA-generatie: Er wordt een eenvoudige tekstuele vraag-antwoordpaar gegenereerd op basis van Wikipedia-inhoud.
• Iteratieve Injectie van Tekst: In meerdere rondes wordt een entiteit uit de vraag "verborgen" en vervangen door gedetailleerde, zeldzame informatie uit Wikipedia. Dit maakt de vraag complexer en vereist webbrowsing.
• Injectie van Afbeeldingen: Een cruciale entiteit in de vraag wordt vervangen door de tekst "zoals getoond in de afbeelding", en de bijbehorende afbeelding wordt toegevoegd als visuele input. Dit dwingt de agent om beeldzoekopdrachten te gebruiken.
• Filtering: De gegenereerde data wordt gefilterd op moeilijkheidsgraad en kwaliteit. Vragen die te makkelijk zijn (oplosbaar zonder tools) of waarbij het antwoord al in de vraag staat, worden verwijderd.

2. Rejection Sampling Fine-tuning (RFT)

In deze fase wordt de basis multimodale model "koudgestart" met de vaardigheden van een krachtig leraar-model.

• Leraar-model: Gemini-3-Pro-Thinking wordt gebruikt om trajecten (ReAct-loop: Redeneren, Actie, Observatie) te genereren voor de gegenereerde taken.
• Rejection Sampling: Alleen die trajecten die eindigen met het juiste antwoord worden behouden. Trajecten met foutieve antwoorden worden verworpen.
• Supervised Fine-Tuning: Het basismodel wordt getraind op deze hoogwaardige trajecten om initieel multi-turn toolgebruik aan te leren.

3. Reinforcement Learning (RL)

Om de agent verder te generaliseren en robuust te maken in de echte wereld, wordt Reinforcement Learning toegepast.

• Omgeving: Training vindt plaats in een real-world webomgeving met daadwerkelijke tools (Google Custom Search voor tekst, Google Vision voor afbeeldingen, en een 'visit'-tool voor het samenvatten van webpagina's).
• Algoritme: Er wordt gebruikgemaakt van GRPO (Group Reward Proximal Optimization).
• Beloning (Reward): De beloning is puur gebaseerd op de correctheid van het eindantwoord (1 voor correct, 0 voor incorrect). Er wordt strikt gecontroleerd op het formaat van de output tijdens de 'rollout' om fouten te voorkomen.
• Doel: De agent leert adaptief tools te kiezen en lange zoekketens te doorlopen om complexe problemen op te lossen.

Belangrijkste Bijdragen

1. Iterative Injection Data Synthesis: Een pipeline voor het volledig automatisch genereren van schaalbare, complexe multimodale browse-taken met variërende moeilijkheidsgraden.
2. Comprehensive Post-Training Pipeline: Een geïntegreerde aanpak (SFT + RL) om statische modellen om te vormen tot lange-horizon zoekagenten.
3. MM-SearchExam Benchmark: Een nieuwe, zeer uitdagende benchmark voor het evalueren van multimodale zoekagenten. Deze benchmark is specifiek ontworpen om de beperkingen van bestaande modellen (inclusief gesloten bronmodellen) bloot te leggen.
4. Superieure Prestaties: VSearcher presteert beter dan recente open-source multimodale agenten en slaat zelfs meerdere gesloten (proprietary) modellen op diverse benchmarks.

Resultaten

De evaluatie toont aan dat VSearcher aanzienlijke verbeteringen boekt ten opzichte van de staat van de kunst:

• Benchmark Prestaties: VSearcher behaalt de hoogste scores op vijf verschillende multimodale zoekbenchmarks, waaronder MMSearch, BrowseComp-VL en de nieuwe MM-SearchExam.
• Vergelijking met Proprietary Modellen: VSearcher overtreft krachtige gesloten modellen zoals GPT-5, Gemini-3-Pro en Qwen3-VL-Plus op specifieke taken, wat aantoont dat de RL-aanpak in een real-world omgeving zeer effectief is.
• Analyse van Toolgebruik: De analyse toont aan dat de agent tijdens het trainingsproces leert om meer gebruik te maken van de 'visit'-tool voor gedetailleerde verificatie, terwijl tekstzoekopdrachten de primaire bron van informatie blijven. De agent leert ook om complexe afbeeldingen te analyseren door eerst beeldzoekopdrachten te doen en vervolgens gerichte tekstzoekopdrachten.

Betekenis en Impact

Dit werk is een belangrijke stap in de evolutie van multimodale AI. Het bewijst dat statische vision-language modellen kunnen worden getransformeerd tot dynamische, autonome agenten die de realiteit kunnen navigeren via het web.

• Overbrugging van de Kloof: Het combineert de perceptieve kracht van multimodale modellen met de dynamische kennis van het web.
• Schalbaarheid: De voorgestelde data-synthesepipeline biedt een oplossing voor het gebrek aan hoogwaardige, complexe trainingsdata voor lange-horizon taken.
• Toekomstige Toepassingen: De methode opent de deur voor AI-agenten die complexe, real-world onderzoeksopdrachten kunnen uitvoeren die zowel visuele als tekstuele informatie vereisen, zoals wetenschappelijk onderzoek, juridisch onderzoek of complexe productvergelijkingen.

Kortom, VSearcher demonstreert dat door middel van geavanceerde data-synthese en Reinforcement Learning in real-world omgevingen, multimodale modellen kunnen evolueren tot krachtige, zelfstandige onderzoekers.