Evaluating the Search Agent in a Parallel World

Deze paper introduceert Mind-ParaWorld, een nieuw framework en benchmark (MPW-Bench) dat Search Agents evalueert in een gesimuleerde parallelle wereld om de uitdagingen van dynamische veroudering, attributievage en reproduceerbaarheid bij het testen van zoekagenten op te lossen.

De kern

🌍 De "Parallelle Wereld" Test voor Slimme Zoekrobots

Stel je voor dat je een superintelligente robot hebt die het hele internet kan doorzoeken om vragen te beantwoorden. Dit noemen we een Search Agent (zoekagent). Deze robots worden steeds slimmer, maar hoe testen we of ze écht goed zijn? Dat is de grote vraag die dit paper van Li Auto beantwoordt.

De onderzoekers zeggen: "Huidige tests zijn kapot." En ze hebben een nieuw, creatief idee bedacht om dit op te lossen: Mind-ParaWorld (MPW).

Laten we kijken waarom de oude tests faalden en hoe hun nieuwe "Parallelle Wereld" werkt.

1. Waarom de oude tests niet werken (De "Verouderde Kaart")

Stel je voor dat je een robot test met een oude landkaart van Nederland uit 2010.

• Het probleem: De wereld verandert snel. Vandaag is er een nieuwe brug, morgen is de prijs van brood veranderd, en overmorgen is een sportrecord verbroken.
• De "Difficulty Collapse": Vroeger was het moeilijk om te weten wie de snelste loper was in 2015. Maar omdat iedereen dat nu weet, is het voor een robot tegenwoordig heel makkelijk (het is "ingeburgerd"). De test wordt dus te makkelijk.
• Het geheugen-probleem: Soms weet de robot het antwoord al uit zijn hoofd (zijn trainingsdata) en hoeft hij niet eens te zoeken. Dan weet je niet of hij slim is, of dat hij alleen maar kan "opzeggen".
• De "Gokker": Als je de robot vraagt om het weer te checken, en hij kijkt op een echte website, kan het zijn dat die website vandaag down is of dat de zoekmachine andere resultaten laat zien dan gisteren. De test is niet eerlijk of reproduceerbaar.

2. De Oplossing: Mind-ParaWorld (De "Tijdreis-Simulatie")

In plaats van de robot te laten zoeken op het echte internet, bouwen de onderzoekers een Parallelle Wereld.

Stel je voor dat je een videospelletje maakt (zoals The Sims of Zelda), maar dan met strikte regels:

• De Regels (Atomaire Feiten): In deze wereld gelden onschendbare wetten. Bijvoorbeeld: "In het jaar 2027 heeft speler Nico Williams precies 11 assists gegeven." Dit is een feit dat niet kan veranderen.
• De Vragen: De robot krijgt vragen over deze toekomstige wereld (bijv. over het seizoen 2027-2028). Omdat de robot is getraind op data tot 2024, weet hij het antwoord niet. Hij moet zoeken.
• De Zoekmachine (PEM): In plaats van Google, gebruikt de robot een speciale zoekmachine die alleen maar antwoorden geeft die gebaseerd zijn op die strikte regels van de Parallelle Wereld.

De Analogie:
Het is alsof je een detectivestest geeft in een gesloten kamer. Je hebt een doos met kaarten (de feiten). De detective (de robot) mag niet naar buiten om te vragen, maar moet de kaarten in de doos zoeken en combineren om een moord op te lossen. Als hij een kaart mist, faalt hij. Dit is eerlijk, want je weet precies welke kaarten er in de doos zaten.

3. Wat hebben ze ontdekt? (De "Bottlenecks")

Ze hebben 1.600 van deze tests gemaakt en verschillende robots (zoals Qwen, MiniMax, GPT-5) erop laten werken. Hier zijn de belangrijkste bevindingen, vertaald naar alledaagse taal:

• De "Stop te vroeg"-ziekte:
  Veel robots geven het antwoord op voordat ze alle stukjes van de puzzel hebben gevonden.

  • Vergelijking: Het is alsof een kok een taart maakt, maar hij stopt met bakken zodra hij deeg heeft, omdat hij denkt: "Ik heb wel genoeg ingrediënten." Hij vergeet dat hij ook eieren en suiker nodig had. De robots stoppen te snel met zoeken.

• Het "Zoekwoord"-probleem:
  Robots zijn goed in het samenvatten van informatie als ze die al hebben, maar ze zijn slecht in het bedenken van de juiste zoekwoorden.

  • Vergelijking: Als je iemand vraagt "Hoe kom ik naar het station?", zegt een slimme robot: "Ik zoek op Google." Maar een echte expert zegt: "Ik zoek eerst op 'station Amsterdam Centraal', dan op 'treinregeling', en dan op 'perronnummer'." Veel robots blijven hangen in brede, vaag vragen die geen goed antwoord geven.

• De "Moeilijkheids-graad":
  Hoe complexer de vraag (meer feiten nodig), hoe slechter de robots presteren. Ze raken de draad kwijt en vinden niet genoeg feiten.

4. Waarom is dit belangrijk?

De onderzoekers hebben een nieuwe meetlat gemaakt (MPW-Bench) die eerlijker is dan alles wat we nu hebben.

• Het is onveranderlijk: De feiten in de Parallelle Wereld veranderen niet.
• Het is eerlijk: Niemand kan het antwoord uit zijn hoofd weten.
• Het laat zien waar het misgaat: Gaat het mis bij het zoeken? Of bij het begrijpen van wat gevonden is?

Conclusie in één zin:
De robots zijn momenteel goed in het lezen van wat ze vinden, maar ze zijn nog niet goed genoeg in het plannen van hun zoektocht en het weten wanneer ze genoeg hebben gevonden. De "Parallelle Wereld" helpt ons om precies die zwakke plekken op te sporen en te verbeteren.

Dit onderzoek is een stap naar robots die echt betrouwbaar zijn voor complexe taken, zoals het vinden van de beste medicijnkeuze of het analyseren van financiële markten, zonder dat ze halverwege stoppen of hallucineren.

Technische samenvatting

Titel: Evaluatie van Zoekagenten in een Parallelle Wereld (Mind-ParaWorld)

Auteurs: Jiawei Chen, Xintian Shen, Lihao Zheng, et al. (Li Auto Base Model)
Datum: Maart 2026 (Preprint)

---

1. Het Probleem: Uitdagingen bij het Evalueren van Zoekagenten

Hoewel Large Language Models (LLMs) geïntegreerd met webzoektools (Search Agents) aanzienlijke vooruitgang hebben geboekt bij het oplossen van complexe, real-time vragen, blijft de evaluatie van deze agenten achter. Het paper identificeert vier fundamentele problemen met bestaande evaluatiemethoden:

1. Dynamische Obsolescentie van Static Benchmarks: Bestaande benchmarks verouderen snel. Complexe vragen die oorspronkelijk "diep onderzoek" vereisten, veranderen vaak in simpele zoekopdrachten naarmate informatie op het internet populairder wordt ("Difficulty Collapse"). Daarnaast verouderen feiten door tijdsevolutie (bijv. sportrecords, aandelenkoersen), wat leidt tot "Fact Drift" waarbij de grondwaarheid (ground truth) van benchmarks snel verouderd is.
2. Attributie-Ambiguïteit: Het is moeilijk te onderscheiden of een model een probleem oplost door middel van zoektools en redenering, of simpelweg door opgeslagen kennis uit het trainingsproces (parametrisch geheugen) te herhalen.
3. De Kosten-Kwaliteit Paradox: Het bouwen van hoogwaardige benchmarks voor diep zoeken is extreem duur en vereist menselijke expertise. Geautomatiseerde synthetische data lijdt vaak onder logische lekken of onbetrouwbare bronnen.
4. Variabiliteit en Reproduceerbaarheid: Afhankelijkheid van commerciële zoekmachines introduceert variabiliteit door ondoorzichtige rangschikkingalgoritmes, wat eerlijke vergelijkingen bemoeilijkt.

2. Methodologie: Het Mind-ParaWorld (MPW) Framework

Om deze problemen op te lossen, stellen de auteurs Mind-ParaWorld (MPW) voor. Dit is een evaluatieframework dat een gecontroleerde "parallelle wereld" creëert die cognitief geïsoleerd is van de interne kennis van het model.

Kerncomponenten van MPW:

• Parallelle Wereld Vragen: Het systeem selecteert echte wereldentiteiten (bijv. voetballers, tech-bedrijven) en genereert scenario's en vragen die zich in de toekomst bevinden (buiten de kenniscutoff van het model). Dit garandeert dat het model de antwoorden niet uit zijn geheugen kan halen; het moet zoeken.
• ParaWorld Law Model: Voor elke vraag wordt een set van ondeelbare, onschendbare Atomaire Feiten gegenereerd. Deze fungeren als de "wetten" van deze parallelle wereld. Op basis van deze feiten wordt een unieke grondwaarheid (ground truth) berekend.
• ParaWorld Engine Model (PEM): In plaats van een echte zoekmachine, communiceert de agent met de PEM. Deze engine genereert dynamisch nieuwsfragmenten (SERP-achtige resultaten) die strikt gebaseerd zijn op de Atomaire Feiten.
  • Anti-Shortcut Mechanisme: De PEM classificeert zoekopdrachten. Alleen gedetailleerde, atomaire zoekopdrachten (één entiteit + één attribuut) krijgen gerichte feitelijke antwoorden. Complexe of samengestelde vragen (compound queries) krijgen alleen vaag, niet-relevante "ruis" terug. Dit dwingt de agent om zijn zoektocht te decomponeren.

MPW-Bench:
Op basis van MPW is MPW-Bench ontwikkeld, een interactieve benchmark met 1.608 instances verspreid over 19 domeinen (zoals sport, entertainment, technologie). De benchmarks zijn ingedeeld in complexiteitsniveaus (Easy, Mid, Hard) gebaseerd op het aantal atomaire feiten dat nodig is om de vraag te beantwoorden.

3. Evaluatie Settings

De auteurs evalueren agenten in drie settings om verschillende vaardigheden te isoleren:

• Setting A (Oracle-Facts QA): De agent krijgt alle atomaire feiten direct te zien zonder zoektoegang. Dit meet de bovenste grens van redenering en synthese (evidence synthesis).
• Setting B (Guided Search): De agent moet zoeken, maar krijgt expliciete instructies (prompting) om atomaire zoekopdrachten te formuleren. Dit meet de vaardigheid in taakdecompositie en feitelijke dekking onder begeleiding.
• Setting C (End-to-End Search): De agent werkt volledig autonoom zonder extra instructies over hoe zoekopdrachten te formuleren. Dit is de meest realistische test van de totale agent-capaciteit.

4. Belangrijkste Resultaten

Experimenten met diverse modellen (o.a. Qwen3, MiniMax, MindWatcher, GPT-5, Gemini) tonen de volgende inzichten:

• Redenering vs. Zoeken: In Setting A (volledige informatie) presteren de meeste modellen zeer goed (Pass@1 tot 91%), wat aantoont dat ze goed kunnen redeneren als ze alle feiten hebben. De grote kloof met Setting C (End-to-End) toont aan dat het grootste knelpunt feitelijke dekking (evidence acquisition) is, niet het redeneren zelf.
• Knelpunten in Zoekstrategie:
  • Premature Stopping: Veel modellen stoppen te vroeg met zoeken en geven een antwoord voordat ze voldoende feiten hebben verzameld, zelfs als de taak complex is.
  • Query Kwaliteit: Zonder begeleiding (Setting C) genereren modellen vaak inefficiële of te brede zoekopdrachten die geen bruikbare feiten opleveren.
  • Afname van Marginaal Nut: Naarmate het aantal zoekopdrachten toeneemt, neemt de kwaliteit van de nieuwe feiten die worden gevonden af. Modellen blijven vaak zoeken zonder nieuwe, relevante informatie te vinden.
• Correlatie Dekking en Succes: Er is een sterke, monotone correlatie tussen Fact Coverage Rate (FCR) en Pass@1. Hoe meer atomaire feiten een agent vindt, hoe hoger de kans op een correct antwoord. Dit bevestigt dat onvoldoende dekking de primaire oorzaak van falen is.
• Modelverschillen: Modellen zoals MindWatcher en MiniMax-m2.1 presteren beter in Setting C door meer zoekopdrachten te doen en een betere dekking te behalen, terwijl modellen zoals Qwen3 vaak te vroeg stoppen met zoeken.

5. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Nieuw Evaluatieparadigma: Mind-ParaWorld introduceert een "parallelle wereld" benadering die data-contaminatie, tijdsveroudering en oncontroleerbare zoekresultaten elimineert.
2. MPW-Bench: Een reproduceerbare, interactieve benchmark met 1.608 scenario's die specifiek is ontworpen om "Deep Search" vaardigheden te testen zonder afhankelijkheid van het live web.
3. Procesbewuste Diagnostiek: Het framework biedt inzicht in waarom een agent faalt (bijv. slechte query-vormulering vs. slechte redenering) door metrics zoals Fact Coverage Rate en Hit Rate te gebruiken.
4. Praktische Implicaties: De resultaten tonen aan dat de volgende stap in de ontwikkeling van zoekagenten niet noodzakelijk grotere taalmodellen is, maar beter query-decompositie, strategie voor wanneer te stoppen met zoeken, en evidence coverage.

Conclusie:
Het paper biedt een solide, wetenschappelijk onderbouwde methode om zoekagenten te evalueren die vrij is van de valkuilen van bestaande benchmarks. Het benadrukt dat de huidige beperkingen van Search Agents voornamelijk liggen in het vermogen om de juiste, gedetailleerde zoekvragen te formuleren en voldoende feitelijke dekking te bereiken voordat een antwoord wordt gegeven, in plaats van in het vermogen om die informatie te synthetiseren.