WebExpert: domain-aware web agents with critic-guided expert experience for high-precision search

Het paper introduceert WebExpert, een domeinbewust webagent dat door het combineren van zinsniveau ervaringsretrieval, schemalight facet-inductie en voorkeur-geoptimaliseerde planning, de zoeknauwkeurigheid en efficiëntie in complexe domeinen zoals financiën en biomedische wetenschappen aanzienlijk verbetert.

De kern

🕵️‍♂️ WebExpert: De Slimme Zoektocht met een "Expert-Geheugen"

Stel je voor dat je een rechercheur bent die een complex geval moet oplossen.

• De gewone zoekmachine (zoals Google of een standaard AI-agent) is als een enthousiaste, maar onervaren stagiair. Die zoekt alles op wat er op internet staat, maar mist vaak de context. Als je vraagt: "Wat zijn de regels voor een hypotheek in 2024?", zoekt die stagiair misschien naar oude regels uit 2010, of naar regels voor een ander land, omdat hij niet weet dat het jaar en het land belangrijk zijn. Hij loopt vast in een doolhof van irrelevante pagina's.
• WebExpert is als een veteranerechercheur die een speciaal handboek (een "expert-geheugen") bij zich heeft. Voordat hij ook maar één pagina opent, slaat hij in dat handboek op wat belangrijk is: "Let op: hypotheekregels veranderen per jaar en per provincie!" Hierdoor weet hij precies waar hij moet zoeken.

Het paper beschrijft hoe ze deze "veteranerechercheur" hebben gebouwd. Hier zijn de drie belangrijkste stappen, vertaald naar alledaagse beelden:

1. Het Bouwen van het "Expert-Handboek" (De Critic-Guided Chain)

In plaats van dat mensen handmatig duizenden regels opschrijven, laten ze de AI zelf leren van bestaande vragen en antwoorden van experts.

• Het proces: De AI leest duizenden vragen en antwoorden (bijvoorbeeld over financiën of geneeskunde).
• De "Critic" (De Kritische Oog): De AI fungeert als een strenge redacteur. Hij pakt niet zomaar zinnen eruit, maar zoekt naar patronen. Hij zegt: "Oh, deze drie verschillende vragen gaan eigenlijk allemaal over hetzelfde: hoe je risico's spreidt in een beleggingsportefeuille."
• Het resultaat: Hij smelt deze losse zinnen samen tot korte, krachtige regels (zoals: "Risico's spreiden werkt het beste als activa niet met elkaar correleren"). Dit is je handboek met de "weetjes" die een expert zou weten.

2. De "Scheidsrechter" die de Zoekopdracht Richt (Schema-light Facet Induction)

Wanneer de AI een vraag krijgt, moet hij beslissen hoe hij gaat zoeken.

• Het probleem: Een gewone AI denkt: "Ik zoek naar 'hypotheek'."
• De WebExpert-methode: De AI kijkt eerst in zijn handboek. Het handboek zegt: "Wacht, bij hypotheek moet je altijd kijken naar: Tijd (welk jaar?), Regio (welk land/provincie?) en Beleid."
• De Analogie: Stel je voor dat je op een feestje bent. Een gewone bezoeker roept: "Ik zoek iemand!" en rent door de hele zaal. WebExpert is als iemand die eerst naar de gastenlijst kijkt en zegt: "Oké, ik zoek de vrouw die rood draagt en uit Amsterdam komt." Hij zoekt niet naar alles, maar alleen naar wat relevant is. Dit noemen ze "facets" (gezichten/kanten van de vraag).

3. De "Gids" die de AI op het Rechter Spoor Houdt (Preference-Optimized Planning)

Tijdens het zoeken kan de AI soms de weg kwijtraken of twijfelen.

• De Gids: WebExpert heeft een ingebouwde "gids" die continu checkt: "Zit ik nog steeds op het goede spoor?"
• Het mechanisme: Als de AI een zoekopdracht bedenkt, kijkt de gids of deze past bij de regels uit het handboek.
  • Is de zoekopdracht te vaag? Dan zegt de gids: "Nee, voeg het jaar toe!"
  • Is de gids niet zeker? Dan zegt hij: "Oké, zoek dan gewoon breed, maar wees voorzichtig."
• Dit zorgt ervoor dat de AI minder tijd verspilt aan het bezoeken van verkeerde websites (minder "page hops") en sneller het juiste antwoord vindt.

🏆 Wat is het resultaat?

De onderzoekers hebben WebExpert getest op moeilijke vragen over financiën, geneeskunde en algemene kennis (zoals in de benchmarks GAIA en GPQA).

• De winst: WebExpert gaf preciezer antwoord dan de beste bestaande zoek-robots.
• Efficiëntie: Hij hoefde minder websites te bezoeken om het antwoord te vinden. Hij raakte niet verdwaald in het internet.
• Betrouwbaarheid: Omdat hij zich baseert op bewezen expert-regels, maakt hij minder fouten door verouderde informatie of verkeerde context.

📝 Samenvatting in één zin

WebExpert is een slimme web-agent die niet blindelings het internet afzoekt, maar eerst een "handboek" met expert-regels raadpleegt om zijn zoekopdrachten te verfijnen, waardoor hij sneller en nauwkeuriger het juiste antwoord vindt dan elke andere robot.

Het paper laat zien dat als je AI's leert om te denken zoals een menselijke expert (met aandacht voor tijd, plaats en context), ze veel beter worden in complexe taken.

Technische samenvatting

1. Probleemstelling

Specialistische webtaken in sectoren zoals financiën, biomedische wetenschappen en farmaceutica vormen een grote uitdaging voor huidige webagenten. Hoewel generieke agents goede resultaten behalen op open-ended taken, falen ze vaak in domeinspecifieke scenario's (bijv. kredietgoedkeuring of klinische richtlijnen) vanwege het ontbreken van domeinvakmanschap (domain priors).

De belangrijkste pijnpunten zijn:

• Afdwalende zoekopdrachten: Agents formuleren vragen die niet gericht zijn op de kern van het domein.
• Ruis in bewijs: Ze surfen naar irrelevante pagina's en missen cruciaal bewijsmateriaal.
• Fragiele redenering: Zonder kennis van contextuele factoren (zoals seizoensgebondenheid, regionale regelgeving of specifieke industriestandaarden) is de redenering onstabiel.
• Beperkte RAG: Bestaande Retrieval-Augmented Generation (RAG) systemen injecteren zelden gestructureerde domeinkennis (zoals beleid, regio of L2-industrie) op een systematische manier.

2. Methodologie: WebExpert

WebExpert is een domeinbewuste webagent die een expertervaringsmodule integreert vóór diep browsen. De architectuur volgt een drie-staps pijplijn:

A. Critic-Guided Expert Experience Extraction (Offline)

In plaats van statische lexicons te gebruiken, bouwt WebExpert een dynamische basis van expertregels uit geannoteerde data en bronmateriaal:

1. Verzameling en Normalisatie: Verzamelen van QA-tuples (vraag, antwoord, redenering, citaten) en normaliseren van vragen via parafrase-mining.
2. Multi-view Clustering: Groeperen van QA-tuples op basis van semantische gelijkenis in vragen, antwoorden en hun combinatie (met HDBSCAN/BERTopic), zelfs als antwoorden in granulariteit verschillen.
3. Evidence Aggregatie: Aggregeren van antwoorden en rationales binnen clusters, met verwijdering van duplicaten en ruis (via BM25 en MMR).
4. Contradictie-bewuste Samenvatting: Een "critic" (een groot redenerend model zoals DeepSeek-R1) genereert een beknopte regel ($r_m$) per cluster. Deze regel bevat voorwaarden, kernrichtlijnen, randgevallen en bekende faalmodi.
5. Facet-Inductie: Elke regel wordt opgesplitst in domeinspecifieke facetten: tijd, regio, beleid en industrie (L2). Dit gebeurt automatisch via corpusstatistieken en LLM-disambiguatie, zonder handmatige schema's.
6. Versiebeheer: De ervaringsbasis wordt bijgewerkt met streaming updates terwijl stabiele ID's behouden blijven.

B. Inference (Online)

Tijdens het uitvoeren van een taak:

1. Retrieval: De agent haalt de top-$k$ relevante ervaringen op uit de basis op basis van de vraag.
2. Query Planning met "Experience Gate": De agent genereert een zoekplan ($z$) die voorwaarde is op de vraag en de opgehaalde ervaringen. Een "gate" beoordeelt de betrouwbaarheid van de retrieved ervaringen.
   • Hoge betrouwbaarheid: De decoding wordt bevooroordeeld (biased) naar actieve facetten (bijv. specifieke regio of beleid).
   • Lage betrouwbaarheid: De agent valt terug op generieke query-generatie om over-beperking te voorkomen.
3. Diep Browsen: De gegenereerde zoekopdrachten worden gebruikt door een controller die zoeken en redeneren afwisselt om het antwoord te synthetiseren.

C. Training en Doelstellingen

Het model (QwQ-32B) wordt fijngefineerd (SFT) met een voorkeursgeoptimaliseerde planning:

• Token-georiënteerde loss: Tokens die domeinfacetten activeren, krijgen een hogere weging.
• Contrastieve Retrieval Loss: Het model leert om positieve ervaringen (die bij de vraag passen) te onderscheiden van harde negatieven.
• Coverage-aware Objective: Zorgt ervoor dat de agent een breed scala aan relevante facetten dekt.

3. Belangrijkste Bijdragen

1. Critically-Guided Extraction Chain: Een methode om geannoteerde data om te zetten in herbruikbare, zin-gebaseerde expertregels die zoekopdrachten sturen.
2. Schema-light Facet Induction: Een praktische pijplijn die facetvocabulaires (tijd, regio, beleid) automatisch afleidt uit zwak toezicht en corpusstatistieken, in plaats van handgeschreven lexicons te gebruiken.
3. Voorkeursgeoptimaliseerde Planning: Een trainingsschema dat query-planning en retrieval gezamenlijk verbetert via paar-voor-paar voorkeursleren en een dekking-bewust doel.
4. Dynamische Fallback: Een mechanisme dat voorkomt dat de agent vastloopt in te specifieke regels wanneer de retrieved ervaringen onzeker zijn.

4. Resultaten

WebExpert is geëvalueerd op benchmarks GAIA, GPQA, HLE en WebWalkerQA.

• Prestaties: WebExpert verbetert de Exact Match (EM) score met 1,5 tot 3,6 procentpunten ten opzichte van de sterkste bestaande browsing-baselines (zoals Search-o1 en WebThinker).
  • Bijvoorbeeld op GAIA: 46,2% (WebExpert) vs 44,7% (WebThinker-Base).
  • Met SFT (Supervised Fine-Tuning) stijgt dit naar 47,7%.
• Efficiëntie: Het aantal pagina-hops (het aantal pagina's dat moet worden bezocht) neemt aanzienlijk af (van ~8,1 naar ~5,2), wat betekent dat de agent sneller het juiste antwoord vindt.
• Zoekkwaliteit: De Query Precision@3 (QP@3) stijgt van 49,3% naar 61,8%, wat aangeeft dat de gegenereerde zoekopdrachten veel relevanter zijn.
• Ablatiestudies: De resultaten tonen aan dat zowel zin-niveau retrieval als SFT de grootste bijdrage leveren aan de prestaties. Het gebruik van top-5 ervaringen (in plaats van 1) balanceert precisie en dekking het beste.

5. Betekenis en Conclusie

WebExpert demonstreert dat het integreren van domeinspecifieke expertervaringen in de zoekcyclus van een agent cruciaal is voor het oplossen van complexe, gespecialiseerde taken. Door over te gaan van generieke zoekopdrachten naar facet-gedreven, bewijs-gebaseerde zoekopdrachten, kan de agent:

• Minder tijd verspillen aan irrelevante pagina's.
• Meer nauwkeurige en contextueel correcte antwoorden genereren.
• Effectiever omgaan met complexe domeinen waar regelgeving en context (tijd/locatie) essentieel zijn.

De code is openbaar beschikbaar, wat de reproduceerbaarheid en verdere ontwikkeling van domeinbewuste agents bevordert.