Technische Samenvatting: DISCOBENCH voor Verhelderingsbewuste Diepe Zoekopdrachten

1. Probleemstelling

Zoekagenten die worden aangedreven door Large Language Models (LLM's) worden steeds vaker ingezet voor complexe, meerstaps informatiezoekopdrachten. De huidige evaluatiebenchmarks gaan echter grotendeels uit van de aanname dat gebruikersvragen volledig, expliciet en feitelijk correct zijn. Deze aanname wijkt sterk af van real-world scenario's waarin gebruikers vaak vage, ondergespecificeerde of feitelijk onjuiste vragen stellen vanwege geheugenbeperkingen of cognitieve belasting.

In "diepe zoekscenario's" waarbij complexe redeneerketens betrokken zijn, kan initiële ambiguïteit zich voortplanten door opeenvolgende stappen, wat agenten op onjuiste trajecten leidt en computationele middelen verspilt. Hoewel de academische gemeenschap het belang van query-ambiguïteit erkent, schieten huidige benchmarks tekort in het adequaat evalueren van het vermogen van een agent om proactief ambiguïteit te identificeren, effectieve verhelderingsvragen te stellen en correcte redeneerpaden door interactie te herstellen. Bestaande datasets richten zich ofwel op statische ambiguïteit (bijv. AmbigQA), of ze missen de diepgang van open-domein webzoeken en de amplificatie-effecten van ambiguïteit binnen lange redeneerketens (bijv. InteractComp).

2. Methodologie

2.1 DISCOBENCH Constructie

De auteurs introduceren DISCOBENCH (Deep Interactive Search with ClarificatiOn Benchmark), een dataset die ontworpen is om ambiguïteit te modelleren als een dynamisch fenomeen dat ontstaat tijdens meerstaps zoektrajecten. De constructiepipeline bestaat uit twee fasen:

• Fase 1: Voorbereiding van Seed-data: Het team verzamelde seed-onderwerpen uit 11 diverse domeinen (bijv. Film/TV, Sport, Academisch, Financiën) met behulp van encyclopedische bronnen en zoekmachine-resultaten. Ze construeerden hoogwaardige multi-hop redeneerketens (211 samples) waarbij antwoorden objectief verifieerbaar zijn en externe retrieval vereisen.
• Fase 2: Constructie van Ambigue Data: Deterministische redeneerketens werden getransformeerd naar interactieve taken door ambiguïteit te injecteren. De auteurs identificeerden "ambiguïteitspunten" waar het versoepelen van beperkingen leidt tot meerdere plausibele kandidaten. Ze vervingen sterke beperkingen door gedeelde attributen tussen kandidaat-entiteiten, waardoor vier specifieke ambiguïteitstypen ontstonden:
  1. Entiteit: Meerdere entiteiten voldoen aan dezelfde beschrijving.
  2. Versie: Verschillende temporele of versie-specifieke staten.
  3. Criteria: Verschillende evaluatiestandaarden of rangschikkingscriteria.
  4. Feitelijke Onjuistheid: Beschrijvingen die inconsistent zijn met objectieve feiten.

De dataset bevat 211 samples met 463 ambiguïteitsinstanties. Voor elk ambiguïteitspunt werden discriminerende feiten (aanwijzingen) gegenereerd om een gebruikerssimulator in staat te stellen de noodzakelijke informatie te verstrekken om de ambiguïteit op te lossen.

2.2 Evaluatiekader

Het evaluatiekader simuleert een interactie met meerdere beurten tussen een agent en een gebruikerssimulator (geïmplementeerd via een LLM). De agent navigeert door een sequentie van gestructureerde Checkpoints (CP's). Bij elk checkpoint moet de agent kiezen tussen drie acties:

1. SEARCH: Informatie ophalen (retrieven).
2. ASK: Om verheldering vragen aan de gebruiker.
3. ANSWER: Een definitief antwoord indienen.

Het kader evalueert agenten vanuit vier perspectieven:

• Taaknut (Task Utility): End-to-end nauwkeurigheid en de pass-rate per checkpoint.
• Detectie van Ambiguïteit: Detectienauwkeurigheid en F1-score (het identificeren wanneer een checkpoint ambigu is).
• Interactiestrategie: Effectiviteit van de verheldering (nauwkeurigheid van de gestelde vraag en of deze leidt tot het voortgang maken van het checkpoint).
• Kostenefficiëntie: Tokenverbruik en het aantal tool-gebruiksturns.

Er werden twee prompting-instellingen gebruikt: Neutral (geen expliciete instructie om naar ambiguïteit te zoeken) en Guided (expliciete herinnering aan de agent om zich bewust te zijn van potentiële ambiguïteit).

3. Belangrijkste Bijdragen

1. DISCOBENCH Benchmark: Een nieuwe benchmark die ambiguïteit modelleert als een dynamisch, voortplantend probleem in meerstaps zoeken in plaats van een statische eigenschap van een enkele query. Het dekt 11 domeinen en vier ambiguïteitstypen.
2. Ambiguïteitsbewust Evaluatiekader: Een verenigd protocol inclusief een gebruikerssimulator die progressief discriminerende aanwijzingen onthult, waardoor detectie, kwaliteit van verheldering en interactiekosten gelijktijdig geëvalueerd kunnen worden.
3. Empirische Inzichten: Uitgebreide experimenten die onthullen dat detectie van ambiguïteit en effectieve verheldering verschillende capaciteiten zijn. De auteurs identificeren een kritieke foutmodus waarbij agenten herhaaldelijk zoeken in plaats van om verheldering te vragen, wat vaak slechter presteert dan direct gokken.

4. Experimentele Resultaten

De auteurs evalueerden 11 frontier LLM's (waaronder GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.7 en diverse Chinese modellen) op DISCOBENCH.

• Beperkte Prestaties: Onder de Neutral-instelling bereikte het best presterende model (Doubao-Seed-2.0-Pro) slechts 43,1% end-to-end nauwkeurigheid. De meeste modellen bleven onder de 40%.
• Kloof tussen Detectie en Verheldering: Hoewel "Guided" prompting de detectie van ambiguïteit verbeterde (F1 steeg van ~45% naar ~65%), leidde dit niet proportioneel tot een verbetering van de end-to-end nauwkeurigheid. Dit geeft aan dat het herkennen van ambiguïteit iets anders is dan het formuleren van effectieve verhelderingsvragen.
• De "Search-Heavy Guess" Foutmodus: Een belangrijke bevinding is dat agenten vaak falen door overmatige retrieval uit te voeren (SearchHeavyGuess) in plaats van om hulp te vragen. Dit gedrag leverde een lager succespercentage op (51,9%) dan direct gokken (56,5%). De auteurs merken op dat herhaalde retrieval vaak aangeeft dat het model zich bewust is van meerdere kandidaten, maar faalt in het escaleren van deze onzekerheid naar een verhelderingsverzoek.
• Tool Gebruik vs. Prestaties: Toegenomen toolgebruik (meer zoekoproepen) correleerde niet met betere prestaties. Modellen die vaker zochten, behaalden niet noodzakelijkerwijs een hogere nauwkeurigheid, wat suggereert dat strategische toewijzing van retrieval-acties belangrijker is dan het volume.
• Impact van Ambiguïteit: Het verwijderen van ambiguïteit uit de taken verbeterde de nauwkeurigheid aanzienlijk bij alle modellen (met 26,8% tot 40,2%), wat bevestigt dat ambiguïteit een primaire bron van moeilijkheid is in diepe zoekopdrachten.

5. Betekenis en Claims

Het artikel stelt dat huidige LLM-gebaseerde zoekagenten beschikken over sterke retrieval- en redeneerkunsten, maar een gebrek hebben aan ambiguïteitsbewustzijn en proactieve interactiestrategieën. De auteurs beargumenteren dat diep interactief zoeken mechanismen vereist die de onzekerheid van retrieval expliciet overbruggen met gebruikersinteractie.

De betekenis van DISCOBENCH ligt in het vermogen om een kloof in de huidige agent-capaciteiten bloot te leggen: het onvermogen om onderscheid te maken tussen "zoeken naar meer informatie" en "om verheldering vragen". De auteurs concluderen dat toekomstige zoekagenten niet alleen ontwikkeld moeten worden met sterkere redeneerkracht, maar ook met betere capaciteiten om ondergespecificeerde staten te identificeren en strategisch gebruikersinput op te vragen om correcte redeneerpaden te herstellen.

Het artikel hanteert een bescheiden toon over de eigen beperkingen, waarbij wordt erkend dat de gebruikerssimulator op basis van een LLM is en niet op basis van een mens, en dat de benchmark momenteel focust op objectieve vraagbeantwoording, waardoor subjectieve voorkeursambiguïteit een onderwerp is voor toekomstig werk.