🤖 AI

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

Dit artikel introduceert MT-InfoSeek, een gecontroleerde evaluatiesuite die aantoont dat hoewel grote taalmodellen de noodzaak van aanvullende informatie in ondergespecificeerde meerzet-taken kunnen herkennen, ze de vereiste hoeveelheid systematisch onderschatten, er niet in slagen minimale voldoende queries te identificeren en moeite hebben met de volgorde van queries, wat een duidelijke kloof onthult tussen hun informatiezoekende vermogens en huidige evaluatiemetrieken.

Oorspronkelijke auteurs: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een arts voor die tegenover een patiënt zit die slechts zegt: "Ik heb een pijn." Om tot een diagnose te komen, kan de arts niet gokken; hij moet specifieke vragen stellen om de ontbrekende details in te vullen. Is de pijn scherp of dof? Waar precies bevindt deze zich? Hoe lang duurt het al? In de wereld van kunstmatige intelligentie worden grote taalmodellen vaak getest op hun vermogen om vragen te beantwoorden, maar ze worden zelden getest op hun vermogen om te weten wanneer ze niet genoeg informatie hebben om überhaupt een antwoord te geven. Dit is een kritieke tekortkoming. Een bekwaam AI zou moeten herkennen wanneer een situatie incompleet is, moeten uitzoeken wat er precies ontbreekt, en daar naar moeten vragen voordat het tot een conclusie komt. Als het te snel gokt, loopt het het risico met overtuiging fout te zitten.

Onderzoekers aan de Harvard University en Google DeepMind hebben een nieuwe manier ontwikkeld om deze specifieke vaardigheid te testen. Ze creëerden een gecontroleerde omgeving waarin een kunstmatige intelligentie een puzzel krijgt met ontbrekende stukjes. De puzzel zou een wiskundig probleem kunnen zijn met een verborgen getal, een logische raadsel met een ontbrekend feit, of een medisch scenario met een niet-gevraagd symptoom. Het doel voor de AI is niet alleen om de puzzel op te lossen, maar om het proces te navigeren van het stellen van de juiste vragen in de juiste volgorde totdat het antwoord duidelijk wordt. De onderzoekers wilden zien of deze modellen konden handelen als een bekwame onderzoeker die precies weet welke bewijzen nodig zijn, of dat ze te snel een conclusie zouden trekken met onvoldoende aanwijzingen.

Het team ontwikkelde een testsuite genaamd MT-INFOSEEK, die meer dan 5.000 verschillende problemen bevat over vijf verschillende gebieden: wiskunde, logica, biologie, geneeskunde en algemene kennis. In deze tests krijgt de AI een startpunt dat opzettelijk incompleet is. Bijvoorbeeld, in een medische test weet de AI misschien dat een patiënt bekkenpijn heeft, maar weet niet hoe lang de pijn al duurt of of de patiënt zwanger is. De AI moet vervolgens een gesprek aangaan door één vraag tegelijk te stellen aan een "oracle"—een systeem dat het ware antwoord op de vraag geeft. De AI moet beslissen wanneer hij stopt met vragen en zijn definitieve antwoord geeft. De onderzoekers maten succes niet alleen door te kijken of het uiteindelijke antwoord correct was, maar ook door te kijken of de AI daadwerkelijk genoeg informatie had verzameld om dat antwoord zeker te weten.

De resultaten toonden een significante zwakte aan in de huidige modellen. Hoewel de AI-systemen over het algemeen erkenden dat ze informatie misten, onderschatten ze consequent hoeveel ze nodig hadden. Wanneer de onderzoekers problemen creëerden die vereisten dat er twee ontbrekende stukken informatie werden opgehaald, gokten de modellen vaak dat er slechts één stukje ontbrak. In logische puzzels waren de modellen ongeveer vier keer zo vaak geneigd om de ontbrekende informatie te onderschatten dan om deze te overschatten. Ze hadden ook moeite met het identificeren van de specifieke vragen die het probleem daadwerkelijk zouden oplossen. Zelfs wanneer de onderzoekers de modellen precies vertelden hoeveel vragen ze moesten stellen, faalden de modellen er vaak in om de juiste set vragen te kiezen. Ze stelden irrelevante vragen of stopten te vroeg, waardoor de puzzel onopgelost bleef.

De studie keek ook naar de volgorde waarin vragen werden gesteld. In gebieden zoals de geneeskunde is de sequentie van informatie van belang. Een arts moet bepalen of een pijn acuut of chronisch is voordat hij besluit welke tests hij vervolgens gaat aanvragen. De onderzoekers ontdekten dat wanneer AI-modellen de juiste vragen stelden maar in de verkeerde volgorde, hun uiteindelijke nauwkeurigheid aanzienlijk daalde. Dit suggereert dat weten wat je moet vragen slechts de helft van de strijd is; weten wanneer je het moet vragen is even belangrijk. Bovendien ontdekten de onderzoekers dat een model kan herstellen van een slechte eerste vraag. Als een model een nutteloze vraag stelt aan het begin, maar vervolgens doorgaat met het stellen van relevante vragen in de volgende beurten, kan het nog steeds de juiste oplossing bereiken. Veel modellen faalden echter in hun doorzettingsvermogen en stopten vaak na enkele beurten, zelfs toen ze nog niet genoeg bewijs hadden verzameld.

Misschien wel de meest verrassende bevinding was dat het vermogen van een model om goede vragen te stellen losstaat van het vermogen om een goed antwoord te geven. De onderzoekers testten dit door een gesprek te nemen waarin de AI alle noodzakelijke informatie had verzameld en vervolgens een ander model te vragen de puzzel op basis van dat gesprek alleen op te lossen. Ze ontdekten dat sommige modellen de puzzel perfect konden oplossen wanneer ze de volledige set feiten kregen, zelfs als ze die feiten niet zelf hadden kunnen verzamelen. Dit betekent dat de fout niet lag in het redeneren of de kennis van het model, maar in het proces van het zoeken naar informatie. De modellen waren niet slecht in het oplossen van problemen; ze waren slecht in het weten wat ze niet wisten.

De onderzoekers concludeerden dat de huidige evaluaties van kunstmatige intelligentie incompleet zijn. Het meten van enkel de uiteindelijke nauwkeurigheid van het antwoord van een model verbergt het feit dat het model dat antwoord mogelijk heeft bereikt door te gokken of door ontbrekende informatie te negeren. Om echt te begrijpen hoe goed een AI interacteert met de wereld, moeten we het vermogen meten om onzekerheid te herkennen, te identificeren wat er ontbreekt en die ontbrekende informatie stap voor stap te verwerven. Dit nieuwe kader biedt een manier om precies dat te doen, en laat zien dat hoewel de huidige modellen krachtig zijn, ze nog steeds het intuïtieve gevoel missen van een menselijke expert die weet wanneer hij moet stoppen met gokken en moet beginnen met vragen.

Technische Samenvatting: Weten LLM's wat ze moeten vragen en wanneer? Evaluatie van Multi-Turn Informatiezoekend gedrag

1. Probleemdefinitie

Het artikel behandelt de bekwaamheid van Large Language Models (LLM's) om te opereren onder onderspecificatie in multi-turn interacties. In tegenstelling tot ambiguïteit (waarbij de intentie van een gebruiker onduidelijk is), treedt onderspecificatie op wanneer de taak van een gebruiker duidelijk is, maar onvoldoende informatie ontbreekt om een uniek antwoord te bepalen. Een bekwaam model moet herkennen dat zijn context onvoldoende is, de specifieke ontbrekende informatie identificeren die nodig is om het doel te resolveren, deze via sequentiële queries te verwerven, en pas te reageren zodend de verworven informatie het antwoord uniek bepaalt.

Huidige evaluatiemethoden verwarren vaak het vermogen van een model om een correct antwoord te genereren met het vermogen om informatie te zoeken. Succes bij de uiteindelijke taak kan worden bereikt door te gokken of te vertrouwen op voorkennis in plaats van op echte informatieverwerving. De auteurs formaliseren deze uitdaging als het oplossen van een $k$ -onderspecificeerd Constraint Satisfaction Problem (CSP), waarbij $k$ het aantal variabelen vertegenwoordigt die gezamenlijk vereist zijn om de doelvariabele te bepalen.

2. Methodologie: MT-INFOSEEK Framework

De auteurs introduceren MT-INFOSEEK, een gecontroleerde evaluatiesuite bestaande uit 5.251 problemen en 9.006 taakinstanties over vijf domeinen: wiskunde, logica, biologie, geneeskunde en algemene kennis (via een 20 Vragen spel).

2.1 Formalisering

Een probleem wordt gedefinieerd als een tupel $P = \langle X, D, C, A, Y \rangle$ :

$X$ : Set van variabelen met domeinen $D$ .
$C$ : Logische restricties (constraints).
$A$ : Geobserveerde gedeeltelijke toewijzing (initiële context).
$Y$ : Doelvariabele.
Onderspecificatie: Het probleem is onderspecificeerd als $Y$ niet uniek wordt bepaald door $A$ en $C$ .
Minimale $k$ -Voldoende Set ( $k$ -MSS): Een subset van niet-toegewezen variabelen $S$ van grootte $k$ zodanig dat het kennen van hun waarden $Y$ uniek bepaalt, en geen kleinere subset volstaat.
Taakinstantie: Een specifieke realisatie $(P, y)$ waarbij $y$ de verborgen grondwaarheidswaarde van $Y$ is.

2.2 Evaluatieprotocollen

Het framework evalueert modellen langs drie assen, waarbij informatie zoeken wordt gescheiden van antwoordgeneratie:

$k$ -Voorspelling: Gegeven $P$ , voorspelt het model de mate van onderspecificatie ( $\hat{k}$ ).
Identificatie van Ontbrekende Variabelen: Gegeven $P$ (en optioneel de ware $k$ ), selecteert het model een minimale voldoende set.
Sequentiële Taakoplossing: Het model interageert met een oracle over meerdere beurten, waarbij het één variabele per keer bevraagt, de waarde observeert, en beslist wanneer het stopt en antwoordt.

2.3 Datasets

Gestructureerde Domeinen (Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT): Variabelen en restricties zijn vooraf gedefinieerd. Het model selecteert uit een eindige set bevraagbare variabelen.
- Logic-Q-MT: Breidt logische redeneerproblemen uit naar multi-turn settings.
- GSME-Q-MT/Ext: Rekenkundige problemen voor de basisschool met gemaskeerde hoeveelheden; de Ext-versie bevat diepere afhankelijkheidsstructuren.
- GeneReg-MT: Booleaanse gen-regulerende netwerken waarbij het model de initiële toestanden moet identificeren om stationaire toestanden te bepalen.
- ClinGuide-MT: Diagnostische beslissingsbomen waarbij de volgorde van queries cruciaal is vanwege conditionele afhankelijkheden.
Ongestructureerd Domein (20Q): Het model genereert vrije vorm ja/nee-vragen om een verborgen doel te deduceren uit een kandidaatenset.

2.4 Metrieken

Cruciaal is dat de paper Final Sufficiency introduceert als primaire metriek. Dit meet of de verworven informatie (de set van bevraagde variabelen) de doelvariabele uniek bepaalt, onafhankelijk van of het uiteindelijke antwoord van het model correct is. Dit scheidt het vermogen om informatie te zoeken van het vermogen om tot een antwoord te redeneren. Andere metrieken zijn query-dekking, volgorde-correctheid (in ClinGuide-MT) en vraag-informativiteit (Genormaliseerde Verwachte Informatiewinst in 20Q).

3. Belangrijkste Resultaten

De evaluatie bestrijkt closed- en open-weight LLM's (bijv. GPT-5, Gemini-3, Qwen3, gpt-oss).

3.1 Onderschatting van Ontbrekende Informatie

Modellen herkennen over het algemeen dat de context onvoldoende is (ze voorspellen zelden $k=0$ voor onderspecificeerde problemen), maar onderschatten systematisch de mate van onderspecificatie.
De nauwkeurigheid daalt scherp naarmate $k$ toeneemt. Specifiek in logische problemen (Logic-Q-MT) bij $k = 2$ , voorspellen modellen de mate van ontbrekende informatie vier keer zo vaak te laag als ze deze te hoog voorspellen.

3.2 Falen in het Identificeren van Minimale Voldoende Sets

Zelfs wanneer de ware $k$ wordt verstrekt, hebben modellen moeite met het identificeren van de specifieke variabelen die een minimale voldoende set vormen. De nauwkeurigheid van de exacte set is laag (onder 0,4 voor $k=2$ ) en daalt verder voor hogere $k$ .
Het inschatten hoeveel informatie ontbreekt, impliceert niet dat men weet welke informatie nodig is.

3.3 Interactiedynamiek en Herstel

Turn Budget: Het toewijzen van queries over meer beurten verbetert over het algemeen de finale sufficiëntie vergeleken met het uitgeven van alle queries in één enkele beurt, mits het model niet voortijdig stopt.
Herstel: Een query in de eerste beurt die de minimale voldoende set mist, is vaak herstelbaar. Interacties waarbij de eerste query onjuist is, maar het model doorgaat met het zoeken naar relevante variabelen, bereiken sufficiëntie met frequenties die vergelijkbaar zijn met die van correcte eerste queries.
Prestaties in Latere Beurten: Voor sterk onderspecificeerde problemen ( $k \ge 3$ ) hangt succes minder af van de correctheid in de vroege beurten en meer van aanhoudende informatieverwerving en de correctheid van queries in latere beurten.

3.4 Het Belang van Volgorde en Integratie

Volgordeafhankelijkheden: In klinische taken (ClinGuide-MT) vermindert het bevragen van de juiste variabelen in de verkeerde volgorde de finale nauwkeurigheid aanzienlijk, zelfs als alle noodzakelijke informatie uiteindelijk wordt verkregen.
Evidentie-integratie: In 20Q vertonen modellen met een vergelijkbare vraag-informativiteit (Verwachte Informatiewinst) substantiële verschillen in de finale nauwkeurigheid. Dit geeft aan dat succes niet alleen afhangt van het stellen van goede vragen, maar ook van het effectief integreren van de antwoorden om de kandidaatenset te verkleinen.
Entropiereductie: Hoewel modellen over het algemeen de onzekerheid verminderen, vertonen ze vaak een plateau in latere beurten, waarbij ze er niet in slagen onderscheid te maken tussen nauw verwante resterende kandidaten.

4. Bijdragen en Betekenis

De paper levert drie primaire bijdragen:

Formalisering: Het formaliseert multi-turn informatiezoeken als het oplossen van $k$ -onderspecificeerde CSP's, waarbij grondwaarheid wordt geboden voor de benodigde variabelen en het punt van sufficiëntie.
Benchmark (MT-INFOSEEK): Het introduceert een uitgebreide evaluatiesuite die wiskunde, logica, biologie, geneeskunde en algemene kennis beslaat, waardoor gecontroleerde variatie in de mate van onderspecificatie mogelijk is.
Evaluatiemethodologie: Het stelt Final Sufficiency voor als een metriek om het vermogen om informatie te verwerven te scheiden van het vermogen om antwoorden te genereren.

Betekenis:
De auteurs stellen dat huidige LLM-evaluaties, die vertrouwen op finale nauwkeurigheid, falen in het vastleggen van interactieve competentie. Een model kan een antwoord correct geven door te gokken of gebruik te maken van priors zonder ooit de ontbrekende informatie te hebben geïdentificeerd. Door te meten of de verworven informatie daadwerkelijk het doel bepaalt, onthult MT-INFOSEEK dat huidige modellen:

De complexiteit van ontbrekende informatie onderschatten.
Er niet in slagen minimale query-strategieën te plannen.
Vaak stoppen voordat voldoende informatie is verkregen.
Moeite hebben met volgordeafhankelijkheden en de integratie van bewijs.

De paper concludeert dat het vermogen om informatie over meerdere beurten te zoeken een onderscheidende capaciteit is van antwoordgeneratie en niet adequaat wordt gemeten door bestaande benchmarks. Dit werk biedt een diagnostisch kader om te begrijpen waar modellen falen in interactieve settings, en suggereert dat toekomstige verbeteringen zich moeten richten op het herkennen van onderspecificatie en het plannen van sequentiële informatieverwerving, in plaats van enkel op redeneervermogen.