💬 NLP

Reasoning about Intent for Ambiguous Requests

Dit artikel stelt een op reinforcement learning gebaseerde methode voor die een enkel gestructureerd antwoord genereert waarin meerdere geldige interpretaties voor ambigue verzoeken worden opgesomd, waardoor de dekking en transparantie worden verbeterd zonder dat extra interactierondes of expliciete supervisie vereist zijn.

Oorspronkelijke auteurs: Irina Saparina, Mirella Lapata

Gepubliceerd 2026-08-11

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Irina Saparina, Mirella Lapata

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een superintelligente robot die bijna alles weet. Je stelt een vraag, maar je vergeet een klein detail te noemen, zoals het jaar of het specifieke type waar je het over hebt. In de wereld van Kunstmatige Intelligentie wordt dit "ambiguïteit" genoemd. Het is alsof je een vriend vraagt: "Wat is de beste film?", zonder te vertellen of je een enge horrorfilm of een grappige komedie wilt zien. De robot moet raden wat je bedoelt. Meestal kiest de robot gewoon één gok, geeft antwoord en hoopt op het beste. Als de robot het fout raadt, krijg je een frustrerend antwoord, of erger nog, de robot kan per ongeluk iets gevaarlijks geven omdat hij je intentie verkeerd heeft begrepen. Dit artikel, geschreven door onderzoekers aan de Universiteit van Edinburgh, pakt dit probleem van "het fout raden" aan door robots te leren om te stoppen met raden en te beginnen met het tegelijkertijd opsommen van al hun opties.

De onderzoekers, Irina Saparina en Mirella Lapata, stellen een nieuwe manier voor waarop deze Large Language Models (LLM's) met lastige vragen kunnen omgaan. In plaats van stilzwijgend vast te houden aan één interpretatie, dwingt hun methode, genaamd IntentRL, het model om te handelen als een behulpzame bibliothecaris die zegt: "Ik zie dat u naar 'de beste film' vroeg. Hier zijn drie verschillende manieren om dat te begrijpen: 1) De beste horrorfilm, 2) De beste komedie, en 3) De beste film aller tijden. Hier is het antwoord voor elk van hen." Het artikel suggereert dat door het model te trainen om deze verschillende betekenissen en de bijbehorende antwoorden expliciet in één keer op te sommen, we verwarring kunnen voorkomen en de AI veiliger en transparanter kunnen maken. Ze testten dit op taken zoals het beantwoorden van conversatievragen en het schrijven van computercode (specifiek SQL-queries voor databases), waarbij ze ontdekten dat hun methode meer correcte antwoorden dekt dan eerdere trucjes zoals het vragen om verduidelijking aan de gebruiker of simpelweg hopen dat de robot het goed krijgt.

Het Probleem: De "Eén-en-Klaar" Gok van de Robot

Stel je voor dat je een spelletje "20 Vragen" speelt met een robot. Je zegt: "Ik denk aan een vrucht die rood is." De robot roept onmiddellijk: "Appel!" en stopt. Maar wacht! Je dacht eigenlijk aan een aardbei, of misschien een kers, of zelfs een rode paprika. De robot vroeg niet: "Bedoelde je een bes?" of "Bedoelde je een groente?". Hij koos gewoon het eerste dat in zijn digitale brein opkwam.

In de echte wereld gebeurt dit de hele tijd. Mensen zijn vaak kortaf of vergeten details wanneer ze met computers praten. Een gebruiker kan vragen: "Toon me films met een budget van 20 miljoen," maar ze kunnen zowel "films die zowel horror als thriller zijn met dat budget" bedoelen, als "films die ofwel horror ofwel thriller zijn met dat budget." Als de robot de verkeerde betekenis kiest, is het antwoord nutteloos. Nog erger: als de robot een "redeneermodel" is (één dat lang nadenkt), kan hij duizenden "tokens" (zijn manier van denkstappen) verspillen aan het najagen van het verkeerde idee, wat energie verspilt en zijn eigen fout versterkt.

De Oude Manieren: Vragen of Mopperen

Voordat deze nieuwe methode bestond, probeerden wetenschappers twee belangrijke manieren om dit op te lossen:

De Verduidelijkingsvraag: De robot stopt en vrak: "Bedoel je horror of thriller?" Dit werkt, maar het is irritant. Het verandert een snelle vraag in een langdurig gesprek heen en weer. Het is alsof je een vriend vraagt: "Wacht, wil je een rode appel of een rode aardbei?" elke keer als je om een vrucht vraagt.
Het Langlopende Antwoord: De robot probeert superbehulpzaam te zijn door een enorme paragraaf te schrijven die alles dekt. "Nou, als je horror bedoelt, is het X. Als je thriller bedoelt, is het Y. Als je beide bedoelt, is het Z." Dit is vaak rommelig en moeilijk te lezen. Het is alsof een vriend een essay van 10 pagina's geeft om een simpele vraag te beantwoorden. Bovendien, als de betekenissen elkaar tegenspreken (zoals "toon me films die zowel horror als thriller zijn" versus "toon me films die ofwel horror ofwel thriller zijn"), is het moeilijk om ze in één vloeiend verhaal samen te voegen.

De Nieuwe Oplossing: De "Menu"-aanpak

De auteurs van dit artikel stellen een derde manier voor: Het Gestructureerde Menu. In plaats van te raden of te mompelen, genereert de robot een net lijstje van "Interpretatie-Antwoord Paren".

Denk aan het bestellen in een restaurant waar het menu dubbelzinnig is. Als je zegt: "Ik neem de specialiteit van de dag," en de specialiteit kan een burger of een salade zijn, brengt een normale ober misschien gewoon een burger. De IntentRL-robot brengt echter een dienblad met drie kleine bordjes:

Bordje 1: "Als u de burger special bedoelde, hier is uw burger."
Bordje 2: "Als u de salade special bedoelde, hier is uw salade."
Bordje 3: "Als u de soep special bedoelde, hier is uw soep."

De robot doet dit in één enkele stap. Hij wacht niet tot jij zegt: "Nee, ik wilde de salade." Hij geeft je gewoon alle opties tegelijk, duidelijk gelabeld. Dit is geweldig omdat:

Transparantie: Je kunt zien waarom hij dat antwoord gaf.
Snelheid: Geen wachten op een tweede ronde van het gesprek.
Veiligheid: Als één antwoord gevaarlijk is, kun je dat onmiddellijk opmerken omdat je ook de andere opties ziet.

Hoe Ze de Robot Leerden: Het "Dubbele Doel"-spel

Het is lastig om een robot dit te leren. Je kunt hem niet gewoon een lijst met vragen en antwoorden laten zien, want de robot moet leren wanneer hij meerdere dingen moet opsommen en wanneer hij gewoon één antwoord moet geven. Als je hem leert om altijd vijf opties op te sommen, zal hij je irriteren wanneer je een simpele vraag stelt als "Wat is 2+2?".

De onderzoekers gebruikten een techniek genaamd Reinforcement Learning (denk aan het trainen van een hond met snoepjes). Ze gaven de robot een speciaal "dubbel beloningssysteem":

De "Alles-Vangen" Beloning (Recall): Als de vraag ambigu is (zoals "Welke andere staat regeerde het?"), krijgt de robot een grote beloning als hij alle mogelijke correcte antwoorden opsomt. Het is als een visspel waarbij je punten krijgt voor het vangen van álle soorten vissen in de vijver, niet slechts één.
De "Precisie" Beloning: Als de vraag duidelijk is (zoals "Wat is de hoofdstad van Frankrijk?"), krijgt de robot een beloning voor het geven van alleen het ene juiste antwoord. Als hij probeert vijf verschillende hoofdsteden op te sommen, krijgt hij geen beloning (of een straf).

Cruciaal is dat ze de robot niet hoefden te leren wat de "interpretaties" waren. Ze hadden alleen de lijst met correcte antwoorden nodig. De robot ontdekte de rest zelf door te proberen zijn beloningen te maximaliseren. Hij leerde te zeggen: "Hmm, deze vraag kan A, B of C betekenen. Ik zal alle drie opsommen om veilig te zijn," of "Deze vraag is simpel. Ik geef gewoon het ene antwoord."

De Resultaten: Een Duidzame Winnaar

Het team testte deze nieuwe methode op twee verschillende soorten taken:

Conversationele Beantwoording van Vragen: Vragen beantwoorden op basis van een verhaal of gesprek.
Text-to-SQL: Engelse vragen omzetten in computercode (SQL) om een database te bevragen.

Ze vergeleken hun methode (IntentRL) met:

De robot laten raden (Prompting).
De robot leren door voorbeelden te tonen (Supervised Fine-Tuning).
De "Verduidelijkingsvraag"-methode (vragen aan de gebruiker).
Superintelligente, gesloten modellen (zoals GPT-5.4 en Gemini 2.5 Pro).

De bevindingen waren verrassend:

Betere Dekking: IntentRL vond het correcte antwoord in 74,1% van de ambigue gevallen (Volledige Dekking), terwijl de beste gesloten modellen slechts rond de 16% haalden. Zelfs de "denkende" modellen (die veel tijd besteden aan redeneren) deden niet veel beter dan standaardmodellen.
Geen "Over-denken": De onderzoekers ontdekten dat het simpelweg laten langer "denken" van de robot niet hielp om meer antwoorden te vinden. De robot bleef vaak hangen in hetzelfde verkeerde idee. IntentRL leerde echter om systematisch verschillende paden te verkennen.
Generalisatie: Toen ze de robot testten op een volledig nieuw type database die hij nog nooit had gezien, werkte IntentRL nog steeds goed. De andere methoden (zoals standaard training) faalden omdat ze simpelweg de oude databasepatronen hadden uit het hoofd geleerd. Dit suggereert dat IntentRL een algemene vaardigheid heeft geleerd van "nadenken over wat de gebruiker bedoelt", in plaats van alleen antwoorden te memoriseren.
Menselijke Goedkeuring: Wanneer mensen naar de antwoorden van de robot keken, stemden zij in 90% van de gevallen in dat de interpretaties logisch waren. De robot bedacht niet zomaar willekeurige lijstjes; hij legde daadwerkelijk zijn logica uit.

Wat Dit Betekent voor de Toekomst

Het artikel suggereert dat de sleutel tot het omgaan met ambiguïteit niet alleen is om de robot groter of slimmer te maken, of hem harder te laten "denken". Het gaat erom de robot te leren om te redeneren over intentie. Door het model te dwingen een gestructureerde lijst van mogelijkheden te genereren, krijgen we een systeem dat eerlijker is over wat het wel en niet weet.

De auteurs merken op dat hoewel hun methode geweldig is, het niet perfect is. Soms somt de robot te veel opties op (tot wel 5), en bij extreem vage vragen zal een mens mogelijk nog steeds moeten ingrijpen. Ook hebben ze niet getest of mensen deze menu-stijl verkiezen boven een simpel gesprek, hoewel ze vermoeden dat het zeer nuttig zou zijn voor technische taken zoals het schrijven van code.

Kortom, dit artikel laat zien dat door AI te leren zeggen: "Hier zijn alle manieren waarop ik uw vraag kan begrijpen, en hier zijn de antwoorden voor elk van hen," we robots kunnen bouwen die minder snel ons verkeerd begrijpen, minder tijd verspillen en op de lange termijn veel behulpzamer zijn. Het is een verschuiving van "gokken en hopen" naar "opsommen en verduidelijken", in één enkele, efficiënte stap.

Technisch overzicht: Redeneren over intentie bij ambigue verzoeken

Probleemstelling

Grote taalmodellen (LLM's) komen regelmatig ambigue gebruikersverzoeken tegen waarbij meerdere plausibele interpretaties bestaan. Huidige modellen committeren zich doorgaans impliciet aan één interpretatie, wat gebruikers kan frustreren, het redeneervermogen van het model kan verhullen en veiligheidsrisico's kan creëren als de gekozen interpretatie onjuist is. Bovendien kunnen redeneermodellen computationele middelen verspillen door tokens te verbruiken aan onjuiste interpretaties.

Bestaande strategieën voor het afhandelen van ambiguïteit presenteren verschillende afwegingen:

Verhelderingsvragen: Vereisen extra interactierondes, wat de latentie en de inspanning van de gebruiker verhoogt.
Langvormige antwoorden: Dekken meerdere interpretaties in één enkel verbaal antwoord, maar missen een expliciete structuur, waardoor ze moeilijk te parsen zijn voor downstream-applicaties (bijv. agentische systemen) en potentieel overweldigend zijn voor gebruikers.
Parallelle sampling: Faalt vaak in het produceren van substantieel verschillende outputs vanwege de bias van modellen naar specifieke voltooiingen.

De kernuitdaging is om modellen te leren ambiguïteit te herkennen, geldige interpretaties op te sommen en bijbehorende antwoorden te geven zonder dat daar tijdens de training expliciete interpretatielabels of verhelderingsvragen voor nodig zijn.

Methodologie

De auteurs stellen IntentRL voor, een reinforcement learning-benadering die modellen traint om een enkele gestructureerde respons te generen die uit meerdere interpretatie-antwoordparen bestaat.

1. Outputformaat

In plaats van een enkel antwoord of een verhelderingsdialoog, genereert het model een sequentie van paren $\{(i_1, a_1), \dots, (i_m, a_m)\}$ , waarbij:

$i_k$ een expliciete interpretatie is die de input disambigueert (bijv. "Andere staat verwijst naar de voorganger van Bohemia").
$a_k$ het bijbehorende antwoord is voor die specifieke interpretatie.
Het model genereert tot vijf paren sequentieel. Vanwege de autoregressieve aard van LLM's zijn opeenvolgende interpretaties geconditioneerd op voorgaande interpretaties, wat diversiteit en semantische uitlijning stimuleert.

2. Trainingsframework

De methode maakt gebruik van DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization), een uitbreiding van Group Relative Policy Optimization (GRPO).

Supervisie: De benadering vereist alleen gouden antwoorden als supervisie. Het vereist geen gouden interpretaties, verhelderingsvragen of expliciete redeneersporen. Ambigue inputs worden geïdentificeerd door de aanwezigheid van meerdere geldige antwoorden ( $|A| > 1$ ) in de dataset.
Dubbel beloningsdoel (Dual Reward Objective):
- Voor ambigue inputs ( $|A| > 1$ ): De beloning is gebaseerd op Recall. Het model wordt geoptimaliseerd om de dekking van verschillende geldige interpretaties die in de gouden set worden gevonden te maximaliseren.
- Voor unambigue inputs ( $|A| = 1$ ): De beloning is gebaseerd op Precisie. Het model wordt bestraft voor het genereren van spookalternatieven, wat het aanmoedigt om te herkennen wanneer een enkele intentie volstaat.
Matching-mechanisme: Om beloningen te berekenen, worden de voorspelde antwoorden gematcht met gouden antwoorden met behulp van het Hongaarse algoritme om de optimale één-op-één mapping te vinden op basis van een gelijkenissscore (exacte match voor SQL-executie, woordoverlap F1 voor QA).

3. Databalancering

Datasets bevatten vaak veel meer unambigue voorbeelden dan ambigue voorbeelden. De auteurs hanteren een oversampling-ratio van 3:1 voor ambigue voorbeelden tijdens de training. Dit zorgt ervoor dat het model voldoende leersignalen ontvangt voor het afhandelen van ambiguïteit, terwijl het unambigue voorbeelden gebruikt als regularisatie om overgeneratie te voorkomen.

Belangrijkste bijdragen

Gestructureerde ambiguïteit-resolutie: Het artikel introduceert een single-step generatiemethode die gestructureerde interpretatie-antwoordparen produceert, wat een balans biedt tussen de interactiviteit van verhelderingsvragen en de efficiëntie van directe antwoorden.
Training met schaarse supervisie: De methode toont aan dat modellen kunnen leren redeneren over de intentie van de gebruiker en interpretaties kunnen opnoemen met alleen antwoordannotaties, waardoor de noodzaak voor dure interpretatielabels of verhelderingsdialooggegevens vervalt.
Dual-Objective Reinforcement Learning: De introductie van een dubbel beloningsdoel (recall voor ambigu, precisie voor unambigu) leert het model effectief om dynamisch te schakelen tussen het opnoemen van opties en het vastleggen van een enkel antwoord.
Empirische validatie: De aanpak wordt gevalideerd over twee verschillende taken: Conversational Question Answering (Abg-CoQA) en Text-to-SQL Parsing (Ambrosia, AmbiQT).

Resultaten

Prestaties op Ambig-CoQA (Conversational QA)

IntentRL behaalde 78,1% recall en 61,0% volledige dekking op ambigue vragen, waarmee het de baselines zoals IntentPrompt (62,3% recall) en Supervised Fine-Tuning (SFT) (48,1% recall) aanzienlijk verslaat.
SFT-modellen hadden de neiging om over te fitten op unambigue gevallen, waardoor ze faalden om meerdere interpretaties te genereren, zelfs wanneer dat nodig was.
IntentRL behield een hoge prestatie op unambigue vragen (90,9% recall), wat aantoont dat het niet blindelings overgenereert.

Prestaties op Ambrosia (Text-to-SQL)

IntentRL behaalde 82,4% recall en 74,1% volledige dekking op ambigue SQL-queries, waarmee het de state-of-the-art twee-fasen methode DisambigParse (59,7% recall, 30,5% volledige dekking) verslaat.
Opvallend genoeg behaalde IntentRL dit met een single-stage trainingsproces, terwijl DisambigParse gouden interpretaties vereist voor training.

Generalisatie en menselijke evaluatie

Out-of-Domain Generalisatie: Wanneer getraind op Ambrosia en getest op de out-of-domain AmbiQT benchmark, behaalde IntentRL 49,1% volledige dekking, terwijl SFT instortte naar 9,1%. Dit suggereert dat IntentRL algemene redeneervaardigheden over ambiguïteit leert in plaats van dataset-specifieke patronen.
Menselijke Evaluatie: Annotatoren bevestigden dat 90,0% (Abg-CoQA) en 91,7% (Ambrosia) van de voorspelde interpretaties overeenkwamen met hun respectieve antwoorden, wat valideert dat de gegenereerde interpretaties de antwoorden betekenisvol verklaren.
Vergelijking met SOTA: IntentRL presteerde beter dan de multi-turn verhelderingsmethode ACT (83,0% gelijkenis vs. 75,1%) en versloeg aanzienlijk closed-source frontier modellen (GPT-5.4, Gemini 2.5 Pro) in volledige dekking op Ambrosia (74,1% vs. ~16%).

Betekenis en claims

Het artikel claimt dat IntentRL transparantie bevordert door interpretaties expliciet te maken, waardoor gebruikers snel hun beoogde betekenis kunnen identificeren zonder extra interactierondes. Het gestructureerde outputformaat ondersteunt downstream-applicaties, met name in agentische systemen waar vertakking over interpretaties gunstig is.

Cruciaal is dat de auteurs beweren dat de prestatiewinsten voortkomen uit het leren redeneren over de intentie van de gebruiker, in plaats van louter een specifiek outputformaat te adopteren. Experimenten tonen aan dat parallelle sampling en alternatieve prompting-strategieën er niet in slagen de diversiteit van interpretaties te herstellen die IntentRL bereikt door gerichte training.

Het werk pleit voor een verschuiving in het afhandelen van ambiguïteit: in plaats van stilzwijgend vast te leggen aan één (potentieel foutieve) interpretatie of tijdrovende verhelderingslussen te doorlopen, zouden modellen getraind moeten worden om plausibele interpretaties op te sommen wanneer dat nodig is. Deze benadering wordt gepresenteerd als een stap naar robuustere, op de gebruiker afgestemde LLM's die ambiguïteit omarmen in plaats van het te verhullen, vooral in veiligheidskritische toepassingen waar het overgenereren van plausibele interpretaties te prefereren is boven stille uitval.

De auteurs erkennen beperkingen, waaronder de vaste limiet van vijf interpretaties en de noodzaak van sterke backbone-modellen, maar benadrukken dat de methode goed generaliseert over domeinen en modelfamilies zonder complexe annotatiepipelines te vereisen.