Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam

Dit onderzoek toont aan dat het herschrijven van vragen om ambiguïteit te verminderen, gebruikmakend van antwoordvrije context, de nauwkeurigheid van taalmodellen op de Humanity's Last Exam-benchmark aanzienlijk kan verdubbelen zonder de antwoorden zelf te wijzigen.

De kern

🧠 De "Onzichtbare Context" Probleem

Stel je voor dat je een vriend vraagt: "Wat voor soort lasermijn is dit?"
Als je vriend precies weet waar je het over hebt (bijvoorbeeld omdat jullie net samen naar een museum zijn geweest), geeft hij het juiste antwoord. Maar als je vriend alleen de tekst "Wat voor soort lasermijn is dit?" leest zonder die achtergrondinformatie, raakt hij in de war. Hij moet gissen: "Bedoel je die in de horloges? Of die in de medische apparatuur?"

Dit is precies wat er gebeurt met slimme computers (Large Language Models). Ze zijn super slim, maar ze weten niet wat jij in je hoofd hebt. Als je een vraag stelt die niet helemaal duidelijk is, raden ze een antwoord op basis van wat ze eerder hebben geleerd. Soms is dat antwoord technisch gezien correct, maar het is niet wat jij bedoelde.

🛠️ De Oplossing: De "Vertaler" met een Geheim

De onderzoekers van dit paper hebben een slimme truc bedacht om dit op te lossen. Ze noemen het "Antwoord-Vrije Context" (Answer-Free Context).

Stel je voor dat je een detective bent die een raadsel moet oplossen. Je hebt een dossier met veel informatie, maar de belangrijkste oplossing (het antwoord) is eruit gehaald. Je hebt alleen de achtergrondinformatie: "Dit ding bevat zink, wordt gebruikt in gloeiende verf en zit in lasers."

De truc van de onderzoekers is als volgt:

1. De Oorspronkelijke Vraag: Een vaag vraagstuk.
2. Het Dossier: Een stapel papier met nuttige info, maar zonder het antwoord.
3. De Vertaler (De Rewrite): In plaats van dat de detective (de AI) direct het antwoord moet raden, laten we eerst een andere, super-slimme AI de vraag herschrijven. Deze AI leest het dossier en zegt: "Ah, nu ik zie dat het over zink en gloeiende verf gaat, moet de vraag niet zijn 'Wat voor lasermijn?', maar 'In welk deel van het lichtspektrum werken lasers met zinksulfide-kristallen?'."

Het geheim: De herschreven vraag is veel duidelijker, maar bevat nog steeds niet het antwoord. Het is alsof je de vraag herschrijft zodat de detective precies weet waar hij moet zoeken, zonder dat je de oplossing in de vraag zelf schrijft.

🚀 Wat bleek eruit? (De Resultaten)

De onderzoekers hebben dit getest op een hele moeilijke test genaamd "Humanity's Last Exam" (alsof het de allerlaatste proef is voor de mensheid).

• Situatie A (Oude manier): Je geeft de AI de vaag vraag + het dossier. De AI leest het dossier en probeert het antwoord te raden. Resultaat: Slecht. De AI raakt nog steeds in de war.
• Situatie B (Nieuwe manier): Je laat de AI eerst de vraag herschrijven op basis van het dossier. Dan krijg je de nieuwe, duidelijke vraag (zonder het dossier) en vraagt je de AI om te antwoorden. Resultaat: Enorme verbetering!

Op de test van de "Humanity's Last Exam" verdubbelde het succespercentage van een van de modellen (van 14% naar 37%). Dat is als een student die van een onvoldoende naar een goed cijfer springt, alleen maar omdat de vraag duidelijker was gesteld.

🧩 Waarom werkt dit? (De "Cognitieve Splitsing")

Dit is het meest interessante deel. Je zou denken: "Waarom kan de AI niet gewoon in één keer de vraag lezen, het dossier bekijken, het antwoord herschrijven én het antwoord geven?"

De onderzoekers ontdekten dat dit niet werkt.

• Vergelijking: Het is alsof je iemand vraagt om een ingewikkeld recept te herschrijven terwijl hij tegelijkertijd het eten moet koken. Hij zal de receptuur vergeten of het eten verbranden.
• De les: De herschrijf-fase en de antwoord-fase moeten gescheiden zijn. De AI moet eerst "nadenken" over hoe de vraag beter kan (de herschrijf-fase), en pas daarna "werken" aan het antwoord. Als je dit in één keer probeert (zoals bij 'Chain-of-Thought'), verdwijnt het voordeel.

🎯 Conclusie in het Kort

Dit onderzoek leert ons dat het niet alleen gaat om hoe slim de computer is, maar ook om hoe we de vraag stellen.

1. Context is koning: Zelfs als je de computer geen antwoord geeft, helpt het om hem de achtergrondinformatie te geven.
2. Herschrijven is krachtig: Door die achtergrondinformatie te gebruiken om de vraag duidelijker te maken, wordt de computer veel slimmer.
3. Splitsen is nodig: Je moet de taak van "vraag verbeteren" en "antwoord geven" uit elkaar halen.

Het is alsof je een sleutel hebt die niet past in het slot. In plaats van met de sleutel te hameren (de AI dwingen), pas je het slot even aan (de vraag herschrijven) zodat de sleutel er perfect in past. En dat werkt veel beter dan je denkt!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam", geschreven in het Nederlands.

Probleemstelling

De kern van dit onderzoek ligt in de discrepantie tussen wat moderne Taalmodellen (LM's) kunnen en hoe menselijke gebruikers hun vragen formuleren. Gebruikers gaan er vaak onbewust van uit dat het model dezelfde mentale modellen, achtergrondkennis en intenties deelt. Hierdoor worden vragen vaak onvolledig geformuleerd of ambigu, waarbij cruciale context wordt weggelaten omdat deze "zelfsprekend" lijkt.

Wanneer een LM wordt geconfronteerd met een ondergespecificeerde query, baseert het antwoord op patronen uit de trainingsdata en de expliciete tekst van de prompt. Als de impliciete aannames van het model niet overeenkomen met de onuitgesproken verwachtingen van de gebruiker, wordt het antwoord (zelfs als het feitelijk correct is onder die interpretatie) als incorrect of irrelevant ervaren.

Hoewel Retrieval-Augmented Generation (RAG) systemen bedoeld zijn om deze kennislacune op te vullen door externe context op te halen, is de huidige evaluatie van RAG vaak gericht op het vinden van het directe antwoord. Dit onderzoek onderzoekt een specifiek scenario: wat gebeurt er als een RAG-systeem relevante, maar antwoordvrije context (Answer-Free Context - AFC) ophaalt? Dat wil zeggen, achtergrondinformatie die relevant is voor de vraag, maar het daadwerkelijke antwoord niet bevat. De vraag is of deze AFC kan worden gebruikt om de oorspronkelijke, ambiguïteit bevattende vraag te herschrijven en te verduidelijken, zonder het antwoord zelf te onthullen.

Methodologie

Het paper introduceert een methode waarbij een LM de oorspronkelijke vraag herschrijft (rewrite) door gebruik te maken van de opgehaalde AFC. Dit proces verloopt in twee gescheiden fasen:

1. Data en Context Constructie:

   • Er werden diverse datasets gebruikt, waaronder Humanity's Last Exam (HLE), SQuADv2, HotpotQA, en andere generatieve benchmarks.
   • Voor HLE werd een subset gebruikt die door mensen is gevalideerd met grondende literatuur.
   • Een cruciale stap was het creëren van Answer-Free Context (AFC). Een LM (gpt-oss-120b) werd geprompt om de originele grondende context te herschrijven zodat alle informatie die het antwoord direct zou onthullen, werd verwijderd, terwijl de relevante achtergrondkennis behouden bleef.

2. Vraagherformulering (Rewriting):

   • Een "rewriting model" (bijv. gpt-oss-20b, gpt-oss-120b, of Qwen3-235B) krijgt de originele vraag, het correcte antwoord (alleen voor validatie, niet voor de output), en de AFC.
   • Het model moet de vraag herschrijven om ambiguïteit weg te nemen en achtergrondaannames expliciet te maken, zonder het antwoord in de nieuwe vraag te noemen.
   • Het herschreven antwoord wordt gegenereerd als een validatiecheck (semantische gelijkenis met het originele antwoord) maar wordt niet gebruikt in de uiteindelijke evaluatie.

3. Evaluatieopzet:
   De prestaties van diverse LM's (zoals gpt-5-mini, Llama-3, Qwen) werden getest in drie configuraties:

   • Originele Vraag (Orig_Q): De standaard benchmark.
   • Originele Vraag + Context (Orig_Q+AFC): De RAG-baseline waarbij de AFC direct aan de prompt wordt toegevoegd.
   • Herschreven Vraag (Rewrite_Q): Alleen de herschreven vraag wordt aan het model gegeven (zonder de AFC in de prompt).

4. Validatie en Analyse:

   • Er werd gebruikgemaakt van een "LM-Judge" om te controleren of herschreven vragen niet te veel "hints" gaven (giveaway score) en of ze semantisch equivalent bleven aan de originele vraag.
   • Er werd gekeken naar de cosine-afstand (cosine similarity) tussen de vraag en de context in de embedding-ruimte om te zien of herschrijven de vraag dichter bij de relevante kennis bracht.
   • Er werd vergeleken met een "In Situ" Chain-of-Thought (CoT) aanpak, waarbij het model de vraag intern herschrijft voordat het antwoordt, om te testen of een gescheiden herschrijf-fase noodzakelijk is.

Belangrijkste Bijdragen

1. Introductie van Answer-Free Context (AFC) voor Disambiguatie: Het paper toont aan dat AFC, zelfs zonder het antwoord te bevatten, een krachtig hulpmiddel is om vragen te verduidelijken en de nauwkeurigheid van LM's aanzienlijk te verhogen.
2. Analyse van RAG-prestaties: Het onderzoek onderscheidt het ophalen van directe antwoorden van het ophalen van puur auxiliaire achtergrondinformatie. Het toont aan dat het gebruik van deze achtergrondinformatie voor query-rewriting effectiever is dan het simpelweg toevoegen van de context aan de prompt.
3. Noodzaak van Taakseparatie (Task Separation): Een cruciale bevinding is dat de prestatieverbetering niet kan worden gerepliceerd door het model te vragen om de vraag intern te herschrijven (via CoT) tijdens het beantwoorden. Een gescheiden fase voor herschrijven en een aparte fase voor het beantwoorden is essentieel. Dit suggereert dat cognitieve belasting of context-window-dynamiek de voordelen van disambiguatie tenietdoet als beide taken in één pass worden uitgevoerd.

Resultaten

• Significante Nauwkeurigheidsverbetering: Op de Humanity's Last Exam (HLE) subset verbeterde de nauwkeurigheid van gpt-5-mini van 0,14 (14%) naar 0,37 (37%) door het gebruik van AFC voor herschrijven. Dit is een verdubbeling van de prestaties.
• Algemene Verbetering: Over alle geteste modellen en datasets heen resulteerde herschrijven gemiddeld in een nauwkeurigheidsverbetering van 13,03% ten opzichte van de originele vragen.
• Superioriteit ten opzichte van RAG-baseline: De herschreven vragen (zonder AFC in de prompt) presteerden beter dan de originele vragen met de AFC eraan toegevoegd. Dit bewijst dat de interpretatie en verduidelijking tijdens het herschrijven waardevoller is dan het passief consumeren van de context.
• Embedding Alignement: Er is een sterke positieve correlatie gevonden tussen de verbetering in de benchmark-nauwkeurigheid en de toename in cosine-afstand (betere alignement) tussen de herschreven vraag en de context. Herschrijven plaatst de vraag dichter bij de "latente representatie" van het juiste antwoord in de embedding-ruimte.
• Uitzondering bij Complexe Redenering: Voor zeer complexe, redeneringsintensieve taken (zoals de generatieve benchmarks en HLE) bleek dat het combineren van de herschreven vraag met de ruwe context (Rewrite_Q + AFC) soms beter werkt dan alleen herschrijven, hoewel herschrijven alleen al een verbetering bracht ten opzichte van de originele vraag.

Betekenis en Conclusie

Dit onderzoek verandert de kijk op RAG-systemen. Het stelt dat RAG niet alleen moet worden gezien als een mechanisme voor het ophalen van het "juiste antwoord", maar als een collaboratieve partner in de vormgeving van de query. Zelfs als een zoekopdracht geen direct antwoord oplevert, kan de gevonden achtergrondinformatie worden gebruikt om de vraag van de gebruiker te verduidelijken en te disambigueren.

De belangrijkste implicaties zijn:

1. Kwaliteit van Context: De kwaliteit van de context in het venster van het model is even belangrijk als de vraag zelf.
2. Architecturale Inzicht: Het bewijs dat een gescheiden herschrijf- en antwoordfase nodig is, suggereert dat huidige LM-architecturen moeite hebben om contextuele verwerking en generatie gelijktijdig optimaal uit te voeren zonder dat de ene taak de andere verstoort.
3. Toekomstige Systemen: Dynamische contextconstructie-systemen zouden moeten evolueren naar systemen die eerst de intentie van de gebruiker verduidelijken op basis van beschikbare bronnen, voordat het daadwerkelijke antwoord wordt gegenereerd.

Samenvattend demonstreert dit paper dat het "vertalen" van een vaag menselijke vraag naar een precieze, context-gegronde vraag, met behulp van antwoordvrije achtergrondinformatie, een van de meest effectieve manieren is om de prestaties van Taalmodellen op complexe benchmarks te verhogen.