Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions

Stel je voor dat je een specifiek feit probeert te vinden in een enorme, stoffige bibliotheek, maar je praat met een bibliothecaris die nog nooit de indeling van de bibliotheek heeft gehoord. Als je vraagt: "Hoeveel kost het?", kijkt de bibliothecaris misschien verward omdat ze niet weten waar "het" naar verwijst. Dit is de kern van het probleem van Conversational Question Answering: mensen spreken in afkortingen en gebruiken woorden als "het", "dat" of "hij" die alleen zin maken als je weet waar we het net over hadden. Om dit op te lossen, gebruiken computers een truc genaamd Retrieval-Augmented Generation (RAG). Denk aan RAG als het geven van een magische loep aan de bibliothecaris, waarmee ze direct de juiste pagina in de bibliotheek kunnen vinden voordat ze antwoord geven. Maar hier zit de crux: de bibliothecaris moet weten hoe ze de vraag duidelijk aan de loep moeten stellen, en ze hebben een enorme stapel oefengesprekken nodig om dit te leren.

Het probleem is dat voor nieuwe onderwerpen — zoals de specifieke regels van een verzekeringsmaatschappij of een nieuwe handleiding van software — niemand duizenden oefengesprekken heeft opgeschreven. Mensen inhuren om deze te schrijven is traag, duur en saai. Dit artikel pakt precies dat hoofdpijndossier aan. De auteurs stellen een slimme manier voor om een "trainingsgym" te bouwen voor deze AI-bibliothecarissen met behulp van alleen de ruwe documenten die het bedrijf al heeft. Ze kopiëren en plakken niet alleen zinnen; ze breken de documenten eerst af in kleine, kristalheldere "fact cards" (die ze proposities noemen). Vervolgens gebruiken ze een superintelligente AI om te bedenken wat een mens over die kaarten zou vragen, waardoor ze een nep maar realistisch gesprek creëren. Ze ontdekten dat deze methode van het omzetten van rommelige documenten in schone fact cards, en vervolgens het genereren van synthetische gesprekken uit deze kaarten, de AI-bibliothecaris veel beter laat vinden wat de juiste antwoorden zijn dan wanneer ze de ruwe, rommelige zinnen direct zouden gebruiken.

Het Verhaal van de Synthetische Gespreksfabriek

Dus, hoe leer je een robot een goede gesprekspartner te zijn als je geen miljoen echte menselijke chats hebt om hem te laten zien? De auteurs van dit artikel bouwden een tweetraps assemblagelijn die saaie documenten verandert in boeiende, realistische oefengesprekken.

Stap 1: De Fact Card Fabriek
Stel je voor dat je een dik instructieboek voor een nieuwe videogame hebt. Het zit vol met lange, ingewikkelde zinnen zoals: "Als je op de rode knop drukt terwijl je de controller vasthoudt, springt het personage, maar alleen als de batterij bijna leeg is." Dat is een nachtmerrie voor een zoekmachine. De pipeline van de auteurs neemt eerst deze documenten en vraat een krachtige AI (ze gebruikten een model genaamd Claude 3.5) om ze af te breken. De AI fungeert als een nauwgezette redacteur die lange zinnen opknipt in korte, op zichzelf staande "fact cards". De AI verwijdert verwarrende verwijzingen zoals "het" of "dat" en zorgt ervoor dat elke kaart een volledige, zelfstandige gedachte is.
Cruciaal is dat de AI de opdracht krijgt om alleen kaarten te maken voor zaken waar een mens ook echt naar zou vragen. De AI negeert saaie stukjes zoals "Neem contact op via 555-0199", tenzij iemand er daadwerkelijk over zou kunnen vragen. Van hun collectie documenten genereerden ze meer dan 11.000 fact cards voor hun privébedrijfsgegevens en meer dan 14.000 voor publieke overheidsdocumenten. Deze kaarten vormen de "waarheid" waar de AI-bibliothecaris uiteindelijk doorheen zal zoeken.

Stap 2: De Gesprekssimulator
Nu ze een stapel fact cards hebben, vraagt de pipeline aan de AI om een gesprek te bedenken. De AI kiest een kleine groep van deze kaarten en zegt: "Doe alsof een mens vragen stelt over deze feiten." De AI genereert een heen-en-weer gesprek. Hier zit de magische truc: voor elke vraag die de "mens" stelt, schrijft de AI twee versies.

1. De Echte Menselijke Versie: Dit is hoe een persoon echt praat, vol met afkortingen. "Hoeveel kost het?" (verwijzend naar iets dat eerder werd genoemd).
2. De Duidelijke Versie: Dit is dezelfde vraag, herschreven zodat deze op zichzelf volledig begrijpelijk is, zoals "Hoeveel kost de verzekeringspolis?"
   Het systeem houdt ook precies bij welke fact cards werden gebruikt om elke vraag te beantwoorden. Dit creëert een perfecte trainingsdataset waarbij de computer de rommelige vraag, de duidelijke versie, het antwoord en de bron kent.

Waarom "Fact Cards" Beter Zijn dan "Ruwe Zinnen"

De auteurs stopten niet alleen bij het verzinnen van gesprekken; ze testten een grote hypothese. Ze wilden weten: is het beter om de AI te trainen met deze schone "fact cards", of zouden ze gewoon de originele documenten in zinnen moeten hakken en die moeten gebruiken?

Denk aan het zoeken naar een speld in een hooiberg. Als je de ruwe zinnen gebruikt, zit de hooiberg vol met extra stro — irrelevante woorden, lange uitleg en verwarrende context. Als je de fact cards gebruikt, heb je het stro al weggehaald en alleen de naalden overgelaten.
Toen ze dit testten, waren de resultaten duidelijk. De gesprekken die gebouwd waren op de schone fact cards leidden tot veel betere zoekresultaten. De AI kon de juiste informatie aanzienlijk sneller en nauwkeuriger vinden. In contrast hiermee was het gebruik van de ruwe zinnen alsof je een speld probeert te vinden in een hooiberg die aan elkaar gelijmd is; de zoekmachine raakte in de war door de ruis. De auteurs ontdekten dat hoewel de ruwe zinnen oké waren om de conversatie soepel te laten verlopen, ze vreselijk waren voor het helpen van de AI om het antwoord daadwerkelijk te vinden.

De Robot Lerenen Zelfstandig Na te Denken

Zodra ze deze duizenden synthetische gesprekken hadden, gebruikten ze deze om "lichtgewicht" AI-modellen te trainen. Dit zijn kleinere, snellere en goedkopere computers vergeleken met de gigantische super-AI's die worden gebruikt om de data te genereren.
Ze trainden twee soorten helpers:

1. De Herschrijver: Een klein model dat leert om een rommelige, context-rijke vraag ("Hoeveel kost het?") te nemen en deze te veranderen in een duidelijke vraag ("Hoeveel kost de verzekering?").
2. De Retriever: Een klein model dat leert om naar de duidelijke vraag te kijken en direct de juiste fact card in de bibliotheek te vinden.

De resultaten waren indrukwekkend. Deze kleine, goedkope modellen presteerden net zo goed als het gebruik van de gigantische, dure AI om de herschrijving elke keer uit te voeren. Sterker nog, in sommige tests was het kleine model dat getraind was op hun synthetische data zelfs beter dan een model dat getraind was op enorme, door mensen geschreven datasets die moeilijk te verkrijgen zijn.

Ze ontdekten ook een handige afkorting. Ze leerden de herschrijver om te controleren of een vraag al duidelijk was. Als de gebruiker vroeg: "Wat is de prijs van de polis?" (wat al duidelijk is), leerde de herschrijver te zeggen: "Geen herschrijving nodig," en de stap over te slaan. Dit bespaarde tijd en halveerde de verwerkingstijd voor veel vragen.

Werkt het in de echte wereld?

Om er zeker van te zijn dat dit niet alleen een methode was die werkte op nepdata, testten ze hun systeem op echte datasets van overheidswebsites (zoals verzekeringen en studiefinanciering). Ze gooiden de door mensen geschreven trainingsdata van deze echte datasets weg om te bewijzen dat hun methode vanaf nul kan werken.
De resultaten hielden stand. Hun kleine modellen, getraind op alleen de door hen gegenereerde synthetische gesprekken, waren in staat om de juiste antwoorden in echte documenten veel beter te vinden dan wanneer ze alleen de ruwe, rommelige vragen hadden gebruikt. Hoewel het gebruik van een gigantische AI om vragen in realtime te herschrijven iets beter was, was dit ook veel trager en duurder. Hun kleine, getrainde modellen boden een "sweet spot": snel, goedkoop en zeer nauwkeurig.

De Kern van het Verhaal

Het artikel suggereert dat we niet hoeven te wachten tot mensen miljoenen perfecte gesprekken schrijven om slimme AI-assistenten te bouwen. In plaats daarvan kunnen we de documenten die we al hebben nemen, ze omzetten in schone, hapklare feiten, en een krachtige AI de gesprekken laten bedenken. Deze synthetische data is goed genoeg om kleinere, snellere modellen te trainen die effectief met echte vragen kunnen omgaan.

De auteurs merken echter voorzichtig op dat dit geen toverstaf is. Hun systeem is nog steeds afhankelijk van een grote, dure AI om de initiële trainingsdata te genereren. En hoewel de kleine modellen geweldig zijn in het vinden van antwoorden, hebben ze nog steeds de grote AI nodig om het uiteindelijke antwoord aan de gebruiker te schrijven. Maar voor het moeilijke deel — het vinden van de juiste informatie in een zee van documenten — lijkt deze "synthetische fabriek"-aanpak een game-changer te zijn, die rommelige handleidingen verandert in heldere, doorzoekbare kennis zonder dat er een team van menselijke annotatoren nodig is.