When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

Grote taalmodellen zijn krachtige hulpmiddelen die verhalen kunnen schrijven, vragen kunnen beantwoorden en problemen kunnen oplossen door gebruik te maken van de enorme hoeveelheid informatie die ze tijdens hun training hebben opgenomen. Deze modellen zijn echter niet perfect; soms vergeten ze feiten of verzinnen ze details die geloofwaardig klinken maar onjuist zijn. Om dit op te lossen, hebben onderzoekers een methode ontwikkeld genaamd retrieval-augmented generation. Deze aanpak werkt als een bibliothecaris voor het model: wanneer een vraag wordt gesteld, zoekt het systeem eerst in een database met externe documenten naar relevante bewijslast, en voert die bewijslast vervolgens samen met de vraag aan het model. De hoop is dat het model deze verse informatie gebruikt om een nauwkeuriger antwoord te geven. Toch heeft dit systeem een verborgen gebrek. Soms zijn de gevonden documenten misleidend, verouderd of zelfs opzettelijk onjuist. Als het model deze documenten blindelings vertrouwt, herhaalt het hun fouten. Omgekeerd, als het model de documenten volledig negeert, kan het nuttige informatie missen of er niet in slaag even te beantwoorden dat specifieke details uit een verstrekte tekst vereist. De kernuitdaging is weten wanneer men het externe bewijs moet vertrouwen en wanneer men moet vertrouwen op de eigen interne kennis van het model.

Een team van onderzoekers van de University of Sydney heeft een nieuwe manier voorgesteld om dit dilemma op te lossen, genaamd Intent-Guided Decoding. In plaats van het model te dwingen om de documenten altijd te vertrouwen of ze altijd te negeren, vertrouwt hun systeem op expliciete instructies van de gebruiker om de strategie te bepalen. In sommige situaties leest een gebruiker een specifiek rapport en wil hij dat het model strikt antwoordt op basis van wat dat rapport zegt, zelfs als het rapport een fout bevat. In andere situaties stelt een gebruiker een algemene factcheck-vraag en wil hij dat het model een misleidend document negeert ten gunste van de waarheid. De onderzoekers hebben een framework gebouwd dat zich aanpast aan deze specifieke instructies. Het werkt door het model te laten genereren van drie verschillende potentiële antwoorden tegelijkertijd: één gebaseerd op de oorspronkelijke vraag van de gebruiker, één gebaseerd strikt op de verstrekte documenten, en één gebaseerd uitsluitend op zijn eigen interne geheugen. Het systeem vergelijkt vervolgens deze drie stromen van gedachten. Als de documenten en het interne geheugen van mening verschillen, controleert het systeem de instructies van de gebruiker om te beslissen welk pad gevolgd moet worden. Als de gebruiker expliciet heeft gevraagd om strikte naleving van de tekst, neigt het systeem naar het document. Als de gebruiker expliciet om de waarheid heeft gevraagd, neigt het systeem naar het interne geheugen, waardoor de misleidende informatie effectief wordt weggefilterd.

De onderzoekers testten deze aanpak op een breed scala aan vragen en verschillende soorten taalmodellen. Ze creëerden scenario's waarin de verstrekte documenten correct waren en scenario's waarin ze opzettelijk onjuist waren. In de gevallen waarin de documenten misleidend waren, gaven standaard systemen die de tekst blindelings volgden vaak onjuiste antwoorden. Het nieuwe systeem was echter in staat de tegenstrijdigheid te herkennen en over te schakelen naar de interne kennis, waardoor het in veel gevallen het juiste antwoord vond. Op benchmarks waar de documenten misleidend waren, verbeterde de nieuwe methode de nauwkeurigheid van de antwoorden met maar liefst 65,4 procentpunt vergeleken met de standaard aanpak. Cruciaal was dat deze verbetering niet ten koste ging van het negeren van nuttige informatie. Wanneer de gebruiker het model expliciet vroeg om de verstrekte tekst te volgen, bleef het systeem dit ook accuraat doen, zelfs wanneer de tekst correct was. Dit suggereert dat het systeem erin slaagt om twee concurrerende behoeften te balanceren: trouw zijn aan het bronmateriaal wanneer dat vereist is, en feitelijk correct zijn wanneer het bronmateriaal onbetrouwbaar is.

De studie onthulde ook dat simpelweg een model vertellen om "voorzichtig te zijn" of "de feiten te controleren" niet genoeg is om het te stoppen met het worden misleid door slechte documenten. De onderzoekers ontdekten dat modellen vaak er niet in slagen zichzelf te corrigeren, tenzij er een specifiek mechanisme aanwezig is om het bewijs af te wegen tegen de intentie van de gebruiker. Hun methode vereist geen hertraining van het model of het veranderen van hoe het informatie zoekt; in plaats daarvan fungeert het als een slim filter tijdens de laatste stap van het genereren van een antwoord. Door te analyseren hoe zelfverzekerd het model is in zijn verschillende potentiële antwoorden en de invloed van de documenten te schalen op basis van hun betrouwbaarheid, kan het systeem fijne aanpassingen maken. Bijvoorbeeld, als het interne geheugen zeer zelfverzekerd is en het document wankel, stuurt het systeem het antwoord voorzichtig richting de waarheid. Als het document sterk is en de gebruiker wil dat het gevolgd wordt, laat het systeem het document het antwoord leiden. Deze genuanceerde aanpak stelt het model in staat om complexe situaties aan te pakken waarbij het juiste antwoord volledig afhangt van wat de gebruiker probeert te bereiken.

Uiteindelijk benadrukt het werk dat de relatie tussen een taalmodel en zijn externe kennis geen kwestie is van simpelweg vertrouwen of wantrouwen. Het is een dynamische onderhandeling die afhangt van de context van het gesprek. De onderzoekers hebben aangetoond dat door het model zich bewust te maken van de intentie van de gebruiker, het mogelijk is om een systeem te creëren dat zowel betrouwbaar als flexibel is. Dit betekent dat deze hulpmiddelen in de toekomst nuttiger kunnen zijn voor taken variërend van strikte juridische documentanalyse, waarbij het volgen van de tekst essentieel is, tot algemene kennisvragen, waarbij het vermijden van misinformatie de prioriteit heeft. De bevindingen suggereren dat de toekomst van kunstmatige intelligentie niet alleen ligt in het slimmer maken van modellen, maar in het beter laten begrijpen wanneer ze moeten luisteren en wanneer ze voor zichzelf moeten spreken.