TRACE: Trustworthy Retrieval-Augmented Conversational Engine

Stel je voor dat je probeert een specifieke, verborgen schat te vinden in een enorme, rommelige zolder. De zolder staat vol met oude dozen, waarvan sommige duidelijk gelabeld zijn, sommige met gescheurde labels, en sommige zonder labels. Stel je nu voor dat je een superintelligente robotassistent hebt die ervan houdt om verhalen te vertellen. Als je de robot vraagt: "Waar is de gouden munt op de zolder?", kan de robot zo enthousiast raken over het vertellen van een verhaal over gouden munten dat hij een locatie verzint die niet bestaat, of wijst hij naar een doos die eigenlijk oude sokken bevat. Dit is het probleem met veel moderne AI-chatbots: ze zijn geweldig in praten, maar soms verzinnen ze dingen wanneer ze feiten moeten vinden.

Dit artikel leeft in de wereld van "retrieval" (opvraging), wat gewoon een chique woord is voor het proces van het zoeken naar informatie voordat er een vraag wordt beantwoord. Het gaat ook over "constraints" (beperkingen), wat de specifieke regels zijn die je aan een zoekopdracht geeft, zoals "kijk alleen in de rode dozen" of "kijk alleen in de dozen uit 1990". De grote vraag die de onderzoekers stellen is: als we het zoekgedeelte vastzetten zodat de robot alleen naar de echte dozen op de zolder kijkt, stopt de robot dan met het verzinnen van verhalen? Ze willen weten of een betere zoekmachine het geheime ingrediënt is om AI betrouwbaar te maken, vooral wanneer mensen hulp nodig hebben bij het vinden van echte wereldwijde diensten zoals voedselbanken.

De onderzoekers hebben een nieuw systeem gebouwd genaamd TRACE (Trustworthy Retrieval-Augmented Conversational Engine) om dit idee te testen. Denk aan TRACE als een zeer strikte bibliothecaris die weigert de robot te laten spreken totdat hij fysiek de bibliotheekkaarten heeft gecontroleerd. Wanneer een gebruiker een vraag stelt zoals: "Waar kan ik eten krijgen in Sedgwick County als ik geen ID heb?", laat TRACE de robot niet zomaar gokken. Eerst breekt het de vraag af in twee delen: de "structurele" regels (zoals het specifieke graafschap) en de "semantische" regels (zoals de ID-eis).

Om de juiste antwoorden te vinden, gebruikt TRACE een "duale" kaart. Eén deel van de kaart is een Knowledge Graph (kennisgrafiek), die als een web van verbonden stippen is die precies laat zien waar dingen zijn (Stad → Graafschap → Voedselbank). Het andere deel is een Vector Embedding, die als een vage wolk van betekenis is die de tekstbeschrijvingen begrijpt van wie hulp kan krijgen. Het systeem gebruikt eerst het strikte web om een kleine lijst met kandidaten te vinden die voldoen aan de locatieregels. Vervolgens controleert het de vage wolken om te zien of die kandidaten ook aan de andere regels voldoen. Als de lijst leeg is, pakt het de volgende batch kandidaten en probeert het opnieuw. Pas wanneer het een geverifieerde lijst heeft, laat het de AI-chatbot het definitieve antwoord schrijven.

Het team testte dit systeem met behulp van een echte directory van ongeveer 800 voedselbanken en een reeks van 1.000 verzonnen vragen om te zien hoe goed het werkte. Ze probeerden dit met 15 verschillende AI-modellen, variërend van zeer kleine tot zeer grote, en vergeleken ze zelfs met een beroemd "proprietary" (eigendomsrechtelijk) model (GPT 5.5). Ze testten ook verschillende versies van hun "kaart", inclusief één zonder grafiek (alleen platte tekst) en één die locatie en openingstijden combineert in een super-grafiek.

De resultaten waren vrij duidelijk en suggereren dat de kwaliteit van de zoekopdracht belangrijker is dan de grootte van het brein achter de chatbot. Wanneer ze de beste versie van hun kaart gebruikten (KG-3, die locatie en openingstijden combineerde), werd het systeem veel beter in het volgen van de regels. Bijvoorbeeld, de gemiddelde "constraint satisfaction" (hoe vaak het antwoord daadwerkelijk de regels van de gebruiker volgde) sprong van ongeveer 64% met een basiszoekopdracht naar bijna 88% met de geavanceerde kaart. Nog belangrijker was dat het aantal keren dat de AI een nep-voedselbank verzon even een "hallucinatie" (een hallucinatie), drastisch daalde van ongeveer 10% naar slechts 2%.

Misschien wel de meest interessante bevinding is dat naarmate de zoekopdracht beter werd, de verschillen tussen de slimste AI en de kleinste AI begonnen te verdwijnen. Wanneer de zoekopdracht rommelig was, waren de grote, dure modellen veel beter dan de kleine modellen. Maar wanneer de zoekopdracht strikt en precies was, presteerden zelfs de piepkleine modellen bijna net zo goed als de reuzen. Dit suggereert dat in situaties waar je echte, geverifieerde informatie nodig hebt, het hebben van een goede bibliothecaris (retrieval) belangrijker is dan het hebben van een genie die weet hoe hij moet praten (het LLM). Het artikel concludeert dat om publieke dienstverlenings-chatbots betrouwbaar te maken, we ons eerst moeten richten op het verbeteren van de retrieval, omdat dat de sleutel is om de AI te laten stoppen met het verzinnen van dingen.