A Multi-Agent Framework for Diagnosis and Plan Repair in Knowledge Graph Question Answering
Dit artikel stelt TRACE voor, een multi-agent framework dat Knowledge Graph Question Answering verbetert door LLM-redeneerplannen dynamisch te diagnosticeren en te repareren via gerichte bewijsretrieval en verificatie, waardoor hallucinaties worden verminderd en de nauwkeurigheid wordt verbeterd ten opzichte van bestaande statische benaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie hebben computers geleerd om te lezen, schrijven en redeneren met een vloeiendheid die ooit onmogelijk leek. Deze systemen, bekend als grote taalmodellen, kunnen complexe vragen beantwoorden door puttend uit de enorme hoeveelheid tekst die ze hebben bestudeerd. Deze kracht is echter ook een zwakte. Omdat deze modellen vertrouwen op wat ze hebben onthouden, kunnen ze soms feiten verzinnen of vol vertrouwen dingen beweren die simpelweg niet waar zijn, een probleem dat onderzoekers hallucinatie noemen. Om dit op te lossen, zijn wetenschappers begonnen deze modellen te koppelen aan kennisgrafen, die gestructureerde databases van feiten zijn die fungeren als een betrouwbare kaart van de wereld. Hoewel deze combinatie helpt, volgen huidige methoden vaak een rigide pad: ze genereren een plan, zoeken feiten op en gaan verder. Als het plan in een vroeg stadium een fout bevat, merkt het systeem dit vaak niet op en vervolgt het de verkeerde weg totdat het uiteindelijke antwoord fout is. De uitdaging was het creëren van een systeem dat niet alleen feiten kan opzoeken, maar ook kan stoppen, zijn werk kan controleren en zichzelf kan corrigeren wanneer de bewijzen niet overeenkomen met de verwachtingen.
Een team van onderzoekers heeft deze uitdaging aangepakt met een nieuw framework genaamd TRACE, ontworpen om kunstmatige intelligentie betrouwbaarder te maken bij het beantwoorden van complexe vragen. In plaats van de computer een reeks stappen te laten afwerken, breekt TRACE het proces op in een zorgvuldige lus van plannen, controleren en herstellen. Het systeem begint door het grote taalmodel te vragen een gestructureerd plan te maken, in feite een stapsgewijze schets van hoe het de bedoeling heeft het antwoord te vinden. Dit plan wordt vervolgens overhandigd aan een gespecialiseerde agent die naar de kennisgraaf gaat om bewijs te vinden voor elke specifieke stap. Een derde agent fungeert als een strikte auditor, die de voorspelde observaties van het model vergelijkt met de werkelijke feiten die uit de database zijn opgehaald. Als de feiten overeenkomen, gaat het systeem verder. Als ze dat niet doen, activeert het systeem een herstelmechanisme dat diagnosticeert wat er precies misging en het plan dienovereenkomstig aanpast.
De onderzoekers testten deze aanpak op drie verschillende sets moeilijke vragen die het verbinden van meerdere stukjes informatie vereisen. Ze ontdekten dat TRACE consequent beter presteerde dan andere methoden die vertrouwen op agents om met kennisgrafen te interageren. Bij het gebruik van een krachtig model dat bekend staat als GPT-4, behaalde het nieuwe framework een exacte match-score van 80,0 procent, wat betekent dat het 80 procent van de tijd het juiste antwoord gaf, vergeleken met 78,0 procent voor de op één na beste methode. Belangrijker nog, het systeem liet een significante verbetering zien in de kwaliteit van de gedeeltelijke antwoorden, met een score van 66,8 vergeleken met 48,8 voor de concurrent. Dit suggereert dat zelfs wanneer het systeem niet het perfecte antwoord krijgt, het veel dichter bij de waarheid staat dan voorheen gebruikte methoden. De studie toonde ook aan dat deze aanpak goed werkt met kleinere, minder krachtige modellen, waardoor ze de veelvoorkomende valstrik van het verzinnen van feiten vermijden.
Wat TRACE onderscheidt, is hoe het met fouten omgaat. In traditionele systemen, als een model een fout maakt in de eerste stap van een redeneerketen, verspreidt die fout zich vaak, wat leidt tot een volledig foutieve conclusie. TRACE voorkomt dit door de kennisgraaf bij elke stap als een controlepunt te behandelen. Als het systeem probeert te beweren dat een beroemde schilder in een specifieke stad is gestorven, maar de database laat zien dat hij in een andere stad is gestorven, stopt het systeem onmiddellijk. Het negeert het conflict niet alleen; het activeert een herstelstrategie. Afhankelijk van het type fout kan het systeem simpelweg het onjuiste feit vervangen door het juiste, teruggaan naar een vorige stap om een ander pad te proberen, of de vraag opdelen in kleinere, meer beheersbare delen om te garanderen dat geen enkele beperking wordt gemist. Dit proces wordt gestuurd door een scoresysteem dat evalueert welke herstelstrategie de meest betrouwbare weg vooruit biedt, waardoor wordt gewaarborgd dat het uiteindelijke antwoord gebaseerd is op geverifieerd bewijs in plaats van gokwerk.
De onderzoekers keken ook naar de kosten van het draaien van dit zorgvolliger systeem. Omdat het proces het controleren en potentieel herstellen van het plan inhoudt, zou men verwachten dat het aanzienlijk meer rekenkracht gebruikt. Echter, de studie vond dat TRACE daadwerkelijk minder woorden, of tokens, gebruikt om tot een antwoord te komen vergeleken met andere geavanceerde methoden. Hoewel het een iets hoger aantal oproepen naar het model doet dan een concurrent, is het totale volume van de verwerkte tekst lager, wat het systeem als geheel efficiënter maakt. Deze winst in efficiëntie komt voort uit het vermogen van het systeem om vroegtijdig te stoppen wanneer het een doodlopende weg detecteert, in plaats van middelen te verspillen aan het volgen van een gebrekkig pad tot de conclusie ervan. De resultaten suggereren dat door een mechanisme voor zelfcorrectie en verificatie in te bouwen, kunstmatige intelligentie niet alleen slimmer, maar ook efficiënter en betrouwbaarder kan worden in zijn redenering.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.