Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems
Dit artikel stelt "Trace Integrity" voor als een kritieke betrouwbaarheidsmetriek voor LLM-dataagenten, waarbij wordt betoogd dat antwoordnauwkeurigheid alleen onvoldoende is omdat geldige antwoorden kunnen voortkomen uit ongeldige redeneersporen, en introduceert gestructureerde uitvoeringscontracten en de CAIT-ratio om ervoor te zorgen dat outputs worden ondersteund door controleerbare, schema-valide en uitvoerbare berekeningen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne werkomgeving zijn computers krachtige assistenten geworden die enorme bibliotheken aan gegevens kunnen lezen en complexe vragen kunnen beantwoorden. Wanneer een bedrijfsanalist vraagt naar de gemiddelde omzet van een specifieke groep klanten, kan een computersysteem miljoenen records scannen en één enkel getal teruggeven. Jarenlang was de standaardmanier om te beoordelen of deze systemen werkten simpel: kwam het getal dat ze gaven overeen met het juiste antwoord? Als de getallen overeenkwamen, werd het systeem als succesvol beschouwd. Deze methode heeft echter een blinde vlek. Een computer kan tot het juiste getal komen door een foutief pad te bewandelen, de verkeerde gegevens te gebruiken of een cruciale stap over te slaan, net als een leerling die het juiste antwoord op een wiskundetoets raadt zonder de berekening te laten zien. Als het eindgetal correct is, gaat de fout in het proces vaak onopgemerkt, waardoor de gebruiker achterblijft met een resultaat dat hij niet kan vertrouwen omdat hij niet weet hoe het tot stand is gekomen.
Dit is het centrale probleem dat wordt aangestipt door een nieuwe studie van onderzoekers van WAI USA Research Labs. Zij stellen dat voor computersystemen die met echte gegevens werken, het verkrijgen van het juiste antwoord niet genoeg is. Het systeem moet ook bewijzen dat het de juiste stappen heeft uitgevoerd om daar te komen. De onderzoekers noemen deze vereiste "Trace Integrity" (spoorintegriteit). Het is een manier om ervoor te zorgen dat het digitale spoor dat de computer achterlaat — de specifieke filters die het gebruikte, de tabellen die het samenvoegde en de berekeningen die het uitvoerde — nauwkeurig reflecteert wat de gebruiker daadwerkelijk heeft gevraagd. Zonder dit zou een systeem met veel vertrouwen kunnen rapporteren dat een bepaalde regio de hoogste omzet had, terwijl het in werkelijkheid per ongeluk proefaccounts heeft meegerekend of de gegevens heeft gegroepeerd op basis van het verkeerde kantoor. Het antwoord lijkt juist, maar de redenering erachter is gebrekkig.
Om te testen hoe vaak deze verborgen fout voorkomt, zetten de onderzoekers een gecontroleerd experiment op met een collectie van honderd vragen uit de echte wereld gebaseerd op databases. Ze vroegen een computersysteem om deze vragen te beantwoorden met behulp van drie verschillende methoden. De eerste methode was direct: het systeem probeerde simpelweg de code te schrijven om het antwoord te krijgen. De tweede methode vroeg het systeem om eerst een korte samenvatting van zijn plan te schrijven voordat de code werd geschreven. De derde methode vereiste dat het systeem eerst een gedetailleerd, gestructureerd contract opstelde waarin precies stond welke datatabellen, filters en wiskundige operaties het van plan was te gebruiken, voordat het de code mocht uitvoeren.
De resultaten toonden een aanzienlijk gat tussen het krijgen van het juiste antwoord en het correct uitvoeren van het werk. Wanneer het systeem de directe methode gebruikte, kreeg het slechts twintig procent van de tijd het juiste eindgetal. Wanneer het systeem de samenvattingsmethode gebruikte, steeg dat getal licht naar tweeentwintig procent. De contractmethode presteerde het best en bereikte een nauwkeurigheid van vierentwintig procent. Echter, het verhaal verandert wanneer men kijkt naar de kwaliteit van het werk achter die antwoorden. De onderzoekers ontdekten dat zelfs wanneer het systeem het juiste getal produceerde, de stappen die het nam vaak ongeldig waren. Voor de directe methode werd bijna vijfen vijftig procent van de juiste antwoorden ondersteund door gebrekkige of onvolledige redeneringen. Voor de samenvattingsmethode lag dit verborgen foutpercentage zelfs nog hoger, namelijk bijna zestig procent. Alleen de contractmethode slaagde erin dit risico te verlagen, hoewel het nog steeds een foutpercentage van bijna zesenzestig procent had.
Deze bevindingen tonen aan dat een systeem per ongeluk gelijk kan hebben. De onderzoekers ontdekten dat veel correcte antwoorden eigenlijk "stille fouten" waren, waarbij de computer een aannemelijk resultaat produceerde, maar de onderliggende berekening niet overeenkwam met de vraag van de gebruiker. Dit is gevaarlijk omdat een mens die het antwoord controleert, geen reden heeft om een fout te vermoeden als het eindgetal er correct uitziet. Door het introduceren van het concept van een uitvoeringcontract — een duidelijk, gestructureerd verslag van het plan voordat het werk begint — lieten de onderzoekers zien dat het mogelijk is om deze fouten te vangen. Het contract fungeert als een controlepunt, waardoor het systeem wordt gedwongen zijn intenties te verklaren met betrekking tot welke gegevens worden opgenomen en hoe het resultaat wordt berekend, voordat het mag voortgaan.
De studie concludeert dat voor computersystemen om echt betrouwbaar te zijn in velden zoals de financiële sector, de gezondheidszorg of bedrijfsvoering, we moeten stoppen met het uitsluitend beoordelen van hun uiteindelijke antwoorden. In plaats daarvan moeten we de integriteit van het pad beoordelen dat ze hebben afgelegd. Een systeem dat zijn werk kan laten zien, kan bewijzen dat het de juiste gegevens heeft gebruikt en kan aantonen dat de stappen overeenkomen met de oorspronkelijke vraag, is veel betrouwbaarder dan een systeem dat simpelweg een correct getal geeft. De onderzoekers suggereren dat deze systemen in de toekomst een verplicht auditeerbaar verslag van hun berekening moeten achterlaten, zodat mensen de logica achter elke beslissing kunnen inspecteren, herhalen en verifiëren. Deze verschuiving van het controleren van alleen het resultaat naar het controleren van het proces is essentieel voor het bouwen van hulpmiddelen waar mensen op kunnen vertrouwen bij het nemen van belangrijke beslissingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.