When May an Agent Stop? Evidence-Carrying Termination for Tool-Using LLMs
Dit artikel introduceert Evidence-Carrying Termination (ECT), een nieuw framework voor tool-gebruikende LLM-agenten dat getypeerde certificaten vereist die antwoordclaims binden aan geldige, repliceerbare trace-evidence vóór voltooiing, waarbij in gecontroleerde experimenten wordt aangetoond dat het nul onveilige voltooiingen bereikt en voortijdige ongefundeerde terminaties significant vermindert vergeleken met bestaande critic-gebaseerde benaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is een nieuw soort software opgekomen: de autonome agent. In tegenstelling tot een eenvoudige rekenmachine die wacht op een commando, zijn deze agenten ontworpen om na te denken, te plannen en te handelen. Ze kunnen het web doorzoeken, code uitvoeren of databases raadplegen om complexe problemen op te lossen, net zoals een menselijke onderzoeker informatie verzamelt. Deze nieuwe capaciteit brengt echter een fundamenteel dilemma met zich mee: hoe weet de machine wanneer hij moet stoppen? Als een agent eeuwig blijft doorwerken, verspilt hij middelen en loopt hij het risico dat fouten zich opstapelen. Als hij te vroeg stopt, levert hij misschien een antwoord aan dat onvolledig is of gebaseerd is op een misverstand. Jarenlang hebben ingenieurs geprobeerd dit op te lossen door de AI te vragen zichzelf simpelweg als klaar te verklaren of door een tweede AI te laten beoordelen of het antwoord er goed uitziet. Maar deze methoden vertrouwen op het eigen zelfvertrouwen van de machine, wat misplaatst kan zijn. De echte uitdaging is niet alleen om de agent te vragen te stoppen, maar om te bewijzen dat de beslissing om te stoppen wordt ondersteund door een solide, onveranderbaar bewijs dat elk onderdeel van het antwoord daadwerkelijk is gevonden en correct is berekend.
Een onderzoeker aan de University of California San Diego heeft dit probleem aangepakt met een systeem genaamd Evidence-Carrying Termination. In plaats van de agent te laten beslissen om te stoppen op basis van een gevoel of een eenvoudige checklist, vereist dit systeem dat de agent een formeel certificaat produceert voordat hij een taak kan voltooien. Beschouw dit certificaat als een bonnetje dat de agent moet genereren voor elke bewering die hij in zijn definitieve antwoord maakt. De agent kan niet alleen zeggen: "Ik heb het antwoord gevonden." Hij moet precies laten zien welke tool-aanroep de gegevens heeft geleverd, bewijzen dat de gegevens relevant waren voor de specifies gestelde vraag, en aantonen dat het uiteindelijke getal of feit is afgeleid met behulp van een strikte, onveranderlijke set regels. Als een deel van dit bewijs ontbreekt, of als de wiskunde niet klopt wanneer deze wordt gecontroleerd tegen de oorspronkelijke gegevens, dwingt het systeem de agent om door te werken. Het is een poortwachter die weigert de agent de kamer te laten verlaten totdat hij zijn huiswerk in volledige detail heeft getoond.
Om te testen of deze rigoureuze aanpak daadwerkelijk werkt, creëerde de onderzoeker een gecontroleerde omgeving met achtenveertig verschillende taken, variërend van het opzoeken van specifieke feiten tot het uitvoeren van complexe gegevensaggregaties. Vervolgens introduceerde hij acht specifieke soorten fouten in deze taken, zoals het geven van het verkeerde bewijsstuk aan de agent, het verbergen van een tool-fout, of het vragen om te stoppen voordat alle noodzakelijke informatie was gevonden. Hij zette hun nieuwe systeem af tegen een standaardmethode waarbij een criticus-AI simpelweg het antwoord beoordeelt. De resultaten waren scherp. In een test met bijna driehonderd foutieve scenario's slaagde het standaard systeem er niet in om de fouten te detecteren en liet het de agent stoppen met een onjuist of ononderbouwd antwoord in tweehonderd tweeënvijftig gevallen. In contrast hiermee stond het nieuwe Evidence-Carrying Termination-systeem nul onveilige voltooiingen toe. Het identificeerde succesvol elke enkele fout en dwong de agent om door te gaan totdat het bewijs solide was.
De onderzoeker stopte niet bij statische tests; hij ging over naar een meer dynamisch, closed-loop experiment met honderden gesimuleerde trajecten waarbij de agent in realtime moest herstellen van fouten. Hier was het doel om te zien of de strikte bewijsvereiste zou ervoor zorgen dat de agent te gemakkelijk opgaf of er niet in slaagde om geldige taken te voltooien. Het nieuwe systeem presteerde opnieuw beter dan de standaardbenadering. Het voorkwam dat de agent voortijdig stopte in zesenzestig kritieke gevallen waarin het oudere systeem veertig keer faalde. Cruciaal was dat het nieuwe systeem niet zo voorzichtig werd dat het nuttig werk tegenhield; het voltooide ondersteunde taken met een snelheid die statistisch gelijk was aan die van het oudere systeem, wat bewees dat het eisen van bewijs niet betekent dat er wordt ingeboet op vooruitgang. Wanneer de agent vastliep, was het systeem in staat hem door een herstelproces te leiden in achttien van de zesenzestig pogingen, waarvan er zeventien uiteindelijk leidden tot een succesvolle, geverifieerde conclusie.
Dit werk beweert niet dat de agent onfeilbaar is of dat het garandeert dat de antwoorden waar zijn in de echte wereld. Het systeem verifieert alleen dat de agent zijn eigen regels heeft gevolgd en dat het definitieve antwoord overeenkomt met het verzamelde bewijs. Het is een controle op het proces, geen garantie voor externe waarheid. De bevindingen suggereren echter een duidelijke weg voorwaarts voor veiligere AI. Door de handeling van het voorstellen van een antwoord te scheiden van de handeling van het bewijzen ervan, en door een deterministische replay van elke stap te vereisen, heeft de onderzoeker aangetoond dat het mogelijk is om agenten te bouwen die precies weten wanneer ze klaar zijn. De studie concludeert dat een agent niet alleen moet stoppen omdat hij het gevoel heeft klaar te zijn of omdat zijn antwoord aannemelijk klinkt. Hij moet alleen stoppen wanneer hij een volledige, ononderbroken keten van bewijsmateriaal kan presenteren die elke bewering die hij maakt valideert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.