When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry
Dit artikel introduceert AGENTCHAOSBENCH, een benchmark-dataset van 275 agentische executietracen met geïnjecteerde runtime-fouten, om aan te tonen dat huidige op LLM gebaseerde methoden moeite hebben met het nauwkeurig detecteren en lokaliseren van diverse operationele defecten op basis van enkel telemetrie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne software is niet langer slechts één enkel programma dat op een computer draait; het is vaak een team van kunstmatige intelligentie-agenten die samenwerken. Stel je een digitale beroepsbevolking voor waarbij de ene agent een reis plant, een andere de vluchten boekt en een derde het weer controleert, waarbij ze allemaal met elkaar communiceren en externe tools zoals kaarten of agenda's gebruiken. Deze systemen vertrouwen op een complex web van verbindingen: de agenten praten met elkaar, ze vragen een groot taalmodel om advies, ze roepen externe tools aan om werk te verrichten, en ze volgen strikte veiligheidsregels om ervoor te zorgen dat ze niets schadelijks zeggen of doen. Wanneer alles goed werkt, produceert het team een correct antwoord. Maar wanneer er iets misgaat, kan het uiteindelijke antwoord fout zijn, of kan het systeem simpelweg stoppen met werken, waardoor de gebruiker geen enkel vermoeden heeft waarom. Het probleem is dat kijken naar alleen het eindresultaat ons niets vertelt over de breuk. Is het systeem gefaald omdat de AI een slechte beslissing nam, of omdat een tool die het nodig had traag was, of omdat een veiligheidscontrole per ongelpen werd overgeslagen? Om deze systemen te repareren, moeten ingenieurs de hele reis kunnen zien, niet alleen de bestemming.
Een team van onderzoekers aan de Universiteit van Toronto heeft een nieuwe testomgeving gebouwd om dit mysterie te helpen oplossen. Ze hebben een benchmark gecreëerd genaamd AgentChaosBench, wat in essentie een gecontroleerde omgeving is om deze AI-teams expres te laten falen om te zien of diagnostische tools het probleem kunnen vinden. De onderzoekers namen vijf verschillende real-world applicaties — systemen die SQL-code schrijven, boeken ontwerpen, sociale media beheren, landingspagina's creëren en helpen bij werving — en simuleerden tien verschillende manieren waarop ze zouden kunnen falen. Deze fouten omvatten tools die weigerden te antwoorden, tools die te lang nodig hadden om te reageren, berichten die verloren gingen tussen agenten, en veiligheidsregels die werden omzeild. Voor elk gebroken scenario draaiden ze ook een perfecte, foutvrije versie van dezelfde taak met exact dezelfde startinstructies. Dit paar stelde hen in staat om precies te weten wat er misging en waar. Dit creëerde een set van 275 gedetailleerde verslagen van deze digitale reizen.
De kern van hun werk was om te zien of een geautomatiseerd systeem naar het verslag van een mislukte uitvoering kon kijken en de oorzaak correct kon identificeren. Ze verwijderden alle labels die het antwoord zouden weggeven, waardoor alleen de ruwe data van wat er gebeurde overbleef: de timing van oproepen, de inhoud van berichten en de status van elke stap. Vervolgens vroegen ze aan diverse kunstmatige intelligentiemodellen, variërend van kleinere lokale modellen tot de krachtigste beschikbare frontier-modellen, om als detective op te treden. Deze modellen moesten het verslag lezen, achterhalen welk van de tien fouttypen was opgetreden, en precies aanwijzen welk deel van het systeem hiervoor verantwoordelijk was. De onderzoekers testten ook of het de detective helpen zou als er een kopie van de perfecte, foutvrije uitvoering werd gegeven om mee te vergelijken.
De resultaten toonden aan dat deze taak veel moeilijker is dan men had gehoopt. Zelfs de meest geavanceerde modellen, die poëzie kunnen schrijven en complexe logische puzzels kunnen oplossen, hadden aanzienlijke moeite met het diagnosticeren van deze runtime-fouten. Wanneer gevraagd werd om het type fout te identificeren op basis van een enkel verslag, kreeg het beste model minder dan 25 procent van de tijd de juiste antwoorden. Voor kleinere modellen lag het succespercentage zelfs nog lager, rond de 13 tot 19 procent, wat nauwelijks beter is dan gokken. Het probleem was nog moeilijker wanneer de modellen de specifieke component moesten aanwijzen die faalde. Ze slaagden er slechts in om ongeveer 31 procent van de tijd het juiste onderdeel van het systeem te lokaliseren. Wanneer ze tegelijkertijd werden gevraagd om beide te doen — de fout benoemen en de locatie vinden — daalde het succespercentage naar slechts 22 procent voor het beste model.
De studie onthulde dat sommige fouten gemakkelijker te spotten zijn dan andere. Fouten die duidelijke signalen produceren, zoals een tool die een duidelijke foutmelding geeft of een verbinding die een time-out veroorzaakt, werden vaker geïdentificeerd. Echter, de meest gevaarlijke en subtiele fouten bleven bijna onzichtbaar. Wanneer een veiligheidsregel werd omzeild, waardoor een verzoek dat geblokkeerd had moeten worden toch werd uitgevoerd, merkten de modellen dit bijna altijd niet op. Op dezelfde manier, wanneer een reactie van een tool corrupt was of wanneer het systeem tekortkwam in geheugenruimte, konden de modellen deze problemen niet betrouwbaar onderscheiden van normaal gedrag. De onderzoekers ontdekten dat het bieden van een perfect referentie-uitvoering om mee te vergelijken in sommige gevallen hielp, zoals bij het identificeren wanneer een tool ongewoon traag was of wanneer het systeem te veel geheugen probeerde te gebruiken. Deze vergelijking hielp echter niet bij de veiligheidsomzeilingen of corrupte data, omdat de gebroken output er nog steeds plausibel uitzag en de veiligheidscontrole er nog steeds op leek alsof deze was geslaagd.
Dit werk demonstreert dat hoewel we geavanceerde systemen hebben gebouwd om meerdere AI-agenten te coördineren, we nog niet de tools hebben gebouwd om betrouwbaar te begrijpen waarom ze falen. De huidige generatie diagnostische modellen, zelfs de grootste en meest capabele, kan nog niet consistent het verschil zien tussen een defecte tool, een traag netwerk, een overgeslagen veiligheidscontrole en een normale operatie. De onderzoekers concluderen dat het repareren van deze systemen nieuwe methoden vereist die verder gaan dan simpelweg een groot taalmodel vragen om een logboek te lezen. Ze suggereren dat toekomstige oplossingen mogelijk moeten vertrouwen op het vergelijken van huidige uitvoeringen met bekende goede uitvoeringen, of op het ontwikkelen van gespecialiseerde tools die specif으로 ontworpen zijn om naar deze operationele fouten te zoeken, in plaats van alleen te vertrouwen op algemene intelligentie. De weg vooruit ligt in het bouwen van betere manieren om de onzichtbare barsten in de digitale machinerie te zien voordat ze het hele systeem doen instorten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.