AgentTrails: Towards Trust and Reuse for Agentic Tasks
AgentTrails is een prototype-systeem dat ruwe chronologische logs van door LLM's aangedreven agenten transformeert naar gestructureerde herkomstgrafieken om vertrouwen en hergebruik te vergroten door verborgen datadependenties te onthullen, uitvoeringvergelijking mogelijk te maken en patroonextractie en vaardigheidsabstractie te ondersteunen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante maar licht chaotische chef ziet een complex gerecht bereiden. Je ziet de chef ingrediënten pakken, snijden, roeren en opmaken, maar je hebt alleen een video van de handen van de chef die van links naar rechts bewegen. Je weet wat er is gebeurd, maar je weet niet waarom de chef na de peper ook de zout pakte, of de saus die ze in stap drie maakten daadwerkelijk werd gebruikt in het eindgerecht, of dat ze gewoon een hele extra batch soep hebben gemaakt die niemand heeft gegeten. In de wereld van kunstmatige intelligentie worden deze "chefs" LLM-gestuurde agenten genoemd. Dit zijn computerprogramma's die moeilijke problemen oplossen door hulpmiddelen te gebruiken—zoals het internet doorzoeken, code uitvoeren of bestanden lezen—net zoals een mens dat zou doen.
Wanneer deze agenten werken, laten ze een lange, rommelige lijst achter van alles wat ze hebben gedaan, opgeschreven in volgorde van begin tot eind. Dit wordt een traject genoemd. Denk aan een dagboekvermelding die zegt: "Eerst deed ik dit, toen deed ik dat, en daarna deed ik dit andere ding." Het probleem is dat dit dagboek wel de volgorde van gebeurtenissen vertelt, maar het echte verhaal verbergt: de onzichtbare draden die de ene actie met de volgende verbinden. Het is moeilijk om te zien welke stap afhankelijk was van de vorige, of dat de agent in de war is geraakt en een verkeerde afslag heeft genomen. Zonder deze verbindingen te zien, is het bijna onmogelijk om fouten te herstellen, te leren van goede voorbeelden, of erop te vertrouwen dat de agent daadwerkelijk zijn werk correct heeft uitgevoerd.
Hier komt een nieuw project genaamd AgentTrails om de hoek kijken. De onderzoekers achter dit project, een team van de New York University, realiseerden zich dat alleen het lezen van het chronologische dagboek niet genoeg is. Ze wilden die rommelige lijst veranderen in een duidelijke, visuele kaart. Hun doel was om een systeem te bouwen dat een ruw, saai logboek van de acties van een agent kan bekijken en automatisch de verborgen "stamboom" van afhankelijkheden kan reconstrueren. Ze wilden precies laten zien welke toolcall een specif kind bestand produceerde, welk bestand vervolgens als ingrediënt werd gebruikt voor de volgende stap, en waar de agent van de rails was geraakt.
Het artikel presenteert AgentTrails, een prototype systeem dat fungeert als een detective voor deze AI-agenten. In plaats van alleen een lijst met gebeurtenissen te tonen, neemt AgentTrails het ruwe tekstlogboek en verandert het in een provenance graph (herkomstgrafiek). Stel je voor dat je die chaotische keukenvideo verandert in een stroomdiagram waarbij elk ingrediënt een knooppunt is en elke kookstap een pijl is die ze verbindt. Dit maakt de onzichtbare afhankelijkheden zichtbaar. Het systeem raadt niet alleen; het zoekt naar aanwijzingen in de tekst, zoals bestandsnamen, ID's of specifieke waarden die in één stap verschijnen en in een latere stap worden aangehaald, om de lijnen tussen hen te trekken.
Maar de magie stopt niet bij slechts één agent. De onderzoekers hebben ook het probleem aangepakt van het vergelijken van verschillende agenten of dezelfde agent die dezelfde taak meerdere keren uitvoert. Omdat AI een beetje op een mens lijkt, kan het hetzelfde puzzel op een iets andere volgorde oplossen of de ene keer een omweg nemen en de andere keer een kortere route kiezen. AgentTrails kan meerdere van deze "kaarten" nemen en ze samenvoegen tot een joined quotient graph. Denk hierbij aan het over elkaar leggen van verschillende routes die wandelaars op dezelfde berg hebben afgelegd. Het systeem benadrukt het hoofdpad dat iedereen gebruikte (de gemeenschappelijke, succesvolle workflow) en laat de kleine zijpaden zien waar sommige wandelaars verdwaald zijn of onnodige omwegen hebben gemaakt. Dit helpt ontwikkelaars om de "best practices" en de "slechte gewoontes" te ontdekken die verborgen blijven wanneer je alleen naar de logs één voor één kijkt.
Het team heeft dit systeem getest op echte scenario's. In één scenario keken ze naar een agent die een natuurkundeprobleem probeerde op te lossen over waterstofatomen. Het ruwe logboek was slechts een lange reeks getallen en toolcalls, maar AgentTrails onthulde een duidelijk patroon: de agent berekende verschillende onafhankelijke constanten, combineerde ze om een specifieke waarde te vinden, en gebruikte die waarde vervolgens om het uiteindelijke antwoord te berekenen. In een andere test analyseerden ze een agent die gen-data verkende. Door een "hoog scorende" (succesvolle) run te vergelijken met een "laag scorende" (mislukte) run, liet de samengevoegde grafiek zien dat de succesvolle agent een direct pad volgde, terwijl de mislukte agent steeds weer onnodige zijpaden nam en extra toolcalls maakte die niet hielpen.
Het artikel suggereert dat deze aanpak een veelbelovende stap is naar het betrouwbaarder en gemakkelijker debugbaar maken van AI-agenten. De auteurs merken echter voorzichtig op dat dit nog steeds voorlopig werk is. Ze hebben nog niet bewezen dat hun systeem perfect is in het vinden van elke enkele verbinding, en ze werken nog aan hoe ze het kunnen opschalen om duizenden complexe taken tegelijkertijd te verwerken. Ze hebben een kleine set voorbeelden handmatig geannoteerd om aan te tonen dat het werkt, maar de grote vraag hoe ze deze kaarten op een massale schaal automatisch kunnen verifiëren, staat nog open.
Uiteindelijk biedt AgentTrails een nieuwe manier om naar AI te kijken. In plaats van deze agenten te behandelen als zwarte dozen die antwoorden uitspugen, probeert het de doos te openen en ons de raderen te laten zien die binnenin draaien. Door een eenvoudige tijdlijn te veranderen in een rijke, onderling verbonden kaart, geeft het ontwikkelaars de instrumenten om de manier waarop deze digitale agenten denken en werken te begrijpen, te vergelijken en te verbeteren. Het is een beweging van simpelweg naar de show kijken naar het begrijpen van het script achter de schermen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.