TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows
Dit artikel introduceert TraceCompiler, een vaardigheidsgestuurd systeem dat ruisgevoelige LLM-agenttraces extraheert om deze te compileren naar grotendeels deterministische, uitvoerbare workflows door strikt de afhankelijkheden tussen tools af te leiden via controleerbaar bewijs, waardoor het aantal runtime API-aanroepen aanzienlijk wordt verminderd terwijl een hoge precisie bij het herstellen van afhankelijkheden behouden blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar ietwat slonzige robot-butler leert hoe hij je favoriete broodje moet maken. Je laat hem het proces één keer zien: hij pakt het brood, dan de kaas, dan het mes, dan het mes weer omdat hij het vergeten is, dan de kaas opnieuw om het etiket te controleren, en tot slot het brood. Hij krijgt het broodje, maar het pad dat hij heeft afgelegd was een rommelige zigzag van pogingen opnieuw, dubbelchecks en ronddwalen door de keuken. Stel je nu voor dat je de robot vraagt om datzelfde broodje honderd keer te maken. Als je hem gewoon laat "leren" door het elke keer te doen, zal hij elke keer de prijs betalen van die rommelige zigzag, waarbij hij energie en tijd verspilt aan het telkens opnieuw ontdekken van stappen die hij al kent. Dit is precies wat er gebeurt met moderne AI-agenten die tools gebruiken (zoals het controleren van een agenda of het versturen van een bericht). Ze zijn briljant in het ter plekke uitzoeken van zaken, maar ze trekken vaak het wiel opnieuw uit, lezen instructies opnieuw en proberen mislukte pogingen opnieuw voor elke nieuwe aanvraag. De grote vraag in deze hoek van de informatica is: Kunnen we die rommelige, repetitieve "dagboeken" van wat de AI deed, opschonen en omzetten in een strikt, efficiënt recept dat de AI kan volgen zonder dat hij elke keer net zo hard hoeft na te denken als de vorige keer? Dit is het verschil tussen een robot die elke ochtend moet uitzoeken hoe hij moet lopen versus een robot met een vooraf geprogrammeerd spiergeheugen voor lopen.
Maak kennis met TraceCompiler, een nieuw systeem ontworpen om de "chef" te zijn die die rommelige robot-dagboeken omzet in schone, uitvoerbare recepten. De onderzoekers achter dit werk realiseerden zich dat hoewel AI-agenten goed zijn in exploratie, ze slecht zijn in het onthouden van hun eigen efficiënte paden. TraceCompiler werkt als een combinatie van een detective en een redacteur. Het bekijkt honderden ruisende pogingen om dezelfde taak uit te voeren (zoals om geld vragen op Venmo of een nummer aan een afspeellijst toevoegen) en probeert te achterhalen welke stappen daadwerkelijk noodzakelijk waren en welke stappen slechts de AI waren die rondom struikelde.
De kernmagie van TraceCompiler is een strikte regel over "oorzaak en gevolg". In een rommelig logboek kunnen twee acties na elkaar plaatsvinden door louter toeval, zoals het pakken van het brood en daarna het pakken van de kaas. TraceCompiler weigert ervan uit te gaan dat het pakken van het brood de oorzaak was van het pakken van de kaas. In plaats daarvan eist het bewijs: "Had de kaas specifiek een stuk informatie nodig dat alleen de stap van het pakken van het brood produceerde?" Als het antwoord nee is, wordt de link doorgehakt. Als het antwoord ja is, en geen enkele andere stap die info had kunnen leveren, wordt de link behouden. Dit stelt het systeem in staat om de "ruis" weg te strippen — de pogingen opnieuw, de accidentele controles en de redundante checks — en een gestroomlijnde workflow achter te laten.
De resultaten zijn indrukwekkend, maar gaan gepaard met belangrijke kanttekeningen. Wanneer het werd getest op een dataset van reisgerelateerde taken, identificeerde de geautomatiseerde regel van het systeem de noodzakelijke verbindingen tussen stappen met een precisie van ongeveer 93% en een recall van 94%. Dit is een enorme sprong vergeleken met simpelere methoden die alleen kijken naar wat er in de rij volgt (die slechts ongeveer 71% goed kregen) of methoden die simpelweg tellen hoe vaak stappen samen voorkomen. In een specifieke test met betrekking tot een Venmo-taak voor het aanvragen van geld, slaagde het systeem erin om een rommelig proces dat 34 API-aanroepen vereiste, terug te brengen naar slechts 11 essentiële aanroepen. Dat is een enorme reductie in werk!
Het paper is echter zeer voorzichtig om niet te beweren dat dit een perfecte, magische oplossing is. Het systeem is niet zomaar een "black box" die altijd werkt; het is een behoedzame redacteur. Zo liep het systeem bijvoorbeeld tegen een muur aan bij het proberen van een workflow voor het toevoegen van nummers aan een afspeellijst. Het realiseerde zich dat de AI-logs niet duidelijk lieten zien of de nummers werden toegevoegd of verwijderd, en aangezien dit tegengestelde, onomkeerbare acties zijn, weigerde het systeem de workflow te compileren. Het koos ervoor om te stoppen en te zeggen: "Ik weet het niet zeker, dus ik ga niet gokken," in plaats het risico te lopen dat de muziek van een gebruiker wordt verwijderd. Deze "weigering om te compileren" is eigenlijk een feature, geen bug; het bewijst dat het systeem veiligheid boven snelheid verkiest.
Bovendien geven de onderzoekers toe dat hoewel de gecompileerde workflows efficiënt zijn, ze niet hebben gemeten hoeveel tijd of geld het kostte om die workflows in de eerste plaats te creëren. Het is alsof je zegt: "Deze nieuwe auto heeft een geweldig verbruik," zonder te vertellen hoeveel de motor heeft gekost om te bouwen. Ze vonden ook dat hoewel het systeem goed werkt op synthetische data (computergegenereerde voorbeelden), het sterk leunt op het vermogen van de AI om patronen te herkennen, en het kan nog niet elk mogelijk type rommelig logboek perfect aan.
Uiteindelijk laat TraceCompiler zien dat we het chaotische, repetitieve gedrag van AI-agenten kunnen omzetten in schone, deterministische programma's, maar alleen als we bereid zijn om strikt te zijn over wat als "bewijs" telt. Het is een stap richting AI die niet alleen elke keer "het uitzoekt", maar ook daadwerkelijk leert om een betrouwbaar, efficiënt pad te volgen — mits we kunnen bewijzen dat dat pad veilig en noodzakelijk is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.