TrajAudit: Automated Failure Diagnosis for Agentic Coding Systems
Het artikel introduceert TrajAudit, een nieuw raamwerk dat is ontworpen om foutdiagnose in repository-gebaseerde agentic coding-systemen te verbeteren door ruisende, lange trajecten te filteren en gebruik te maken van voorkennis, wat resulteert in aanzienlijk hogere localisatie-accuraatheid en token-efficiëntie op de nieuwe RootSE-benchmark in vergelijking met bestaande baselines.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, geautomatiseerde robotassistent hebt (een "AI Agent") wiens taak het is om bugs in een enorme, complexe softwarebibliotheek te repareren. Soms doet deze robot zijn werk perfect. Maar soms probeert hij een probleem op te lossen, maakt hij een puinhoop en crasht de software nog steeds.
De grote vraag is: Waar precies ging de robot fout, en waarom?
Dit is het probleem dat het paper "TrajAudit" probeert op te lossen. Hieronder volgt een uiteenzetting van de ideeën uit het paper met behulp van eenvoudige analogieën.
Het Probleem: De "Naald in een Hooiberg"
Wanneer de robot probeert een bug te repareren, laat hij een lange spoor van digitale voetafdrukken achter, een traject genoemd. Dit spoor omvat elke gedachte die de robot had, elk bestand dat hij opende, elke opdracht die hij tikte en elk foutbericht dat hij zag.
- De Hooiberg: Deze sporen zijn ongelooflijk lang (soms 100+ stappen) en vol "ruis". Stel je voor dat de robot een handboek van 500 pagina's leest, volledige hoofdstukken code kopieert die niet relevant zijn, en elke enkele file in een map opsomt. Dit is de "hooiberg".
- De Naald: Ergens in die enorme hoop informatie is er één specifiek moment waarop de robot een slechte beslissing nam (de "naald").
- De Oude Manier: Eerdere methoden probeerden het hele handboek van 500 pagina's in één keer te lezen om de fout te vinden. Maar net als een mens raakt de AI overweldigd door zoveel tekst en begint hij de voor de hand liggende aanwijzingen te missen. Het is als proberen een typefout in een roman te vinden door het hele boek in één adem te lezen.
De Oplossing: TrajAudit (De Detective)
De auteurs hebben een nieuw systeem gecreëerd dat TrajAudit heet. In plaats van dat een robot alles in één keer probeert te lezen, hebben ze een Detective Agent gebouwd met twee speciale assistenten.
Zie de Detective Agent als een doorgewinterde onderzoeker die niet direct het hele bestand leest. In plaats daarvan gebruikt hij twee slimme hulpmiddelen:
1. De "Voorafgaande Kennis" Assistent (De Intuïtie)
Voordat de detective zelfs maar naar het rommelige spoor kijkt, bekijkt deze assistent het foutbericht (het crashrapport) en de testcode (de regels die de robot niet heeft gevolgd).
- Analogie: Stel je voor dat een detective arriveert op een misdaadplek. Voordat hij naar de rommelige kamer kijkt, leest hij het politierapport waarin staat: "Het slachtoffer is vergiftigd." De detective heeft nu een intuïtie: "Oké, ik hoef niet naar het meubilair te kijken; ik moet naar de keuken en de dranken kijken."
- In het paper: Deze module geeft de AI een "voorlopige diagnose". Het vertelt de hoofdagent: "Focus op het deel waar de robot naar de database keek, niet op het deel waar het gewoon bestanden opsomde." Dit voorkomt dat de AI verdwaalt in de ruis.
2. De "Semantische Saliënt Folding" Assistent (De Samenvatter)
Deze assistent kijkt naar het lange, rommelige spoor en vraagt zich af: "Is dit stukje informatie eigenlijk belangrijk voor de crash?"
- Analogie: Stel je voor dat je een transcriptie van een gesprek hebt van 100 pagina's. Het grootste deel bestaat uit mensen die zeggen "Hallo", "Hoe gaat het" en "Laat me dit bestand controleren". Maar op pagina 42 zegt iemand: "Ik heb het verkeerde bestand verwijderd!"
- De oude manier leest pagina's 1–100.
- Deze assistent vouwt (verbergt) pagina's 1–41 en 43–100, waardoor alleen de cruciale zin zichtbaar blijft. Het houdt de "error logs" en "code changes" vast, maar verbergt de saaie "file listing" ruis.
- In het paper: Het gebruikt patroonherkenning om code-wijzigingen en trefwoorden zoals "error" of "exception" te vinden. Alles else wordt gecomprimeerd tot een kleine placeholder. Dit maakt het spoor kort en schoon.
3. De Detective Agent (De Onderzoeker)
Nu kijkt de hoofddetective-agent naar dit korte, schone samenvatting met de intuïtie van de eerste assistent.
- De "On-Demand" Truc: Als de samenvatting niet genoeg is om 100% zeker te zijn, kan de Detective zeggen: "Wacht, ik moet de volledige details van Stap 3 zien." Vervolgens vraagt hij het systeem om precies dat specifieke deel weer "uit te vouwen".
- Het Resultaat: De agent vindt de exacte stap waar de robot fout ging, legt uit waarom het fout was, en doet dit zonder in de war te raken door de 500 pagina's ruis.
Het Bewijs: RootSE (Het Examen)
Om te bewijzen dat hun systeem werkt, konden de auteurs het niet alleen testen op gemakkelijke taken. Ze hadden een echt moeilijk examen nodig.
- Ze creëerden een nieuwe benchmark genaamd RootSE.
- Het Examen: Ze namen 93 real-world voorbeelden waar AI-agents faalden bij het repareren van software-bugs. Dit waren geen simpele taken; het waren complexe, multi-bestands taken die duizenden stappen aan data genereerden.
- De Score: Toen ze hun nieuwe "Detective"-systeem testten tegen oude methoden:
- Nauwkeurigheid: Het nieuwe systeem vond de exacte fout 24% vaker dan de beste vorige methode.
- Efficiëntie: Het gebruikte 18% minder computerbronnen (tokens) omdat het geen tijd verspilde aan het lezen van de saaie delen.
Samenvatting
Het paper betoogt dat wanneer AI-agents falen in complexe coderingstaken, we hen niet gewoon de volledige geschiedenis van hun fouten kunnen geven. Ze raken overweldigd.
TrajAudit is als het geven van een slim filter en een goede intuïtie aan de AI voordat het begint met lezen. Het verbergt de saaie ruis, benadrukt de cruciale aanwijzingen en laat de AI inzoomen op het specifieke moment waarop de fout gebeurde. Dit maakt het veel sneller en nauwkeuriger in het uitzoeken waarom de robot faalde.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.