TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces

Probleemstelling

Agente systemen (systemen waarbij Large Language Models of LLM's worden uitgebreid met externe tools en iteratief beslissingsvermogen) zijn krachtig voor complexe taken zoals diep onderzoek, functie-aanroepen en coderen. Echter, het analyseren van hun uitvoeringstraces (de volledige reeks van interacties, tool-aanroepen en beslissingen) vormt een aanzienlijke uitdaging:

1. Schaalbaarheid: Manuele inspectie van deze lange en complexe traces is niet schaalbaar; een enkele taak kan duizenden tool-aanroepen omvatten.
2. Beperkingen van LLM's: Het direct toepassen van LLM's op ruwe traces wordt gehinderd door input-lengtebeperkingen en leidt vaak tot onbetrouwbare redeneringen of hallucinaties.
3. Verlies van context: Bestaande methoden die zich alleen richten op het eindresultaat (outcome-only), verwerpen cruciaal gedragsinformatie die nodig is voor nauwkeurige probleemlokalisation en root-cause analyse.
4. Gebrek aan gestructureerde rapportage: Er is een gebrek aan geautomatiseerde frameworks die coherente, actievere rapporten genereren die aansluiten bij de behoeften van onderzoekers en ingenieurs in de industrie.

Methodologie: TraceSIR Framework

TraceSIR is een multi-agent framework dat is ontworpen voor gestructureerde analyse en rapportage van agente uitvoeringstraces. Het systeem coördineert drie gespecialiseerde agents die samenwerken:

1. TraceFormat (De Abstraktie-laag)

Voordat analyse plaatsvindt, worden de ruwe traces omgezet in een gestructureerd formaat genaamd TraceFormat.

• Dit formaat comprimeert de originele OpenAI-berichtenreeks naar een reeks interactierondes.
• Elke ronde bestaat uit drie kerncomponenten: Thought (redenering), Action (tool-aanroep) en Observation (resultaat).
• Dit behoudt de temporale volgorde en causale koppelingen, maar verwijdert redundantie, waardoor de data geschikt wordt voor downstream analyse binnen de contextlimieten van LLM's.

2. De Drie Agents

• StructureAgent:
  • Voert een "length-aware abstraction" uit op de TraceFormat.
  • Gebruikt drempelwaarden om te lange elementen (zoals uitgebreide code of verbose redeneringen) te comprimeren zonder kritieke gedragsinformatie te verliezen.
  • Zorgt voor een schaalbare en betrouwbare input voor de volgende agent.
• InsightAgent:
  • Voert een fijngranulaire, per-instantie diagnose uit op de gestructureerde traces.
  • Genereert gestructureerde diagnostische outputs:
    • Overall Assessment: Een score (0-100) voor taakvoltooiing.
    • Error Detection: Identificatie van primaire en secundaire fouten.
    • Weakness Identification: Zowel zwaktes als sterke punten.
    • Root Cause Analysis (RCA): Diepgaande uitleg van waarom fouten optreden.
    • Optimization Suggestions: Concrete aanbevelingen en voorbeelden voor fine-tuning.
• ReportAgent:
  • Werkt op het niveau van meerdere taakinstanties (cross-case).
  • Voert statistische analyses uit (bijv. foutfrequentie, scoreverdeling) om terugkerende patronen en systematische problemen te ontdekken.
  • Genereert een uitgebreid Markdown-rapport dat kwantitatieve statistieken combineert met kwalitatieve inzichten.
  • Voegt een appendix toe met de gestructureerde trace-data voor transparantie en traceerbaarheid.

Belangrijkste Bijdragen

1. TraceSIR Framework: Een nieuw multi-agent systeem dat de volledige cyclus van trace-compressie, diagnose en rapportage automatiseert.
2. TraceFormat: Een innovatief abstractieformaat dat essentiële gedragsinformatie behoudt terwijl het de lengte van de trace drastisch reduceert.
3. TraceBench: Een unificerend benchmark dat 150 mislukte taakinstanties bevat uit drie real-world scenario's:
   • Deep Research (BrowseComp)
   • Function Calling (Tau2Bench)
   • Agentic Coding (SWE-bench)
4. ReportEval: Een nieuw evaluatieprotocol specifiek ontworpen om de kwaliteit en bruikbaarheid van analyse-rapporten te beoordelen. Het beoordeelt rapporten op vijf dimensies:
   • Algemene Structuur (OS)
   • Foutanalyse (EA)
   • Root Cause Analyse (RCA)
   • Optimalisatie-analyse (OA)
   • Algemene Impact (OI)

Resultaten

De experimenten zijn uitgevoerd op TraceBench met twee backbone LLM's (GLM-5 en Claude-4.6) en vergeleken met de sterke baseline ClaudeCode.

• Superieure Kwaliteit: TraceSIR presteert consistent beter dan de baseline in alle drie de scenario's.
  • Bij menselijke evaluatie (door experts) verbeterde TraceSIR de algehele rapportkwaliteit met gemiddeld 9,7%.
  • Bij evaluatie door een "LLM-as-a-judge" was de verbetering gemiddeld 7,5%.
  • De grootste relatieve winst (tot 26,0%) werd geobserveerd in het complexe "Agentic Coding" scenario met een zwakkere backbone.
• Diepere Inzichten: TraceSIR toonde aanzienlijke verbeteringen in Root Cause Analyse en Foutanalyse, wat aantoont dat het systeem beter in staat is om de onderliggende oorzaken van falen te identificeren dan bestaande methoden.
• Robuustheid: Het framework bleek robuust over verschillende onderliggende modellen heen, wat suggereert dat de architectuur van het framework zelf de prestaties verbetert, niet alleen de kracht van het gebruikte model.

Betekenis en Impact

TraceSIR lost een kritiek probleem op in de ontwikkeling van agente systemen: de schaalbaarheid van debugging en analyse.

• Van Outcome naar Gedrag: Het verschuift de focus van het beoordelen van alleen het eindresultaat naar het analyseren van het volledige gedragsverloop, wat essentieel is voor complexe systemen.
• Industriële Toepasbaarheid: Door het genereren van actievere, gestructureerde rapporten, helpt het ingenieurs en onderzoekers sneller fouten te lokaliseren en systemen te optimaliseren.
• Transparantie: Het biedt een transparante manier om de "black box" van lange agente traces te openen, wat bijdraagt aan de betrouwbaarheid en veiligheid van toekomstige AI-systemen.

Kortom, TraceSIR biedt een gestructureerde, schaalbare en effectieve oplossing voor het diagnosticeren en verbeteren van complexe agente systemen, waarbij het de kloof tussen ruwe uitvoeringsdata en bruikbare, menselijke inzichten overbrugt.