Technische Samenvatting: TraceGraph – Gedeelde Beslissingslandschappen voor het Diagnostiseren en Verbeteren van Agent-trajecten

1. Probleemstelling

Huidige agent-benchmarks registreren steeds vaker rijke, geïnterleaved interactie-trajecten (gedachten, tool-aanroepen, omgevingsfeedback). Echter, evaluatiepraktijken reduceren deze complexe processen doorgaans tot een enkele scalaire metriek (bijv. pass/fail-ratio of beloningsscore). Hoewel dergelijke scores systemen rangschikken, verhullen ze de onderliggende procesdynamiek: ze verklaren niet hoe modellen door taakruimtes navigeren, waar ze in strategie uiteenlopen, of of ze falen-regio's vermijden of eruit herstellen.

De kernuitdaging is het gebrek aan een gedeeld coördinatensysteem voor het vergelijken van trajecten tussen verschillende modellen. Agent-toestanden zijn lang, vertakkend en benchmark-specifiek, waarbij tools, bestandscues en gedeeltelijke bewijslast worden gemengd. Zonder afstemming is het moeilijk te bepalen of Model A een analoge staat heeft bereikt als Model B, een dezelfde falen-regio heeft vermeden, of via een andere route is hersteld. Bestaande methoden inspecteren vaak individuele trajecten in isolatie of vertrouwen op geaggregeerde scores die procesdiversiteit verbergen.

2. Methodologie: Het TraceGraph-framework

TraceGraph is een graafgebaseerd framework dat gepoolde agent-rollouts transformeert naar een gedeeld beslissingslandschap. Het werkt in drie stadia en construeert een model-agnostische kaart van de taakruimte voordat specifieke modelgedragingen worden geanalyseerd.

Fase 1: Het bouwen van het gedeelde landschap

Het framework verwerkt actie–observatie-stappen van meerdere modellen en taken.

• Codering: Elke stap $i$ wordt gecodeerd als een ijle verzameling observeerbare sleutels $K_i$, inclusief tool/actietypes, commando-klassen, observatiepatronen (bijv. error traces), bestandscues en temporele fasen. Voor zoekopdrachten worden specifieke sleutels voor URL-domeinen en query-nieuwheid toegevoegd.
• Gelijkenis & Graafconstructie: Paarsgewijze gelijkenis wordt berekend met behulp van een IDF-gewogen Jaccard-overlap over de sleutelverzamelingen. Zeldzame, informatieve sleutels (bijv. specifieke traceback-patronen) wegen zwaarder dan generieke sleutels.
• Topologie: Een mutual-$k$NN-graaf wordt gebouwd over alle gepoolde stappen. Deze graaf wordt gedecomponieerd in Biconnected Components (BCC's) en articulatiepunten (poorten).
  • BCC's groeperen stappen met een dichte wederzijdse gelijkenis, wat grove gedeelde agent-toestanden vertegenwoordigt.
  • Articulatiepunten markeren strategie- of fase-transities waarbij een rollout kan vertakken in kwalitatief verschillende vervolgstappen.
• Model-agnosticisme: Modelidentiteit wordt uitgesloten van de signatuur en graafconstructie. Het landschap wordt uitsluitend gedefinieerd door de observeerbare toestandsruimte.

Fase 2: Uitkomst-geïnformeerde overlays

Zodra de graafstructuur is vastgesteld, legt het framework uitkomstgegevens over de structuur om "productieve kernen" en "valstrik-regio's" te identificeren.

• Beloningsdiffusie: Voor elk BCC-blok wordt een Laplace-gesmoothde beloning toegewezen op basis van de finale uitkomsten van rollouts die dat blok bezoeken. Deze beloning wordt vervolgens over de blok-quotientgraaf gediffundeerd om lokale ruis te middelen.
• Regio-definitie:
  • Productieve Kern ($C_t$): Hoog-positieve kwantielen van het gediffundeerde beloningsveld.
  • Valstrik-regio's ($B_t$): Laag-negatieve kwantielen van het gediffundeerde beloningsveld.
• Deze overlays zijn beschrijvend; ze lokaliseren waar verkeer met hoge respectievelijk lage uitkomsten zich concentreert, in plaats van uitkomsten voor ongeziene runs te voorspellen.

Fase 3: Samenvatting van Rollout-events

Elk model-traject wordt samengevat door drie discrete events, gedefinieerd op de kern/valstrik-overlays:

1. Toegang ($A_r$): Heeft de rollout de productieve kern geraakt?
2. Valstrik-blootstelling ($E_r$): Heeft de rollout een valstrik-regio geraakt?
3. Herstel ($R_r$): Heeft de rollout een valstrik bezocht en vervolgens een kern bereikt?

Analyse: Aanbod- en Vraagprofielen

TraceGraph genereert twee beschrijvende profielen:

• Model Aanbod: Het taak-gecentreerde gemiddelde van een model's events ten opzichte van het gemiddelde model. Dit onthult een "navigatiestijl" (bijv. hoge toegang/hoog herstel versus conservatief/ondiep).
• Benchmark Vraag: Het belonings-gewogen contrast tussen verkeer met hoge en lage uitkomsten. Dit onthult wat een specifieke benchmark beloont (bijv. het vermijden van valstrikken versus herstel).

3. Belangrijkste Bijdragen

1. TraceGraph Framework: Een methode om model-agnostische taakgrafen te construeren uit gepoolde rollouts en daarop uitkomst-geïnformeerde regio's te leggen om een gedeeld beslissingslandschap te creëren.
2. Compacte Procesprofielen: Een demonstratie dat over vijf benchmark-splits (7.329 records, 427 taken, 5 modellen) de events van Toegang, Valstrik-blootstelling en Herstel, navigatiestijlen van modellen en benchmark-eisen scheiden die door geaggregeerde scores worden verborgen.
3. TraceGraph-gestuurde Herstel-pipeline: Een praktische toepassing op SWE-bench waarbij uit de graaf afgeleide valstrik-regio's dienen als runtime-triggers. Wanneer een live agent een historische valstrik-regio betreedt, wordt een lichtgewicht herstelbeleid geactiveerd.

4. Experimentele Resultaten

Diagnostische Inzichten

• Model Diversiteit: Geaggregeerde scores verbergen vaak procesverschillen. Bijvoorbeeld, op een gedeeld landschap vertoont DeepSeek-V3.2 een "hoge toegang, hoog herstel"-stijl, terwijl Qwen3-Next een "lage toegang, laag herstel"-stijl vertoont (conservatieve, ondiepe navigatie).
• Benchmark Heterogeniteit: Benchmarks leggen verschillende proceseisen op:
  • $\tau^2$-bench, MCPBench, TerminalBench: Sterk valstrik-avers (hoge uitkomsten correleren met het vermijden van regio's met lage uitkomsten).
  • SWE-bench: Sterk herstel-demanderend (hoge uitkomsten correleren met het herstellen van valstrik-achtige toestanden na een initiële fout).
  • Zoeken: Beloont toegang tot productieve bewijslast met incidenteel herstel.

Herstel-experiment (SWE-bench)

De auteurs hebben een valstrik-bewuste prefix-fork pipeline geïnstancieerd op SWE-bench Verified instanties (totaal 500).

• Mechanisme: Een detector wordt geactiveerd wanneer een live rollout overeenkomt met een gecanoniseerde valstrik-signatuur. Bij activatie vervolgt de agent vanuit dezelfde staat onder drie beleidsregels:
  1. Baseline: Standaard voortzetting ($T=0.6$).
  2. Hot: Verhoogde sampling-diversiteit ($T=0.9$).
  3. Note: Een conservatieve, op bewijs gebaseerde diagnose-notitie toegevoegd aan de context (geen gold patches).
• Resultaten:
  • Op de per-provider fired subset ($n=616$), verhoogde het beste gepoolde beleid (Hot) de resolved rate van 40,4% naar 43,5% (+3,1 pp, $p=0,016$).
  • Op de common-fired subset ($n=288$), verhoogde het Hot beleid de rate van 41,0% naar 44,8% (+3,8 pp, $p=0,045$).
  • Provider Specificiteit: De actieve herstelcomponent varieerde per provider. Qwen3.6-35B-A3B profiteerde het meest van de diagnose-notitie, terwijl GLM-5.1 en DeepSeek-V4-Pro het meest profiteerden van de temperatuur-bump.

5. Betekenis en Claims

Het artikel positioneert TraceGraph niet als een nieuwe scalaire score of een blinde succesvoorspeller, maar als een proces-vocabulaire voor agent-evaluatie.

• Beschrijvend Vermogen: Het onthult wat een benchmark test (bijv. vermijding versus herstel) en waar modellen uiteenlopen op een gedeeld landschap.
• Actiegerichte Sturing: Het demonstreert dat uit de graaf afgeleide valstrikken downstream interventies kunnen sturen. Door historische falen-regio's te identificeren, maakt het framework gerichte herstelbeleid mogelijk dat de taak-resolutie verbetert zonder dat hiervoor oracle-informatie of volledige hertraining nodig is.
• Bescheidenheid: De auteurs benadrukken dat de herstel-pipeline een lokale interventie is op een specifieke subset van SWE-bench en niet wordt geclaimd als een universeel agent-herstelmechanisme. Het framework is een analytisch instrument voor het verklaren van verkeersconcentraties, geen controller voor alle agent-gedragingen.

Samenvattend verschuift TraceGraph de focus van "hoeveel taken heeft de agent opgelost?" naar "hoe heeft de agent door de taaklandschap genavigeerd, en waar liep hij vast of herstelde hij?", waardoor een structurele basis wordt geboden voor het begrijpen en verbeteren van agent-trajecten.