Technische Samenvatting: ProcBench

Probleemstelling

Bestaande benchmarks voor Large Language Model (LLM) coderingsagenten evalueren voornamelijk eindresultaten, zoals taakvoltooiingspercentages, compilatiesucces en doorloopspercentages van tests. Hoewel deze metrieken de aggregatiecapaciteit effectief meten, bieden ze beperkt inzicht in de uitvoeringstrajecten. Bij coderingstaken met een lange horizon kan een agent een correct eindresultaat bereiken terwijl het gevolgde traject breekbaar, repetitief, inefficiënt of slecht gecontroleerd is. Dergelijke fouten op procesniveau – waaronder contextdegradatie, repetitieve tooloproepen en onnodig lange uitvoeringsketens – worden vaak over het hoofd gezien door op uitkomst gerichte metrieken. Naarmate coderingsagenten autonomer worden, wordt de kloof tussen eindprestatie en uitvoeringsbetrouwbaarheid kritiek, aangezien veel praktisch significante fouten tijdens de uitvoering optreden en niet aan het eindpunt. Huidig onderzoek richt zich vaak op kwalitatieve diagnose of casestudies die specifiek zijn voor een taak, zonder een herbruikbaar, gestandaardiseerd kader voor het vergelijken van proceskwaliteit tussen verschillende systemen.

Methodologie

De auteurs introduceren ProcBench, een benchmarkgericht kader dat is ontworpen om trajecten van coderingsagenten te evalueren aan de hand van procesfouten en behoud van controle. De methodologie werkt in vier hoofdfasen:

1. Gestandaardiseerde Trajectrepresentatie:
   Om de heterogeniteit van logs tussen verschillende coderingsagenten aan te pakken (variërende formaten, toolinterfaces en schema's), past ProcBench een deterministische mapping $\Psi$ toe die ruwe uitvoeringslogs converteert naar een uniek sequentie van gestandaardiseerde gebeurtenissen. Elke gebeurtenis vangt het type, de payload, tooloproepen, retourwaarden, waarneembare operaties, contextstatus en structurele afhankelijkheden op.

2. Ontologie van Fouten en Extractie:
   ProcBench structureert terugkerende uitvoeringsproblemen in een herbruikbare ontologie bestaande uit vier dimensies en 11 defectklassen:

   • Contextbeheer: Ghost Context, Oversized Rules, Context Window Thrashing.
   • Efficiëntie van Toolgebruik: Duplicate Step, Tool Call Chain, Dead Step, Long Chain.
   • Workflowarchitectuur: Wrapper Workflow, Context Coupling.
   • Consistentie van Tool-ecosysteem: Inconsistent Tool Interface, Weak Tool.
     Bewijs wordt geëxtraheerd uit het gestandaardiseerde traject en er worden continue bewijsscores berekend. Cruciaal is dat het kader vrijstellingslogica hanteert om onderscheid te maken tussen semantisch geschikte gedragingen (bijvoorbeeld noodzakelijke herhalingen van validaties) en daadwerkelijke defecten.

3. Gecalibreerde Procesbeoordeling:
   In plaats van te vertrouwen op ruwe detectoroutput of harde drempelwaarden, mapt ProcBench bewijs naar gecalibreerde posterior risico's ($p_j = P(y_j=1 | x_j, c)$). Deze kalibratiestap verbetert de interpreteerbaarheid en vergelijkbaarheid van bevindingen tussen verschillende defecttypes en taakcontexten. Risico's worden gemapt naar semantische banden (Geen, Waarschuwing, Fout) om rapportage te ondersteunen.

4. Evaluatie van Behoud van Controle:
   Parallel aan de defectevaluatie beoordeelt ProcBench Behoud van Controle, gedefinieerd als het vermogen om bestuurbaarheid te handhaven tijdens autonome uitvoering. Dit wordt ontbonden in vijf subdimensies: interpreteerbaarheid, onderbreekbaarheid, corrigeerbaarheid, reversibiliteit en overdracht van bevoegdheid.

5. Output:
   Het kader genereert een multidimensionale scorekaart die risico's op defectniveau, proceskwaliteitsscores op dimensieniveau, scores voor behoud van controle en een compacte samenvattingscore ($PB$) rapporteert. De volledige scorekaart is de primaire output, bedoeld voor diagnostische vergelijking in plaats van eenvoudige rangschikking.

Belangrijkste Bijdragen

• ProcBench Kader: Een benchmarkgericht kader voor het evalueren van LLM-coderingsagenten verder dan eindresultaten, gebruikmakend van een herbruikbare ontologie van procesfouten.
• Op Traject Gebaseerde Pipeline: Een pipeline die heterogene logs standaardiseert en bewijs van defecten mapt naar gecalibreerde scorekaarten, verdergaand dan binaire pass/fail-metrieken.
• As Behoud van Controle: De formalisering van behoud van controle als een parallelle evaluatieas voor bestuurbaarheid, onderscheiden van de last van defecten.
• Empirische Validatie: Een initiële studie die aantoont dat het kader met bruikbare betrouwbaarheid kan worden geïnstancieerd en dat gecalibreerde scoring stabielere semantiek biedt dan directe drempelwaarde-toepassing.

Experimentele Resultaten

De auteurs hebben ProcBench geëvalueerd op een geannoteerde set van 200 trajecten afkomstig uit drie benchmarks: AndroidBench, TerminalBench en SWE-bench-Verified. Het onderzoek bestreek 11 agent-modelconfiguraties over vier agent-families (Claude Code, Codex CLI, OpenCode en Qoder).

• Betrouwbaarheid van Instantiatie: Defectklassen met sterke lokale waarneembaarheid (bijvoorbeeld Ghost Context, Duplicate Step, Dead Step) bereikten hoge detectieprestaties (F1-scores variërend van 0,76 tot 0,86). Structureel hogere defecten (bijvoorbeeld Wrapper Workflow, Weak Tool) waren moeilijker te instantiëren, wat hun afhankelijkheid van latente workflowstructuren weerspiegelt.
• Kwaliteit van Kalibratie: Gecalibreerde posterior-risicoscoring leverde een lagere Expected Calibration Error (ECE) op in vergelijking met directe toepassing van harde drempelwaarden, met name in dimensies met heterogeen bewijs zoals Workflowarchitectuur en Consistentie van Tool-ecosysteem. Dit bevestigt dat kalibratie de empirische interpreteerbaarheid van defectbevindingen verbetert.
• Overschrijdende Systeemonderscheidingen: ProcBench onthulde betekenisvolle verschillen in procesprofielen die door op uitkomst gerichte metrieken werden gemist. Bijvoorbeeld, terwijl sommige systemen vergelijkbare succespercentages aan het eindpunt hadden, verschilden ze aanzienlijk in behoud van controle en kwetsbare-succespercentages. Het onderzoek vond dat procesbetrouwbaarheid een eigenschap is van het gecombineerde agent-modelsysteem, niet alleen van het basismodel.
• Scenario-gevoeligheid: Systeemsterktes varieerden per benchmarkbron (bijvoorbeeld Claude Code presteerde het beste op AndroidBench en SWE-bench, terwijl Codex CLI uitblonk op TerminalBench), wat aangeeft dat ProcBench zowel globale proceskwaliteit als scenario-specifiek gedrag vastlegt.

Betekenis en Beweringen

Het paper stelt dat ProcBench een gestructureerde, complementaire laag biedt aan conventionele op uitkomst gerichte evaluatie. De primaire betekenis ligt in:

1. Diagnostische Granulariteit: Het onderscheidt tussen "kwetsbaar succes" en "gecontroleerde uitvoering", en biedt inzichten in hoe een agent tot een resultaat komt, niet alleen of het slaagt.
2. Verbeterde Interpreteerbaarheid: Door gebruik te maken van geschatte kalibratie van risico's in plaats van ruwe drempelwaarden, biedt het kader stabielere en vergelijkbaardere semantiek voor benchmarkbevindingen.
3. Focus op Bestuurbaarheid: Door behoud van controle als een aparte metriek in te voeren, wordt ingespeeld op de kritieke behoefte dat autonome agenten begrijpelijk, onderbreekbaar en corrigeerbaar blijven.

De auteurs blijven bescheiden wat de reikwijdte van hun werk betreft, en erkennen beperkingen zoals de afhankelijkheid van annotatie op procesniveau, gedeeltelijke waarneembaarheid voor bepaalde defectklassen en de noodzaak van bredere externe validatie. Zij benadrukken dat ProcBench bedoeld is om bestaande op uitkomst gerichte metrieken aan te vullen, niet te vervangen, en dient als hulpmiddel voor gestructureerde vergelijkende evaluatie in situaties met een lange horizon.