Technische Samenvatting: CONTRACTBENCH

Probleemdefinitie: Observatiecontracten

Grote Taalmodellen (LLM)-agenten worden steeds vaker ingezet om meerstapswerkstromen uit te voeren die externe API's omvatten. Hoewel bestaande benchmarks evalueren of agenten een einddoel kunnen bereiken, negeren ze vaak een kritieke faalmodus in productie: de schending van observatiecontracten.

Een observatiecontract wordt gedefinieerd als een door een tool teruggegeven artefact (bijvoorbeeld een vooraf ondertekende URL, OAuth-staatparameter, sessietoken of HMAC-beveiligde webhook) dat twee orthogonale beperkingen draagt die door het externe systeem worden opgelegd:

1. Temporele Validiteit: Het artefact moet binnen een specifiek tijdsvenster worden gebruikt (Time-to-Live, TTL) voordat het vervalt of verouderd raakt.
2. Byte-niveau Integriteit: Het artefact moet byte-voor-byte zonder wijziging worden doorgegeven. Realistische agentstapels introduceren vaak mutaties door URL-hersleuteling, parameterherordening, inkorting of regeleinden, wat handtekeningen of checksums ongeldig maakt.

Huidige benchmarks falen in het gezamenlijk testen van deze beperkingen. Ze behandelen tool-uitvoer doorgaans als louter informatie voor de volgende beslissing, waardoor agenten tussentijdse artefacten kunnen parafraseren of verliezen zonder straf. In werkelijkheid maakt een enkele schending van validiteit (gebruik van een verlopen token) of integriteit (corruptie van een handtekening) de hele werkstroom ongeldig.

Methodologie: CONTRACTBENCH

Om deze kloof aan te pakken, introduceren de auteurs CONTRACTBENCH, een deterministische benchmark ontworpen om naleving van observatiecontracten te meten.

Benchmarkontwerp

• Scope: 33 taken met twee assen, afgeleid van realistische API-contractpatronen, waaronder vooraf ondertekende URL's, OAuth-flows, ondertekende verzoeken, HMAC-webhooks en rate-limit vensters.
• Evaluatie met twee assen: Taken worden gecategoriseerd in vier kwadranten op basis van de druk die ze uitoefenen:
  • Q1 (Controle): Lage validiteit/integriteitsdruk (sanity checks).
  • Q2 (Validiteit): Isolateert temporele planning (bijvoorbeeld het afhandelen van gepland onderhoud of rate limits).
  • Q3 (Integriteit): Isolateert bytebehoud (bijvoorbeeld het afhandelen van lange tokens of URL-valstrikken).
  • Q4 (Dubbele as): Zet beide assen tegelijkertijd onder druk, wat de prevalentie van tijdsgebonden, handtekening-gebonden artefacten in productie weerspiegelt.
• Uitvoeringsomgeving: Taken worden uitgevoerd onder een virtuele klok om volledige reproduceerbaarheid te garanderen. Een FastAPI-server genereert deterministische faallabels op basis van realistische API-specificaties (bijvoorbeeld AWS SigV4, OAuth 2.0, RFC 6585).
• Evaluatieprotocol:
  • Deterministische Validatoren: Geen menselijke beoordelaars of "LLM als rechter". Een programmatieve validator consumeert HTTP-verzoeklogs om te verifiëren of elke observatie voldoet aan zowel het validiteitsvenster als de integriteitspredikaat (SHA-256 hash-check).
  • Fouttaxonomie: Een taxonomie met 15 labels classificeert fouten in Validiteit (bijvoorbeeld EXPIRED_BEFORE_USE, RATE_LIMITED), Integriteit (bijvoorbeeld MUTATED_TOKEN, SIGNATURE_MISMATCH), en Meta-categorieën.
  • Oplosbaarheid: Elke taak bevat een orakeloplossing die de validator slaagt, wat bewijst dat de taak oplosbaar is.

Experimentele Opstelling

De auteurs evalueerden 38 modelvarianten over 15 families, waaronder toonaangevende propriëtaire modellen (Claude, GPT-5-serie, Gemini) en open-source instructie-gefinetuned modellen (Qwen, Mistral, Gemma, Llama, DeepSeek). Elk model werd uitgevoerd op de volledige 33-taak-suite met $k=3$ rollouts per taak ($n=99$ episodes per model) bij temperatuur 0.

Belangrijkste Bevindingen

1. Toonaangevende Modellen Falen bij Observatiecontracten

Geen enkel geëvalueerd model behaalt 80% op de volledige suite. De beste presteerder, Claude Opus 4.6, behaalt 77,8%. Dit onthult dat zelfs state-of-the-art modellen moeite hebben om tussentijdse artefacten te behouden. Bovendien correleert de ranking op CONTRACTBENCH niet met algemene benchmarks; bijvoorbeeld, presteren Gemini 2.5 Flash en GPT-5.1 slechter dan verschillende open-source modellen, terwijl Llama-3.3-70B scoort dicht bij 0%.

2. Opkomend Capabiliteitsafgronds in Qwen 3.5

Er wordt een scherpe "capabiliteitsafgronds" waargenomen binnen de Qwen 3.5-familie. De prestatie springt van 0% bij 4B parameters naar 56,6% bij 9B, en schaalt soepel naar 70,7% bij 397B-A17B. Onder de afgronds falen agenten om middentrajectorie-beheersing te vertonen (bijvoorbeeld wachten op onderhoudsvensters); boven de afgronds tonen ze adaptief herstel. Dit suggereert dat het vermogen gekoppeld is aan specifieke trainingsrecepten in plaats van alleen aan het aantal parameters.

3. Post-training is Noodzakelijk maar Fragiel

• Noodzaak: Basismodellen (niet-instructie-gefinetuned) over alle families scoren 0%, wat aangeeft dat contractnaleving een post-training vermogen is, geen pre-training opkomend eigenschap.
• Fragiliteit (Inverse Schaling): De GPT-5-familie vertoont een niet-monotoon "V-vormig" regressie. GPT-5.1 toont een significante daling in naleving (48,5%) vergeleken met GPT-5 (70,7%) en GPT-5.2 (74,8%). Deze regressie is gestructureerd: GPT-5.1 introduceert specifiek opnieuw byte-niveau integriteitsfouten (bijvoorbeeld WRONG_VALUE, MUTATED_TOKEN), wat suggereert dat post-training updates gericht op conversatie-hulpzaamheid specifieke remmingen kunnen eroderen die nodig zijn voor contractnaleving (bijvoorbeeld wachten voor een nieuwe poging, bytes exact behouden).

4. Actiegerichte Beloningssignalen

De auteurs testten of faallabels konden dienen als in-context beloningssignalen. Met behulp van 42 GPT-5.1-fouten vonden ze dat het verstrekken van het correcte faallabel als coachingshint de slagingspercentages met +7,1 procentpunten verbeterde in vergelijking met een verkeerd-label hint. Dit geeft aan dat de taxonomie directionele, actiegerichte signalen biedt voor correctie tijdens het testen, vooral voor integriteitsgerelateerde fouten, terwijl temporele fouten vaak architecturale ingrepen vereisen (bijvoorbeeld machine-leesbare TTL's) in plaats van eenvoudige prompting.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Formalisatie van Observatiecontracten: De auteurs definiëren observatiecontracten als een aparte klasse van agentfalen die wordt beheerst door orthogonale temporele en integriteitsbeperkingen, en formaliseren zo een probleem dat eerder werd over het hoofd gezien in de literatuur over agentevaluatie.
2. CONTRACTBENCH Benchmark: Zij bieden de eerste deterministische, programmatieve benchmark voor dit vermogen, met 33 taken, een taxonomie met 15 foutlabels, en een uitvoeringsmodel met virtuele klok die menselijke/LLM-rechter ambiguïteit elimineert.
3. Empirische Inzichten in Agent Robuustheid: De studie onthult dat contractnaleving een opkomend, niet-monotoon vermogen is dat noch wordt gegarandeerd door algemeen tool-gebruikvermogen, noch consequent wordt verbeterd door schaling. Het benadrukt dat "hulpzame" post-training specifieke remmingen kan doen teruglopen die nodig zijn voor betrouwbare API-interactie, en dat huidige toonaangevende modellen onopgelost blijven op deze cruciale betrouwbaarheidsmaatstaf.

De auteurs concluderen dat observatiecontracten een eersteklas evaluatiedoel moeten worden om te waarborgen dat agenten betrouwbaar kunnen handelen onder de inter-stap beperkingen die door echte externe systemen worden opgelegd. Zij suggereren dat het mitigeren van deze fouten architecturale veranderingen kan vereisen (bijvoorbeeld op handtekening gebaseerde artefactopslag) in plaats van uitsluitend te vertrouwen op grotere of beter afgestemde modellen.