Technische Samenvatting: AI-agenten falen niet alleen; de context faalt eerst

Probleemstelling

Falen van AI-agenten zijn zelden geïsoleerde gebeurtenissen die uitsluitend het gevolg zijn van beperkingen van het model. In plaats daarvan wordt het gedrag van een agent fundamenteel gevormd door de "context" waarin zij opereert: een dynamische assemblage van systeeminstructies, tool-schema's, opgehaalde kennis, geheugen, guardrails en onbetrouwbare externe inputs. Hoewel het veld is verschoven van eenvoudige prompt engineering naar bredere context engineering, blijft de kwaliteit van deze samengestelde context grotendeels ongemeten.

Huidige evaluatiepraktijken vertrouwen vaak op gedragsmatige metrieken (bijv. taaksucces, veiligheid) die onthullen dat een agent faalde, maar er niet in slagen te isoleren waarom. Een falen kan voortkomen uit zwakke gronding, conflicterende instructies, ambigue tool-schema's of een gebrekkige scheiding tussen vertrouwde en onbetrouwbare inhoud. Zonder een mechanisme om de kwaliteit van de context zelf te meten, missen teams een leidende indicator voor betrouwbaarheid, wat leidt tot een operationele blinde vlek waarbij context engineering een intuïtieve praktijk blijft in plaats van een controleerbare laag van governance.

Methodologie

Het paper stelt Context-Engineering Kwaliteit voor en valideert dit als een meetbare, onafhankelijke construct. De methodologie centreert zich rond drie pijlers:

1. Het Meetconstruct met Zeven Criteria

De auteurs definiëren contextkwaliteit via zeven specifieke criteria, elk gescoord op een schaal van [0, 10]:

• Rolhelderheid (Role Clarity): De explicietheid van de rol, de reikwijdte en de doelen van de agent.
• Guardrail-dekking (Guardrail Coverage): De specificatie van weigeringen, escalatiepaden en veiligheidsgrenzen.
• Instructieconsistentie (Instruction Consistency): Interne coherentie en de rangorde van regels.
• Tool-schema Kwaliteit (Tool Schema Quality): De duidelijkheid van tool-namen, argumenttypen en gebruiksaanwijzingen.
• Grondingsvoldoendeheid (Grounding Sufficiency): De beschikbaarheid van betrouwbaar bewijs om claims te ondersteunen.
• Injectie-harding (Injection Hardening): De scheiding tussen vertrouwde instructies en onbetrouwbare inputs.
• Token-efficiëntie (Token Efficiency): Het vermijden van redundant materiaal ten gunste van informatie die bijdraagt aan betrouwbaarheid.

2. Implementatie via ProofAgent-Harness

De meting wordt geïmplementeerd in ProofAgent-Harness, een open-source infrastructuur voor adversariële evaluatie. Belangrijke ontwerpkenmerken zijn:

• Multi-Juror Consensus: De scoring wordt uitgevoerd door meerdere "juror"-perspectieven (LLM's) die bevindingen debatteren en verzoenen om evaluator-bias te verminderen.
• Strikte Isolatie: De contextscore ($Q_{CE}$) wordt onafhankelijk berekend van gedragsmatige metrieken ($B$). Het heeft geen invloed op de uiteindelijke gedragsbeoordeling of releasebeslissingen. Deze isolatie is cruciaal om circulaire validatie te voorkomen en om te testen of contextkwaliteit fungeert als een echte leidende indicator.
• Bewijs-gelinkte Bevindingen: Scores worden vergezeld door specifieke bevindingen die uitleggen waarom een criterium laag werd gescoord (bijv. "ontbrekende tool-begeleiding" of "conflicterende beleidsregels").

3. Experimenteel Validatieontwerp

Om de hypothese dat contextkwaliteit het downstream gedrag voorspelt, hebben de auteurs een gecontroleerde studie uitgevoerd over drie gereguleerde domeinen: klantenservice, medische claims triage en juridische contractopmaak.

• Controle: Het onderliggende frontier LLM (GPT-5.5 en Claude Opus 4.8) werd constant gehouden.
• Variabele: Alleen de werkende context werd gevarieerd over drie niveaus:
  • C1 (Slecht): Vage rollen, zwakke tool-begeleiding, beperkte gronding, geen guardrails.
  • C2 (Gestructureerd): Duidelijkere rollen, getypeerde tools, gronding, efficiënte organisatie.
  • C3 (Gehard): C2 plus expliciete weigeringsvoorwaarden, escalatieregels en injectie-scheiding.
• Schaal: 300 multi-turn evaluaties (100 per domein), totaal 7.500 geëvalueerde agent-turns.
• Artefact Studie: Een parallelle studie evalueerde gegenereerde beleidshandboeken (policy runbooks) om generalisatie buiten dialoog te testen.

Belangrijkste Resultaten

De experimentele resultaten ondersteunen de hypothese dat contextengineeringkwaliteit een voorspellend, onafhankelijk signaal is van de betrouwbaarheid van agenten.

1. Contextvariatie Drijft Gedragsverandering aan

Bij het gelijk houden van het model, veranderde de variatie in context het gedrag van de agent aanzienlijk:

• Structuur (C1 $\to$ C2): De beweging van een slechte naar een gestructureerde context leverde de grootste gedragsverbeteringen op. De uiteindelijke gedragsscore steeg van 3.15 naar s 5.49, de weerstand tegen hallucinaties steeg van 3.21 naar 5.61, en kritieke fouten daalden met ~68%.
• Harding (C2 $\to$ C3): Hoewel de contextkwaliteitsscores bleven stijgen (8.1 naar 8.7), verbeterden de gedragsmatige metrieken niet monotoon. De geharde context maakte agenten conservatiever, wat de scores voor taakvoltooiing in grensgevallen licht verminderde. Dit benadrukt een trade-off: striktere guardrails verbeteren de veiligheid, maar kunnen de bruikbaarheid in randgevallen verminderen.

2. Contextscores Volgen het Ontwerpintentie

De meting onderscheidde succesvol tussen de drie contextniveaus:

• C1 Slecht scoorde het laagst over alle criteria (gemiddeld 4.4).
• C2 Gestructureerd toonde significante winst in rolhelderheid, tool-schema kwaliteit en gronding (gemiddeld 8.1).
• C3 Gehard toonde verdere verbeteringen specifiek in guardrail-dekking en injectie-harding (gemiddeld 8.7).

3. Criteria Voorspellen Gedragssignalen

Correlatieanalyse bevestigde dat specifieke contextcriteria overeenkomstige gedragsuitkomsten voorspellen:

• Grondingsvoldoendeheid voorspelde sterk de Weerstand tegen Hallucinaties ($r=0.63$).
• Guardrail-dekking voorspelde Weerstand tegen Manipulatie ($r=0.60$).
• Instructieconsistentie voorspelde Instructie-opvolging ($r=0.57$).
• Tool-schema Kwaliteit voorspelde Tool-gebruik Betrouwbaarheid ($r=0.47$).
• Injectie-harding voorspelde Veiligheid ($r=0.48$).

4. Token-efficiëntie versus Betrouwbaarheid

De studie daagde de aanname uit dat "korter beter is". De "Slechte" context (C1) was het goedkoopst per oproep (laagste token-aantal), maar produceerde het meest gevaarlijke gedrag. De "Geharde" context (C3) was duurder, maar aanzienlijk betrouwbaarder. De auteurs concluderen dat token-efficiëntie gemeten moet worden als betrouwbaarheidswaarde per token, en niet als ruwe contextlengte.

5. Generalisatie naar Artefacten

In de artefact-studie verbeterde de gegronde context (C2/C3) de weerstand tegen hallucinaties in gegenereerde beleidshandboeken, wat aantoont dat de meting ook van toepassing is op statische deliverables en niet alleen op interactieve dialoog.

Betekenis en Claims

Het paper claimt vast te stellen dat context engineering een meetbare, controleerbare laag is van agent-evaluatie en governance. De primaire bijdragen zijn:

1. Definitie: Het definieert context-engineeringkwaliteit als een construct van zeven criteria, waarmee men verder gaat dan vage begrippen als "prompt kwaliteit" naar specifieke, op foutmodi gerichte metrieken.
2. Implementatie: Het operationaliseert dit via ProofAgent-Harness met een strikt isolatiemechanisme, waardoor de contextscore een niet-circulaire, onafhankelijke voorspeller is.
3. Validatie: Het levert empirisch bewijs dat contextkwaliteit een leidende indicator is van betrouwbaarheid. Door de context te meten voordat de gedragstest plaatsvindt, kunnen teams de upstream oorzaken van falen identificeren (bijv. zwakke gronding of ontbrekende guardrails), in plaats van enkel de downstream symptomen te observeren.

De auteurs positioneren dit werk niet als een vervanging voor adversariële red-teaming of menselijke review, maar als een preflight diagnose. Het stelt teams in staat om de "werkende omgeving" van een agent te itereren—het herzien van tool-schema's, het toevoegen van gronding of het verharden van injectie-grenzen—voordat de kosten van volledige gedragsmatige evaluatie worden gemaakt. Dit verschuift context engineering van een intuïtieve praktijk naar een reproduceerbare engineering discipline.