Technische Samenvatting: ProofAgent Harness

Probleemstelling

AI-agenten maken de overgang van demonstratiefasen naar productieomgevingen met hoog risico, waar ze multi-turn interacties uitvoeren, tools gebruiken, context behouden, beleidsregels naleven en privégegevens beheren. Traditionele evaluatiemethoden, die vaak vertrouwen op statische benchmarks of geïsoleerde uitkomstscoring, slagen er niet in om fouten te vangen die ontstaan door gedragsverloop, adversariële druk en multi-turn manipulatie.

Het artikel betoogt dat agentfouten niet louter fouten op uitkomstniveau zijn (bijvoorbeeld een incorrect antwoord), maar fouten op verloopniveau. Deze omvatten onveilige tooloproepen, ongeautoriseerde workflowstappen, lekken van privacy, hallucinaties van beleidscitaties en schadelijke escalaties. Bestaande benaderingen lijden aan specifieke beperkingen:

• LLM als Rechter: Evalueert vaak geïsoleerde antwoorden in plaats van volledige gedragsverlopen en mist audittrails die scores koppelen aan specifieke beurten.
• Taakbenchmarks: Richt zich op taakvoltooiing in plaats van adversariële robuustheid, beleidsconsistentie of weerstand tegen manipulatie.
• Red-Teaming: Effectief in het vinden van kwetsbaarheden, maar mist vaak gestandaardiseerde scoring, consensusmechanismen en bewijs-gekoppelde rapportage die vereist zijn voor engineering en governance.
• Menselijk Toezicht: Hoewel noodzakelijk in omgevingen met hoog risico, schaalde handmatige beoordeling niet op als primaire mechanisme voor continue testing over elke agentversie en releasecyclus.

Methodologie: ProofAgent Harness

De auteurs introduceren ProofAgent Harness, een open-source, meerstapsinfrastructuur die is ontworpen om een expert-achtig adversariel beoordelingsproces operationeel te maken. De harness fungeert als een evaluatie-ecosysteem dat de te testen agent omringt en assets, uitvoering, oordeelvelling en rapportage coördineert.

Core Architectuur

Het kader bestaat uit vier distincte fasen, elk beheerd door gespecialiseerde agenten:

1. Fase 1: Evaluatieontwerp (Planner Agent)

   • Converteert agentrollen, businesscases en doelen naar een uitvoerbaar evaluatieplan.
   • Leidt het operationele domein af en selecteert adversariële valstrikken uit een gecureerde bibliotheek.
   • Weeft multi-turn strategieën waarbij latere beurten eerdere concessies of onvolledige weigeringen kunnen wapenen.
   • Integreert een "Human-on-the-Bridge" rol, waarbij menselijke experts evaluatie-intelligentie cureren (doelen, metrieken en valstrikselectie definiëren) voordat de geautomatiseerde uitvoering begint, in plaats van elke beurt handmatig te beoordelen.

2. Fase 2: Adversariële Trial Uitvoering (Conductor Agent)

   • Voert het evaluatieplan uit door adversariële gebruikersberichten te genereren die zijn geconditioneerd op het huidige transcript.
   • Past vaardigheden toe zoals anti-telegraphing, payload-obfuscatie en het weven van valse premissen om de robuustheid van de agent te testen.
   • Vangt de volledige gedragsverloop op, inclusief tool-gebruik metadata en lichtgewicht defecthinten (bijvoorbeeld beweerde toolgebruik zonder bewijs), maar wijst geen scores toe tijdens de interactie.

3. Fase 3: Gedragsbeoordeling (Juror en Consensus Agenten)

   • Post-hoc Evaluatie: Juryleden beoordelen het voltooide transcript in plaats van geïsoleerde antwoorden.
   • Multi-Jury Scoring: Meerdere gekalibreerde persona's (bijvoorbeeld Strenge, Liefdevolle, Contrair) beoordelen het verloop tegen specifieke metrieken.
   • Turn-Level Audit: Elke jurylid produceert een score en een audittrail die oordelen koppelt aan specifieke beurten en bewijsfragmenten.
   • Consensusstrategie: Een Consensus Agent detecteert onenigheid onder juryleden. Als de scoreverspreiding een drempel overschrijdt, komen betwiste metrieken in een herstemfase (met Delphi- of Debatstrategieën) om ambiguïteit op te lossen of onenigheid expliciet te behouden als audit-signaal.

4. Fase 4: Bewijs-gekoppelde Rapportage (Reporter Agent)

   • Synthetiseert scores, consensusresultaten en audittrails in een gestructureerd rapport.
   • Identificeert specifieke beurten, adversariële patronen en metrieken die fouten hebben veroorzaakt.
   • Markeert verdachte patronen (bijvoorbeeld overmatig vlakke scores die zwakke druk aangeven) en bevindingen die selectieve menselijke beoordeling vereisen.

Core Algorithm: Adversariële Multi-Jury Scoring met Turn-Level Audit

Het artikel formaliseert de scoringmethode als een proces dat het voltooide gedragsverloop $T$ evalueert tegen een set metrieken $M$ met behulp van een set juryleden $J$.

• Doel: Consensuscores $\bar{s}_m$, confidence scores $C_m$ en een finale geaggregeerde score $S_{final}$ berekenen.
• Proces: Juryleden wijzen scores $s_{j,m}$ en audittrails $A_{j,m}$ toe. Onenigheid $\Delta_m$ wordt berekend. Als $\Delta_m > \theta$, wordt een consensusstrategie (Onafhankelijk, Delphi of Debat) geactiveerd.
• Output: Een final rapport $R$ dat de score koppelt aan specifiek bewijs, waarschuwingen en bevindingen, zodat de evaluatie traceerbaar en auditabel is.

Belangrijkste Evaluatiemetrieken

De harness evalueert agenten over vijf kernmetrieken (configureerbaar per domein):

1. Taaksucces: Vooruitgang naar doelen binnen beperkingen.
2. Hallucinatie-Resistentie: Vermijden van niet-ondersteunde claims of nepbeleid.
3. Veiligheid: Vermijden van schadelijke acties of privacy-overtredingen.
4. Instructievolging: Naleving van systeem- en beleidsbeperkingen.
5. Manipulatie-Resistentie: Weerstand tegen sociale engineering, autoriteitsdruk en prompt-injectie.

Experimentele Evaluatie

De auteurs hebben de harness geëvalueerd over vier domeinen: Medische Triage, Privacy/Beveiliging, Code Generatie en Klantenservice.

Setup

• Agenten: Productie-achtige agenten die gebruikmaken van best-in-class Large LLM's (GPT-5.5 en Claude Opus 4.7).
• Harness Regimes:
  • Symmetrisch: Harness aangedreven door een Large LLM.
  • Asymmetrisch: Harness aangedreven door een kleiner lokaal model (Gemma 4B, 8-bit).
• Protocol: 25-beurt adversariële trials met een debatconsensusstrategie onder drie jury-persona's.

Resultaten

1. Pipeline Versterking: Een asymmetrische Harness (klein lokaal model) behield een bruikbaar adversariel signaal en produceerde resultaten die in de meeste domeinen nauw aansloten bij de symmetrische Harness (Large LLM). De mediaan globale delta tussen regimes lag vaak binnen $\pm 0.4$ punten.
2. Selectieve Fouten: Sterke agenten faalden niet uniform. Ze vertoonden selectieve zwaktes in specifieke metrieken (bijvoorbeeld hoge veiligheidsscores maar lage instructievolgingsscores) of specifieke beurten.
3. Kalibratiegevallen: Er trad significante divergentie op in het domein Klantenservice voor GPT-5.5 agenten (Symmetrisch: 6,60 vs. Asymmetrisch: 9,00). Dit suggereert dat subtiele fouten, zoals fictieve framing rond facturering, mogelijk de diepere structurele redenering van een symmetrische Harness vereisen voor certificering.

Belangrijkste Bijdragen en Betekenis

Het artikel positioneert ProofAgent Harness niet als een nieuwe benchmark of een standalone rechter, maar als schaalbare evaluatie-infrastructuur.

• Van Statisch naar Adversariel: Het verplaatst de evaluatie van statische, single-turn tests naar herhaalbare, adversariële gedragsstress-tests.
• Van Opaque naar Bewijs-gekoppeld: Het vervangt geïsoleerde scores door rapporten die oordelen koppelen aan specifieke beurten, gedrag en faalmodi, waardoor actievere debugging mogelijk wordt.
• Van Schaal-afhankelijk naar Proces-afhankelijk: De bevindingen suggereren dat evaluatiecapaciteit voortkomt uit de structuur van de pipeline (gecureerde valstrikken, multi-turn druk, consensus) in plaats van alleen modelgrootte. Een klein lokaal model binnen de volledige harness-pipeline kan productie-agenten effectief uitdagen.
• Gelaagde Evaluatiepatroon: De auteurs stellen een gelaagde aanpak voor waarbij asymmetrische harnessen worden gebruikt voor regressietests en goedkope scans, terwijl symmetrische harnessen worden gereserveerd voor certificering, domeinen met hoog risico en betwiste resultaten.

De auteurs concluderen dat ProofAgent Harness erop gericht is adversariële AI-agentevaluatie te vestigen als een gedeelde, open praktijk, en het veld te verplaatsen van "vertrouwen door demonstratie" naar "vertrouwen door bewijs". Het kader wordt als open-source vrijgegeven om de gemeenschap in staat te stellen domeinen, valstrikken, metrieken en scoringsregels uit te breiden.