Technisch Overzicht: Human-on-the-Bridge (HOB) voor Schaalbare AI-Agent Evaluatie

1. Probleemstelling

Het artikel betoogt dat AI-agenten geëvalueerd moeten worden als gedragssystemen in plaats van geïsoleerde responsgeneratoren. In tegenstelling tot standalone Large Language Models (LLMs), waarbij falen vaak beperkt blijft tot tekstgeneratie, opereren agenten over meerdere beurten, roepen ze tools aan, behouden ze geheugen en voeren ze externe acties uit. Bijgevolg zijn agent-fouten vaak procedureel en gedragsmatig in plaats van semantisch.

Specifieke foutmodi die worden geïdentificeerd zijn onder andere:

• Phantom tool calls: Agenten die beweren een tool te hebben uitgevoerd zonder deze daadwerkelijk aan te roepen.
• Ontbrekende verplichte calls: Het stilletjes overslaan van vereiste compliance- of beleidscontroles.
• Policy drift: Afwijken van veiligheids- of operationele beleidsregels tijdens multi-turn interacties.
• Veilige maar niet-oplossende weigeringen: Het overmatig weigeren van legitieme taken, waarbij de oppervlakkige veiligheid wordt gewaarborgd maar de workflow faalt.

Bestaande evaluatiemethoden worden beschreven als gefragmenteerd:

• Statische benchmarks meten vaste capaciteiten maar missen procedurele inconsistenties.
• Human-in-the-Loop (HITL) behoudt het oordeel van experts maar schaalt niet naar moderne ontwikkelingscycli.
• LLM-as-judge methoden zijn schaalbaar maar missen vaak gecureerde domeinkennis en vertrouwen op single-evaluator perspectieven.
• Red teaming is vaak episodisch in plaats van herbruikbaar.
• Trace auditing vereist expliciete regels om logs te verbinden aan scores.

De kernkloof is het gebrek aan een paradigma dat deze technieken organiseert rondom menselijke expertise op een manier die herbruikbaar en schaalbaar is, in plaats van handmatige interventie bij elke testrun te vereisen.

2. Methodologie: Het Human-on-the-Bridge (HOB) Paradigma

HOB stelt een verschuiving voor in de plaatsing van menselijke expertise. In plaats van te fungeren als een reviewer binnen elke beslissing (HITL) of als een passieve monitor op de loop, fungeren menselijke experts als de upstream auteurs van "evaluatie-intelligentie". Deze intelligentie wordt eenmalig gecureerd en vervolgens herhaaldelijk uitgevoerd door een geautomatiseerd systeem.

2.1 Kerncomponenten

Het paradigma wordt geformaliseerd als $E_{HOB} = H(A, M, I_{HOB})$, waarbij:

• $A$: De geteste agent (Agent Under Test).
• $H$: De ProofAgent Harness (de executielaag).
• $M$: De Harness LLM (het evaluatiemodel).
• $I_{HOB}$: De door mensen gecureerde evaluatie-intelligentie, bestaande uit vier pijlers:

1. Red-Team Traps ($T$): Een bibliotheek van adversariële condities (bijv. jailbreaks, beleids-edge cases, manipulatiepogingen) ontworpen om specifieke foutmodi bloot te leggen.
2. Juror Personas ($J$): Distincte scoreperspectieven (bijv. veiligheid, privacy, taaksucces) om te voorkomen dat men afhankelijk is van een enkel generiek scoringsperspectief.
3. Scoring Guidelines en Audit Rules ($S, R$): Regels die scores koppelen aan observeerbaar bewijs. Cruciaal is hierbij het onderscheid tussen:
   • Objectieve detecties: Trace-verifieerbare feiten (bijv. "Is de tool call aanwezig in de log?") die onafhankelijk zijn van de grootte van de evaluator.
   • Subjectieve scores: Kwalitatieve oordelen (bijv. "Was de toon veilig?") die kunnen variëren per evaluatiemodel.
4. Fallback Policies ($F$): Protocollen voor het afhandelen van instabiliteit in de evaluatiepijplijn (bijv. provider blocks, JSON parse errors) om robuustheid te garanderen en te voorkomen dat pijplijnfouten worden toegeschreven aan agent-fouten.

2.2 Operationele Workflow

1. Curatie: Mensen definiëren de domeincontext, de traps, de persona's en de regels.
2. Executie: De ProofAgent Harness (een open-source ecosysteem) voert multi-turn adversariële trials uit tegen de agent met behulp van een Harness LLM.
3. Beoordeling: De harness legt gedragstraces vast, past multi-juror scoring toe en controleert auditregels tegen de trace.
4. Rapportage: Er wordt een met bewijs gekoppeld rapport gegenereerd, met details over scores, gedetecteerde fouten en bevindingen met een gradatie van ernst.

2.3 Intuïtie over Kosten-schaalbaarheid

Het artikel presenteert een kostenmodel dat laat zien dat HOB de vaste kosten van menselijke curatie ($C_c$) amortiseert over vele runs ($N$). In tegenstelling tot HITL, waarbij de kosten lineair schalen met $N$ ($N \times C_h$), schaalt HOB als $C_c + N \times C_e$ (waarbij $C_e$ de marginale kosten van de Harness LLM zijn). Dit maakt asymmetrische evaluatie mogelijk, waarbij kleinere, goedkopere Harness LLM's effectief kunnen evalueren op agenten gebouwd op frontier LLM-backbones, mits de evaluatie-intelligentie (traps, regels) robuust is.

3. Experimentele Evaluatie

De studie evalueerde HOB over 47 voltooide configuraties, 470 run-level trials en 23.500 agent-beurten.

• Domeinen: Codegeneratie, financieel advies en medische triage.
• Agenten: Agentic systemen gebouwd op frontier backbones (GPT-4.1, GPT-5.5, Claude Opus 4.7, Claude Opus 4.8).
• Evaluatoren: Vijf Harness LLM-tiers variërend van 4B (Gemma) tot 120B (GPT-OSS).
• Design: Elke configuratie onderging 10 onafhankelijke 50-turn adversariële runs. Resultaten worden gerapporteerd als medianen om statistische betrouwbaarheid te waarborgen.

Belangrijkste Bevindingen

1. Asymmetrisch Evaluatievermogen: Kleinere Harness LLM's (bijv. 4B Gemma) slaagden erin objectieve, trace-verifieerbare fouten (zoals phantom tool calls) te detecteren in agenten gebouwd op frontier backbones. Hoewel kleinere modellen de neiging hadden om hogere (mildere) subjectieve scores toe te kennen, waren ze even effectief in het detecteren van objectieve procedurele fouten wanneer zij werden gestuurd door auditregels.
2. Detectie van Verborgen Fouten: De evaluatie bracht fouten aan het licht die onzichtbaar zijn voor statische benchmarks of scoring op basis van het eindantwoord:
   • Phantom tool calls: Een frequentie van 16% in één configuratie waarbij agenten beweerden gegevens te loggen zonder de tool aan te roepen.
   • Ontbrekende compliance: Agenten sloegen verplichte logging over in 30% van de substantiële financiële discussies.
   • Veilige maar niet-oplossende weigeringen: Agenten die wel veilig waren, maar er niet in slaagden de legitieme doelen van de gebruiker te bereiken.
3. Multidimensionale Betrouwbaarheid: De prestaties van de agent varieerden aanzienlijk over verschillende dimensies (Taaksucces, Hallucinatie-resistentie, Veiligheid, Instructie-opvolging, Manipulatie-resistentie). Zo vertoonde Claude Opus 4.8 sterke defensieve profielen, maar varieerde de taaksucces afhankelijk van de configuratie.
4. Pijplijn Robuustheid: De fallback-policies herstelden succesvol 414 pijplijn-niveau foutgebeurtenissen (voornamelijk content blocks en JSON-fouten) zonder evaluatieconfiguraties te verliezen of agent-scores te corrumperen.

4. Belangrijkste Bijdragen

Het artikel levert vier specifieke bijdragen:

1. Paradigma Definitie: Introduceert Human-on-the-Bridge als een schaalbaar model voor het organiseren van menselijke expertise in AI-agent evaluatie, waarbij de focus verschuift van handmatige review naar herbruikbare evaluatie-intelligentie.
2. Formalisering: Definieert evaluatie-intelligentie als een gestructureerde set van herbruikbare componenten (domeincontext, traps, persona's, regels, fallbacks).
3. Signaalonderscheid: Verduidelijkt het verschil tussen objectieve trace-verifieerbare detecties (onafhankelijk van de grootte van de evaluator) en subjectieve juror scores (afhankelijk van de strengheid van de evaluator).
4. Empirische Validatie: Demonstreert door grootschalige testen dat asymmetrische evaluatie gedragsmatige en procedurele fouten in frontier agenten kan detecten, wat de kostenefficiëntie van het gebruik van kleinere Harness LLM's geleid door gecureerde intelligentie valideert.

5. Betekenis en Claims

Het artikel positioneert HOB niet als een vervanging voor bestaande tools (benchmarks, red teaming, HITL), maar als een orkestratie-framework dat deze integreert in een schaalbare levenscyclus.

• Schaalbaarheid: HOB maakt het mogelijk om menselijke expertise eenmalig te coderen en vervolgens te hergebruiken over agenten, domeinen en modelversies, wat de schaalbaarheidsproblemen van handmatige review oplost.
• Productie-gereedheid: Door objectieve trace-checks te scheiden van subjectieve scoring, biedt HOB een betrouwbaarder fundament voor governance en regressietesten in productieomgevingen.
• Kostenefficiëntie: Het vermogen om kleinere, goedkopere LLM's voor evaluatie te gebruiken (asymmetrische evaluatie) zonder het detecteren van kritieke procedurele fouten op te offeren, vermindert de token- en operationele kosten van continue agent-testen.

De auteurs blijven bescheiden over de huidige staat van het werk; zij merken op dat de subjectieve juror scores nog niet zijn gekalibreerd tegen menselijke expert-oordelen (inter-rater betrouwbaarheid) en dat de experimentele sweep selectief was in plaats van een volledige factoriële grid. Zij presenteren HOB als een fundament voor "productie-waardige, met bewijs gekoppelde evaluatie" in plaats van een definitieve certificeringsstandaard.