EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems

Technische Samenvatting: EPC – Een Gestandaardiseerd Protocol voor het Meten van Evaluator-Preferentiedynamiek in LLM-Agent-systemen

Probleemstelling
In closed-loop LLM-agentsystemen passen agenten hun strategiedistributies aan op basis van feedback van evaluatoren (vaak andere LLM's). Dit proces leidt tot "evaluator-preferentiekoppeling" (evaluator preference coupling), waarbij de inherente vooroordelen van de evaluator voortplanten in en de strategiedistributie van de agent verstoren. Hoewel eerdere werken dit fenomeen in diverse modellen hebben gedocumenteerd, ontbreekt het het vakgebied aan een gestandaardiseerd protocol. Huidig onderzoek lijdt onder:

1. Niet-reproduceerbaarheid: Studies gebruiken uiteenlopende takenets, strategie-definities en metriek-implementaties, wat vergelijking tussen studies onmogelijk maakt.
2. Meetverval (Measurement Decay): Propriëtaire evaluatoren worden stilzwijgend bijgewerkt, waardoor eerder gerapporteerde koppeling-metingen binnen enkele weken ongeldig worden.
3. Gebrek aan Versiebeheer: Er is geen mechanisme om bij te houden welke specifieke modelversies of API-endpoints een meting betreft, wat leidt tot de accumulatie van verouderde baselines in de literatuur.

Methodologie: Het EPC-protocol
Het artikel introduceert EPC (Evaluator Preference Coupling), een gedetailleerde, RFC-stijl protocol-specificatie ontworpen om de meting van deze dynamieken te standaardiseren. De methodologie is gebouwd op een vierfasen-isolatieparadigma:

• Fase 1 (Pure Tekst): De agent ondergaat Test-Time Reinforcement Learning (TTRL) op tekstuele taken om een baseline gewichtsdistributie vast te stellen.
• Fase 2 (Pure Visueel): De agent ondergaat TTRL op visueel-gerelateerde taken om een aparte baseline vast te stellen.
• Fase 3 (T→V Koppeling): De agent start met de Fase 1-gewichten en traint op visuele taken.
• Fase 4 (V→T Koppeling): De agent start met de Fase 2-gewichten en traint op tekstuele taken.

Belangrijke Technische Componenten:

• TTRL Algoritme: De agent behoudt een L1-genormaliseerde gewichtsvector over 11 strategieën (8 tekst, 3 visueel). Updates vinden plaats via paarvergelijkingen tegen een vaste step_by_step baseline. Het protocol fixeert leersnelheden ($\alpha_{win}=0.08, \alpha_{lose}=0.04$) en een gewichtsvloer (0.001) om stabiliteit te garanderen.
• Metrieken:
  • $\gamma$ (Koppelingscoëfficiënt): De primaire metriek, gedefinieerd als de L2-genormaliseerde Euclidische afstand tussen de post-koppeling gewichtsvector en de pure-domein referentievector.
  • JSD (Jensen-Shannon Divergentie): Vereist voor rapportage indien gewichtsvectoren worden opgeslagen, om de concentratie van de distributie te volgen.
  • ECE & Brier Score: Optionele metrieken voor kalibratie en foutanalyse.
• Strikte Configuratie: Het protocol verplicht specifieke evaluator-prompts, decoding-instellingen (temperatuur=0.0) en taakdocumentatie (letterlijk) om variantie te minimaliseren.
• Conformiteit: Een testsuite met mock-evaluatoren zorgt ervoor dat onafhankelijke implementaties identieke resultaten produceren op vaste inputs.

Belangrijkste Bijdragen
Het artikel stelt expliciet dat het geen nieuwe empirische bevindingen, metrieken of wetenschappelijke claims introduceert met betrekking tot de capaciteiten van agenten. In plaats daarvan zijn de bijdragen infrastructureel en disciplinair van aard:

1. Gestandaardiseerd Protocol: Een volledige, RFC-stijl specificatie (EPC-v1.0) die configuratie, algoritme, taakontwerp en output-schema's dekt.
2. Reference Snapshot v1.0: Een versiebeheerde baseline die koppeling-metingen ($\gamma$, JSD, zero-coupling rates) bevat voor acht evaluator-condities (waaronder GPT-4o, Qwen, DeepSeek) afgeleid van vijf onafhankelijke studies uitgevoerd tussen mei en juni 2026.
3. Versiebeheersconventie: Een drie-componenten schema ($vX.Y-Z$) dat de protocolversie, snapshot-versie en evaluator-generatie codeert om de geldigheid en het verval van metingen expliciet bij te houden.
4. Open Infrastructuur: De release van de protocol-implementatie, referentiedata (JSON) en een indieningssjabloon voor door de community bijgedragen snapshots.

Resultaten en Observaties
De Reference Snapshot v1.0 biedt empirische baselines die de volatiliteit van evaluator-koppeling benadrukken:

• Variabiliteit: Koppelingscoëfficiënten ($\gamma$) variëren aanzienlijk tussen evaluatoren. Zo vertoonde GPT-4o (2024-08-06) een gemiddelde $\gamma$ van 1.176, terwijl DeepSeek-chat (self-eval) 0.033 liet zien.
• Verval en Drift: De snapshot demonstreert dat metingen binnen korte tijdstippen kunnen inverteren of drastisch kunnen veranderen. Metingen van GPT-4o genomen in mei versus juni vertoonden een verschuiving van hoge koppeling naar bijna nul-koppeling (0.187) met een zero-coupling rate van 83%, toegeschreven aan updates van de modelversie.
• Kalibratieproblemen: Self-evaluation baselines toonden aan dat evaluatoren substantieel verkeerd gekalibreerd kunnen zijn (ECE $\approx$ 0.31), zelfs wanneer ze een lage koppeling vertonen, wat suggereert dat lage koppeling soms een reflectie is van de onbekwaamheid van de evaluator in plaats van de stabiliteit van de agent.

Betekenis en Claims
De auteurs positioneren dit werk als een protocol-specificatie paper, analoog aan een RFC in netwerken of een meetstandaard in de fysieke wetenschappen.

• Discipline boven Ontdekking: Het artikel claimt een "discipline" te introduceren die de gemeenschap in staat stelt om collectief actueel te blijven naarmate evaluator-modellen evolueren, waardoor eenmalige observaties worden getransformeerd in een reproduceerbaar, vergelijkbaar en controleerbaar meetsysteem.
• Aanpak van Verval: Door meetverval expliciet te maken via versiebeheer en vervaldata, beoogt het protocol het vertrouwen op verouderde baselines te voorkomen, een probleem dat wordt geaccentueerd door recente audits die aantonen dat AI-benchmarks een lage longevity score hebben.
• Complementariteit: EPC is ontworpen om bestaande agent-capability benchmarks (die meten hoe goed agenten presteren) aan te vullen door de invloed van de evaluator te meten (hoe vooroordelen zich voortplanten door feedbackloops).

Het artikel concludeert door het protocol en de data als open infrastructuur vrij te geven, en nodigt de gemeenschap uit om bij te dragen aan geüpdatete snapshots naarmate de evaluator-modellen evolueren, om zo de duurzaamheid en relevantie van het meetsysteem te waarborgen.