Technische Samenvatting: Een Diagnostisch Raamwerk en Multi-Evaluator Audit van Evaluator-gestuurde Preferentiedynamiek in Zelf-adapterende LLM-agenten

1. Probleemstelling

Het artikel behandelt een kritieke kwetsbaarheid bij de inzet van Large Language Models (LLM's) als geautomatiseerde evaluatoren binnen gesloten feedbackloops van agenten. In deze systemen genereert een agent responsen, beoordeelt een evaluator deze, en past de agent zijn strategie aan op basis van die feedback. De auteurs stellen dat als een evaluator systematische voorkeuren heeft (bijv. voor langere outputs of specifieke redeneerstijlen), deze biases zich door de feedbackloop verspreiden en het geleerde gedrag van de agent vervormen.

Het kernprobleem dat wordt geïdentificeerd, is het gebrek aan een gestandaardiseerd diagnostisch raamwerk om deze "evaluator-gestuurde preferentiedynamiek" te meten over verschillende modelfamilies en modaliteiten heen. Boveraan wijst het papier op een specifiek, vaak over het hoofd gezien risico: de "houdbaarheid" van propriëtaire evaluator-metingen. De auteurs demonstreren dat stille API-updates van evaluator-modellen de preferentieprofielen binnen enkele weken fundamenteel kunnen veranderen, waardoor enkelvoudige snapshot-studies ongeldig worden en het meetinstrument zelf instabiel wordt.

2. Methodologie: Het EPC-raamwerk

Om deze problemen aan te pakken, introduceren de auteurs het Evaluator Preference Collapse (EPC)-raamwerk. Dit raamwerk is ontworpen om te kwantificeren hoe de voorkeuren van een evaluator de strategie-distributie van een agent in de loop van de tijd beïnvloeden.

2.1 Experimentele Opzet

• Test-Time Reinforcement Learning (TTRL): De agent past zijn strategie-distributie aan met behulp van een parameterloze stochastische bandit-benadering over een set van 11 strategieën ($|S|=11$).
• Agenten en Evaluatoren:
  • Executor: DeepSeek-chat (tekst-alleen) genereert responsen.
  • Evaluatoren: De studie auditeert meerdere evaluatoren over verschillende versies en providers, waaronder GPT-4o (mei en juni 2026 batches), GPT-4o-mini Vision, Qwen3.7-plus, qwen-plus (DashScope), en DeepSeek-chat (zelf-evaluatie).
  • Taken: 8 tekstgebaseerde en 8 tekst-geproxyeerde visuele taken.
• Protocol: Het systeem draait in fasen, waarbij afgewisseld wordt tussen tekst- en visuele domeinen om cross-domein koppeling te meten. De agent werkt zijn strategie-gewichten bij op basis van paarvergelijkingen ($r_t \in \{0, 1\}$) geleverd door de evaluator.

2.2 Kernmetrieken

Het EPC-raamwerk maakt gebruik van drie primaire metrieken:

1. Preference Collapse Index (PCI): Meet de concentratie van de strategie-gewichtvector $w$. Gedefinieerd als $\sigma(w)/\mu(w)$.
2. Multimodal Preference Collapse Index (MPCI): Een samengestelde metriek die tekstuele en visuele PCI combineert met een cross-domein koppelingsterm ($CPCI$).
3. Evaluator-geïndexeerde Koppelingmatrix ($\Gamma(J)$):
   • Koppelingscoëfficiënt ($\gamma$): Kwantificeert de afstand tussen de strategie-distributie geleerd in één domein (bijv. tekst) en de distributie in een ander domein (bijv. visueel).
   • Formule: $\gamma_{A \to B} = \|w_{A \to B} - w_B\|_2 / \|w_B\|_2$.
   • Interpretatie: $\gamma \approx 0$ duidt op minimale koppeling; $\gamma \gtrsim 0.5$ duidt op substantiële koppeling.
4. Jensen-Shannon Divergentie (JSD): Gebruikt als een primaire begrensde metriek om de divergentie tussen strategie-distributies te meten.
5. Kalibratiemetrieken: Expected Calibration Error (ECE) en de Brier-score worden gebruikt om te bepalen of geconcentreerde voorkeuren overeenkomen met de grondwaarheid-accuratesse.

3. Belangrijkste Resultaten

De studie rapporteert over 122 unieke experimentele repetities over acht condities. De resultaten onthullen een patroon van hoge instabiliteit in plaats van een enkele stabiele bevinding.

3.1 Versie-conditionele Instabiliteit

De meest significante bevinding is de GPT-4o versie-drift.

• Mei 2026 Batch: Er werd sterke koppeling waargenomen ($\bar{\gamma}_{T \to V} = 1.176$, $\bar{\gamma}_{V \to T} = 1.089$).
• Juni 2026 Batch: Gebruikmakend van de identieke protocollen en endpoints ($gpt-4o-2024-08-06$), stortte de koppeling in alle 8 repetities in tot nul ($\bar{\gamma} = 0.0$).
• Significantie: Deze inversie van resultaten binnen een venster van 4 weken demonstreert dat het preferentieprofiel van de evaluator stilletjes is veranderd. De auteurs merken op dat de effectgrootte groot is (Cohen's $d=4.37$), wat de statistische significantie robuust maakt ondanks de kleine steekproefomvang ($N=8$).

3.2 Multi-Evaluator Audit

• Sterke Koppeling Condities: GPT-4o (mei), GPT-4o-mini Vision, Qwen3.7-plus en DashScope 30r vertoonden sterke koppeling ($\gamma$ variërend van 1.0 tot 1.18).
• Collapse Condities: GPT-4o (juni), Qwen/DashScope (grotere $N=30$), symmetrische Learning Rate (LR) varianten, en DeepSeek zelf-evaluatie vertoonden bijna nul-koppeling.
• Zelf-evaluatie: DeepSeek zelf-evaluatie vertoonde een 97% zero-coupling rate. Echter, kalibratie-analyse onthulde een hoge ECE ($0.31$), wat suggereert dat deze "stabiliteit" mogelijk een vloereffect is waarbij de evaluator niet het onderscheidend vermogen heeft om strategieën te differentiëren, in plaats van echte betrouwbaarheid.

3.3 Confound Analyse

• Output Formaat: Hoewel de geaggregeerde analyse een sterke correlatie suggereerde tussen outputlengte en strategie-gewicht ($\rho \approx 0.89$), toonde de analyse op instantie-niveau ($n=60$) geen significante correlatie ($\rho=0.219, p=0.093$). Dit geeft aan dat "strategie-collapse" een voorkeur van de evaluator voor output-formaat/stijl reflecteert in plaats van diepe redeneringsdifferentiatie.
• Symmetrische vs. Asymmetrische LR: Initiële resultaten suggereerden dat symmetrische LR de koppeling deed instorten. Echter, een herhaalde run op een versie-gelockte snapshot toonde aan dat beide varianten sterke koppeling produceerden, wat bevestigt dat het initiële nul-resultaat een artefact was van versie-drift, en niet van de leerregel.

4. Bijdragen

1. Het EPC-raamwerk: Een diagnostische toolkit bestaande uit MPCI, de koppelingsmatrix $\Gamma(J)$, en JSD om de evaluator-gestuurde preferentiedynamiek te meten.
2. Empirisch Bewijs van Instabiliteit: Een gedocumenteerd geval waarbij de gedrag van een propriëtaire evaluator de conclusie van een studie binnen enkele weken heeft omgekeerd door een stille update.
3. Multi-Evaluator Audit: Een uitgebreide dataset ($N=122$) die aantoont dat koppelingsdynamiek sterk conditioneel is aan de identiteit van de evaluator, de versie en de steekproefomvang.
4. Methodologische Verduidelijking: Demonstratie van de gevoeligheid voor steekproefomvang ($N=8$ vs. $N=30$) en de keuze van de learning rate, die uiteenlopende resultaten kunnen opleveren afhankelijk van de evaluator-snapshot, wat oproept tot voorzichtigheid bij single-snapshot studies.

5. Significantie en Claims

Het artikel claimt dat de primaire bevinding niet een specifieke magnitude van koppeling is, maar het patroon van versie-conditionele instabiliteit.

• Fragiliteit van Propriëtaire Evaluatoren: De auteurs argumenteren dat single-snapshot studies van propriëtaire evaluatoren inherent fragiel zijn omdat het "meetinstrument" (het evaluator-model) zonder kennisgeving kan veranderen. Een diagnostisch instrument dat zijn eigen instabiliteit detecteert (zoals het EPC-raamwerk deed met de GPT-4o drift) demonstreert de fragiliteit die het bedoeld was te meten.
• Oproep tot Standaardisatie: Het papier pleit voor het rapporteren van de identiteit en versie-data van de evaluator, het gebruik van meerdere evaluator-families, en het adopteren van EPC als een standaard diagnostisch middel om drift te monitoren.
• Bescheiden Omvang: De auteurs stellen expliciet dat één gedocumenteerd geval (GPT-4o drift) geen algemene wet vaststelt, maar dient als een waarschuwing dat metingen een "houdbaarheid hebben die in weken wordt gemeten". Ze beweren niet het drift-probleem op te lossen, maar bieden de infrastructuur om drift te detecteren.

Het artikel concludeert door het EPC-raamwerk en alle experimentele data vrij te geven om reproduceerbaarheid en verder onderzoek naar deze dynamieken te faciliteren.