Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

Technische Samenvatting: Kalibratie van de Evaluator om Preference Coupling te Mitigeren

Probleemstelling
In multi-agent Large Language Model (LLM) systemen passen agenten hun gedrag vaak aan op basis van feedback van een LLM-evaluator. Recent onderzoek heeft een fenomeen geïdentificeerd dat Evaluator Preference Coupling (EPC) wordt genoemd, waarbij systematische biases in de evaluator door feedbackloops worden gepropageerd, wat de geleerde strategie-distributie van de agent verstoort en potentieel leidt tot 'preference collapse'. Hoewel het EPC-framework diagnostische instrumenten heeft vastgesteld om deze koppeling te meten (met behulp van metrieken zoals de koppelingscoëfficiënt $\gamma$ en de Jensen-Shannon Divergentie), heeft de eerdere literatuur zich uitsluitend gericht op diagnose. Geen enkel eerder werk heeft onderzocht of kalibratietechnieken deze effecten kunnen mitigeren.

Methodologie
Deze studie introduceert de eerste toepassing van waarschijnlijkheidskalibratie als een mitigatiestrategie voor preference coupling in closed-loop agent-systemen. De auteurs vergelijken een standaard Test-Time Reinforcement Learning (TTRL) protocol met een Confidence-Calibrated TTRL variant.

• Experimentele Opzet:

  • Executor: DeepSeek-V4-Pro (treedt op als de agent).
  • Evaluator: GLM5.2 (treedt op als de rechter).
  • Ontwerp: Een gecontroleerd binnen-proefpersoon experiment ($N=5$ seeds) waarbij standaard binaire TTRL (winst/verlies) wordt vergeleken met confidence-gekalibreerde TTRL over vier fasen: Pure Text, Pure Visual, en twee koppelingsrichtingen (Text$\to$Visual en Visual$\to$Text).
  • Controles: De studie bevat een lengte-genormaliseerde controle (het beperken van responsen tot 500 tekens) en een symmetrische leersnelheid-controle ($\alpha_{win} = \alpha_{lose}$) om uit te sluiten dat output-formaten of update-asymmetrie de primaire drijfveren van de resultaten zijn.

• Het Gekalibreerde Protocol:

  1. Confidence Elicitatie: In plaats van een binaire "A of B" beoordeling, wordt de evaluator geprompt om een waarschijnlijkheidsschatting ($c_t \in [0, 1]$) te geven die de waarschijnlijkheid vertegenwoordigt dat respons A beter is dan B.
  2. Running Calibration: Een sliding-window isotone regressie wordt toegepast op de meest recente 10 (vertrouwen, binaire uitkomst) paren om de daaropvolgende vertrouwensschattingen te kalibreren.
  3. Confidence-Weighted Updates: De strategie-gewichten van de agent worden bijgewerkt op basis van de gekalibreerde vertrouwensscore in plaats van een binair signaal. De omvang van de update wordt gemapt van de vertrouwensscore $c_t$ naar het bereik $[-\alpha_{win}, +\alpha_{win}]$ met behulp van de formule:
     $$w^{(t+1)}_{s_t} = \max(0.001, w^{(t)}_{s_t} + \alpha_{win} \cdot (2c_t - 1))$$
     Dit mechanisme fungeert effectief als een 'gate' voor updates: onzekere oordelen ($c_t \approx 0.5$) resulteren in minimale gewichtsveranderingen, waardoor de accumulatie van spurieuze voorkeuren wordt voorkomen.

Belangrijkste Resultaten
De studie toont aan dat confidence-gekalibreerde TTRL de preference coupling significant vermindert vergeleken met standaard binaire TTRL:

• Koppelingscoëfficiënt ($\gamma$): Kalibratie verminderde $\gamma_{T\to V}$ met 20% (van 0.924 naar 0.744) en $\gamma_{V\to T}$ met 49% (van 1.580 naar 0.806).
• Jensen-Shannon Divergentie (JSD): De reductie in de distributionele divergentie was nog prominenter, met dalingen van 45% ($T\to V$) en 67% ($V\to T$).
• Mechanisme: De reductie wordt toegeschreven aan "confidence gating". Ongeveer 31% van de evaluator-oordelen viel binnen het onzekere bereik ($c_t \in [0.4, 0.6]$). In standaard TTRL zouden deze volledige gewicht-updates genereren; in de gekalibreerde variant dragen ze verwaarloosbare updates bij.
• Robuustheid: Het effect bleef standhouden onder symmetrische leersnelheden en lengte-genormaliseerde condities, wat bevestigt dat de reductie wordt gedreven door het kalibratiemechanisme zelf en niet door leersnelheid-asymmetrie of output-formattering.

Betekenis en Claims
Het artikel claimt de eerste studie te zijn die evaluator-kalibratie toepast als mitigatie voor preference coupling in LLM-agent feedbackloops. De primaire bijdragen zijn:

1. Empirisch Bewijs: Het leveren van data die aantoont dat confidence-gekalibreerde feedback de koppelingscoëfficiënten met 23–31% verlaagt en de JSD met vergelijkbare grootteordes.
2. Lichtgewicht Mitigatie: Het voorstellen van een "drop-in" protocol dat geen wijzigingen vereist in het executor-model of hertraining van de evaluator, en enkel steunt op prompt engineering en een eenvoudige update-regel.
3. Praktische Aanbeveling: Het adviseren van practitioners om waarschijnlijkheidsschattingen op te vragen in plaats van binaire oordelen en om confidence-weighted updates te gebruiken in LLM-as-judge pipelines.

Beperkingen en Bescheidenheid
De auteurs merken expliciet op dat kalibratie coupling vermindert maar niet elimineert. De resterende koppeling (bijv. $\gamma \approx 0.8$) reflecteert waarschijnlijk genuante, hoog-betrouwbare evaluator-voorkeuren in plaats van ruis. De studie is beperkt tot specifieke model-snapshots (GLM5.2, DeepSeek-V4-Pro) en een vereenvoudigde sliding-window kalibratie-aanpak. De auteurs concluderen dat hoewel de methode effectief is, routinematige monitoring van EPC-metrieken essentieel blijft, aangezien kalibratie een vals gevoel van veiligheid kan creëren als de resterende koppeling wordt genegeerd.