Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

Résumé Technique : Calibrer l'Évaluateur pour Mitiger le Couplage de Préférence

Énoncé du Problème
Dans les systèmes multi-agents basés sur les grands modèles de langage (LLM), les agents adaptent souvent leur comportement en fonction du feedback d'un évaluateur LLM. La recherche récente a identifié un phénomène nommé Couplage de Préférence de l'Évaluateur (EPC - Evaluator Preference Coupling), où les biais systématiques de l'évaluateur se propagent à travers les boucles de rétroaction, déformant la distribution de la stratégie apprise par l'agent et pouvant mener à un effondrement de la préférence. Bien que le cadre EPC ait établi des outils de diagnostic pour mesurer ce couplage (en utilisant des métriques telles que le coefficient de couplage $\gamma$ et la divergence de Jensen-Shannon), la littérature antérieure s'est concentrée exclusivement sur le diagnostic. Aucun travail préalable n'a investigué si des techniques de calibration pouvaient atténuer ces effets.

Méthodologie
Cette étude introduit la première application de la calibration de probabilité comme stratégie de mitigation du couplage de préférence dans les systèmes d'agents en boucle fermée. Les auteurs comparent un protocole standard de Reinforcement Learning au Temps de Test (TTRL - Test-Time Reinforcement Learning) à une variante de TTRL avec Calibration de Confiance.

• Configuration Expérimentale :

  • Exécuteur : DeepSeek-V4-Pro (agissant comme l'agent).
  • Évaluateur : GLM5.2 (agissant comme le juge).
  • Design : Une expérience contrôlée intra-sujets ($N=5$ graines/seeds) comparant le TTRL binaire standard (victoire/défaite) au TTRL calibré par confiance à travers quatre phases : Texte Pur, Visuel Pur, et deux directions de couplage (Texte $\to$ Visuel et Visuel $\to$ Texte).
  • Contrôles : L'étude inclut un contrôle de normalisation de longueur (limitation des réponses à 500 caractères) et un contrôle de taux d'apprentissage symétrique ($\alpha_{win} = \alpha_{lose}$) pour exclure les effets de format de sortie et l'asymétrie de mise à jour comme principaux moteurs des résultats.

• Le Protocole Calibré :

  1. Élicitation de Confiance : Au lieu d'un jugement binaire "A ou B", l'évaluateur est incité à produire une estimation de probabilité ($c_t \in [0, 1]$) représentant la probabilité que la réponse A soit meilleure que la B.
  2. Calibration Continue : Une régression isotonique par fenêtre glissante est appliquée aux 10 derniers couples (confiance, résultat binaire) les plus récents pour calibrer les estimations de confiance suivantes.
  3. Mises à Jour Pondérées par la Confiance : Les poids de stratégie de l'agent sont mis à jour sur la base de la confiance calibrée plutôt que sur un signal binaire. L'amplitude de la mise à jour est mappée de la confiance $c_t$ vers l'intervalle $[-\alpha_{win}, +\alpha_{win}]$ en utilisant la formule :
     $$w^{(t+1)}_{s_t} = \max(0.001, w^{(t)}_{s_t} + \alpha_{win} \cdot (2c_t - 1))$$
     Ce mécanisme agit comme un portier (gate) pour les mises à jour : les jugements incertains ($c_t \approx 0.5$) entraînent des changements de poids quasi nuls, empêchant l'accumulation de préférences fallacieuses.

Résultats Clés
L'étude démontre que le TTRL calibré par confiance réduit significativement le couplage de préférence par rapport au TTRL binaire standard :

• Coefficient de Couplage ($\gamma$) : La calibration a réduit $\gamma_{T\to V}$ de 20 % (de 0,924 à 0,744) et $\gamma_{V\to T}$ de 49 % (de 1,580 à 0,806).
• Divergence de Jensen-Shannon (JSD) : La réduction de la divergence de distribution est encore plus prononcée, avec des diminutions de 45 % ($T\to V$) et 67 % ($V\to T$).
• Mécanisme : La réduction est attribuée au "portage par confiance" (confidence gating). Environ 31 % des jugements de l'évaluateur tombaient dans la plage d'incertitude ($c_t \in [0.4, 0.6]$). Dans le TTRL standard, ceux-ci contribueraient à des mises à jour de pleine intensité ; dans la variante calibrée, ils contribuent à des mises à jour négligeables.
• Robustesse : L'effet a persisté sous des taux d'apprentissage symétriques et des conditions de normalisation de longueur, confirmant que la réduction est pilotée par le mécanisme de calibration lui-même plutôt que par l'asymétrie du taux d'apprentissage ou le formatage de la sortie.

Signification et Revendications
L'article affirme être la première étude à appliquer la calibration de l'évaluateur comme une mitigation du couplage de préférence dans les boucles de rétroaction d'agents LLM. Ses principales contributions sont :

1. Preuve Empirique : Fournir des données montrant que le feedback calibré par confiance réduit les coefficients de couplage de 23 à 31 % et la JSD de magnitudes similaires.
2. Mitigation Légère : Proposer un protocole "prêt à l'emploi" qui ne nécessite aucun changement au modèle exécuteur ni réentraînement de l'évaluateur, reposant uniquement sur le prompt engineering et une règle de mise à jour simple.
3. Recommandation Pratique : Conseiller aux praticiens d'éliciter des estimations de probabilité plutôt que des jugements binaires et d'utiliser des mises à jour pondérées par la confiance dans les pipelines LLM-as-judge.

Limites et Modestie
Les auteurs notent explicitement que la calibration réduit mais n'élimine pas le couplage. Le couplage résiduel (par exemple, $\gamma \approx 0,8$) reflète probablement des préférences de l'évaluateur authentiques et à haute confiance plutôt que du bruit. L'étude est limitée à des instantanés de modèles spécifiques (GLM5.2, DeepSeek-V4-Pro) et à une approche de calibration simplifiée par fenêtre glissante. Les auteurs concluent que bien que la méthode soit efficace, une surveillance routinière des métriques EPC reste essentielle, car la calibration peut créer un faux sentiment de sécurité si le couplage résiduel est ignoré.