Résumé Technique : Un Cadre de Diagnostic et un Audit Multi-Évaluateurs des Dynamiques de Préférence Pilotées par l'Évaluateur dans les Agents LLM Auto-Adaptatifs

1. Énoncé du Problème

Le papier traite d'une fragilité critique dans le déploiement des Grands Modèles de Langage (LLM) en tant qu'évaluateurs automatisés au sein de systèmes d'agents en boucle fermée. Dans ces systèmes, un agent génère des réponses, un évaluateur les juge, et l'agent adapte sa stratégie sur la base de ce feedback. Les auteurs soutiennent que si un évaluateur possède des préférences systématiques (par exemple, pour des sorties plus longues ou des styles de raisonnement spécifiques), ces biais se propagent à travers la boucle de rétroaction, déformant le comportement appris de l'agent.

Le problème central identifié est l'absence d'un cadre de diagnostic standardisé pour mesurer ces « dynamiques de préférence pilotées par l'évaluateur » à travers différentes familles de modèles et modalités. De plus, le papier met en évidence un risque spécifique, souvent négligé : la « durée de vie » des mesures des évaluateurs propriétaires. Les auteurs démontrent que les mises à jour silencieuses des API des modèles évaluateurs peuvent fondamentalement altérer leurs profils de préférence en quelques semaines, rendant invalides les études basées sur un instantané unique et rendant l'instrument de mesure lui-même instable.

2. Méthodologie : Le Cadre EPC

Pour répondre à ces problèmes, les auteurs introduisent le cadre Evaluator Preference Collapse (EPC) (Effondrement de la Préférence de l'Évaluateur). Ce cadre est conçu pour quantifier la manière dont les préférences d'un évaluateur influencent la distribution de la stratégie d'un agent au fil du temps.

2.1 Configuration Expérimentale

• Apprentissage par Renforcement au Moment de l'Exécution (TTRL) : L'agent adapte sa distribution de stratégie en utilisant une approche de bandit stochastique sans paramètres sur un ensemble de 11 stratégies ($|S|=11$).
• Agents et Évaluateurs :
  • Exécuteur : DeepSeek-chat (texte uniquement) génère les réponses.
  • Évaluateurs : L'étude audite plusieurs évaluateurs à travers différentes versions et fournisseurs, incluant GPT-4o (lots de mai et juin 2026), GPT-4o-mini Vision, Qwen3.7-plus, qwen-plus (DashScope), et DeepSeek-chat (auto-évaluation).
  • Tâches : 8 tâches textuelles et 8 tâches visuelles par procuration textuelle.
• Protocole : Le système fonctionne par phases, alternant entre les domaines textuel et visuel pour mesurer le couplage trans-domaine. L'agent met à jour ses poids de stratégie sur la base de comparaisons par paires ($r_t \in \{0, 1\}$) fournies par l'évaluateur.

2.2 Métriques Clés

Le cadre EPC utilise trois métriques primaires :

1. Indice d'Effondrement de la Préférence (PCI) : Mesure la concentration du vecteur de poids de la stratégie $w$. Défini comme $\sigma(w)/\mu(w)$.
2. Indice d'Effondrement de la Préférence Multimodale (MPCI) : Une métrique composite combinant le PCI textuel et visuel avec un terme de couplage trans-domaine ($CPCI$).
3. Matrice de Couplage Indexée par l'Évaluateur ($\Gamma(J)$) :
   • Coefficient de Couplage ($\gamma$) : Quantifie la distance entre la distribution de stratégie apprise dans un domaine (ex: texte) et la distribution dans un autre (ex: visuel).
   • Formule : $\gamma_{A \to B} = \|w_{A \to B} - w_B\|_2 / \|w_B\|_2$.
   • Interprétation : $\gamma \approx 0$ indique un couplage minimal ; $\gamma \gtrsim 0.5$ indique un couplage substantiel.
4. Divergence de Jensen-Shannon (JSD) : Utilisée comme métrique bornée primaire pour mesurer la divergence entre les distributions de stratégie.
5. Métriques de Calibration : L'Erreur de Calibration Attendue (ECE) et le score de Brier sont utilisés pour déterminer si les préférences concentrées s'alignent avec l'exactitude de vérité terrain (ground-truth accuracy).

3. Résultats Clés

L'étude rend compte de 122 répétitions expérimentales uniques à travers huit conditions. Les résultats révèlent un schéma d'instabilité élevée plutôt qu'une conclusion unique et stable.

3.1 Instabilité Conditionnelle à la Version

La découverte la plus significative est la dérive de version de GPT-4o.

• Lot de Mai 2026 : Un fort couplage a été observé ($\bar{\gamma}_{T \to V} = 1.176$, $\bar{\gamma}_{V \to T} = 1.089$).
• Lot de Juin 2026 : En utilisant le même protocole et le même point de terminaison ($gpt-4o-2024-08-06$), le couplage s'est effondré à zéro dans les 8 répétitions ($\bar{\gamma} = 0.0$).
• Signification : Cette inversion des résultats en l'espace de 4 semaines démontre que le profil de préférence de l'évaluateur a changé silencieusement. Les auteurs notent que la taille de l'effet est grande (Cohen's $d=4.37$), rendant la signification statistique robuste malgré la petite taille de l'échantillon ($N=8$).

3.2 Audit Multi-Évaluateurs

• Conditions de Fort Couplage : GPT-4o (mai), GPT-4o-mini Vision, Qwen3.7-plus et DashScope 30r ont montré un fort couplage ($\gamma$ allant de 1.0 à 1.18).
• Conditions d'Effondrement : GPT-4o (juin), Qwen/DashScope (N plus grand = 30), les variantes de Taux d'Apprentissage (LR) symétriques, et l'auto-évaluation de DeepSeek ont montré un couplage proche de zéro.
• Auto-Évaluation : L'auto-évaluation de DeepSeek a montré un taux de couplage nul de 97 %. Cependant, l'analyse de calibration a révélé une ECE élevée ($0.31$), suggérant que cette « stabilité » peut être un effet de plancher où l'évaluateur manque de capacité discriminante pour différencier les stratégies, plutôt qu'une véritable fiabilité.

3.3 Analyse des Facteurs de Confusion

• Format de Sortie : Bien que l'analyse agrégée ait suggéré une forte corrélation entre la longueur de la sortie et le poids de la stratégie ($\rho \approx 0.89$), l'analyse au niveau de l'instance ($n=60$) n'a montré aucune corrélation significative ($\rho=0.219, p=0.093$). Cela indique que l'« effondrement de la stratégie » reflète une préférence de l'évaluateur pour le format/style de sortie plutôt qu'une différenciation profonde du raisonnement.
• LR Symétrique vs Asymétrique : Les résultats initiaux suggéraient que le LR symétrique annulait le couplage. Cependant, un nouvel essai sur un instantané verrouillé sur une version a montré que les deux variantes produisaient un fort couplage, confirmant que le résultat initial de zéro était un artefact de la dérive de version, et non de la règle d'apprentissage.

4. Contributions

1. Le Cadre EPC : Un kit d'outils de diagnostic comprenant le MPCI, la matrice de couplage $\Gamma(J)$, et la JSD pour mesurer les dynamiques de préférence pilotées par l'évaluateur.
2. Preuve Empirique d'Instabilité : Un cas documenté où le comportement d'un évaluateur propriétaire a inversé la conclusion d'une étude en quelques semaines en raison d'une mise à jour silencieuse.
3. Audit Multi-Évaluateurs : Un ensemble de données complet ($N=122$) montrant que les dynamiques de couplage dépendent fortement de l'identité de l'évaluateur, de sa version et de la taille de l'échantillon.
4. Clarification Méthodologique : Démonstration que la sensibilité à la taille de l'échantillon ($N=8$ vs $N=30$) et aux choix de taux d'apprentissage peut produire des résultats divergents selon l'instantané de l'évaluateur, appelant à la prudence lors d'études à instantané unique.

5. Signification et Revendications

Le papier affirme que la découverte principale n'est pas une magnitude spécifique de couplage, mais le schéma d'instabilité conditionnelle à la version.

• Fragilité des Évaluateurs Propriétaires : Les auteurs soutiennent que les études à instantané unique des évaluateurs propriétaires sont intrinsèquement fragiles car l'« instrument de mesure » (le modèle évaluateur) peut changer sans préavis. Un instrument de diagnostic qui détecte sa propre instabilité (comme l'a fait le cadre EPC avec la dérive de GPT-4o) démontre la fragilité qu'il était censé mesurer.
• Appel à la Standardisation : Le papier préconise de rapporter l'identité et les dates de version de l'évaluateur, d'utiliser plusieurs familles d'évaluateurs et d'adopter l'EPC comme diagnostic standard pour surveiller la dérive.
• Portée Modeste : Les auteurs précisent explicitement qu'un cas documenté (la dérive de GPT-4o) n'établit pas une loi générale, mais sert d'avertissement que les mesures ont une « durée de vie mesurée en semaines ». Ils ne prétendent pas résoudre le problème de la dérive, mais fournissent l'infrastructure pour la détecter.

Le papier conclut en publiant le cadre EPC et toutes les données expérimentales pour faciliter la reproductibilité et de nouvelles investigations sur ces dynamiques.