Résumé technique : Quand les LLM s'évaluent eux-mêmes : déconstruction du biais d'autosélection dans l'évaluation automatisée

Énoncé du problème

Alors que les modèles de langage de grande taille (LLM) saturent rapidement les benchmarks existants curatés par des humains, la communauté adopte de plus en plus des paradigmes de type « LLM comme benchmark ». Dans cette configuration, un modèle unique génère des entrées de test (« LLM comme jeu de données de test ») et évalue les sorties des modèles cibles (« LLM comme évaluateur »). Bien que cela offre une alternative rentable à la curation humaine, en particulier pour les langues à ressources limitées, cet article identifie un défaut fondamental : le biais d'autosélection.

Les auteurs démontrent que les benchmarks générés par des LLM favorisent systématiquement le modèle qui les a créés. Ce biais ne provient pas uniquement de la tendance de l'évaluateur à préférer ses propres sorties (un phénomène connu), mais aussi de l'étape de génération du jeu de données de test. Lorsqu'un modèle génère des textes sources, il les adapte involontairement à ses propres forces linguistiques et à ses « dialectes » stylistiques. Par conséquent, le modèle traduit ces textes auto-générés avec plus de précision et leur attribue des scores plus favorables que ceux de ses pairs, conduisant à des classements déformés où chaque modèle se classe en première position, annulant l'ordre consensuel des pairs.

Méthodologie

L'étude utilise la traduction automatique comme terrain d'essai principal, exploitant six paires de langues à ressources faibles à moyennes (par exemple, bemba-anglais, aymara-anglais, kurde-anglais) où les écarts de performance entre les modèles sont distincts. Les auteurs valident également leurs résultats sur la génération en texte libre en utilisant la tâche Chatbot Arena.

Configuration expérimentale

• Modèles : Trois modèles fermés de pointe ont été sélectionnés : Gemini 2.5 Pro, GPT-4.1 et Claude Opus 4. Ils ont été choisis pour leurs performances supérieures dans WMT25 et leur capacité en tant que générateurs de benchmarks en zéro-shot.
• Décomposition du biais : Les auteurs décomposent la configuration « LLM comme benchmark » en deux composantes pour isoler les sources de biais :
  1. LLM comme jeu de données de test : Le modèle génère des textes sources (et éventuellement des références), qui sont ensuite notés par une métrique externe sans référence (MetricX-QE).
  2. LLM comme évaluateur : Le modèle agit comme juge pour les traductions de textes rédigés par des humains (provenant de FLORES-200).
  3. LLM comme benchmark : Le modèle assume les deux rôles (génération de texte source et évaluation de la traduction).
• Métrique : Le biais d'autosélection est quantifié à l'aide d'un cadre d'estimation de biais. Il est défini comme la différence entre le classement auto-attribué par un modèle ($\theta_{Mi,Mi}$) et le classement moyen attribué par les modèles pairs ($\frac{1}{|M|-1}\sum \theta_{Mi,Mo}$). Une valeur négative indique que le modèle se classe plus haut que ne le font les pairs.
• Analyse de la diversité : Pour retracer la cause mécanique du biais, les auteurs analysent le rapport Type-Token (TTR) et les ratios de dégénérescence (fréquence de répétitions pathologiques) des textes sources générés. Ils utilisent également chrF@K pour mesurer la similarité textuelle entre les sorties des modèles.

Contributions et résultats clés

1. Quantification et amplification du biais d'autosélection

L'étude confirme que le biais d'autosélection est un phénomène omniprésent.

• Inversions de classement : Dans le cadre « LLM comme benchmark », chaque modèle se classe comme le meilleur traducteur, indépendamment de sa performance réelle par rapport aux pairs. Par exemple, pour Bemba→Anglais, Claude en tant que benchmark a classé Claude en première position avec un score de biais de -0,617, malgré le désaccord des modèles pairs.
• Effet additif : Le biais n'est pas simplement la somme de ses parties ; la combinaison de la génération du jeu de données de test et de l'évaluation amplifie la distorsion. Le tableau 3 montre que le biais dans la configuration combinée « LLM comme benchmark » est systématiquement plus élevé que le biais observé dans les conditions « jeu de données uniquement » ou « évaluateur uniquement ».

2. Causes mécaniques : biais dialectal et dégénérescence

Les auteurs attribuent la cause racine aux tendances stylistiques implicites (dialectes) et à la diversité limitée dans la génération à ressources faibles.

• Empreintes spécifiques aux modèles : Même avec des contrôles de diversité explicites dans les invites, les modèles génèrent des textes sources répétitifs et spécifiques à chaque modèle. Le tableau 6 montre que la similarité textuelle intra-modèle (chrF@K) est systématiquement plus élevée que la similarité inter-modèle.
• Dégénérescence : Dans les langues à ressources limitées, les modèles ont souvent tendance à se replier sur des modèles étroits, entraînant une « dégénérescence » (par exemple, la répétition de n-grammes). Gemini-2.5 Pro a présenté un taux de dégénérescence de 22,3 % dans les textes sources en bemba.
• Avantage d'autoréparation : Une découverte cruciale est que le modèle générateur est plus apte à gérer ses propres artefacts dégénérés lors de la traduction que ses concurrents. Le tableau 16 montre que, lors de la traduction de ses propres textes sources dégénérés, Gemini-2.5 Pro conserve significativement moins d'artefacts de dégénérescence que GPT-4.1 ou Claude, « s'autoréparant » efficacement de ses propres erreurs. Cela crée un avantage à double sens : le modèle traduit mieux son propre « dialecte » et le reconnaît plus favorablement en tant qu'évaluateur.

3. Le rôle de la compétence linguistique

Le biais d'autosélection est fortement corrélé à la compétence linguistique.

• Asymétrie : Le biais est significativement plus élevé dans les directions XX→Anglais (ressources faibles vers ressources élevées) par rapport aux directions Anglais→XX. Dans les directions à ressources élevées (par exemple, Anglais→Bemba), les modèles sont hautement compétents, produisant des textes diversifiés avec de faibles signatures spécifiques aux modèles, ce qui entraîne un biais d'autosélection proche de zéro (Tableau 8).
• Effondrement des ressources limitées : Dans les directions à ressources limitées, une compétence limitée force les modèles à adopter des modèles distincts et répétitifs, créant les « empreintes » qui alimentent le biais d'autosélection. Ce schéma s'applique également aux tâches Chatbot Arena (Tableau 11), où les invites en langues à ressources limitées (bemba, aymara) suscitent un biais d'autosélection beaucoup plus fort que les invites en langues à ressources élevées (anglais, coréen).

4. Stratégies d'atténuation

L'article propose et teste des interventions pratiques :

• Filtrage de la diversité : Utilisation d'une métrique de diversité proposée (similarité chrF intra-modèle) pour filtrer les textes sources. Le tableau 7 démontre que la sélection de textes sources avec une faible similarité intra-modèle (forte diversité) réduit considérablement le biais d'autosélection par rapport à des sous-ensembles aléatoires ou à forte similarité.
• Génération en langues à ressources élevées : Générer des données de benchmark dans des langues où les modèles sont hautement compétents minimise les signatures spécifiques aux modèles.
• Écart de qualité : L'utilisation de modèles de pointe pour évaluer des modèles open-source reste fiable lorsque l'écart de qualité est important, car le biais d'autosélection ne déforme pas significativement les classements dans de tels cas (Tableau 12).

Importance et affirmations

L'article affirme que le biais d'autosélection constitue une menace fondamentale pour la validité du benchmarking automatisé, en particulier dans les contextes à ressources limitées. Les auteurs soutiennent que la commodité du « LLM comme benchmark » s'accompagne d'un coût caché : les benchmarks résultants reflètent les idiosyncrasies du générateur plutôt que la véritable qualité des modèles cibles.

L'importance de ce travail réside dans :

1. Décomposition : Il sépare et quantifie formellement les effets additifs du biais de génération du jeu de données de test et du biais de l'évaluateur, montrant que leur combinaison crée une distorsion suffisamment forte pour annuler le consensus des pairs.
2. Insight mécanique : Il va au-delà de l'observation que le biais existe pour expliquer pourquoi (biais dialectal, dégénérescence et capacités d'autoréparation).
3. Conseils actionnables : Il fournit des recommandations concrètes et fondées sur des preuves aux praticiens, telles que le filtrage pour la diversité et l'évitement des directions linguistiques à ressources limitées pour le benchmarking automatisé, sauf si des atténuations spécifiques sont appliquées.

Les auteurs concluent que, bien que le « LLM comme benchmark » ait une utilité, son application nécessite des garde-fous rigoureux contre le biais d'autosélection pour garantir que les évaluations automatisées restent un proxy fiable du jugement humain.