Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews

Résumé Technique : Intuition Articulée ou Analyse Authentique ? Évaluation de la Fiabilité Épistémique dans le cadre du Peer Review par LLM-as-a-Judge

1. Énoncé du Problème

L'article aborde un fossé philosophique et technique critique dans le déploiement des modèles de langage (LLM) pour l'examen par les pairs : la confusion entre la forme analytique et la fonction épistémique. Bien que les LLM soient de plus en plus proposés pour générer ou juger des examens par les pairs, les métriques d'évaluation actuelles (par exemple, l'accord sur les scores, la prédiction d'acceptation) traitent souvent les « bons examens » comme des résultats scalaires plutôt que comme des propriétés du processus de raisonnement lui-même. Les auteurs soutiennent qu'un examen peut être techniquement correct mais textuellement sous-justifié, ou négatif mais de haute qualité s'il est fondé et falsifiable. Le problème central est de déterminer si un juge LLM peut distinguer une « intuition articulée » (de type Système 1, fluide mais superficielle) d'une « analyse authentique » (de type Système 2, intégrant des preuves et délibérative) sans confondre la première avec la seconde.

2. Méthodologie

Les auteurs opérationnalisent la théorie des processus duaux de Daniel Kahneman en une grille structurée pour évaluer le texte des examens, publiant Kahneman4Review, un benchmark comprenant 3 563 examens notés.

• La Grille :

  • Dimensions : Les examens sont notés sur neuf dimensions motivées théoriquement (échelle de 0 à 3) ancrées dans l'épistémologie analytique et la philosophie de l'explication. Deux dimensions sont à valence Système 1 (Dépendance à l'impression, Usage de raccourcis heuristiques), tandis que sept sont à valence Système 2 (ex. : Chaîne de raisonnement, Spécificité des preuves, Falsifiabilité, Gestion de l'incertitude).
  • Notation : Le juge émet deux scalaires continus ($s_1, s_2 \in [1, 5]$) pour les traces de Système 1 et de Système 2, un Score de Qualité du Raisonnement (RQS) continu ($\in [1, 5]$), et une étiquette discrète (SYSTÈME 1, SYSTÈME 2, MIXTE, NON-ÉVALUATIF).
  • Diagnostics de Biais : Huit catégories de biais (ex. : Inflation de Checklist, Substitution de Question, Surconfiance) sont détectées comme des étiquettes à ensemble ouvert.
  • Justification Contrefactuelle : Le juge doit fournir une « étiquette alternative la plus proche » et une justification « pourquoi pas », imposant une explication contrastive.

• Collecte de Données :

  • Examens Humains : 1 155 échantillons stratifiés provenant d'ICLR, ICML et NeurIPS 2025 ; 2 307 examens d'ICLR 2021–2023 pour une analyse longitudinale.
  • Examens d'IA Agentique : 101 examens issus d'un pipeline public d'IA-examinatrice agentique (Stanford).
  • Juge : Toutes les évaluations ont été réalisées par claude-sonnet-4-6 à l'aide d'un prompt figé. Crucialement, le juge n'a reçu que le texte de l'examen, le lieu de publication et les métadonnées ; l'article sous-jacent ne lui a pas été fourni, empêchant le juge de vérifier la correction factuelle.

• Techniques d'Analyse :

  • Tests statistiques (Mann–Whitney U, Kruskal–Wallis, ANOVA) pour comparer les distributions.
  • Analyse en Composantes Principales (ACP) pour examiner la dimensionnalité.
  • Régression contrôlée par la longueur pour isoler l'effet de la verbosité de la qualité analytique.
  • Un « pilote de sonde de fonction » utilisant des paires appariées d'examens (l'un ciblant un défaut réel, l'autre la fluidité de surface) pour tester la validité discriminante.

3. Résultats Clés

L'étude produit trois principales conclusions empiriques concernant la fiabilité des juges LLM et la nature de la qualité des examens :

• Niveau de Décision vs Qualité Épistémique : Il n'y a aucun alignement détectable entre le niveau d'acceptation d'un article (Oral, Spotlight, Poster) et le RQS. Le RQS moyen à travers les niveaux d'acceptation varie de moins de 0,2 point, et l'ANOVA globale ne montre aucun effet principal significatif ($p=0,260$). De même, les drapeaux des Area Chairs (AC) concernant la qualité des examificateurs ne prédisent pas significativement le RQS.

• Le Plafond de la « Trace Analytique » et le Décalage Temporel :

  • Plafond : Les scores RQS présentent un plafond dans tout le domaine, se regroupant étroitement entre 2,80 et 2,94 à travers les conférences en 2025.
  • Déclin Temporel : Une discontinuité est observée lors de la transition 2022–2023. Le RQS moyen est passé de 3,03 (2021/2022) à 2,80 (2025), tandis que la proportion d'examens de type Système 1 a triplé (11 % à 35 %). Ce décalage coïncide avec la disponibilité généralisée des LLM, bien que l'article note que cela est descriptif et non causal.

• IA Agentique vs Examens Humains :

  • Scores Bruts : Les examens d'IA agentique du showcase public reçoivent un RQS brut nettement plus élevé (moyenne 3,50) que les examens humains regroupés (moyenne ~2,86).
  • Le Facteur de Confusion de la Longueur : Les productions agentiques sont systématiquement plus longues. Une régression contrôlée par la longueur révèle que la longueur et le lieu de publication expliquent 74 % de l'écart naïf de RQS. Le signal résiduel (avantage de l'IA après contrôle de la longueur) est réel mais faible ($\hat{\beta}_1 = +0,17$).
  • Effondrement Dimensionnel : L'ACP indique que les neuf dimensions théoriquement distinctes s'effondrent en un seul facteur dominant (65 % de la variance), suggérant que le juge LLM actuel traite la « trace analytique » comme un axe quasi-unidimensionnel plutôt que comme un construit multidimensionnel.
  • Motifs de Biais : Les examens agentiques sont dominés par l'Inflation de Checklist (45 %) mais manquent de Substitution de Question et de Substitution d'Autorité, alors que les examens humains présentent des taux plus élevés de Substitution de Question et d'heuristiques de Représentativité.

• Pilote de Sonde de Fonction : Dans un test contrôlé de 35 articles, la grille a réussi à distinguer les examens ciblant des défauts réels de ceux ciblant la fluidité de surface dans 33 cas sur 35 ($p <,001$), suggérant que la grille peut détecter la forme d'une analyse authentique même sans accès à l'article.

4. Contributions

1. Cadre Théorique : Une grille structurée ancrée dans l'épistémologie analytique (Popper, Lipton, Elgin) qui opérationnalise l'« analyse authentique » via des traces textuelles plutôt que par la prédiction de résultats.
2. Publication de Benchmark : Le jeu de données Kahneman4Review (3 563 examens) avec scores multidimensionnels, diagnostics de biais et métadonnées de provenance.
3. Résultats Empiriques : Preuve que les juges LLM actuels ne s'alignent pas sur les résultats d'acceptation des conférences, qu'un décalage vers le « Système 1 » s'est produit dans le domaine coïncidant avec la disponibilité des LLM, et que la longueur est un facteur de confusion primaire dans les comparaisons IA-humain.
4. Aperçu Diagnostique : L'identification de l'effondrement de la « trace analytique », traitant l'unidimensionnalité de la grille actuelle comme un mode de défaillance pour les benchmarks textuels plutôt que comme une métrique multidimensionnelle validée.

5. Signification et Revendications

L'article soutient qu'un benchmark de fiabilité fiable pour les juges LLM doit séparer la forme analytique de la fonction épistémique.

• Limites des Métriques Actuelles : Les auteurs mettent en garde : sans accès à l'article examiné, les juges LLM ne peuvent établir si une critique est correcte ou si une « analyse authentique » a réellement eu lieu. Des scores élevés sur la grille peuvent refléter la capacité à fabriquer la forme de l'analyse (traces de Système 2) plutôt que la fonction de vérification.
• Recommandations de Conception : Pour améliorer la fiabilité, les auteurs proposent trois choix de conception :
  1. Audit par Segment : Les jugements doivent être liés à des segments de texte spécifiques pour être falsifiables.
  2. Raisonnement Contrefactuel : Les juges doivent être contraints de fournir des étiquettes et des justifications alternatives (« pourquoi pas X ? »).
  3. Sondes de Fonction : Les benchmarks devraient utiliser des « ensembles de sondes » (ex. : paires appariées de défauts réels vs fluidité de surface) pour tester si un juge peut distinguer la fonction épistémique du style rhétorique.

L'article conclut que, bien que la grille discrimine les signatures textuelles de la recherche de défauts authentiques et de la fluidité de surface, l'écart actuel entre les examens IA et humains est largement piloté par la verbosité et les normes spécifiques aux lieux de publication. Les auteurs positionnent leur travail non pas comme une métrique de fiabilité finale, mais comme un outil de diagnostic pour exposer les limites du traitement de l'« intuition articulée » comme une « analyse authentique » dans l'examen automatisé par les pairs.