Résumé technique : Une étude en deux phases de la stabilité des juges LLM et des examinateurs du Conseil de l'Ordre sur les essais libres de l'examen du barreau thaïlandais

Énoncé du problème

L'évaluation actuelle par traitement du langage naturel (NLP) des essais juridiques libres repose sur deux hypothèses non vérifiées : (1) que l'accord inter-évaluateur parmi les experts humains crédentés définit un seul et unique « plafond de stabilité » plat pour tous les items, et (2) que la réussite d'un juge LLM se mesure à la proximité de son accord avec ce panel humain par rapport à ce plafond. Cette étude remet en cause ces hypothèses en investiguant si la stabilité des experts est uniforme à travers les items et si les populations de juges LLM reproduisent le spectre complet des interprétations humaines légitimes ou convergent simplement vers une seule lecture majoritaire. L'étude se concentre sur l'examen du barreau thaïlandais, une évaluation d'essais libres à enjeux élevés où la notation implique à la fois une exactitude déterministe (correspondance avec une réponse de référence) et une qualité interprétative (profondeur du raisonnement), cette dernière manquant souvent de directives réglementaires explicites.

Méthodologie

La recherche emploie un protocole en deux phases à entrées identiques pour isoler les rôles de l'examiné et du juge tout en contrôlant la variance des entrées.

Phase 1 : Les LLM en tant qu'examinés

• Participants : 42 étudiants en droit thaïlandais et 8 LLM (incluant Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro, et autres).
• Tâche : Les participants ont répondu à trois questions d'essai sur le Code civil et commercial dans des conditions en aveugle.
• Notation : Trois examinateurs formés par le Conseil de l'Ordre (A, B, C) ont noté les réponses en utilisant une grille de notation publiée à 8 niveaux. Les examinateurs ignoraient quels participants étaient des LLM.
• Résultat : Établissement d'une distribution de capacité de base où les LLM se situaient au sein de la distribution des étudiants humains, garantissant que la tâche de notation n'était pas triviale.

Phase 2 : Les LLM en tant que juges

• Corpus : Un sous-ensemble de 15 cellules croisées (5 réponses × 3 examinateurs) a été sélectionné pour une analyse approfondie.
• Entrées : Tous les évaluateurs (3 humains et 26 LLM) ont reçu exactement les mêmes entrées quadruples : la question, le règlement officiel de notation, la réponse de référence et l'essai du candidat.
• Panel LLM :
  • Sous-panel ancre : Trois modèles fermés (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro) ont subi une instrumentation rigoureuse, incluant des sondes de déterminisme (3 graines à $T=0$), des ablations d'entrées (règlement retiré, réponse de référence retirée) et des intervalles de confiance par bootstrap.
  • Panel étendu : 23 modèles supplémentaires couvrant les modèles fermés (grands/petits), les modèles open-weight phares et les petits modèles open-weight ont été ajoutés pour tester les affirmations structurelles au niveau de la population.
• Métriques : La stabilité a été mesurée à l'aide de l'alpha de Krippendorff, des corrélations de Pearson par paires et du kappa pondéré de Cohen.

Contributions clés

1. Convergence asymétrique au niveau de la population : L'étude identifie une asymétrie structurelle dans le comportement des juges LLM. Sur les items où la grille est silencieuse concernant l'interprétation d'une réponse finale correcte avec des citations statutaires omises (la frontière « silence réglementaire »), le panel humain se divise en deux lectures cohérentes (une lecture majoritaire B/C et une lecture minoritaire A). La population LLM ne se divise pas symétriquement ; 22 des 26 LLM convergent vers la lecture majoritaire (B/C), 3 se situent dans un écart intermédiaire, et un seul (GPT-5.4 Nano) s'approche de la lecture minoritaire (A) sans y noter de manière cohérente. Aucun LLM ne reproduit la lecture minoritaire.
2. Découplage de la capacité de l'examiné et de la stabilité du juge : En utilisant la conception à double rôle (les mêmes 8 LLM comme examinés et juges), l'article démontre que la performance d'un modèle en tant qu'examiné ne prédit pas son alignement en tant que juge. Les examinés plus faibles deviennent souvent des juges mieux alignés sur B/C, tandis que les examinés obtenant les meilleurs scores ne s'alignent pas nécessairement sur la lecture minoritaire. L'augmentation de la capacité ne pousse pas la population LLM vers la lecture minoritaire.
3. Panel ancre instrumenté : La mise en place d'un sous-panel ancre de trois LLM avec une instrumentation complète (déterminisme, ablations, intervalles de confiance par bootstrap) atteignant un alpha de panel de 0,77, nettement supérieur à celui du panel humain de 0,36 sur les items contestés.

Résultats clés

Métriques de stabilité

• Items non contestés : Sur 10 des 15 cellules (Questions 1 et 3), où la grille prescrit les deux axes, les panels humain et LLM sont équivalents en termes de stabilité ($\alpha \approx 0,75$).
• Items contestés : Sur les 5 cellules de la Question 2 (frontière silence réglementaire), le panel humain s'effondre à $\alpha = -0,34$ en raison de la division entre l'examinateur A (plus strict, score 1–2) et les examinateurs B/C (plus indulgents, score 6–8).
• Comportement LLM sur les items contestés : Le panel LLM maintient une stabilité élevée ($\alpha = 0,68$) mais converge exclusivement vers la lecture B/C.
  • 22/26 LLM : Notent dans la bande B/C ($m_c \in [5, 8]$).
  • 3/26 LLM : Notent dans l'écart intermédiaire ($3 < m_c < 5$).
  • 1/26 LLM (GPT-5.4 Nano) : S'approche de la bande A ($m_c = 2,33$) mais échoue à noter de manière cohérente à l'intérieur de celle-ci.
  • Résultat : Aucun LLM ne reproduit la lecture humaine minoritaire.

Diagnostic des modes de défaillance

L'étude identifie trois modes de défaillance distincts chez les LLM qui s'écartent du cluster majoritaire :

1. Quantification de l'échelle (Claude Haiku 4.5) : Réduit l'échelle de notation à un seau binaire réussite/échec (3,5 ou 7,5), échouant à exprimer des scores intermédiaires.
2. Notation basée uniquement sur la réponse finale (GPT-5.4 Mini) : Ignore l'axe interprétatif, attribuant des scores élevés uniquement sur la base de la justesse de la conclusion finale, indépendamment de la qualité du raisonnement.
3. Notation stricte du raisonnement (GPT-5.4 Nano) : Pénalise strictement les citations omises sur l'axe interprétatif, s'alignant sur la lecture minoritaire A, mais manque de cohérence sur l'ensemble du jeu de données.

Vérifications de robustesse

• Déterminisme : À $T=0$, les LLM ancre montrent une stabilité intra-juge élevée (Claude $\alpha=0,998$), confirmant que la diversité inter-modèle (0,77) est une caractéristique de la population et non un artefact du bruit.
• Ablations d'entrées : Le retrait du règlement ou de la réponse de référence réduit la stabilité du panel LLM mais n'inverse pas la direction de l'écart (l'alpha LLM reste supérieur à l'alpha humain).
• Analyse à double rôle : La corrélation entre le score de l'examiné et l'alignement du cluster de juges est exploratoire et négative ($r = -0,34$), suggérant que les examinés plus faibles (qui peuvent s'appuyer davantage sur l'axe déterministe) s'alignent plus fortement sur la majorité B/C en tant que juges.

Signification et affirmations

L'article affirme que le « plafond de stabilité » dans le NLP juridique n'est pas une ligne plate mais une faille située aux frontières de silence réglementaire où la grille laisse la qualité interprétative au jugement de l'expert.

• Asymétrie de l'accord : Un accord élevé du panel LLM ($\alpha$) n'implique pas une reproduction équilibrée de la variance humaine. Au contraire, il reflète une convergence systématique vers la lecture humaine majoritaire. Un benchmark qui sélectionne un juge LLM en maximisant l'accord avec un panel de référence humain (généralement biaisé par la majorité) héritera, par construction, de cette asymétrie et filtrera les juges capables de la lecture minoritaire.
• Le goulot d'étranglement interprétatif : L'étude définit le « goulot d'étranglement interprétatif de la grille » comme la zone spécifique où le règlement est silencieux sur la manière de noter une réponse correcte avec un raisonnement incomplet. Dans cette zone, les panels humains se divisent naturellement en lectures cohérentes et légitimes, tandis que les populations LLM convergent vers un seul côté.
• Limites de la mise à l'échelle : Les résultats suggèrent que simplement augmenter la capacité du modèle ne résout pas cette asymétrie ; les modèles plus grands n'adoptent pas spontanément la lecture minoritaire. La convergence est une propriété structurelle de l'ensemble LLM sur cette grille spécifique, indépendante de la taille du modèle, du fournisseur ou de la tranche de prix.

L'article conclut que les protocoles d'évaluation actuels obscurcissent l'espace complet des lectures humaines légitimes. Il appelle à des benchmarks qui rapportent la stabilité du panel par cas interprétatif et évaluent les juges LLM par rapport à plusieurs lectures humaines légitimes plutôt qu'à une seule cible moyennée.