💻 computer science

Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

Cet article révèle que, bien que les modèles de langage multimodaux de pointe puissent obtenir des scores compétitifs sur des images cliniques selon des échelles ordinales, ils présentent un biais systématique de tendance centrale qui comprime les prédictions vers le milieu de l'échelle, entraînant des erreurs critiques aux extrémités élevées et basses et nécessitant une calibration avant leur déploiement dans le dépistage clinique à haut risque.

Auteurs originaux : Jiaqing Zhang, Sandeep Elluri, Bhanu Cherukuvada, Yonah Joffe, Jessica Sena, Miguel Contreras, Scott Siegel, Subhash Nerella, Catherine Price, Parisa Rashidi

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaqing Zhang, Sandeep Elluri, Bhanu Cherukuvada, Yonah Joffe, Jessica Sena, Miguel Contreras, Scott Siegel, Subhash Nerella, Catherine Price, Parisa Rashidi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un nouvel assistant robotique incroyablement intelligent. Vous souhaitez l'utiliser pour noter les dessins d'horloges réalisés par des étudiants — un test courant utilisé par les médecins pour vérifier des problèmes de mémoire ou de réflexion. Le test est simple : dessinez une horloge indiquant 11 h 10. Les médecins attribuent à ces dessins une note allant de 0 (un désordre complet) à 5 (parfait).

Les chercheurs de cette étude se sont demandé : Cet assistant robotique peut-il noter ces dessins aussi bien qu'un médecin humain ou qu'un programme informatique spécialisé ?

Voici ce qu'ils ont découvert, expliqué simplement :

1. Le robot est « trop prudent »

Le robot (qui est un type d'intelligence artificielle avancée appelé Modèle de Langage Multimodal de Grande Taille) est très doué pour regarder une image et comprendre ce qu'il voit. Cependant, lorsqu'il s'agit d'attribuer une note, il a une étrange habitude : il refuse d'être extrême.

Imaginez l'échelle de notation comme un bouton de volume sur une radio, allant de 0 (muet) à 5 (volume maximal).

L'expert humain ou informatique : Si un dessin est terrible, il tourne le bouton avec assurance vers 0. S'il est parfait, il le tourne vers 5.
Le robot : Même lorsque le dessin est terrible, le robot hésite à lui attribuer un 0. Il se dit : « Peut-être n'est-ce pas si mauvais », et lui donne un 1. Lorsque le dessin est parfait, il hésite à lui donner un 5, pensant : « Peut-être n'est-ce pas tout à fait parfait », et lui donne un 4.

Le robot tire constamment la note vers le milieu (2 ou 3). C'est comme un enseignant qui a peur de donner un « A » ou un « F » à qui que ce soit, alors il donne simplement un « B » ou un « C » à tout le monde pour être prudent.

2. La note « moyenne » masque le problème

Si vous regardez simplement la note moyenne globale du robot, elle semble plutôt bonne. Elle est souvent « suffisamment proche » de la note humaine (à un point près).

Les chercheurs ont comparé cela à une prévision météorologique. Si une prévision indique « Il fera 21 degrés » tous les jours, et que la température réelle est parfois de 15 degrés et parfois de 27 degrés, l'erreur moyenne est faible. Mais si vous devez savoir s'il va pleuvoir (un cas extrême spécifique), cette prévision est inutile.

De même, les notes « prudentes » du milieu données par le robot semblent bonnes sur le papier, mais elles échouent dans les cas les plus importants :

Le danger : Si un patient fait un dessin très mauvais (note 0 ou 1), le robot pourrait dire qu'il a un 2. Cela pourrait signifier qu'une personne malade passe inaperçue et ne reçoit pas l'aide dont elle a besoin.
La confusion : Si un patient fait un dessin parfait (note 5), le robot pourrait dire qu'il a un 4. Cela pourrait causer une inquiétude inutile ou des examens supplémentaires pour une personne en bonne santé.

3. Tenter de réparer le robot n'a pas fonctionné

Les chercheurs ont essayé d'« apprendre » au robot à être plus confiant en lui montrant des exemples de dessins mauvais et bons avant qu'il ne commence à noter (ceci s'appelle l'« amorce par quelques exemples » ou few-shot prompting).

Résultat : Il s'est légèrement amélioré, mais il a continué à refuser d'attribuer les notes extrêmes. Il restait trop prudent.

Ils ont également essayé de supprimer tous les mots médicaux des instructions, demandant au robot de noter simplement « l'art » au lieu du « test médical ».

Résultat : Cela a en fait rendu le robot moins performant. Il s'avère que le contexte médical aidait le robot à comprendre la tâche, mais même avec cette aide, il refusait toujours d'attribuer les notes extrêmes.

4. L'ordinateur spécialisé gagne

Les chercheurs ont également testé un programme informatique spécialisé (un modèle d'apprentissage profond) qui avait été entraîné spécifiquement sur des milliers de ces dessins d'horloges.

Résultat : Cet ordinateur spécialisé ne souffrait pas du problème de « prudence ». Il attribuait avec assurance des 0 aux dessins mauvais et des 5 aux bons. Il était beaucoup plus précis aux extrêmes, là où cela compte le plus.

Le fond du problème

L'étude conclut que, bien que ces robots d'IA sophistiqués soient impressionnants et puissent se « rapprocher » de la bonne réponse, ils présentent un biais inhérent vers le milieu. Ils sont comme un étudiant nerveux qui a peur de lever la main pour dire « Je connais la réponse » ou « Je ne connais pas la réponse », alors il devine simplement le compromis du milieu.

Pour cette raison, les chercheurs affirment que nous ne devrions pas utiliser ces robots seuls pour prendre des décisions finales concernant les dépistages de santé des patients. Ils sont trop susceptibles de manquer les cas les plus critiques (les très mauvais ou les très bons) parce qu'ils ont trop peur d'être extrêmes.

Résumé Technique : Audit des Évaluateurs par LLM Multimodaux pour le Score Ordinal Clinique

Énoncé du Problème
Les Grands Modèles de Langage (LLM) multimodaux sont de plus en plus déployés en tant qu'évaluateurs automatisés (« LLM-as-a-judge ») dans des contextes cliniques. Cependant, leur comportement de notation sur des échelles cliniques ordinales reste mal compris. Les métriques d'évaluation standard, telles que l'Erreur Absolue Moyenne (MAE) et l'accord dans la tolérance, reposent souvent sur des statistiques agrégées qui peuvent masquer des modes de défaillance systématiques. Plus précisément, un évaluateur peut obtenir un accord agrégé élevé tout en échouant aux extrémités de l'échelle. Dans des contextes cliniques tels que le dépistage des troubles cognitifs, les erreurs à ces extrémités (par exemple, classer à tort un patient gravement atteint comme normal, ou inversement) entraînent des conséquences disproportionnées pour les décisions de dépistage en aval. L'article examine si les LLM présentent des biais systématiques, spécifiquement un « effet de tendance centrale » (compression des scores vers le milieu de l'échelle), lorsqu'ils sont appliqués à des tâches de notation ordinale clinique, et si ce biais peut être atténué par l'ingénierie des invites (prompt engineering).

Méthodologie
L'étude compare trois familles de LLM multimodaux de pointe (GPT-5/GPT-5.4, Gemini-2.5-Pro et Claude-4-Sonnet) à des modèles d'apprentissage profond supervisés (CNN et Vision Transformers) sur le Test de Dessin de l'Horloge (CDT).

Ensembles de données : L'évaluation principale utilise 597 images issues de l'Étude Nationale sur le Vieillissement et les Tendances de Santé (NHATS), partitionnées en ensembles de développement et de test. Une validation externe est effectuée sur une cohorte indépendante thaïlandaise de CDT (386 images).
Tâche : La tâche consiste à prédire un score entier $y \in \{0, \dots, 5\}$ basé sur la grille d'évaluation de Shulman, où 0 représente un dessin non reconnaissable et 5 une représentation précise.
Modèles :
- Baselines Supervisées : Un CNN ResNet-101 et deux variantes de Vision Transformer (ViT) (classification ordinale et régression continue). Ces modèles sont entièrement affinés (fine-tuned) sur les données NHATS.
- Évaluateurs LLM : LLM multimodaux en zéro-shot et few-shot. Ces modèles reçoivent l'image et une grille d'évaluation en langage naturel décrivant les six niveaux de score, mais ne subissent aucun entraînement basé sur le gradient sur l'ensemble de données cible.
Protocole d'Évaluation :
- Métriques Agrégées : MAE, RMSE et précision dans-1 (accord basé sur la tolérance).
- Analyse par Score : Examen des distributions de scores prédits, des profils d'erreur directionnelle et des matrices de confusion pour détecter une compression systématique vers le centre.
- Ablations d'Invites : Pour distinguer les artefacts de l'ingénierie des invites du comportement intrinsèque du modèle, les auteurs ont testé :
  1. Invites few-shot : Fourniture de 30 images exemplaires (5 par niveau de score) pour ancrer le modèle.
  2. Invites déclinicalisées : Suppression de la terminologie médicale (par exemple, « neuropsychologie ») pour tester si les mécanismes de sécurité déclenchent une notation conservatrice.

Résultats Clés

Performance Agrégée : Les modèles ViT-Ordinal entièrement affinés ont obtenu la meilleure calibration (MAE 0,52, précision dans-1 91 %). Parmi les LLM en zéro-shot, GPT-5 a été le meilleur performant (MAE 0,67, précision dans-1 92 %), montrant un accord basé sur la tolérance compétitif malgré une erreur absolue plus élevée que celle des meilleurs modèles supervisés.
Effet de Tendance Centrale : L'analyse par score a révélé un biais systématique prononcé dans toutes les familles de LLM. Les prédictions étaient compressées vers le milieu de l'échelle :
- Sur-prédiction en bas de gamme : Les scores réels de 0 étaient fréquemment prédits comme 1.
- Sous-prédiction en haut de gamme : Les scores réels de 5 étaient fréquemment prédits comme 4.
- Cela a résulté en une pente de calibration significativement plus faible que celle des modèles supervisés, avec des erreurs concentrées dans les cellules (0→1) et (5→4) de la matrice de confusion.
Résultats des Ablations :
- Les invites few-shot ont amélioré les métriques agrégées (réduisant le MAE à 0,56) et augmenté la précision en haut de gamme, mais n'ont pas éliminé l'effet de tendance centrale. Une part significative des scores extrêmes est restée mal classée vers le centre.
- Les invites déclinicalisées ont détérioré les performances sur toutes les métriques et n'ont pas réduit le biais, indiquant que la terminologie clinique aide en réalité à la fidélité de la notation plutôt que de déclencher un conservatisme excessif.
Validation Externe : Le motif de tendance centrale (compression des extrémités) a été répliqué sur la cohorte indépendante thaïlandaise de CDT, confirmant la robustesse de la découverte à travers différentes populations.

Contributions Clés

Protocole d'Évaluation Systématique : Les auteurs proposent un protocole combinant la décomposition des erreurs par score et l'analyse de la pente de calibration pour détecter des modes de défaillance que les métriques agrégées masquent.
Identification du Biais de Tendance Centrale : L'étude démontre que les LLM multimodaux présentent un effet de tendance centrale cohérent dans la notation ordinale clinique, évitant systématiquement les notations extrêmes (0 et 5) au profit de scores intermédiaires.
Isolement de la Source du Biais : Grâce à des ablations ciblées, l'article isole ce biais comme une tendance comportementale intrinsèque des LLM multimodaux actuels plutôt que comme le résultat d'une insuffisance d'invites ou d'un cadre clinique spécifique.

Signification et Revendications
L'article soutient que, si les LLM de pointe montrent des promesses en tant que substituts évolutifs à l'annotation par des experts, leur comportement de notation actuel n'est pas encore adapté à un déploiement autonome dans des flux de travail de dépistage clinique à haut risque où l'identification précise des extrémités de l'échelle est critique. L'effet de tendance centrale pose un risque spécifique : il peut conduire à une sous-détection des troubles cognitifs sévères (en prédisant un 1 au lieu d'un 0) ou à une sur-référence de personnes en bonne santé (en prédisant un 4 au lieu d'un 5).

Les auteurs étendent la littérature sur le biais du « LLM-as-a-judge » de l'évaluation en TALN à l'évaluation clinique. Ils émettent l'hypothèse que ce comportement peut découler de l'alignement par Apprentissage par Renforcement à partir de Retours Humains (RLHF), qui internalise une aversion humaine aux notations extrêmes, ou d'une prior distributionnelle dans le modèle. L'article conclut que le déploiement d'évaluateurs basés sur les LLM nécessite une évaluation consciente de la calibration et suggère que des calibrations a posteriori ou des flux de travail hybrides (utilisant les LLM pour le pré-dépistage et des modèles supervisés/humains pour la notation finale) sont nécessaires avant que ces outils ne puissent être intégrés en toute sécurité dans la pratique clinique.