Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA

Cette étude évalue l'utilisation de modèles de langage comme juges pour l'évaluation automatique des réponses médicales ouvertes en français, démontrant que l'adaptation par apprentissage supervisé et optimisation de politiques de modèles compacts améliore significativement leur alignement avec les experts et réduit leur sensibilité au générateur de réponses.

L'essentiel

🏥 Le Problème : Qui note les réponses des médecins robots ?

Imaginez que vous avez créé un robot capable de répondre à des questions médicales complexes en français (par exemple : "Quels sont les symptômes d'une crise cardiaque ?"). Pour savoir si ce robot est bon, il faut un examinateur.

Jusqu'à présent, la seule façon fiable de noter ces réponses était de demander à un vrai médecin humain de lire chaque réponse et de dire : "C'est correct" ou "C'est faux".

• Le souci : C'est lent, cher et épuisant pour les médecins. Ils ne peuvent pas noter des milliers de réponses.

Les chercheurs se sont donc demandé : "Et si on utilisait une autre intelligence artificielle (un LLM) pour noter les réponses du premier robot ?" C'est ce qu'on appelle le "Juge IA".

🔍 L'Expérience : Le grand test de l'école de médecine

Les chercheurs ont organisé un concours avec 500 questions médicales françaises.

1. Les candidats : 5 robots différents ont répondu à ces questions.
2. Le jury humain : Un vrai médecin expert a lu toutes les réponses et a donné la "vraie" note (Vrai/Faux).
3. Les juges IA : Plusieurs autres robots (les "Juges") ont dû essayer de deviner la note du médecin humain.

🎭 Les Découvertes Surprenantes

Voici ce qu'ils ont découvert, avec des analogies simples :

1. Le "Biais de l'ami" (Le juge n'est pas neutre)

C'est la découverte la plus importante. Les juges IA ne sont pas objectifs comme un arbitre de football. Ils sont influencés par qui a écrit la réponse.

• L'analogie : Imaginez un juge qui note un élève. S'il aime le style d'écriture de l'élève A, il lui donnera une meilleure note, même si la réponse est légèrement moins précise que celle de l'élève B.
• Dans l'étude : Certains juges IA aimaient particulièrement les réponses venant de robots de la même "famille" (par exemple, un juge Qwen préférait les réponses d'un autre Qwen). D'autres étaient trop stricts et rejetaient des réponses correctes juste parce qu'elles étaient trop courtes.

2. Les "Géants" vs Les "Spécialistes"

• Les géants (modèles généraux) : Des robots très puissants comme GPT-5 ou Gemini sont très intelligents, mais ils sont parfois trop prudents. Ils disent souvent "Non" par peur de se tromper, comme un professeur qui refuse de valider une réponse même si elle est juste, juste parce qu'elle n'est pas écrite exactement comme dans le manuel.
• Les spécialistes (modèles médicaux) : Des robots entraînés spécifiquement pour la médecine (comme MedGemma) ont été beaucoup plus justes. Ils comprennent mieux le jargon médical et les nuances.

3. Le Petit Robot qui a grandi (L'adaptation)

C'est la partie la plus excitante. Les chercheurs ont pris un tout petit robot (Phi-3.5), qui au début était très bête : il notait tout "Vrai" (il disait que tout était correct, même les erreurs). C'était un juge trop gentil !

Ils lui ont donné deux types de "cours de rattrapage" :

• Le cours classique (SFT) : On lui montre des exemples de bonnes et mauvaises notes. Ça l'a aidé un peu.
• Le cours de "réflexion" (GRPO) : C'est une méthode plus avancée où le robot apprend par essais et erreurs, en recevant des récompenses quand il a raison.
• Le résultat : Après ces cours, ce petit robot est devenu aussi bon que les géants ! Il a appris à être plus équilibré : ni trop gentil, ni trop strict.

💡 La Leçon à retenir

Cette étude nous dit trois choses importantes pour l'avenir de la médecine numérique :

1. Attention aux juges IA : On ne peut pas faire confiance aveuglément à une IA pour noter une autre IA. Elle peut avoir des "copains" ou des préjugés selon la façon dont la réponse est écrite.
2. La taille n'est pas tout : On n'a pas besoin du plus gros robot du monde pour faire du bon travail de notation. Un petit robot, bien entraîné et "éduqué" avec peu de données, peut faire aussi bien qu'un géant.
3. L'humain reste indispensable : Pour l'instant, l'IA ne peut pas remplacer le médecin pour les décisions critiques. Elle peut aider à trier ou à pré-noter, mais un œil humain expert doit toujours vérifier le travail.

En résumé : C'est comme si on essayait de remplacer un jury de concours culinaire par des robots. On s'est rendu compte que certains robots aiment trop les plats de leurs amis, et que le meilleur juge n'est pas forcément le plus gros robot, mais celui qui a reçu la meilleure formation spécifique.

Résumé technique

1. Problématique

L'évaluation automatique des systèmes de Question-Réponse Ouverte (OEQA) dans le domaine médical reste un défi majeur, particulièrement en français.

• Limites des métriques traditionnelles : Les métriques basées sur la similarité lexicale (BLEU, ROUGE) ou sémantique (BERTScore) sont insuffisantes car elles ne capturent pas la fidélité factuelle, la pertinence clinique ou les nuances sémantiques subtiles essentielles à la médecine.
• Coût de l'annotation humaine : L'évaluation par des experts humains est la référence, mais elle est coûteuse, lente et difficile à mettre à l'échelle.
• Le paradigme LLM-as-a-Judge : Bien que l'utilisation de grands modèles de langage (LLM) comme juges automatiques soit prometteuse, leur fiabilité dans des contextes médicaux spécialisés, leur sensibilité au modèle générateur de la réponse, et leur applicabilité aux tâches OEQA (par opposition aux QCM) restent mal explorées, surtout pour la langue française.

2. Méthodologie

Les auteurs ont conçu une étude expérimentale rigoureuse pour évaluer et aligner des LLM en tant que juges.

A. Données et Tâche

• Tâche : Jugement binaire d'équivalence sémantique. Étant donné une question, une réponse de référence (or) et une réponse générée, le juge doit déterminer si la réponse générée est médicalement équivalente à la référence (1) ou non (0).
• Jeu de données :
  • Ensemble d'entraînement (184 instances) : Utilisé pour l'alignement d'un petit modèle. Comprend des triplets (question, référence, réponse générée) annotés par un clinicien, enrichis par des exemples contrastifs et des paraphrases.
  • Ensemble d'évaluation (500 instances) : 100 questions issues du dataset MediQAl, chacune générée par 5 modèles différents (Gemma, LLaMA, MedGemma, Qwen, etc.), annotées par un médecin spécialiste en neurovasculaire.

B. Modèles Évaluateurs (Juges)

L'étude compare plusieurs familles de modèles :

• Modèles fermés (Propriétaires) : GPT-5.1, Gemini-2.5-Pro.
• Modèles ouverts généralistes : Qwen3-Next-80B, Phi-3.5-mini.
• Modèles adaptés au domaine biomédical : MedGemma-27B, MedGemma-4B.
• Stratégie d'alignement : Pour le petit modèle Phi-3.5-mini, les auteurs appliquent deux techniques d'adaptation sur les données d'experts :
  1. SFT (Supervised Fine-Tuning) : 5 époques.
  2. GRPO (Group Relative Policy Optimization) : 2 époques supplémentaires pour optimiser la politique de décision via renforcement.

C. Évaluation Statistique

• Métriques : Précision, Rappel, F1-score, Exactitude (Accuracy) et Corrélation de Pearson avec les annotations humaines.
• Tests de signification : Tests de McNemar (pour l'exactitude), Bootstrap et tests de permutation (pour le F1 et la corrélation) pour valider la supériorité statistique des modèles alignés.

3. Contributions Clés

1. Première évaluation systématique du paradigme LLM-as-a-Judge pour l'OEQA médicale en français, comblant un vide dans la littérature (majoritairement anglophone).
2. Démonstration du biais générateur : Mise en évidence que les juges LLM ne sont pas invariants au modèle qui a généré la réponse. Les performances varient considérablement selon le style de réponse (concis vs verbeux) et la famille du modèle générateur.
3. Alignement efficace de modèles compacts : Démonstration qu'un petit modèle (3.8B paramètres) peut être transformé en juge fiable avec très peu de données (184 exemples) grâce à une combinaison de SFT et de GRPO, surpassant des modèles plus grands non adaptés.

4. Résultats Principaux

A. Limites des métriques classiques

Les métriques traditionnelles (ROUGE-L, BLEU, BERTScore) montrent une corrélation très faible avec les jugements des experts (Pearson r < 0.26), confirmant leur inadéquation pour l'évaluation médicale.

B. Sensibilité au générateur (Bias Analysis)

• Aucun juge n'est totalement invariant.
• Les modèles fermés (GPT-5.1, Gemini) ont une exactitude stable mais un rappel faible (tendance à rejeter l'équivalence pour les réponses concises).
• MedGemma-27B (adapté au domaine) montre une performance plus cohérente et moins biaisée par le générateur.
• Qwen-80B présente un biais favorable envers les réponses générées par sa propre famille de modèles.

C. Performance des Juges

• Les meilleurs juges en termes d'équilibre Précision/Rappel sont MedGemma-27B (F1 = 60.5%) et Qwen-80B (F1 = 60.0%).
• Les modèles généralistes (GPT-5.1) souffrent d'un rappel très bas (32%), indiquant une réticence excessive à valider des réponses médicalement correctes mais stylistiquement différentes.
• Le modèle de base Phi-3.5-mini a un rappel très élevé (98%) mais une précision faible, car il tend à tout valider.

D. Impact de l'Alignement (SFT + GRPO)

L'adaptation du petit modèle Phi-3.5-mini a eu un impact majeur :

• SFT seul : Améliore modérément le F1 (passant de 52.6% à 54.5%).
• SFT + GRPO : Amélioration significative. Le modèle atteint un F1 de 57.1% et une exactitude de 71.4%, surpassant GPT-5.1 et Gemini-2.5-Pro, et se rapprochant de MedGemma-27B.
• Réduction de la variance : L'alignement réduit la sensibilité du modèle aux différents générateurs de réponses, en particulier pour les modèles de la famille Gemma.
• Significativité : Les tests de McNemar confirment que les gains de GRPO par rapport au modèle de base et au SFT seul sont statistiquement significatifs (p < 0.001).

5. Signification et Conclusion

Cette étude établit que :

1. L'évaluation "aveugle" est insuffisante : Les juges LLM doivent être conçus en tenant compte du modèle générateur (generator-aware evaluation) pour éviter des biais systématiques.
2. Les petits modèles adaptés sont viables : Dans des contextes à ressources limitées (peu de données annotées), un petit modèle soigneusement aligné (via SFT et GRPO) peut rivaliser avec des modèles massifs ou spécialisés pour l'évaluation médicale.
3. Perspectives pour le français : Le français constitue un terrain d'essai crucial pour évaluer la robustesse des méthodes d'évaluation LLM en dehors du contexte anglo-saxon, où les pratiques cliniques et la terminologie diffèrent.

Limites notées : La taille réduite du jeu de données limite la puissance statistique pour certaines métriques. L'étude se concentre sur l'équivalence binaire et ne couvre pas la sécurité clinique ou la complétude des réponses. Les biais potentiels des juges non testés comme générateurs (ex: GPT-5.1) restent une hypothèse non vérifiée.

En résumé, l'article propose une voie prometteuse pour une évaluation scalable et économique de l'IA médicale en français, en combinant l'expertise humaine minimale avec des techniques d'alignement avancées sur des modèles compacts.