Résumé Technique : AI Consilium – Un Benchmark pour les Seconds Avis Cliniques Multidisciplinaires par LLM

Problématique

Bien que les grands modèles de langage (LLM) aient démontré une aptitude à générer des diagnostics différentiels pour des cas cliniques complexes, un second avis clinique de haute qualité exige plus qu'une simple précision diagnostique. Il doit être fondé sur des faits, cliniquement cohérent, exploitable et sûr. Les évaluations existantes reposent souvent uniquement sur l'accord diagnostique ou traitent les systèmes multi-agents comme des « boîtes noires » monolithiques, échouant ainsi à démêler les contributions spécifiques de l'identité du modèle, de la structure de la réponse (libre ou structurée) et du processus de synthèse lui-même. De plus, l'hypothèse selon laquelle la délibération multidisciplinaire améliore intrinsèquement les résultats manque de validation empirique rigoureuse, particulièrement lorsqu'elle est comparée à des bases de référence de puissance de calcul équivalente et à des avis isolés par rôle spécifique. Il existe un besoin pour un benchmark capable d'évaluer toute la trajectoire d'un second avis clinique — de l'analyse indépendante par rôle spécifique jusqu'à la synthèse multidisciplinaire — tout en distinguant la qualité du raisonnement, de la conclusion finale et du plan de gestion.

Méthodologie

Les auteurs ont développé un benchmark utilisant 300 cas cliniques résolus diagnostiquement issus du jeu de données NEJM–MedQA (Case Records of the Massachusetts General Hospital). La conception de l'étude repose sur un pipeline de génération en trois étapes et un cadre d'évaluation multidimensionnel.

1. Conception des Données et du Pipeline

• Jeu de données : 300 cas uniques ont été répartis en 110 cas pour l'annotation par des médecins et le calibrage du juge LLM, et 190 cas pour l'évaluation en réserve.
• Pipeline de génération :
  • Assignation de rôles : Pour chaque cas, 1 à 5 rôles cliniques (ex: Radiologie, Endocrinologie) sont assignés, avec un rôle désigné comme primaire.
  • Étape Pré-Consilium : Chaque rôle génère un second avis indépendant sous deux conditions : Libre (narratif) et Structuré (contraint par un schéma avec des sections spécifiques telles que syndromes, mécanismes et gestion).
  • Étape de Consilium Interactive : Un protocole interactif synthétise les avis par rôle. Les rôles examinent un rapport partagé de manière itérative (jusqu'à 5 cycles), votant par « oui » ou « non » avec des critiques. Un modérateur résout les dissensions, et un finalisateur produit un rapport consolidé au niveau du cas.
• Modèles : Huit pipelines de modèles uniques distincts ont été évalués sur l'ensemble en réserve (DeepSeek-V4-Pro, Gemma-4-31B, GLM-5.2, GPT-5.6-Sol, GPT-OSS-120B, Qwen3.5-27B, Qwen3-235B, Qwen3-Next-80B). Dans l'ensemble de calibrage, une procédure 3+1 a été utilisée où trois modèles travailleurs généraient les avis et un quatrième (GLM-5.2) les synthétisait.

2. Cadre d'Évaluation

• Référence Médicale : Six médecins possédant une expertise transdisciplinaire ont évalué les résultats sur une échelle de 0 à 3 selon huit critères de qualité de réponse :
  1. Exactitude factuelle et ancrage dans les sources
  2. Identification et hiérarchisation des problèmes cliniques
  3. Exhaustivité et pertinence de l'utilisation des données
  4. Cohérence du raisonnement clinique
  5. Qualité du diagnostic différentiel
  6. Qualité de la conclusion clinique finale
  7. Justification et spécificité de la gestion
  8. Sécurité clinique
  • Règle spéciale : Toute fabrication de fait cliniquement significatif entraîne un score de 0 pour l'ancrage factuel et plafonne les critères liés à 1.
• Juge Automatisé : Un juge LLM calibré par des médecins (GPT-OSS-120B) a été optimisé via des algorithmes évolutionnaires (GigaEvo) pour minimiser l'Erreur Absolue Moyenne (MAE) par rapport aux évaluations des médecins pour chaque critère de manière indépendante.
• Métriques : L'étude analyse l'identité du modèle, le format de réponse, les contributions de l'étape de synthèse, la dynamique de délibération (cycles de consensus) et les coûts d'inférence (utilisation de tokens).

Contributions Clés

1. Benchmark à Double Point de Contrôle : Le premier benchmark évaluant les avis par rôle spécifique et la synthèse multidisciplinaire finale comme des produits cliniques distincts sur les mêmes cas, permettant d'isoler la valeur de la synthèse.
2. Cadre de Qualité Multidimensionnel : Une rubrique développée par des médecins séparant l'ancrage factuel, le raisonnement, la gestion et la sécurité, allant au-delà du simple accord diagnostique.
3. Comparaison Contrôlée : Un design qui fait varier indépendamment l'identité du modèle, la structure de la réponse et les étapes de synthèse pour démêler leurs effets, incluant une comparaison entre l'interaction multi-agents gourmande en calcul et les bases à modèle unique.
4. Système de Juge Calibré : Un juge LLM calibré par critère qui permet une évaluation scalable des seconds avis cliniques ouverts, validée par les évaluations médicales pour des dimensions spécifiques.

Résultats

• Dominance de l'Identité du Modèle : L'identité du modèle était le prédicteur le plus fort de la qualité du rapport. GPT-5.6-Sol a dominé chaque composante évaluée (raisonnement de rôle, avis de rôle et conclusions finales) tant en format libre que structuré. L'écart de performance entre le meilleur et le pire modèle (environ 0,4–0,5 point) dépassait significativement les différences causées par le format de réponse au sein d'un même modèle.
• Valeur de la Synthèse : La synthèse structurée complète a obtenu des scores moyens de Juge plus élevés que l'avis du rôle primaire pré-consilium sur l'ensemble des critères partagés. Les améliorations les plus notables ont été observées dans la hiérarchisation des problèmes, l'ancrage factuel et la cohérence du raisonnement, indiquant que l'étape de synthèse intègre efficacement les perspectives disparates en un compte clinique plus organisé.
• Impact de la Structure : Les rapports finaux structurés présentaient des moyennes globales plus élevées que les rapports libres dans sept des huit pipelines de modèles. Cet avantage était principalement porté par une amélioration significative de la gestion (2,740 contre 2,436), suggérant que le prompting structuré améliore l'actionnabilité et la planification plutôt que d'améliorer uniformément toutes les dimensions cliniques.
• Dynamique de Délibération : Le protocole interactif a atteint le consensus dans 97,8 % des cas. Cependant, des trajectoires de révision plus longues (plus de cycles) n'étaient pas corrélées à des scores finaux plus élevés. GPT-5.6-Sol a obtenu les scores de qualité les plus élevés avec le moins de cycles de révision (moyenne de ~1,2 cycle), démontrant qu'une forte performance initiale combinée à une convergence rapide est plus efficace qu'une délibération prolongée.
• Coûts d'Inférence : Les pipelines structurés nécessitaient nettement plus de tokens (environ 26,5k tokens supplémentaires par cas) que les pipelines libres, soulignant un arbitrage entre les gains marginaux de qualité de la gestion et le coût computationnel.

Signification et Revendications

L'article affirme que le benchmark AI Consilium capture avec succès les nuances des seconds avis cliniques que la précision diagnostique seule ne peut saisir. Il démontre que :

1. La synthèse multidisciplinaire apporte une valeur ajoutée : Le processus d'agrégation et de révision des avis par rôle transforme le matériel isolé en un second avis intégré de meilleure qualité, particulièrement en termes de hiérarchisation et de cohérence.
2. Le choix du modèle est primordial : L'identité du LLM sous-jacent est un facteur plus critique pour déterminer la qualité d'un second avis clinique que le format spécifique de la réponse ou la complexité du protocole de délibération.
3. La structure favorise l'actionnabilité : Le prompting structuré améliore spécifiquement la qualité des plans de gestion, rendant le résultat plus exploitable, bien que cela s'accompagne de coûts d'inférence accrus.
4. Efficacité de la convergence : Les modèles de haute qualité peuvent atteindre un consensus rapidement, suggant que des cycles de délibération excessifs ne produisent pas nécessairement de meilleurs résultats cliniques.

Les auteurs concluent que si le benchmark fournit un cadre complet pour comparer les futurs modèles et stratégies de synthèse, des études prospectives restent nécessaires pour établir l'impact de ces systèmes sur la prise de décision réelle des cliniciens et sur les résultats pour les patients. L'étude souligne la nécessité d'évaluer la qualité clinique, la convergence procédurale et le coût d'inférence comme des résultats complémentaires plutôt que de se fier uniquement à la précision diagnostique comme proxy unique.