Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

Les modèles de langage de grande taille de nouvelle génération, à savoir Claude Opus 4.7 et GPT-5.5, équipés d'une génération augmentée par la récupération utilisant des ressources spécifiques à la cardiologie nucléaire, ont atteint des taux de précision moyens d'environ 86 % à l'examen de préparation du conseil de l'ASNC, dépassant à la fois le seuil de réussite estimé et la performance moyenne des fellows en formation.

L'essentiel

Imaginez un examen final à haut risque pour les médecins spécialisés dans l'analyse d'images cardiaques à l'aide de traceurs radioactifs spéciaux. C'est l'« Examen du Conseil de Cardiologie Nucléaire ». Depuis des années, l'Intelligence Artificielle (IA) tente de passer cet examen, mais elle échoue constamment, obtenant des scores inférieurs à ceux de l'étudiant en médecine moyen.

Cet article raconte comment deux nouveaux modèles d'IA ultra-intelligents ont finalement réussi l'examen avec brio, surpassant l'étudiant humain moyen.

Le Contexte : L'Examen et la « Triche »

L'examen comporte 168 questions. Certaines sont purement textuelles (comme un quiz de culture générale), mais environ 27 d'entre elles nécessitent l'observation d'images médicales complexes du cœur.

Par le passé, lorsque l'IA tentait de passer cet examen « à froid » (sans aucune aide), le meilleur résultat obtenu était d'environ 63 % de bonnes réponses. C'est une note d'échec. L'étudiant en médecine moyen (un « fellow » en formation) obtenait 78 %.

Pour cette nouvelle étude, les chercheurs ont fourni à l'IA une « triche » massive. Ce n'était pas une simple recherche Google rapide ; il s'agissait d'un système de Génération Augmentée par Récupération (RAG). Imaginez que l'on donne à l'IA une bibliothèque numérique parfaite et consultable, contenant les manuels officiels, les atlas et les directives médicales en cardiologie nucléaire. Lorsque l'IA voit une question, elle plonge instantanément dans cette bibliothèque, trouve la page exacte contenant la réponse, et l'utilise pour formuler sa réponse.

Les Concurrents

Les chercheurs ont testé deux nouveaux modèles d'IA de dernière génération :

1. Claude Opus 4.7 : Un modèle utilisant un système de recherche local et transparent (comme un bibliothécaire qui vous montre exactement quels livres il a retirés de l'étagère).
2. GPT-5.5 : Un modèle utilisant un système de recherche basé sur le cloud (comme un bibliothécaire qui trouve les livres pour vous mais ne vous montre pas le processus).

Les Résultats : L'IA Bat l'Étudiant Moyen

Lorsque ces deux IA ont passé l'examen cinq fois chacune, les résultats ont été surprenants :

• Les Scores : Les deux modèles ont obtenu environ 86 % à 87 %.
• La Comparaison : C'est nettement supérieur au score moyen de l'étudiant humain de 78 %. En fait, si l'on alignait les 13 étudiants humains et les 2 IA, les IA se classeraient dans le top 5, battant 8 ou 9 des humains.
• La Vitesse des Progrès : C'est un bond massif. Il y a seulement 18 mois, la meilleure IA obtenait 63 %. Maintenant, avec la « triche » (RAG), elles ont bondi de 23 points de pourcentage.

Les Deux Faiblesses

Même si les IA ont gagné, elles ont rencontré deux difficultés spécifiques :

1. Le Problème de l'« Image » : Les IA étaient excellentes pour les questions textuelles (obtenant près de 89 %), mais elles trébuchaient sur les questions d'images. Elles obtenaient environ 73–77 % de bonnes réponses sur les images. Les humains restaient meilleurs dans ce domaine, obtenant 81,5 %.
   • Analogie : Imaginez que l'IA est un professeur brillant capable de réciter tout le manuel par cœur, mais qui reste confus face à une radiographie floue. Elle connaît parfaitement la théorie mais apprend encore à « voir » l'image.
2. Le Dysfonctionnement de « Sécurité » (GPT-5.5 uniquement) : GPT-5.5 a refusé de répondre à environ 7 % des questions. Il disait : « Je suis désolé, je ne peux pas aider avec cela », même si les questions portaient simplement sur des médicaments cardiaques ou la sécurité radiologique standards d'un examen médical.
   • Analogie : C'est comme un bibliothécaire très prudent qui refuse de vous remettre un livre sur « comment fabriquer une bombe », même si vous posez une question d'examen légitime à un étudiant en physique sur l'énergie nucléaire. Les filtres de sécurité de l'IA étaient trop sensibles, lui faisant perdre des points. Claude Opus 4.7 n'a pas eu ce problème ; il a répondu à tout.

Ce Que les Auteurs Disent (et Ne Disent Pas)

L'article est très prudent sur la signification de ces résultats :

• Ce que c'EST : Cela prouve qu'avec les bons documents de référence, l'IA peut apprendre les faits et les règles de la cardiologie nucléaire mieux que le stagiaire moyen. Les auteurs suggèrent que ces outils pourraient être utilisés comme aides pédagogiques pour aider les étudiants à étudier ou comme outils de référence pour vérifier les faits dans une salle de lecture.
• Ce que ce N'EST PAS : Les auteurs déclarent explicitement que réussir un test à choix multiples ne signifie pas que l'IA est prête à devenir médecin. La médecine réelle implique de parler aux patients, de gérer l'incertitude et de prendre des décisions de jugement complexes qu'un examen à choix multiples ne peut mesurer. L'IA est un livre de référence puissant, pas un remplacement pour un médecin humain.

La Conclusion

En l'espace d'un an et demi, l'IA est passée de l'échec à l'examen du Conseil de Cardiologie Nucléaire à la victoire sur l'étudiant humain moyen, à condition d'avoir accès aux bons manuels. Cependant, elle éprouve toujours des difficultés à interpréter les images médicales, et l'un des modèles est trop « effrayé » pour répondre à certaines questions légitimes. Bien que cela représente un bond en avant énorme pour les outils d'éducation médicale, l'article conclut que ces machines sont des assistants, et non des remplaçants, pour les médecins humains.

Résumé technique

Résumé technique : Les LLM augmentés par la récupération surpassent les performances humaines aux examens de certification en cardiologie nucléaire

Énoncé du problème
Les évaluations précédentes des modèles de langage de grande taille (LLM) sur l'examen de préparation à la certification de la Société américaine de cardiologie nucléaire (ASNC) ont révélé un écart de performance significatif entre l'IA et les résidents humains. Dans des études antérieures, le modèle le plus performant sans contexte spécifique au domaine (GPT-4o) a obtenu une précision médiane de 63,1 %, se situant en dessous du seuil de réussite estimé à 65 % et de la moyenne de 78,0 % des fellows en formation (FIT) humains. Bien que la fourniture d'un contexte issu de manuels ait amélioré les performances textuelles de GPT-4o à 73,8 %, celles-ci restaient inférieures aux moyennes humaines et étaient limitées aux questions textuelles. Le problème central abordé par cette étude est de savoir si les LLM de nouvelle génération équipés de la génération augmentée par récupération (RAG) peuvent combler ou dépasser cet écart de performance sur l'ensemble du spectre de l'examen, y compris les questions complexes basées sur des images.

Méthodologie
L'étude a administré l'examen complet de préparation à la certification ASNC 2023 (168 questions à choix multiples : 141 textuelles, 27 basées sur des images) à deux modèles de nouvelle génération : Claude Opus 4.7 et GPT-5.5. L'évaluation a été menée sur 5 itérations pour chaque modèle.

• Pipelines de génération augmentée par récupération (RAG) : Les deux modèles se sont appuyés sur le même corpus autoritaire spécifique au domaine : Nuclear Cardiac Imaging: Principles and Applications (manuel), son atlas compagnon et les Lignes directrices de pratique clinique de l'ASNC.
  • Claude Opus 4.7 : A utilisé un pipeline de récupération transparent et local basé sur FAISS. Les documents PDF ont été découpés en segments de 3 pages, intégrés à l'aide du transformateur de phrases all-MiniLM-L6-v2, et indexés via IndexFlatIP (recherche exacte par produit scalaire). Pour chaque requête, les 5 segments sémantiquement les plus similaires ont été récupérés et ajoutés au début de l'invite.
  • GPT-5.5 : A utilisé un magasin de vecteurs Azure hébergé dans le cloud, accessible via l'API de réponses Azure OpenAI. Le mécanisme de récupération (modèle d'intégration, métrique de similarité, nombre de segments) était géré par l'infrastructure Azure et n'était pas directement configurable par les chercheurs.
• Configuration expérimentale : Les deux modèles ont reçu une invite système standardisée leur demandant d'agir comme un étudiant en cardiologie nucléaire et de sélectionner les deux réponses les plus probables avec des explications. Les questions basées sur des images ont été traitées via des API de vision (encodage base64 pour Claude, URI de données pour GPT-5.5).
• Notation : La réponse principale sélectionnée par le modèle a été comparée à la réponse correcte de l'ASNC. Les refus de sécurité (par exemple, « Je ne peux pas répondre à cette demande ») et les réponses vides ont été notés comme incorrects.
• Comparateurs : Les résultats ont été comparés aux données historiques d'études précédentes (GPT-4o sans contexte, GPT-4o avec contexte) et à une cohorte de 13 FIT humains ayant passé l'examen avec un temps et des ressources illimités.

Résultats clés

• Performance globale : Les deux modèles ont dépassé la moyenne des FIT humains (78,0 %) et le seuil de réussite estimé (65 %).
  • Claude Opus 4.7 : A atteint une précision moyenne de 86,3 % (écart-type 1,4 %).
  • GPT-5.5 : A atteint une précision moyenne de 86,7 % (écart-type 2,2 %).
  • Cela représente une amélioration d'environ 23 points de pourcentage par rapport au meilleur résultat antérieur d'un LLM (GPT-4o à 63,1 % sans contexte) en environ 18 mois.
• Répartition par type de question :
  • Texte uniquement : Les deux modèles ont atteint une précision élevée (Claude : 88,8 % ; GPT-5.5 : 88,5 %).
  • Basé sur des images : Les performances ont chuté de manière significative mais sont restées au-dessus du seuil de réussite (Claude : 73,3 % ; GPT-5.5 : 77,0 %). Cela indique un écart persistant où les résidents humains (81,5 % sur les images) surpassent toujours les modèles en interprétation visuelle.
• Refus de sécurité : Une différence opérationnelle critique a été observée. GPT-5.5 a refusé de répondre à une moyenne de 12,2 questions par itération (7,3 %), notant ces refus comme incorrects. Ces refus portaient sur du contenu médical légitime (radiopharmaceutiques, sécurité radiologique, protocoles cliniques). Claude Opus 4.7 n'a eu aucun refus.
• Accord entre modèles : Les deux modèles ont montré une concordance substantielle, répondant correctement aux mêmes questions dans 78,0 à 83,0 % des cas par itération. Les désaccords portaient souvent sur des distinctions subtiles dans les définitions techniques.

Contributions clés

1. Démonstration d'une compétence de niveau humain : Il s'agit de la première étude montrant que les LLM augmentés par RAG peuvent surpasser la performance moyenne des fellows en formation en cardiologie nucléaire sur un examen complet de préparation à la certification.
2. Quantification de l'impact du RAG : L'étude isole l'impact des modèles de nouvelle génération combinés au RAG, montrant un bond spectaculaire de 63,1 % (sans contexte) à environ 86,5 % (avec RAG) dans un court laps de temps.
3. Identification des limitations de sécurité : L'article met en évidence un obstacle pratique majeur pour GPT-5.5, où des classificateurs de sécurité excessivement conservateurs refusent de répondre à des questions légitimes d'examen médical, déprimant artificiellement la précision observée et limitant l'utilité dans des contextes éducatifs.
4. Persistance de l'écart visuel : L'étude confirme que si la récupération de connaissances textuelles a mûri, l'interprétation d'images médicales (SPECT, PET, multimodale) reste un domaine difficile où les LLM (73–77 %) restent en retrait par rapport aux résidents humains (~81,5 %).

Importance et affirmations
L'article affirme que les LLM augmentés par RAG ont atteint un niveau de connaissances en cardiologie nucléaire suffisant pour servir d'outils d'aide à la préparation aux examens et d'outils de référence de connaissances dans des contextes cliniques. Les auteurs suggèrent que ces modèles peuvent aider à vérifier les ressources de formation et compléter l'enseignement.

Cependant, les auteurs maintiennent une position modeste concernant le déploiement clinique. Ils affirment explicitement que la performance aux examens ne revient pas à une compétence clinique. La cardiologie nucléaire dans le monde réel nécessite l'intégration de contextes spécifiques au patient, la gestion de l'incertitude et l'exercice du jugement – des capacités non évaluées par les questions à choix multiples. Par conséquent, l'article conclut que les LLM doivent être considérés comme des outils complémentaires pour renforcer l'expertise des médecins plutôt que comme des substituts à celle-ci. L'étude note également que l'écart persistant dans l'interprétation d'images suggère que ces modèles ne sont pas encore prêts à remplacer l'expertise humaine dans la lecture d'images diagnostiques.