Résumé technique : Capacités de Claude Fable 5 face aux problèmes biomédicaux complexes

Énoncé du problème

L'évaluation des modèles de langage de pointe en biomédecine est actuellement compromise par deux problèmes critiques :

1. Saturation des benchmarks : Les benchmarks hérités (ex. : examens de type USMLE) ont atteint des performances proches du plafond, échouant à discriminer les systèmes de pointe.
2. Évaluation peu fiable : Les réponses ouvertes sont fréquemment évaluées par d'autres modèles de langage, introduisant les propres biais et modes de défaillance du juge dans les résultats.

De plus, les métriques d'évaluation standard confondent souvent le « refus de répondre » avec les « réponses incorrectes ». Dans des domaines à enjeux élevés comme la médecine, un modèle qui décline de répondre en raison de l'alignement de sécurité est fondamentalement différent d'un modèle qui répond avec assurance mais de manière incorrecte. Traiter ces deux issues comme identiques occulte la véritable capacité d'un modèle et dénature son utilité dans des contextes cliniques ou de recherche.

Méthodologie

Cette étude évalue Claude Fable 5 (le modèle le plus capable d'Anthropic disponible publiquement à la mi-2026) contre trois bases de référence : ses prédécesseurs Claude Opus 4.6 et Opus 4.8, ainsi que GPT-5 (OpenAI).

Conception expérimentale :

• Benchmarks : Huit benchmarks biomédicaux ont été utilisés, divisés en catégories textuelles et multimodales :
  • Texte : MedQA, PubMedQA, MedXpertQA (Texte) et RareBench.
  • Multimodal : MedXpertQA MM, VQA-RAD, SLAKE et PathVQA.
• Protocole : Toutes les évaluations ont été menées sous prompting de réponse directe en zero-shot. Aucun exemple de few-shot, instruction de chaîne de pensée (chain-of-thought) ou augmentation par récupération (RAG) n'a été utilisé.
• Notation : Une contrainte méthodologique critique a été l'utilisation d'une notation déterministe contre des clés de réponses fixes. Aucun benchmark n'a reposé sur un jugement par LLM pour la notation.
• Suivi des refus : Les refus ont été suivis comme un résultat distinct. Ils ont été exclus du dénominateur lors du calcul de la « précision du sous-ensemble scoré » (performance sur les éléments que le modèle a réellement tentés) mais inclus dans la « précision brute » pour refléter le comportement total du système.
• Gestion des images : Les images ont été traitées sous forme de blocs de contenu base64 ou d'URI de données, avec plusieurs images soumises ensemble pour un seul cas.

Contributions clés

1. Évaluation exhaustive : La première évaluation indépendante des capacités biomédicales de Claude Fable 5 à travers huit benchmarks diversifiés.
2. Trace générationnelle : Une comparaison contrôlée de Fable 5 par rapport à Opus 4.6 et Opus 4.8 sous des protocoles identiques pour isoler les changements de capacité par rapport au comportement d'alignement.
3. Analyse centrée sur le refus : L'introduction des taux de refus comme métrique primaire, séparant le non-engagement lié à la sécurité des échecs de raisonnement.
4. Sélection de benchmarks : L'inclusion de MedXpertQA et RareBench, qui restent difficiles pour les modèles de pointe, aux côtés de benchmarks hérités pour mesurer le progrès et la saturation.

Résultats

1. Le « fossé de refus » (Refusal Gap)

La conclusion centrale de l'article est que Claude Fable 5 présente un taux de refus élevé (8,0 % à 99,4 % selon le benchmark), un schéma absent chez ses prédécesseurs et GPT-5.

• Précision brute vs scorée : Lorsque les refus sont comptés comme des erreurs, Fable 5 semble souvent sous-performer ou régresser par rapport à Opus 4.8 et GPT-5. Cependant, lorsque les refus sont exclus du dénominateur, la précision de Fable 5 égale ou dépasse tous les autres modèles sur chaque benchmark.
• MedQA : Le score brut de Fable 5 était de 79,7 % (17 % de refus), mais sa précision du sous-ensemble scoré était de 96,6 %, surpassant tous les autres modèles.
• RareBench : Fable 5 a refusé 99,4 % des éléments (1 115 sur 1 122) sous le prompt principal de rôle clinique. Les rares éléments auxquels il a répondu (6) ont produit un Recall@1 de 0,36 %, une métrique qui, selon les auteurs, reflète le mur de refus plutôt que la capacité de diagnostic.

2. Motifs de refus distincts

L'étude identifie deux motifs de refus distincts et non unifiés :

• Concentration sur les sciences fondamentales/mécanismes : Sur MedQA et MedXpertQA MM, les refus se concentraient massivement sur le contenu de sciences précliniques et fondamentales (ex. : questions de l'étape 1 [Step 1], anatomie, physiologie, pharmacologie des récepteurs). Sur MedQA, 92,3 % des refus étaient des questions de l'étape 1, bien que l'étape 1 ne comprenne que 45,1 % des questions auxquelles le modèle a répondu.
• Spécificité des domaines de maladies (RareBench) : Les refus étaient fortement corrélés à la source des données et au domaine de la maladie. Les présentations de maladies métaboliques héréditaires (ex. : phénylcétonurie, acidémie glutarique) ont été refusées de manière quasi universelle (99,7 % dans RAMEDIS), tandis que les présentations auto-immunes de l'adulte ont été traitées à des taux beaucoup plus élevés.
• Cadrage du prompt : Un nouveau test avec un « cadrage neutre » sur RareBench (supprimant le persona de « système de support à la décision clinique ») n'a récupéré que 9,3 % des éléments initialement refusés, indiquant que l'ingénierie de prompt n'est pas une atténuation fiable de ce comportement.

3. Performance multimodale

• MedXpertQA MM : Fable 5 a atteint une précision de sous-ensemble scoré de 80,2 %, surpassant nettement GPT-5 (67,2 %) et ses prédécesseurs, avec des intervalles de confiance non chevauchants.
• PathVQA : Fable 5 a refusé 41,5 % des éléments. Sur les éléments auxquels il a répondu, il a atteint une précision de 29,3 %, surpassant GPT-5 (5,3 %) et Opus 4.6 (8,8 %).
• VQA-RAD & SLAKE : Fable 5 a dominé sur VQA-RAD (45,8 %) et était statistiquement indiscernable des autres modèles sur SLAKE.

4. Tendances générationnelles

L'étude conclut que la « régression » apparente des scores bruts de Fable 5 par rapport à Opus 4.6/4.8 est un artefact de l'augmentation du comportement de refus, et non un déclin de la capacité sous-jacente. Là où Fable 5 s'engage, il démontre des capacités de raisonnement supérieures ou égales.

Signification et affirmations

L'article affirme que la principale contrainte sur l'utilité biomédicale de Claude Fable 5 est sa volonté de s'engager, et non sa compétence une fois engagé.

• Scores bruts trompeurs : Les tableaux de précision standard qui intègrent les refus comme des résultats « incorrects » présentent un récit trompeur de déclin de capacité. Les auteurs soutiennent que pour le déploiement, la précision du « sous-ensemble scoré » est la métrique la plus pertinente pour la capacité, tandis que le taux de refus est la métrique pertinente pour les contraintes de sécurité/alignement.
• Sécurité vs Utilité : Les motifs de refus observés (particulièrement sur les sciences fondamentales et les maladies métaboliques rares) ne correspondent pas aux mesures de sécurité documentées d'Anthropic concernant le contenu à double usage (ex. : conception de pathogènes). Cela suggère soit que le classificateur se déclenche de manière excessive sur du contenu bénin, soit que le mécanisme de refus est piloté par un facteur non documenté.
• Rigueur de l'évaluation : L'étude souligne que les évaluations futures doivent suivre les refus comme des résultats distincts et utiliser une notation déterministe pour éviter le biais du « LLM-en-tant-que-juge », particulièrement à mesure que les benchmarks tendent vers des tâches à réponses ouvertes.

Les auteurs concluent que bien que Fable 5 soit « sélectivement prudent », ses capacités de raisonnement biomédical sous-jacentes sont parmi les plus fortes testées, à condition de naviguer la barrière du refus par la sélection de cas ou le routage de secours.