Résumé technique : Un score, deux décisions : La prédiction sélective sur la queue des maladies rares

1. Définition du problème

L'article traite du défi de la prédiction sélective dans le diagnostic des maladies rares, une tâche formulée comme le classement de milliers de maladies possibles basées sur les phénotypes d'un patient (résultats cliniques structurés). Le problème central est que les systèmes de diagnostic doivent décider non seulement quelle maladie prédire, mais aussi quand approuver cette prédiction par rapport à un transfert de responsabilité à un expert humain.

La pratique actuelle consiste généralement à appliquer un seuil unique au score de tête (la confiance du candidat le mieux classé) pour prendre deux décisions distinctes :

1. Exactitude (Correctness) : Le candidat de tête est-il le bon diagnostic ?
2. Présence : La liste de candidats contient-elle au moins un diagnostic correct (c'est-à-dire, le système est-il capable de répondre à ce cas) ?

Les auteurs soutiennent que l'utilisation du même score et du même seuil pour les deux décisions est fondamentalement erronée, particulièrement dans la "queue ultra-rare" de la prévalence des maladies, là où le soutien au diagnostic est le plus nécessaire mais où les données sont les plus rares.

2. Méthodologie et cadre de travail

L'article propose un cadre de travail en trois étapes pour la prédiction sélective sur des sorties classées :

A. Vérification de la faisabilité (Le plafond de l'oracle)

Avant de tenter de calibrer la confiance, les auteurs établissent une condition nécessaire de faisabilité. Si un prédicteur possède une précision de base $p$ (Recall@1) et que le système répond à une fraction $c$ des cas, la précision sélective maximale est bornée par :
$$\text{Acc}_{\text{sel}} \leq \min\left(1, \frac{p}{c}\right)$$
Si la précision cible $\tau$ dépasse cette borne (c'est-à-dire, $p < \tau \cdot c$), aucune recalibration de la confiance ou seuillage ne pourra atteindre l'objectif car les bonnes réponses ne se trouvent pas dans les prédictions les mieux classées à sélectionner.

B. Décomposition du score et sélection du signal

Les auteurs décomposent la fonction de score $s(d|x)$ pour un candidat $d$ et un cas $x$ en deux composantes :
$$s(d|x) = b(x) + r(d|x)$$

• $b(x)$ : Un décalage (offset) au niveau du cas partagé par tous les candidats pour un patient spécifique (ex: confiance générale, complexité de la requête).
• $r(d|x)$ : Un résiduel spécifique au candidat distinguant les candidats.

Ils soutiennent que différentes décisions nécessitent différents signaux :

• Pour l'exactitude (Top-1) : La marge des deux premiers ($s_1 - s_2$) est supérieure. Elle annule la composante partagée $b(x)$, isolant ainsi la séparation entre le leader et le second.
• Pour la présence (Capacité de réponse) : Le score de tête ($s_1$) est requis. La composante partagée $b(x)$ indique si l'ensemble des candidats est pertinent pour l'entrée (par exemple, si un moteur de recherche possède des documents pertinents). Soustraire $b(x)$ via une marge supprime cette information critique, risquant de faire manquer des cas où une réponse existe mais n'est pas le premier choix.

C. Limite théorique (Indistinguabilité)

L'article démontre que les scores non étiquetés seuls ne peuvent pas déterminer si le passage d'une porte basée sur le score de tête à une porte basée sur la marge améliorera la performance. Deux distributions conjointes différentes de scores et de labels peuvent produire des distributions de scores non étiquetés et une précision de base identiques, tout en résultant en des gains opposés lors du changement de signal. Par conséquent, le choix du signal nécessite une validation étiquetée.

3. Configuration expérimentale

• Données : 10 374 dossiers de patients réels provenant du Phenotype Store, stratifiés par classes de prévalence Orphanet (Ultra-rare : <1/10^6 ou 1–9/10^6 ; Moins rare : $\ge$1/10^5).
• Modèles :
  • 8 petits LLM en open-weights (Qwen, Llama, Mistral, etc.).
  • 5 LLM spécialisés en médecine.
  • Modèles de pointe (DeepSeek-V4).
  • Classeurs de phénotypes : Un récupérateur basé sur le chevauchement de contenu d'information (IC) et Exomiser (mode phénotype uniquement).
• Tâches :
  • Diagnostic de maladies rares (Recall@1).
  • Récupération SciFact (classement de passages).
  • Liaison d'entités biomédicales (BC5CDR, MedMentions).
• Contrôles : Décontamination stricte "leave-source-out" pour éviter la fuite de curation entre les dossiers patients et les profils de maladies.

4. Résultats clés

A. Faisabilité dans la queue ultra-rare

• Les petits LLM échouent au test de faisabilité : Pour les 8 petits LLM en open-weights, le Recall@1 sur les maladies ultra-rares est au maximum de 4,6 %. À 10 % de couverture, le plafond théorique pour la précision sélective est $\le 46 \%$. Même avec un classement de confiance parfait, ces modèles ne peuvent pas atteindre une cible de précision sélective de 50 %.
• Les modèles avancés passent le test : Les modèles de pointe (ex: DeepSeek-V4-Pro) et les modèles médicaux spécialisés atteignent des taux de base plus élevés (15,8 % – 22,4 %), élevant le plafond de faisabilité à $\approx 100 \%$, rendant la cible théoriquement atteignable.
• Les classeurs de phénotypes surpassent les LLM : Un récupérateur dédié au chevauchement de phénotypes atteint 25,6 % de Recall@1 sur les cas ultra-rares, surpassant nettement les LLM.

B. Marge vs Score de tête

• Exactitude : Sur les classeurs de phénotypes (Exomiser et le récupérateur IC), la marge des deux premiers surpasse significativement le score brut pour identifier les prédictions top-1 correctes.
  • Exomiser : La marge sélectionne 10 % des cas avec une précision de 29,0 % contre un taux de base de 13,3 % ; le score de tête ne fournit aucun point de fonctionnement utilisable en raison de la saturation des scores/des égalités.
  • Récupérateur IC : La marge atteint 81,0 % de précision à 10 % de couverture, contre 45,8 % pour le score brut.
• Présence (Capacité de réponse) : La marge est peu performante pour détecter si un candidat correct existe.
  • Dans la liaison d'entités (BC5 CDR) et la récupération SciFact, la marge est souvent la statistique la moins bonne pour détecter les cas "NIL" (aucun candidat valide) car elle rejette le signal au niveau du cas $b(x)$.
  • Le score brut (ou une estimation du côté de la requête comme la masse IDF de la requête) est nécessaire pour détecter la présence.

C. Validation du mécanisme

• Suppression de la composante partagée : Des expériences soustrayant une estimation du décalage au niveau du cas $b(x)$ des scores du récupérateur ont confirmé que la faible performance du score brut est pilotée par la composante partagée. Le retrait de celle-ci a élevé la précision du score brut pour l'aligner sur le niveau de la marge.
• Indistinguabilité : L'article confirme que sans données étiquetées, on ne peut pas prédire à partir de la seule distribution des scores si une marge ou un score brut sera préférable pour un système spécifique.

5. Signification et revendications

L'article formule trois revendications principales :

1. La faisabilité est un prérequis : La prédiction sélective ne peut pas sauver un classificateur qui place rarement la bonne réponse en première position. Pour les maladies ultra-rares, de nombreux LLM actuels échouent entièrement au test de faisabilité ; aucune calibration de confiance ne peut corriger un manque de prédictions de tête correctes.
2. Inadéquation Signal-Décision : Pour des ensembles de candidats fixes avec des scores non normalisés, la marge des deux premiers est le signal correct pour l'exactitude (le leader est-il juste ?), tandis que le score brut (ou un signal côté cas) est requis pour la présence (y a-t-il une réponse ?). Utiliser la marge pour la présence rejette des informations nécessaires.
3. Pas de "Free Lunch" dans la sélection de la porte : Les scores non étiquetés ne permettent pas de déterminer la stratégie de filtrage (gate) optimale ; le gain lié au changement de signal est indistinguable de la distribution des scores ; une validation étiquetée est strictement requise pour choisir entre une porte basée sur la marge ou sur le score.

Implication clinique : Les auteurs proposent une approche de triage "le récupérateur d'abord" pour les maladies rares. Un récupérateur basé sur les phénotypes devrait être utilisé pour filtrer les cas, et sa marge devrait être utilisée pour filtrer les prédictions les plus confiantes. Cependant, ils soulignent qu'il s'agit d'une aide au triage, et non d'un décideur autonome, car même les meilleures portes sur la queue ultra-rare opèrent avec des taux d'erreur significatifs (ex: ~20 % d'erreur à 10 % de couverture) et nécessitent une supervision humaine.

Limites reconnues :

• L'exactitude absolue du récupérateur est partiellement identifiée en raison d'une potentielle fuite de curation, bien que l'amélioration relative de la marge sur le taux de base soit robuste.
• La porte est biaisée en faveur des patients présentant plus de termes phénotypiques enregistrés, ce qui peut exclure des patients lors de leur première présentation (problème d'équité).
• Les seuils sont des estimations rétrospectives et ne constituent pas des garanties certifiées cliniquement pour de nouveaux patients.