🤖 machine learning

CANDOR: Chance-Calibrated Discordance in Frozen Foundation Encoders

L'article introduit CANDOR, une métrique de discordance calibrée sur les probabilités qui révèle que les encodeurs de fondation gelés ne sont pas intrinsèquement aveugles aux découvertes médicales, mais souffrent d'une faible séparation géométrique et d'une mauvaise sélection de têtes, comme en témoignent leurs taux d'erreur de plus proches voisins élevés même lorsque des têtes légères atteignent des performances solides.

Auteurs originaux : Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Publié 2026-07-22

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître différents types d'oiseaux. Vous lui montrez des millions de photos, et il apprend à repérer un « rouge-gorge » ou un « moineau » en observant les formes et les couleurs dans les images. C'est ainsi que fonctionnent les « modèles de fondation » modernes : ce sont des cerveaux géants pré-entraînés qui ont tout vu, des chats aux voitures en passant par les nuages. Maintenant, imaginez que vous vouliez utiliser ce même robot pour aider les médecins à lire des radiographies. Vous ne voulez pas réentraîner tout le robot ; vous voulez simplement y attacher une « tête » minuscule et simple qui dise « oui, il y a un os cassé » ou « non, tout semble normal ».

La grande question est la suivante : le robot voit-il réellement l'os cassé dans sa mémoire interne, ou ne fait-il que deviner en se basant sur d'autres indices ? Habituellement, nous vérifions si le robot est performant en regardant la fréquence à laquelle la petite tête donne la bonne réponse. Mais et si la carte interne du robot était désordonnée ? Et si, au plus profond de son cerveau, l'image d'un os cassé ressemblait plus à l'image d'un os sain qu'à celle d'un autre os cassé ? Si c'est le cas, le robot n'est pas « aveugle » — il est juste confus. C'est comme un bibliothécaire qui aurait organisé les livres par couleur plutôt que par histoire ; il peut trouver un livre rouge, mais il ne peut pas vous dire s'il s'agit d'un mystère ou d'une romance simplement en regardant l'étagère. Cet article pose une question cruciale : lorsque ces puissants robots sont figés sur place, sont-ils réellement aveugles aux détails médicaux, ou sont-ils simplement peu performants pour les distinguer ?

Le problème de l'ancienne méthode

Pendant longtemps, les scientifiques mesuraient la performance de ces robots figés en évaluant la capacité d'une « tête » simple à lire leurs caractéristiques. Si la tête obtenait un score élevé, tout le monde supposait que le robot était intelligent. Mais les auteurs de cet article, Soroosh Tayebi Arasteh et son équipe, ont réalisé que cette méthode revenait à juger un chef cuisinier sur sa capacité à servir un plat sans vérifier si la nourriture est réellement cuite.

Ils ont découvert un piège caché dans la façon dont nous mesurons la « confusion ». Imaginez que vous essayiez de trouver un ami dans une pièce bondée. Si votre ami porte un chapeau rouge, et qu'il y a 100 personnes avec des chapeaux rouges mais seulement 1 personne avec un chapeau bleu, et que vous demandez au robot de trouver la personne au chapeau bleu, le robot pourrait simplement deviner « bleu » parce que c'est rare. Les anciens outils de mesure étaient trompés par la fréquence avec laquelle une maladie était commune ou rare. Si une maladie était rare, les outils concluaient que le robot était « effondré » (complètement inutile) simplement parce que les mathématiques étaient déséquilibrées, et non parce que le robot était réellement mauvais. C'était comme blâmer un détective pour avoir échoué à trouver une aiguille dans une botte de foin, alors que le vrai problème était que la botte de foin était composée à 9% d'aiguilles et 1% de foin.

Entrée en scène de CANDOR : Le juge équitable

Pour corriger cela, l'équipe a inventé un nouvel outil appelé CANDOR (Chance-Calibrated Discordance). Considérez CANDOR comme un arbitre qui s'assure que le jeu est équitable avant que le coup de sifflet ne retentisse.

Voici comment cela fonctionne : au lieu de laisser le robot regarder une foule désordonnée, CANDOR met en place un jeu parfaitement équilibré. Il prend l'image d'un patient présentant un problème spécifique (comme un poumon affaissé, appelé pneumothorax) et demande au robot de trouver ses cinq « voisins » les plus proches dans sa mémoire. Mais voici l'astuce : CANDOR force le robot à choisir entre deux groupes de voisins qui sont exactement de la même taille. Un groupe contient des patients avec le problème, et l'autre groupe contient des patients sans le problème.

Si le robot est vraiment bon, les patients avec le problème devraient être plus proches du groupe « problème ». Si le robot est confus, les patients avec le problème seront plus proches du groupe « sans problème ». Comme les groupes sont de taille identique, le robot a une chance sur deux de deviner correctement par pur hasard. Cela donne aux scientifiques un « niveau de chance » parfait pour comparer.

La découverte choquante : Pas aveugle, juste faible

Lorsque l'équipe a testé CANDOR sur 22 robots puissants différents à travers 20 jeux de données différents (incluant des radiographies thoraciques, des scanners oculaires et même des photos d'oiseaux), elle a découvert quelque chose de surprenant.

Premièrement, ils ont prouvé que les robots ne sont pas aveugles. Les anciens outils faisaient croire que les robots étaient totalement inutiles pour les maladies rares, mais CANDOR a montré que les robots possèdent réellement l'information. Ils ne fixent pas un mur blanc ; ils se tiennent simplement dans une pièce embrumée.

Cependant, les robots sont très faibles. Même le meilleur robot de l'étude, nommé RAD-DINO, qui est entraîné spécifiquement sur des radiographies thoraciques, restait confus environ 18,4 % du temps sur les cas de pneumothorax. Cela signifie que pour près d'un patient sur cinq souffrant d'un poumon affaissé, la carte interne du robot plaçait ce patient plus près d'une personne en bonne santé que d'une autre personne avec un poumon affaissé.

Les chiffres étaient encore plus frappants pour d'autres conditions. Pour le glaucome (une maladie oculaire), le meilleur robot performait au niveau du pur hasard (50 %), ce qui signifie qu'il n'était pas meilleur que de lancer une pièce. Pour les espèces d'oiseaux, ce même robot était un génie, n'étant confus que 4,5 % du temps. Mais pour les radiographies thoraciques, il était confus 42,8 % du temps. C'est comme si le robot était un chef étoilé capable d'identifier parfaitement une épice rare, mais qui se confondrait en essayant de distinguer le sel du sucre.

Pourquoi cela arrive-t-il ?

L'équipe s'est également demandé : « Qu'est-ce qui rend un robot confus ? » Ils ont testé de nombreuses idées. Est-ce parce que le robot est trop petit ? Non. Est-ce parce qu'il a été entraîné sur des données anciennes ? Non. Est-ce parce que la maladie est rare ? Non.

Ils ont trouvé une chose qui prédit fortement la confusion : l'Éradication de la Rétention (Erasure Retention). Imaginez que vous preniez la photo d'un os cassé, puis que vous utilisiez une gomme magique pour effacer la partie cassée, ne laissant que l'os sain. Si vous montrez cette photo « effacée » au robot, sa carte interne change-t-elle ?

Si le robot est intelligent, sa carte devrait changer radicalement car la partie la plus importante a disparu.
Si le robot est faible, sa carte bouge à peine. C'est comme une personne qui regarde la photo d'un chien mais qui se concentre en réalité sur l'herbe en arrière-plan ; si vous effacez le chien, elle ne remarque rien.

L'équipe a constaté que les robots dont la carte bougeait à peine lorsque l'indice était effacé étaient les mêmes qui étaient les plus confus. Cela suggère que les robots ne regardent pas la maladie elle-même, mais autre chose dans l'image, comme la forme de la cage thoracique ou l'éclairage, et passent à côté du véritable problème.

La bonne et la mauvaise nouvelle

L'article se termine sur une note à la fois pleine d'espoir et de réalisme. Même si un robot seul peut être confus, l'équipe a découvert que si vous disposez d'un panel de 11 robots différents, il y en a presque toujours un qui a raison.

Voyez cela comme un groupe de détectives. Si un détective manque un indice, un autre pourrait le découvrir. L'équipe a montré que si un robot seul peut manquer 35,9 % des cas, un système intelligent capable de choisir le meilleur robot pour chaque image spécifique pourrait n'en manquer que 2,8 %. L'information est là ; elle est simplement dispersée à travers différents robots. Le problème n'est pas que les données manquent, c'est que nous n'avons pas encore construit un système assez performant pour choisir le bon robot pour la tâche.

Ce qu'il faut retenir

Cet article ne dit pas que nous devrions abandonner nos médecins IA. Au contraire, il nous donne une nouvelle façon, plus juste, de vérifier s'ils font leur travail. Il nous indique que ces robots figés ne sont pas aveugles, mais qu'ils sont fragiles. Ils peuvent être facilement trompés, et ils passent souvent à côté des détails fins qui comptent le plus. En utilisant CANDOR, les médecins et les scientifiques peuvent désormais identifier précisément les maladies pour lesquelles un robot est faible avant même de l'utiliser. C'est un rappel que, même si un robot est grand et puissant, cela ne signifie pas qu'il voit tout clairement ; parfois, il a simplement besoin d'une meilleure carte.

Résumé Technique : CANDOR – Chance-Calibrated Discordance in Frozen Foundation Encoders

Énoncé du Problème

L'évaluation actuelle des encodeurs de fondation gelés repose presque exclusivement sur la performance d'une "tête" légère (par exemple, un classificateur linéaire) entraînée sur les caractéristiques gelées de l'encodeur, typiquement mesurée par l'Aire Sous la Courbe ROC (AUROC). Cette métrique régit les choix de déploiement mais échoue à révéler un mode de défaillance critique : l'effondrement géométrique (geometric collapse).

Les mesures géométriques existantes, telles que la discordance des plus proches voisins, tentent de quantifier la capacité d'un encodeur à séparer les classes dans son espace de caractéristiques. Cependant, ces mesures sont confondues par la prévalence des classes. Lorsque les banques de référence (échantillons positifs et négatifs) sont de tailles inégales, la banque la plus large domine la recherche du plus proche voisin en raison de sa densité plutôt que de sa séparation géométrique. Par conséquent, les découvertes rares apparaissent comme "effondrées" (c'est-à-dire que les positifs sont plus proches des négatifs) simplement parce que les négatifs sont plus nombreux, et non parce que l'encodeur manque d'information. Cela crée un biais systématique où la sévérité de la défaillance rapportée suit la rareté de la découverte plutôt que la qualité de l'encodage.

Méthodologie : Le Cadre CANDOR

Les auteurs introduisent CANDOR (Chance-Calibrated Neighborhood DiscORdance), une mesure conçue pour isoler la défaillance géométrique du biais de prévalence.

Opérateur Central

CANDOR mesure la proportion d'échantillons positifs qu'un encodeur place plus près de ses voisins de label opposé que de ses propres semblables, au sein d'un contexte d'acquisition strictement apparié (par exemple, même hôpital, même projection, même vue).

Appariement de Contexte : Le jeu de données est partitionné en contextes $s$ basés sur des covariables d'acquisition (site, projection, source du jeu de données) pour garantir que les comparaisons ne se font qu'entre des images qui diffèrent uniquement par la découverte d'intérêt.
Banques de Taille Égale : Pour une requête positive $x$ dans un contexte $s$ , la méthode construit deux banques de référence : une banque positive $B^+_s$ et une banque négative $B^-_s$ , toutes deux de taille égale $n$ .
Métrique de Discordance ( $DM_g$ ) : Pour une requête positive $x$ , la méthode calcule la similitude cosinus moyenne avec ses $k$ plus proches voisins dans la banque négative ( $c^-$ ) et dans la banque positive ( $c^+$ ). La discordance est définie par $DM_g(x) = c^-(x) - c^+(x)$ .
L'Opérateur ( $D$ ) : La métrique finale est la probabilité que $DM_g(x) > 0$ pour un $x$ positif aléatoire :
$D(g; F, s) = \Pr[DM_g(x) > 0 \mid F(x) = 1, x \in s]$
Cela représente la part des positifs qu'un encodeur place plus près de l'étiquette opposée que de la sienne.

Garanties Théoriques

Niveau de Chance Exact : Les auteurs prouvent (Lemme 1) que si les banques de référence sont de taille égale, les groupes de labels sont échangeables sous relabeling. Par conséquent, pour un encodeur sans information sur la découverte (un encodeur "aveugle"), le taux de discordance attendu est exactement de 0,5 (50%). Cela fournit une hypothèse nulle fixe et théorique sans nécessiter d'estimation empirique.
Biais Non Corrigé : L'article démontre que des banques inégales ( $m > n$ ) provoquent un taux de discordance supérieur à 0,5 pour les encodeurs aveugles, fabriquant systématiquement l'apparence d'un effondrement pour les découvertes rares.

Instruments Additionnels

Borne d'Irréductibilité : Les auteurs prouvent que si un échantillon positif possède un "jumeau discordant" (un voisin négatif plus proche que tout voisin positif), la marge normalisée ( $m/L$ ) de n'importe quelle tête Lipschitz sur cet encodeur est plafonnée. Cela implique que pour ces cas spécifiques, aucune capacité de tête ne peut séparer les classes ; la défaillance est géométrique.
Rétention d'Effacement (Erasure Retention) : Une métrique sans étiquette mesurant à quel point la représentation change lorsque la région de preuve annotée est occultée (remplissage par la moyenne). Une haute rétention (peu de mouvement) suggère que l'encodeur n'est pas attentif à la preuve.
Impureté de Voisinage : Un score sans étiquette tentant de signaler les jumeaux discordants sans étiquettes de vérité terrain, bien que l'article note que cela performe mal par rapport aux bases de référence basées sur la confiance.

Contributions Clés

Un Opérateur Calibré sur la Chance : L'introduction de banques de référence de taille égale fixe le niveau de chance à exactement 0,5, corrigeant le biais de prévalence des mesures de discordance existantes.
Une Borne d'Irréductibilité : Une preuve théorique montrant que les jumeaux discordants imposent un plafond strict sur la marge de toute tête Lipschitz, distinguant entre les encodeurs "aveugles" (absence d'information) et les encodeurs "faibles" (l'information existe mais est géométriquement compressée).
Une Cartographie Complète des Défaillances : Une analyse empirique sur 22 encodeurs, 20 jeux de données, 7 domaines et 605 443 images, révélant que les encodeurs gelés ne sont pas aveugles mais encodent des découvertes fines de manière faible, avec des taux de défaillance variant significativement selon le domaine.

Résultats Expérimentaux

Portée

L'étude évalue 22 encodeurs gelés (incluant RAD-DINO, DINOv3, CLIP, et des modèles spécifiques au domaine comme Phikon et RETFound) à travers :

Radiographie Thoracique : 12 découvertes sur 11 contextes d'acquisition (MIMIC-CXR, CheXpert, etc.).
Autres Domaines Médicaux : Histopathologie, Fond d'œil (rétinopathie, glaucome), Dermatologie, Mammographie.
Domaines Naturels : Espèces d'oiseaux, Variantes d'aéronefs.

Principales Découvertes

Pas Aveugles, Mais Faibles : Contrairement à l'hypothèse selon laquelle les encodeurs seraient "aveugles" aux découvertes médicales fines, la métrique CANDOR corrigée montre qu'aucun encodeur n'est réellement aveugle (tous les scores sont significativement inférieurs au niveau de chance de 50 %). Cependant, ils sont faibles.
- Exemple : Le meilleur modèle thoracique (RAD-DINO) atteint une AUROC de 84,5 pour le pneumothorax, mais place tout de même 18,4 % des positifs de pneumothorax plus près d'un film négatif que d'un film positif au sein du même hôpital.
- Exemple : Sur 12 découvertes thoraciques, le taux de discordance moyen est de 27,7 %.
Variance de Domaine : La faiblesse n'est pas uniforme.
- Résolu : L'histopathologie (tuiles de tumeurs) et les espèces d'oiseaux sont bien résolus (taux de discordance ~2,7 %–7,7 %).
- Faible : Les découvertes thoraciques ont une médiane de discordance de 42,1 %.
- Niveau de Chance : Le glaucome et la malignité mammographique sont encodés au niveau ou proche du niveau de chance (49,8 %–50,0 %), performant non mieux qu'un ViT initialisé aléatoirement.
Sélection vs Information : Bien qu'une seule tête Lipschitz soit limitée par la géométrie des jumeaux discordants, un sélecteur "oracle" capable de choisir la meilleure tête par image peut récupérer une performance significative. Sur les cas où une seule tête manque 35,9 % des positifs, un sélecteur parmi 11 têtes n'en manque que 2,8 %. Le déficit est une question de sélection, et non d'information.
Corrélation avec la Rétention d'Effacement : Il existe une forte corrélation positive (Spearman 0,855) entre la rétention d'effacement (combien peu l'embedding bouge lorsque la preuve est occultée) et le taux de discordance. Les encodeurs qui bougent à peine lorsque la preuve est retirée sont ceux qui placent les positifs à côté de leurs opposés.
Aucune Association avec d'Autres Facteurs : La défaillance n'est pas associée à l'objectif de pré-entraînement (SSL vs I-T vs Supervisé), à l'échelle du modèle, à l'année de sortie ou à la taille de la découverte.

Signification et Revendications

L'article affirme que CANDOR fournit un outil de diagnostic de pré-entraînement capable de signaler les découvertes pour lesquelles un encodeur gelé supporte mal la séparation, avant même d'entraîner une tête.

Inversion des Conclusions : La correction inverse l'interprétation de la défaillance de l'encodeur. Au lieu que les découvertes rares soient "effondrées" à cause de la prévalence, elles sont révélées comme étant encodées avec une faiblesse spécifique et mesurable.
Limite Structurelle : La défaillance est structurelle. Si un jumeau discordant existe, la géométrie elle-même empêche toute tête Lipschitz d'atteindre une marge large. La seule issue est une règle de sélection non-Lipschitzienne (choisir différents encodeurs pour différentes images), ce qui nécessite l'accès au label lors de l'inférence.
Implication Pratique : Les encodeurs gelés ne sont pas universellement "aveugles" aux preuves cliniques fines ; ils encodent plutôt certains types de preuves (comme les découvertes thoraciques) de manière faible. Cette faiblesse est mesurable, irréductible par l'architecture de la tête, et cartographiable à travers les domaines.

Les auteurs concluent que bien que l'écart entre ce qu'un panel d'encodeurs sait et ce qu'un seul encodeur gelé peut extraire soit important, la valeur immédiate de CANDOR est sa capacité à identifier le "terrain meuble" (soft ground) — des découvertes spécifiques où la géométrie gelée est insuffisante pour une séparation fiable.