🧬 biology

Open 3D-CT Vision-Language Models Do Not Clear a Pre-Registered Biomarker Gate Under Zero-Shot Prompting at n = 96 NSCLC-Radiogenomics

Cette étude démontre que bien que les caractéristiques des modèles de vision-langage 3D-CT ouverts contiennent des signaux de mutation de l'EGFR décodables dans le cancer du poumon non à petites cellules (NSCLC), le prompting zero-shot échoue à accéder à cette information en raison d'un désalignement géométrique entre l'axe de l'invite textuelle et la direction de la caractéristique discriminante, une limitation surmontée uniquement par le sondage supervisé.

Auteurs originaux : Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot bibliothécaire super intelligent et omniscient nommé Merlin. Ce robot a lu des millions de rapports médicaux et examiné des milliers de scanners (des radiographies 3D de l'intérieur du corps). La grande question posée par les chercheurs était : « Si nous posons simplement à Merlin une question simple en langage courant, peut-il deviner instantanément les secrets génétiques d'un patient rien qu'en regardant son scanner, sans jamais avoir appris comment faire ? »

C'est ce qu'on appelle l'apprentissage « zero-shot » (apprentissage sans exemple). C'est comme donner un nouveau puzzle à un génie et lui dire : « Résous ça ! », sans lui donner le manuel d'instructions.

Les chercheurs ont mis en place un test strict avec 96 patients souffrant d'un type spécifique de cancer du poumon. Ils avaient établi un « portail » pré-enregistré (une ligne d'arrivée) que le robot devait franchir pour prouver son efficacité : il devait avoir raison plus de 65 % du temps, avec un très haut niveau de confiance.

La grande révélation : Le robot s'est perdu
Lorsque les chercheurs ont demandé à Merlin de deviner les mutations génétiques (spécifiquement EGFR et KRAS) en utilisant des invites de texte simples comme « Ce patient a une tumeur mutante », le robot a trébuché. Il n'a pas fait mieux que de jouer à pile ou face.

Pour la mutation EGFR, la meilleure supposition n'était que d'environ 0,599 (juste en dessous de 60 %).
Pour la mutation KRAS, elle était encore plus basse, autour de 0,541.
Aucune des suppositions n'a franchi la ligne d'arrivée de 0,65.

En fait, le robot était si confus que sur un groupe distinct de 42 patients, ses suppositions étaient essentiellement du bruit aléatoire, se situant entre 0,394 et 0,500. L'article exclut explicitement l'idée que Merlin « ne sache pas » simplement la réponse. L'échec n'était pas dû au fait que le robot était aveugle ; c'était parce que la façon dont la question était posée n'était pas la bonne clé pour la serrure.

Le rebondissement : Le trésor était là depuis le début
Voici le rebondissement qui rend cette histoire si intéressante. Les chercheurs n'ont pas simplement abandonné. Ils ont pris exactement les mêmes scanners 3D que Merlin avait examinés et ont posé un autre type de question. Au lieu de demander à Merlin de deviner à partir d'une invite textuelle, ils ont donné les données à un minuscule cerveau informatique supervisé (une « sonde linéaire ») et lui ont dit : « Hé, regarde ces chiffres et trouve le motif ».

Soudain, les « yeux » du robot (les données qu'il avait déjà traitées) se sont ouverts en grand.

Lorsque ce petit cerveau a examiné les mêmes données de Merlin, il a deviné la mutation EGFR correctement 0,748 du temps (environ 75 %).
Cela a facilement franchi la ligne d'arrivée de 0,65.

Le « Pourquoi » : Un compas mal aligné
Alors, pourquoi l'invite textuelle a-t-elle échoué alors que l'analyse des données a réussi ? Les auteurs expliquent cela avec une brillante analogie géométrique.

Imaginez que le cerveau du robot est une immense pièce en 512 dimensions remplie d'informations. La mutation génétique (EGFR) est une direction spécifique dans cette pièce, comme un coffre au trésor caché.

Le cerveau supervisé est comme une personne avec une carte qui peut marcher dans n'importe quelle direction dans la pièce pour trouver le coffre. Ils l'ont trouvé facilement.
L'invite zero-shot est comme une lampe de poche. Les chercheurs ont braqué la lampe dans une direction spécifique basée sur les mots qu'ils ont tapés (« tumeur mutante »).
Le problème : La direction vers laquelle la lampe pointait était presque parfaitement latérale (à un angle de 90 degrés) par rapport à la direction du coffre au trésor. L'article calcule que l'angle entre l'invite textuelle et le signal génétique était proche de 0,02 (ce qui est pratiquement aléatoire).

La lampe éclairait un mur vide, alors que le trésor se trouvait juste derrière la personne tenant la lampe. Les invites textuelles utilisées par les chercheurs étaient si similaires entre elles que leur « différence » (la direction vers laquelle le robot regardait) était infime et pointait au mauvais endroit. Le robot ne manquait pas de données ; les données étaient simplement cachées dans une partie de la pièce que la lampe de poche ne pouvait pas atteindre.

Qu'en est-il du distracteur « Tabac » ?
Avant le test principal, les chercheurs craignaient que le robot ne se contente de deviner si le patient fumait, car le tabagisme est souvent lié à ces mutations. Ils ont d'abord testé cela sur un autre type de données, et il semblait que le tabac était la seule chose que le robot pouvait voir (avec un score de 0,708).

Cependant, lorsqu'ils ont testé cela sur les données réelles utilisées pour l'expérience principale, l'histoire a basculé. Sur les données réelles, le signal génétique (0,748) était en fait plus fort que le signal du tabagisme (0,603). Cela prouve que le robot pouvait voir la génétique s'il était interrogé de la bonne manière, et que l'inquiétude concernant le « tabac » n'était un problème que pour le premier type de données testé, pas pour l'expérience finale.

L'essentiel à retenir
Cet article est un avertissement pour l'avenir de l'IA médicale. Il montre que même si un modèle puissant et open-source existe, cela ne signifie pas que nous pouvons simplement lui poser une question en anglais pour obtenir un diagnostic médical.

Le verdict : L'invite zero-shot (demander sans entraînement) a échoué à franchir le portail pour ces mutations du cancer du poumon.
L'espoir : Les données à l'intérieur du modèle contiennent la réponse. Le problème est que nos « invites textuelles » actuelles sont comme essayer d'ouvrir une porte avec un couteau à beurre au lieu d'une clé.
La confiance : Les auteurs sont très sûrs d'eux. Ils n'ont pas seulement deviné ; ils ont fait tourner les chiffres 1 000 fois pour s'assurer que les résultats n'étaient pas dus au hasard. Le signal était réel, la méthode était simplement mal alignée.

En bref : le robot a la réponse, mais nous n'avons pas encore trouvé comment poser la question.

Résumé Technique : Les modèles de vision-langage 3D-CT ouverts ne franchissent pas une barrière de biomarqueurs pré-enregistrée en mode zero-shot prompting à n = 96 NSCLC-Radiogénomique

Énoncé du problème
L'étude examine la faisabilité de l'utilisation de modèles de vision-langage (VLM) 3D-CT ouverts et pré-entraînés pour la prédiction radiogénomique zero-shot dans le cancer du poumon non à petites cellules (NSCLC). Plus précisément, elle cherche à déterminer si ces modèles peuvent prédire des biomarqueurs moléculaires (mutation EGFR, mutation KRAS, ARNm de TP53, ARNm de STK11) via l'alignement contrastif image-texte sans aucun entraînement spécifique à la tâche sur la cohorte cible. La recherche opère sous un protocole strictement pré-enregistré avec une petite cohorte interne ( $n=96$ ) et une cohorte externe de réserve ( $n=42$ ), visant à déterminer si le prompting zero-shot peut franchir une barrière de performance rigoureuse (AUC > 0,65, IC inférieur bootstrap > 0,55 et réplication externe) tout en tenant compte de potentiels facteurs de confusion comme l'historique de tabagisme.

Méthodologie
Les auteurs ont pivoté d'un modèle initialement spécifié (CT-CHAT/CT-CLIP) en raison de l'inaccessibilité des poids, évaluant deux alternatives ouvertes disponibles :

Merlin : Un modèle de type CLIP composé d'un ResNet-152 3D-inflé et d'un Clinical-Longformer, entraîné sur des volumes de CT abdominaux appariés à des rapports radiologiques.
BiomedCLIP : Un modèle contrastif 2D ViT-B/16 + PubMedBERT, entraîné sur un corpus biomédical de 15 millions, utilisé ici comme comparateur de coupe clé 2D.

Design Expérimental :

Cohortes : Une cohorte interne NSCLC-Radiogenomics ( $n=96$ ) comprenant des volumes CT, des masques de lésions, l'ARN-seq et des données cliniques ; et une cohorte externe ( $n=42$ ) avec des étiquettes EGFR et des données cliniques.
Protocole Zero-Shot : Les caractéristiques d'image (512-d) ont été extraites de modèles gelés. Elles ont été scorées contre des paires de prompts binaires (positif vs négatif) en utilisant deux stratégies : « bare » (énoncé direct de la maladie) et « cot_brief » (raisonnement court avec indices d'imagerie). Le score était la probabilité softmax du prompt positif basée sur le produit scalaire des embeddings image et texte, mis à l'échelle par une température de logit apprise.
Sonde de Facteur de Confusion (Phase 1) : Un contrôle pré-enregistré pour vérifier si le statut « non-fumeur » pouvait être prédit mieux que les biomarqueurs sur un substrat proxy, ce qui aurait « forclos » les affirmations de signal pur de biomarqueur.
Baselines Supervisées : Pour distinguer la qualité des caractéristiques des limitations du mode d'accès, les auteurs ont entraîné des sondes supervisées (linéaires, ridge et tiny-MLP) sur les mêmes caractéristiques d'image gelées extraites par les VLM.
Analyse Géométrique : L'étude a analysé l'alignement entre l'axe du prompt textuel (la direction sur laquelle le score zero-shot se projette) et l'axe discriminatif (la direction qu'une sonde supervisée trouve pour le biomarqueur).

Résultats Clés

Échec du Zero-Shot : Aucune cellule zero-shot n'a franchi la barrière pré-enregistrée.
- Cohorte Interne : Le meilleur résultat concernait STK11_high en utilisant Merlin avec des prompts « cot_brief » (AUC 0,626), ce qui a échoué au seuil AUC > 0,65 et présentait un IC inférieur bootstrap (0,517) inférieur au seuil de 0,55. Les résultats pour EGFR et KRAS étaient proches du hasard (ex: EGFR/Merlin/cot_brief : AUC 0,599).
- Cohorte Externe : Tous les résultats zero-shot pour EGFR se situaient entre 0,394 et 0,500 (hasard ou prédictivité inverse).
- Comparaison de Modèles : Merlin (3D) a systématiquement surpassé BiomedCLIP (2D), mais aucun des deux n'a franchi la barrière.
Succès Supervisé vs Nullité Zero-Shot : Crucialement, lorsque les mêmes caractéristiques de Merlin ont été évaluées via une sonde linéaire supervisée, le signal EGFR a franchi la barrière (AUC 0,748, $p=0,010$ ). Cela démontre que les caractéristiques contiennent le signal du biomarqueur, mais que le mode d'accès par prompting contrastif zero-shot échoue à le récupérer.
Inversion du Facteur de Confusion : La sonde de la Phase 1, qui avait initialement signalé le tabagisme comme un prédicteur dominant sur un substrat proxy CT-FM (AUC 0,708), ne s'est pas maintenue sur les caractéristiques de Merlin. Sur Merlin, le signal supervisé d'EGFR (AUC 0,748) a dépassé le signal du tabagisme (AUC 0,603), indiquant que la forclusion par le facteur de confusion était spécifique au substrat.
Désalignement Géométrique : L'étude a identifié le mécanisme de l'échec : le score zero-shot projette l'embedding d'image sur un axe unique défini par le texte ( $\hat{v} = \hat{t}_{pos} - \hat{t}_{neg}$ ). La direction discriminante pour l'EGFR ( $\hat{w}$ ) trouvée par l'apprentissage supervisé est presque orthogonale à cet axe textuel (similarité cosinus $\approx 0,018$ ). Par conséquent, la projection sur l'axe textuel élimine le signal du biomarqueur, tandis que le retrait de l'axe textuel préserve le signal (AUC 0,748).

Contributions Clés

Évaluation des Limites du Zero-Shot : Fournit un benchmark reproductible et pré-enregistré montrant que les actuels VLM 3D-CT ouverts, sous prompting zero-shot avec de petits échantillons ( $n=96$ ), ne peuvent pas atteindre une prédiction de biomarqueur cliniquement pertinente pour EGFR ou KRAS.
Découplage des Caractéristiques du Mode d'Accès : Démontre qu'un résultat nul en zero-shot n'implique pas nécessairement une absence de signal biologique dans les caractéristiques. L'échec est attribué au « mode d'accès » (prompting contrastif) plutôt qu'à la qualité des caractéristiques.
Diagnostic Géométrique : Propose une explication géométrique de l'échec, montrant que la direction discriminante pour les biomarqueurs réside dans le sous-espace orthogonal à l'axe du prompt textuel, un phénomène exacerbé par la quasi-colinéarité des prompts positifs et négatifs ainsi que par le fossé de modalité image-texte.
Vérification des Facteurs de Confusion : Souligne que les relations de confusion (ex: tabagisme vs biomarqueur) sont spécifiques au substrat et doivent être vérifiées sur les caractéristiques réelles utilisées, et non sur des substrats proxy.

Signification et Revendications
L'article soutient que bien que les VLM de radiologie ouverts possèdent les représentations de caractéristiques sous-jacentes pour décoder les signaux EGFR (comme le prouvent les sondes supervisées), le mécanisme de prompting contrastif zero-shot est structurellement incapable d'accéder à ces signaux pour de petites cohortes. Le « nul zero-shot » est une limitation de l'interface de prompting, et non de la représentation apprise par le modèle. Les auteurs concluent que pour la radiogénomique à petite cohorte, le prompting zero-shot produit actuellement des performances proches du hasard (AUC 0,55–0,60) pour EGFR/KRAS, et que l'information discriminante réside dans des directions de l'espace d'embedding qui ne s'alignent pas avec les prompts textuels standards. L'étude préconise d'interpréter les échecs du zero-shot à travers la géométrie de la représentation plutôt qu'en supposant une absence de signal biologique.

Articles similaires