🧬 biology

Open 3D-CT Vision-Language Models Do Not Clear a Pre-Registered Biomarker Gate Under Zero-Shot Prompting at n = 96 NSCLC-Radiogenomics

Deze studie toont aan dat hoewel de kenmerken van een open 3D-CT vision-language model decodeerbare EGFR-mutatiesignalen bevatten in NSCLC, zero-shot prompting faalt in het ontsluiten van deze informatie vanwege een geometrische misuitlijning tussen de tekst-prompt-as en de discriminatieve feature-richting, een beperking die alleen wordt overwonnen door gesuperviseerd proberen.

Oorspronkelijke auteurs: Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adil Karim, Amine Berquedich, El Habib Benlahmar, Sanaa Elfilali, Ahmed Zellou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een superintelligente, alwetende robotbibliothecaris hebt genaamd Merlin. Deze robot heeft miljoenen medische rapporten gelezen en duizenden CT-scans (3D-röntgenfoto's van de binnenkant van het lichaam) bekeken. De grote vraag die onderzoekers stelden was: "Als we Merlin een simpele vraag in gewoon Engels stellen, kan hij dan direct de genetische geheimen van een patiënt raden door alleen naar hun scan te kijken, zonder dat hij hiervoor ooit is getraind?"

Dit wordt "zero-shot" leren genoemd. Het is alsoos je een genie een nieuwe puzzel geeft en vraagt: "Los dit op!" zonder de handleiding te geven.

De onderzoekers zetten een strikte test op met 96 patiënten die een specif kind type longkanker hadden. Ze hadden een vooraf geregistreerde "poort" (een finishlijn) die de robot moest passeren om te bewijzen dat hij werkte: hij moest vaker dan 6es% gelijk hebben, met een zeer hoog niveau van vertrouwen.

De Grote Onthulling: De Robot Raakte de Kluts Kwijt
Toen de onderzoekers Merlin vroegen om de genetische mutaties (specifiek EGFR en KRAS) te raden met eenvoudige tekstprompts zoals "Deze patiënt heeft een gemuteerde tumor", struikelde de robot. Hij presteerde niet beter dan het gooien van een muntje.

Voor de EGFR-mutatie was de beste gok slechts ongeveer 0,599 (net onder de 60%).
Voor de KRAS-mutatie was het zelfs nog lager, rond de 0,541.
Geen van de gokken overschreed de finishlijn van 0,65.

Sterker nog, de robot was zo verward dat hij op een aparte groep van 42 patiënten gokte met resultaten die in feite willekeurige ruis waren, liggend tussen 0,394 en 0,500. De paper sluit expliciet de mogelijkheid uit dat Merlin simpelweg het antwoord "niet weet". De mislukking kwam niet doordat de robot blind was; het was omdat de manier waarop de vraag werd gesteld de verkeerde sleutel voor het slot was.

De Plotwending: De Schat Was Er Altijd Al
Hier is de plotwending die dit verhaal zo interessant maakt. De onderzoekers gaven niet zomaar op. Ze namen exact dezelfde 3D-scans waar Merlin naar had gekeken en vroegen hem een ander soort vraag te beantwoorden. In plaats van Merlin te vragen te raden op basis van een tekstprompt, gaven ze de data aan een klein, gesuperviseerd computerebrein (een "lineaire probe") en zeiden: "Hé, kijk naar deze getallen en vind het patroon."

Plotseling stonden de "ogen" van de robot (de data die hij al had verwerkt) wagenwijd open.

Toen dit kleine brein naar dezelfde Merlin-data keek, raadde het de EGFR-mutatie correct in 0,748 van de gevallen (ongeveer 75%).
Dit overschreed gemakkelijk de finishlijn van 0,65.

De "Waarom": Een Verkeerd Afgestelde Kompas
Waarom faalde de tekstprompt terwijl de data-analyse wel slaagde? De auteurs leggen dit uit met een briljante geometrische analogie.

Stel je voor dat het brein van de robot een gigantische 512-dimensionale kamer is vol informatie. De genetische mutatie (EGFR) is een specifieke richting in die kamer, zoals een verborgen schatkist.

Het Gesuperviseerde Brein is als een persoon met een kaart die in elke richting in de kamer kan lopen om de kist te vinden. Zij vonden het gemakkelijk.
De Zero-Shot Prompt is als een zaklamp. De onderzoekers schijnen de zaklamp in een specifieke richting op basis van de woorden die ze typten ("gemuteerde tumor").
Het Probleen: De richting waarin de zaklamp scheen, stond bijna perfect zijwaarts (onder een hoek van 90 graden) ten opzichte van de richting van de schatkist. De onderzoekers berekenden dat de hoek tussen de tekstprompt en het genetische signaal bijna 0,02 was (wat nagenoeg willekeurig is).

De zaklamp scheen op een blinde muur, terwijl de schat vlak achter de persoon die de zaklamp vasthield lag. De tekstprompts die de onderzoekers gebruikten, waren zo vergelijkbaar met elkaar dat het "verschil" tussen hen (de richting waarin de robot keek) minuscuul was en de verkeerde kant op wees. De robot miste de data niet; de data zat alleen verborgen in een deel van de kamer dat de zaklamp niet kon bereiken.

Wat over de "Rook"-afleider?
Voordat de hoofdtest begon, maakten de onderzoekers zich zorgen dat de robot misschien gewoon zou raden op basis van of de patiënt rookte, omdat roken vaak gekoppeld is aan deze mutaties. Ze draaiden eerst een test op een ander type data, en het leek erop dat roken het enige was wat de robot kon zien (met een score van 0,708).

Echter, toen ze dit testten op de werkelijke Merlin-data die werd gebruikt voor het hoofdexperiment, draaide het verhaal om. Op de echte data was het genetische signaal (0,748) zelfs sterker dan het rooksignaal (0,603). Dit bewijst dat de robot de genetica kon zien als er op de juiste manier naar gevraagd werd, en dat de "rook"-zorg alleen een probleem was voor het eerste type data dat ze probeerden, niet voor de definitieve data.

De Kern van het Verhaal
Dit paper is een waarschuwing voor de toekomst van medische AI. Het laat zien dat de aanwezigheid van een krachtig, open-source robotmodel er niet voor zorgt dat we simpelweg een vraag in het Engels kunnen stellen en een medische diagnose krijgen.

Het Oordeel: Zero-shot prompting (vragen zonder training) slaagde er niet in om de finishlijn voor deze longkankermutaties te halen.
De Hoop: De data binnen het model bevat wél het antwoord. Het probleem is dat onze huidige "tekstprompts" als een bot mes zijn waarmee we proberen een deur te openen in plaats van een sleutel.
Het Vertrouwen: De auteurs zijn zeer zeker over dit. Ze hebben niet alleen gegokt; ze hebben de resultaten 1.000 keer gedraaid om er zeker van te zijn dat het geen toevalstreffer was. Het signaal was echt, de methode was alleen niet goed afgestemd.

Kortom: de robot heeft het antwoord, maar we hebben nog niet ontdekt hoe we de vraag moeten stellen.

Technische Samenvatting: Open 3D-CT Vision-Language Modellen halen een vooraf geregistreerde biomarker-poort niet bij zero-shot prompting bij n = 96 NSCLC-radiogenomica

Probleemstelling
De studie onderzoekt de haalbaarheid van het gebruik van open, vooraf getrainde 3D-CT Vision-Language Modellen (VLM's) voor zero-shot radiogenomische voorspelling bij niet-kleincellige longkanker (NSCLC). Specifiek wordt onderzocht of deze modellen moleculaire biomarkers (EGFR-mutatie, KRAS-mutatie, TP53 mRNA, STK11 mRNA) kunnen voorspellen via contrastieve beeld-tekst uitlijning zonder enige taakspecifieke training op de doelcohort. Het onderzoek werkt onder een strikt vooraf geregistreerd protocol met een kleine interne cohort ( $n=96$ ) en een externe hold-out cohort ( $n=42$ ), met als doel te bepalen of zero-shot prompting een rigoureuze prestatiepoort kan passeren (AUC > 0,65, bootstrap lower CI > 0,55 en externe replicatie), terwijl rekening wordt gehouden met potentiële confounders zoals rookgeschiedenis.

Methodologie
De auteurs stapten over van een oorspronkelijk gespecificeerd model (CT-CHAT/CT-CLIP) vanwege ontoegankelijke gewichten, en evalueerden twee beschikbare open alternatieven:

Merlin: Een 3D-geïnflateerde ResNet-152 + Clinical-Longformer CLIP-stijl model, getraind op abdominale CT-volumes gekoppeld aan radiologieverslagen.
BiomedCLIP: Een 2D ViT-B/16 + PubMedBERT contrastief model, getraind op een corpus van 15 miljoen biomedische documenten, hier gebruikt als 2D key-slice comparator.

Experimenteel Ontwerp:

Cohorten: Een interne NSCLC-radiogenomica cohort ( $n=96$ ) met CT-volumes, laesiemaskers, RNA-seq en klinische data; en een externe cohort ( $n=42$ ) met EGFR-labels en klinische data.
Zero-Shot Protocol: Beeldkenmerken (512-d) werden geëxtraheerd uit bevroren modellen. Deze werden gescoord tegen binaire prompt-paren (positief vs. negatief) via twee strategieën: "bare" (directe ziektevermelding) en "cot_brief" (korte rationale met beeldkenmerken). De score was de softmax-waarschijnlijkheid van de positieve prompt gebaseerd op het inproduct van beeld- en tekstembeddings, geschaald door een geleerd logit-temperatuur.
Confounder Probe (Fase 1): Een vooraf geregistreerde controle om te zien of "nooit-roker" status beter voorspeld kon worden dan de biomarkers op een proxy-substraat, wat de claims van een zuiver biomarker-signaal zou "foreclose" (uitsluiten).
Supervised Baselines: Om onderscheid te maken tussen de kwaliteit van de kenmerken en de beperkingen van de toegangsmethode, trainden de auteurs supervised probes (lineair, ridge en tiny-MLP) op dezelfde bevroren beeldkenmerken die door de VLM's werden geëxtraheerd.
Geometrische Analyse: De studie analyseerde de uitlijning tussen de tekst-prompt-as (de richting waarop de zero-shot score projecteert) en de discriminatieve as (de richting die een supervised probe vindt voor de biomarker).

Belangrijkste Resultaten

Zero-Shot Falen: Geen enkele zero-shot cel passeerde de vooraf geregistreerde poort.
- Interne Cohort: Het beste resultaat was voor STK11_high met gebruik van Merlin met "cot_brief" prompts (AUC 0,626), wat faalde voor de AUC > 0,65 drempel en een bootstrap lower CI (0,517) onder de 0,55 drempel had. EGFR en KRAS resultaten lagen nabij toeval (bijv. EGFR/Merlin/cot_brief: AUC 0,599).
- Externe Cohort: Alle zero-shot EGFR resultaten bevonden zich tussen 0,394 en 0,500 (toeval of anti-voorspellend).
- Modelvergelijking: Merlin (3D) presteerde consequent beter dan BiomedCLIP (2D), maar geen van beide passeerde de poort.
Supervised Succes vs. Zero-Shot Null: Cruciaal was dat wanneer dezelfde bevroren Merlin-kenmerken werden geëvalueerd met een supervised lineaire probe, het EGFR-signaal de poort passeerde (AUC 0,748, $p=0,010$ ). Dit demonstreert dat de kenmerken het biomarker-signaal bevatten, maar dat de zero-shot contrastieve toegangsmethode faalt om het te extraheren.
Confounder Reversal: De Fase 1 confounder probe, die aanvankelijk rook als een dominante voorspeller identificeerde op een proxy CT-FM substraat (AUC 0,708), hield niet stand op de gebenchmarkte Merlin-kenmerken. Op Merlin overtrof het supervised EGFR-signaal (AUC 0,748) het rook-signaal (AUC 0,603), wat aangeeft dat de confounder foreclosure substraat-specifiek was.
Geometrische Misuitlijning: De studie identificeerde het mechanisme van falen: de zero-shot score projecteert de beeldembedding op een enkele door tekst gedefinieerde as ( $\hat{v} = \hat{t}_{pos} - \hat{t}_{neg}$ ). De EGFR-discriminatieve richting ( $\hat{w}$ ) gevonden door supervised learning is bijna orthogonaal aan deze tekst-as (cosinus gelijkenis $\approx 0,018$ ). Bijgevolg wordt het biomarker-signaal bij projectie op de tekst-as weggegooid, terwijl het verwijderen van de tekst-as het signaal intact laat (AUC 0,748).

Belangrijkste Bijdragen

Benchmarking van Zero-Shot Limieten: Biedt een reproduceerbare, vooraf geregistreerde benchmark die aantoont dat huidige open 3D-CT VLM's, onder zero-shot prompting bij kleine cohortgroottes ( $n=96$ ), geen klinisch relevante biomarker-voorspelling kunnen bereiken voor EGFR of KRAS.
Ontkoppeling van Kenmerken en Toegangsmethode: Demonstreert dat een zero-shot null-resultaat niet noodzakelijkerwijs wijst op een gebrek aan biologisch signaal in de kenmerken. Het falen wordt toegeschreven aan de "access mode" (contrastieve prompting) in plaats van de kwaliteit van de kenmerken.
Geometrische Diagnose: Biedt een geometrische verklaring voor het falen, waarbij wordt aangetoond dat de discriminatieve richting voor biomarkers in de subspace ligt die orthogonaal is aan de tekst-prompt-as, wat wordt verergerd door de bijna-collineariteit van positieve en negatieve prompts en de beeld-tekst modaliteitskloof.
Confounder Verificatie: Benadrukt dat de relaties tussen confounders (bijv. roken vs. biomarker) substraat-specifiek zijn en moeten worden geverifieerd op de daadwerkelijke kenmerken die worden gebruikt, en niet enkel op proxy-substraten.

Betekenis en Claims
Het artikel claimt dat hoewel open radiologie VLM's over de onderliggende feature-representaties beschikken om EGFR-signalen te decoderen (zoals bewezen door supervised probes), de zero-shot contrastieve prompting mechanisme structureel niet in staat is om deze signalen te ontsluiten bij kleine cohortgroottes. De "zero-shot null" is een beperking van de prompting-interface, niet van de geleerde representatie van het model. De auteurs concluderen dat voor kleine-cohort radiogenomica, zero-shot prompting momenteel prestaties nabij toeval oplevert (AUC 0,55–0,60) voor EGFR/KRAS, en dat de discriminatieve informatie zich bevindt in richtingen van de embedding-ruimte waar standaard tekst-prompts niet mee uitgelijnd zijn. De studie pleit voor het interpreteren van zero-shot mislukkingen door de lens van representatie-geometrie in plaats van uit te gaan van een gebrek aan biologisch signaal.

Meer zoals dit