Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

Technische Samenvatting: Ziekte-centrische Visie-Taal Pretraining met Hybride Visuele Codering voor 3D Computertomografie

Probleemstelling
Visie-taal pretraining (VLP) heeft veelbelovende resultaten getoond in medische AI door gebruik te maken van radiologieverslagen als rijke tekstuele supervisie. Bestaande methoden kampen echter met twee kritieke beperkingen wanneer ze worden toegepast op 3D Computertomografie (CT):

1. Inefficiënte visuele backbones: De meeste modellen hergebruiken backbones die ontworpen zijn voor 2D natuurlijke afbeeldingen. Het uitbreiden van Vision Transformers (ViT) naar 3D CT via volumetrische patchificatie brengt excessieve computationele kosten met zich mee en offert de ruimtelijke resolutie op, wat leidt tot het verlies van cruciale details in kleine laesies. Omgekeerd leggen 3D Convolutional Neural Networks (CNN's) lokale texturen goed vast, maar missen ze compatibiliteit met mainstream VLM-architecturen, wat de transfer van cross-modale priors die tijdens grootschalige pretraining zijn geleerd, belemmert.
2. Grove semantische uitlijning: Huidige benaderingen vertrouwen op globale beeld-tekst contrastieve leerprocessen, waarbij de fijne correlaties tussen specifieke pathologische bevindingen en hun tekstuele beschrijvingen worden genegeerd. Zelfs orgaan-niveau uitlijning kan verschillende ziekten (bijv. "atelectase", "emfyseem" en "longnoduli") binnen hetzelfde orgaan onder een generieke "abnormale" label samenvoegen, waardoor ziekte-specifieke associaties worden vertroebeld en de diagnostische discriminatie wordt verslechterd.

Methodologie
De auteurs stellen CT-DiagVLM voor, een op maat gemaakte VLP-framework gericht op de co-design van efficiënte representatie, fijne uitlijning en robuuste inferentie. Het framework bestaat uit drie kerncomponenten:

1. CNN–ViT Hybride Visuele Encoder:

   • Om een balans te vinden tussen het vastleggen van lokale details en globale aandacht, vervangt het model de standaard ViT patch embedding module door een 3D CNN backbone (specifiek een 3D ResNet-18).
   • Het maakt gebruik van een Multi-Scale Fusion Patch Embedding (MSF-PE) mechanisme. Kenmerken uit vier CNN-stadia worden geprojecteerd, uitgelijnd via triliniare interpolatie en gefuseerd om rijke token-initialisaties te creëren.
   • Deze embeddings worden gevoed aan een ViT-encoder geïnitialiseerd met pre-trained SigLIP-2 gewichten. Dit ontwerp behoudt globale aandachtmechanismen en cross-modale priors, terwijl het efficiënt multi-schaal lokale anatomische details vastlegt zonder de computationele last van directe zelf-aandacht op hoog-resolutie 3D volumes.
   • Een U-Net-stijl decoder voorspelt orgaanmaskers, die worden gebruikt om ViT-tokens te filteren en orgaan-specifieke visuele embeddings te genereren via cross-attention met leerbare orgaan-queries.

2. Ziekte-niveau Contrastief Leren:

   • Voorbij gaan aan orgaan-niveau uitlijning, introduceert het framework een mechanisme om samenhangende pathologieën te ontwarren.
   • Leerbare Query Tokens: Voor elk orgaan vertegenwoordigt een set leerbare query-vectoren alle mogelijke condities (specifieke ziekten + gezonde staat).
   • Dynamische Extractie: Deze queries voeren cross-attention uit over het volledige radiologieverslag om dynamisch conditie-specifieke tekstuele semantiek te extraheren zonder expliciete decompositie van het verslag te vereisen.
   • Contrastief Doel: Het model lijnt orgaan-niveau visuele kenmerken uit met deze ziekte-specifieke tekstuele embeddings. Het trekt visuele kenmerken naar de tekstuele embeddings van dezelfde ziekte die in de batch aanwezig is, terwijl het ze wegduwt van andere condities. Dit maakt training mogelijk op zowel ground-truth als door LLM gegenereerde pseudo-labels.

3. Diagnose-bewuste Prompt Strategie:

   • Om de kloof tussen pretraining en zero-shot inferentie te overbruggen, vervangen de auteurs handmatig gemaakte binaire prompts (bijv. "CT toont ziekte X") door echte klinische zinnen.
   • Prototype Constructie: Voor elke conditie haalt het systeem diverse verslagen uit de trainingsset (gestuurd door labels of pseudo-labels) op en aggregeert hun conditie-specifieke embeddings tot een globale ziekte-prototype.
   • Inferentie: Diagnostische scores worden berekend via cosine similarity tussen orgaan-niveau visuele embeddings en deze geaggregeerde prototypes, wat semantische getrouwheid en robuustheid tegen variaties in formulering garandeert.

Belangrijkste Bijdragen

• Hybride Architectuur: Een CNN-ViT hybride encoder die multi-schaal 3D CNN-kenmerken integreert in een pre-trained ViT, wat efficiëntie op 3D volumes bereikt terwijl de VLM-compatibiliteit behouden blijft.
• Fijnmazige Uitlijning: Een ziekte-niveau contrastief leermechanisme met behulp van leerbare query tokens om specifieke ziekte-semantiek uit ongestructureerde verslagen te extraheren en uit te lijnen, wat het ontwarren van meerdere pathologieën binnen één enkel orgaan mogelijk maakt.
• Robuuste Inferentie Strategie: Een diagnose-bewuste prompt strategie die gebruikmaakt van echte klinische taal en geaggregeerde prototypes om de zero-shot diagnostische betrouwbaarheid te verbeteren en de pretraining–inferentie kloof te verkleinen.

Experimentele Resultaten
Het model werd geëvalueerd op twee publieke borst-CT benchmarks: CT-RATE (interne test) en Rad-ChestCT (externe test).

• Standaard Benchmarks: CT-DiagVLM behaalde een 84,4% AUC op CT-RATE, waarmee het de vorige state-of-the-art (fVLM) met 5,1% en ViSD-Boost met 5,4% versloeg. Op de externe Rad-ChestCT dataset behaalde het een 75,4% AUC, een verbetering van 5,4% ten opzichte van fVLM.
• Schaalbaarheid (60 Ziekten): Door Qwen3-Max te gebruiken om pseudo-labels te genereren voor 60 verschillende condities, demonstreerde het model significante schaalbaarheid, waarbij het een 85,6% AUC behaalde vergeleken met een basismodel van 75,8% (een winst van +9,8%). Hoewel de sensitiviteit licht afnam door de conservatieve, ruis-robuuste beslissingsgrenzen van het model, verbeterden de specificiteit en AUC aanzienlijk.
• Downstream Taken: Het pre-trained model vertoonde sterke transferabiliteit naar radiologieverslag-generatie, waarbij het een F1-score van 45,5% behaalde op CT-RATE, waarmee het bestaande methoden overtrof.
• Ablatie Studies: Experimenten bevestigden dat elk onderdeel (hybride encoder, ziekte-niveau loss en prompt strategie) uniek en synergetisch bijdraagt. De hybride encoder alleen leverde een +1,0% AUC winst, terwijl het volledige framework de totale +5,1% verbetering leverde.

Betekenis
Het artikel betoogt dat de voorgestelde co-design strategie essentieel is voor het vertalen van het potentieel van foundation models naar effectieve medische VLP. Door de inefficiëntie van visuele backbones in 3D en de semantische vermenging van verschillende ziekten aan te pakken, laat CT-DiagVLM zien dat ziekte-centrische pretraining een state-of-the-art prestatie en sterke generalisatie kan bereiken. De auteurs stellen dat dit werk een veelbelovende richting biedt naar klinisch levensvatbare, algemene medische AI-systemen die in staat zijn tot nauwkeurige diagnose en redenering met de nuance van echte klinische taal. De aanpak benadrukt het belang van fijnmazige semantische uitlijning en het nut van het inzetten van LLM's voor schaalbare, ziekte-specifieke leerprocessen in afwezigheid van dichte handmatige annotaties.