Technische Samenvatting: Anatomische Contextuele Adaptatie van CT-Foundationmodellen

Probleemstelling

CT visuele-taal foundationmodellen (bijv. Merlin, CT-CLIP) hebben een sterke zero-shot prestatie getoond over diverse downstream taken door te trainen op volledige volumerepresentaties. Deze modellen condenseren echter doorgaans een volledige 3D CT-volume tot een enkele embedding, wat fijne anatomische signalen verzwakt. Daartegenover staan bestaande fijnmazige visuele-taal pre-training (FVLP) benaderingen die anatomie-specifieke visuele kenmerken afstemmen op specifieke tekstbeschrijvingen, maar vaak de globale context die door hele-volume modellen wordt geboden, weggooien. Bovormatige FVLP-methoden vereisen over het algemeen het trainen van het volledige model vanaf nul, wat computationeel duur en moeilijk schaalbaar is. Er is behoefte aan een framework dat bevroren foundationmodellen kan aanpassen om anatomische alignment te bereiken en tegelijkertijd de globale contextuele informatie te behouden en te verbeteren zonder de kosten van volledige hertraining.

Methodologie: Anatomische Contextuele Adaptatie (ACA)

De auteurs introduceren Anatomy Contextualized Adaptation (ACA), een lichtgewicht framework ontworpen om bevroren CT foundationmodel-representaties aan te passen voor anatomische visuele-taal alignment. De methodologie bestaat uit drie kerncomponenten:

1. Embedding Constructie:

   • Visueel: Het framework gebruikt TotalSegmentator om CT-volumes te ontleden in 44 anatomische structuren. Deze segmentatiemaskers worden geprojecteerd op de ruimtelijke feature maps van een bevroren foundationmodel-backbone (ofwel Merlin's I3D ResNet152 of CT-CLIP's CT-ViT). Kenmerken die overeenkomen met elke anatomische structuur worden middels mean-pooling geaggregeerd om anatomie-niveau embeddings te creëren.
   • Tekst: Anatomie-specifieke bevindingen worden geëxtraheerd uit radiologieverslagen met behulp van een Large Language Model (Qwen3-4B-Instruct). Deze bevindingen worden gecodeerd met de bevroren tekstencoder van het respectieve foundationmodel om anatomie-niveau tekst-embeddings te produceren. Een aparte scan-niveau tekst-embedding wordt gegenereerd vanuit het volledige verslag.
   • Positionele Codering: Inter-anatomische ruimtelijke positionele coderingen worden berekend op basis van de $\ell_2$-afstand tussen de voxel-ruimte zwaartepunten van anatomische structuren, genormaliseerd door de diagonaal van het volume.

2. Inter-Anatomische Transformer:

   • Om cross-anatomische relaties te vangen, worden de anatomie-embeddings door een leerbare inter-anatomische transformer geleid.
   • Voordat ze de transformer ingaan, wordt elke embedding verrijkt met geleerde ruimtelijke positionele coderingen en leerbare anatomie-type embeddings.
   • Deze module contextualiseert de embedding van elke anatomie door aandacht te schenken aan de volledige set structuren die aanwezig zijn in de scan, waardoor het model relaties tussen organen kan leren (bijv. relatieve groottevergelijkingen).

3. Gecombineerde Verliesfunctie:

   • Anatomie-niveau Verlies ($\mathcal{L}_{anatomy}$): Een contrastieve loss die elk gecontextualiseerd anatomie-embedding afstemt met de bijbehorende geëxtraheerde tekstbeschrijving. Deze loss maakt gebruik van een soft target matrix om false negatives af te handelen, waarbij "normale" instanties van verschillende patiënten als positieve paren worden behandना, om te voorkomen dat semantisch identieke gezonde structuren worden bestraft.
   • Scan-niveau Verlies ($\mathcal{L}_{scan}$): Een contrastieve loss die de mean-pooled scan-niveau visuele embedding (afgeleid van de gecontextualiseerde anatomie-embeddings) afstemt met de volledige radiologieverslag-embedding. Dit biedt een globaal supervisiesignaal om ervoor te zorgen dat het model een coherent beeld van de gehele scan behoudt.
   • Het totale doel is de som van deze twee verliezen ($\mathcal{L}_{total} = \mathcal{L}_{anatomy} + \lambda \mathcal{L}_{scan}$).

Belangrijkste Bijdragen

• Lichtgewicht Adaptatie: ACA past bevroren foundationmodellen aan met behulp van enkel lichtgewicht leerbare modules (de transformer en projectiekoppen), waardoor de computationele kosten van end-to-end hertraining die vereist is voor bestaande FVLP-methoden worden vermeden.
• Gecontestualiseerde Fijnmazige Alignment: In tegenstelling tot eerdere fijnmazige methoden die anatomieën onafhankelijk behandelen, introduceert ACA een inter-anatomische transformer die expliciet cross-anatomische relaties modelleert, waarmee het probleem van het negeren van de globale context in fijnmazige benaderingen wordt aangepakt.
• Dual-Granulariteit Supervisie: Het framework combineert uniek anatomie-niveau contrastief leren met scan-niveau verslag-alignment, waardoor het model tegelijkertijd zowel specifieke orgaanpathologie als de globale klinische context kan leren.

Resultaten

Het framework werd geëvalueerd op twee grootschalige datasets: Merlin (abdominale CT) en CT-RATE (borst-CT), waarbij de respectievelijke bevroren foundationmodellen als backbone werden gebruikt.

• Prestatiewinst: ACA presteerde consequent beter dan zowel de bevroren foundationmodel-baselines als bestaande fijnmazige adaptatiemethoden (inclusief MLP, fVLM, en ViSD-Boost adaptaties) in zero-shot bevindingen-classificatie.
  • Op de Merlin dataset verbeterde ACA de in-distributie macro-gemiddelde AUROC van 0.7729 (Merlin baseline) naar 0.8213.
  • Op de CT-RATE dataset verbeterde het de in-distributie AUROC van 0.7082 (CT-CLIP baseline) naar 0.7311.
  • Significante winsten werden ook waargenomen in out-of-distribution settings (bijv. Merlin-getrainde ACA op de CT-RATE testset: 0.7400 vs. 0.6919 baseline).
• Ablatie-studies: Het verwijderen van ofwel de anatomie-niveau verlies of de scan-niveau verlies resulteerde in een afname van de prestaties, wat bevestigt dat zowel lokale anatomische alignment als globale contextuele supervisie noodzakelijk zijn.
• Anatomie-gestuurde Pooling: Een strategie tijdens de inferentie waarbij de pooling wordt beperkt tot anatomisch relevante structuren voor specifieke bevindingen, verbeterde de prestaties verder, met name voor modellen zonder scan-niveau supervisie.
• Geleerde Associaties: Analyse van de attention weights onthulde dat de transformer plausibele cross-anatomische associaties heeft geleerd (bijv. continuïteit tussen maag-dunne darm-colon in Merlin; long-slokdarm in CT-RATE) puur uit contrastieve training, wat de anatomische reikwijdte van de trainingsdata reflecteert.
• Casestudy: Bij het detecteren van splenomegalie identificeerde ACA correct de pathologische vergroting door de grootte van de milt te vergelijken met omliggende organen, terwijl onafhankelijke fijnmazige baselines deze relatieve beoordeling niet konden maken.

Betekenis en Claims

Het artikel claimt dat ACA een praktische en computationeel efficiënte weg biedt voor het verbeteren van representatie-leren in medische beeldvorming. Door aan te tonen dat bevroren foundationmodellen effectief kunnen worden aangepast aan anatomisch gefundeerde visuele-taal taken met minder dan één uur training (zodra embeddings zijn gecached), betogen de auteurs dat volledige end-to-end hertraining niet strikt noodzakelijk is om state-of-the-art fijnmazige prestaties te behalen.

De auteurs positioneren ACA als een oplossing die de kloof overbrugt tussen de brede, globale context van hele-volume modellen en de specificiteit van fijnmazige alignment. Zij merken op dat hoewel hun vergelijkingen met andere fijnmazige methoden (fVLM, ViSD-Boost) worden uitgevoerd onder een gematchte "bevroren embedding" setting (in plaats van een vergelijking met de originele end-to-end getrainde versies), de resultaten de effectiviteit van hun adaptatiestrategie ondersteunen. Het werk is beperkt tot zero-shot bevindingen-classificatie, waarbij segmentatie en verslaggeneratie voor toekomstig werk zijn overgelaten.