CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

Technische Samenvatting: CapCLIP – Een aanpak voor uitlijning van visueel-taalrepresentaties voor analyse van capsule-endoscopie

Probleemstelling
Capsule-endoscopie (WCE) maakt niet-invasieve visualisatie van de dunne darm mogelijk, maar ondervindt aanzienlijke klinische beperkingen door de enorme hoeveelheid frames die per onderzoek worden gegenereerd en de moeilijkheid om subtiele afwijkingen te identificeren onder sterk variabele beeldvormingsomstandigheden. Bestaande machinelearning-aanpakken voor WCE zijn overwegend uitsluitend visueel, vaak beperkt tot smalle pathologielijsten, en vertonen een beperkte generaliseerbaarheid over verschillende datasets en klinische centra. Deze modellen vertrouwen doorgaans op vaste classificatietags, wat resulteert in output die semantisch niet interpreteerbaar is en worstelt met verschuivingen in verdeling (bijvoorbeeld variërende prevalentie van pathologie, opnameapparatuur of uiterlijk van de afbeelding). Bovendien ontbreken domeinspecifieke multimodale kaders voor WCE, omdat natuurlijk gekoppelde beeld-tekstdata (klinische rapporten gekoppeld aan specifieke frames) niet in grote schaal beschikbaar zijn, en bestaande medische visueel-taalmiddelen vaak zijn getraind op radiologie of andere modaliteiten met verschillende kenmerken.

Methodologie
Het artikel stelt CapCLIP voor, een domeinspecifiek kader voor het leren van visueel-taalrepresentaties dat is ontworpen om WCE-frames uit te lijnen met klinisch onderbouwde tekstuele beschrijvingen. De methodologie adresseert het ontbreken van natuurlijke beeld-tekstparen via een gestructureerde pijplijn voor het genereren van bijschriften:

1. Generatie van bijschriften: Frame-niveau labels worden omgezet in rijke tekstuele beschrijvingen met behulp van vooraf gedefinieerde bijschriftsjablonen, domeinspecifieke terminologie (afgeleid van Delphi-consensusstudies) en Large Language Models (LLM's) die worden geleid door een contextuele kennisbank van medische literatuur. Deze bijschriften coderen visuele kenmerken, pathologiesemantiek en klinische relevantie (bijvoorbeeld het koppelen van "Erytheem" aan "vasculaire laesie" of "Abnormaal" aan "Crohn's ziekte").
2. Architectuur: Het kader adopteert een CLIP-achtige architectuur met twee encoders:
   • Beeldencoder: Een Vision Transformer (ViT), geëvalueerd in twee varianten (ViT-B/16 en ViT-L/14), geïnitieerd met OpenAI CLIP-weights.
   • Tekstencoder: Een 12-laags Transformer (vergelijkbaar met de originele CLIP-opzet) met Byte-Pair Encoding (BPE).
3. Trainingsdoel: Het model wordt getraind met behulp van een symmetrische cross-entropy-verliesfunctie om beeld- en tekstembeddings uit te lijnen binnen een gedeelde hypersferische ruimte. De training maakt gebruik van mini-batches waarbij gekoppelde beeld-tekstparen worden aangemoedigd om een hoge cosinusgelijkheid te hebben, terwijl niet-gekoppelde paren uit elkaar worden geduwd.
4. Varianten: Drie trainingsmodi worden onderzocht:
   • CapCLIP-B: Binaire classificatie (Normaal vs. Abnormaal).
   • CapCLIP-M: Multiclasclassificatie (specifieke pathologielabels).
   • CapCLIP-MIX: Een hybride aanpak die zowel binaire als multiclasparen combineert.

Experimentele opzet en evaluatie
Het kader wordt geëvalueerd onder strikte zero-shot condities met behulp van onzichtbare, out-of-distribution WCE-datasets (CrohnIPI, KID2, Galar) die niet tijdens de training zijn gebruikt. De trainingsdata bestaat uit de SEE-AI- en Kvasir-Capsule-datasets. De evaluatie vergelijkt CapCLIP met diverse baselines:

• Alleen visuele fundamentele modellen: EndoSSL, EndoFM, EndoFM-LV.
• Algemene/Medische visueel-taalmiddelen: CLIP (OpenAI), MedCLIP, BioMedCLIP, MedImageInsight.

De prestaties worden beoordeeld op drie downstream-taken:

1. Zero-shot K-Nearest Neighbour (KNN)-classificatie: Het onderzoeken van de semantische structuur van visuele embeddings.
2. Zero-shot CLIP-achtige beeld-tekstclassificatie: Het evalueren van cross-modale discriminatieve capaciteit met behulp van tekstprompten.
3. Zero-shot tekst-naar-beeldretrieval: Het beoordelen van het vermogen om relevante frames op te halen op basis van tekstuele queries (zowel op grof niveau "afwijking" als fijnmazig niveau "pathologie").

Belangrijkste resultaten

• KNN-classificatie: CapCLIP presteerde consistent beter dan de baselines op de KID2- en CrohnIPI-datasets, met winsten tot +11,2% in gewogen F1-score voor multiclasinstellingen. Op de Galar-dataset was de prestatie vergelijkbaar met de baselines, wat wordt toegeschreven aan de hoge redundantie van de dataset, waardoor KNN-probing minder discriminerend is.
• Beeld-tekstclassificatie: CapCLIP toonde aanzienlijke verbeteringen ten opzichte van alle baselines. Bij binaire classificatie bereikte het AUROC/AUPRC-verbeteringen tot +54,5% ten opzichte van de beste baseline. Bij multiclasclassificatie waren de winsten nog duidelijker, met verbeteringen tot +206,7% in gewogen F1-score op de CrohnIPI-dataset.
• Tekst-naar-beeldretrieval: CapCLIP verbeterde de retrievalprestaties aanzienlijk. Voor ruwe afwijkingretrieval verbeterde het mAP met tot +94,2% op CrohnIPI. Voor fijnmazige pathologieretrieval bereikte het winsten tot +260,8% in gewogen Precision@200 op de Galar-dataset.
• Visualisatie van embeddings: t-SNE-visualisaties bevestigden dat CapCLIP embeddings leert met duidelijkere clusterstructuren en betere inter-class-scheidbaarheid in vergelijking met zowel alleen visuele als bestaande medische visueel-taalbaselines.

Betekenis en claims
Het artikel claimt dat CapCLIP een belangrijke stap voorwaarts is naar fundamentele modellen die specifiek zijn toegesneden op capsule-endoscopie. De primaire betekenis ligt in het aantonen dat taalgeleerd representatieleren embeddings kan opleveren die beter overdraagbaar en semantisch informatief zijn dan die welke worden geproduceerd door bestaande general-domain of medische-domain baselines.

Belangrijke bijdragen zijn:

1. De ontwikkeling van een systematisch zero-shot benchmarkkader voor het evalueren van multimodale modellen op WCE-data.
2. De introductie van CapCLIP, dat taalgegronde representatieleren mogelijk maakt voor een modaliteit die natuurlijke beeld-tekstparen mist.
3. Bewijs dat het uitlijnen van afbeeldingen met gestructureerde, pathologiebewuste bijschriften de generalisatie naar onzichtbare datasets verbetert en de semantische interpreteerbaarheid van WCE-analyse versterkt.

De auteurs concluderen dat, hoewel huidige alleen-visuele benaderingen beperkt worden door vaste taxonomieën, de voorgestelde visueel-taalbenadering een flexibeler pad biedt voor klinische besluitvorming, waarbij artsen WCE-data kunnen bevragen met natuurlijke taalconcepten in plaats van beperkt te worden tot vooraf gedefinieerde labels. Het artikel erkent beperkingen, waaronder de afhankelijkheid van gegenereerde in plaats van natuurlijk gekoppelde bijschriften en de relatief kleine schaal van WCE-trainingsdata in vergelijking met algemene fundamentele modellen, en suggereert dat toekomstig werk zich moet richten op grotere datasets en geünificeerde trainingsstrategieën.