Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification

1. Probleemstelling

Het paper adresseert de uitdagingen bij het automatisch analyseren van Video Capsule Endoscopie (VCE)-data, specifiek binnen het kader van de ICPR RARE-VISION Challenge 2026. De kernproblemen zijn:

• Extreme Class Imbalance: In het gebruikte Galar-dataset vormen pathologische bevindingen (zoals bloedingen, erosies, ulcera) minder dan 0,1% van alle geannoteerde frames. Anatomische regio's (maag, dunne darm, colon) domineren de verdeling.
• Zeldzame Positieve Klassen: Sommige labels, zoals "actieve bloeding", komen slechts in 150 frames voor in een trainingsset van bijna 500.000 frames (een verhouding van >1:3.000).
• Moeilijkheid van Detectie: Standaard cross-entropy optimalisatie leidt vaak tot modellen die de meerderheidsklasse (gezonde weefsels) perfect voorspellen, maar falen bij het detecteren van zeldzame, klinisch cruciale gebeurtenissen.
• Visuele Ambiguïteit: Pathologische veranderingen zijn vaak subtiel en visueel moeilijk te onderscheiden van normaal slijmvlies, wat de leermogelijkheden voor het model beperkt.

2. Methodologie

De auteurs (Team MINDH Lab) stellen een vierstaps-pipeline voor die architecturale innovaties combineert met een multi-level strategie voor class imbalance.

A. Architectuur: Differential BiomedCLIP

• Basis: Het model is gebaseerd op BiomedCLIP, een vision-language foundation model getraind op 15 miljoen biomedische beeld-tekstparen (PubMed Central). Dit biedt een sterke domeinspecifieke basis.
• Differential Attention Mechanisme: De standaard multi-head self-attention in alle 12 ViT-blokken wordt vervangen door een differential attention mechanisme.
  • De attention heads worden in twee groepen verdeeld.
  • De output wordt berekend als het verschil tussen twee softmax-attentiekarten: $DiffAttn(X) = (Softmax(Q_1K_1^T) - \lambda \cdot Softmax(Q_2K_2^T))V$.
  • Doel: Het aftrekken van de tweede distributie van de eerste onderdrukt "common-mode noise" (uniforme of laag-rang attentiepatronen) en versterkt signalen uit zeldzame, diagnostisch relevante ruimtelijke regio's.
• Dual Pathway:
  1. Classificatiepad: Beeldfeatures gaan door een Excitation Block (geïnspireerd op Squeeze-and-Excitation) naar een lineaire laag voor 17 klassen.
  2. Contrastief Pad: Beeldfeatures worden vergeleken met bevroren tekst-embeddings (gegenereerd door PubMedBERT) via contrastief leren.

B. Strategie voor Class Imbalance

Om de scheve labelverdeling aan te pakken, wordt een gecoördineerde strategie op meerdere niveaus toegepast:

1. Sampling: Een sqrt-frequency weighted sampler kiest frames met een gewicht evenredig aan $1/\sqrt{f_c}$ (waar $f_c$ de frequentie is van het zeldzaamste label). Dit biedt matige oversampling zonder de instabiliteit van lineaire inverse weighting.
2. Loss Functie: Toepassing van Asymmetric Focal Loss met parameters $\gamma_+ = 1$ en $\gamma_- = 4$. Dit straft makkelijke negatieve voorspellingen (de meerderheid) agressief af, terwijl de gradiëntstroom voor positieve voorbeelden behouden blijft.
3. Regularisatie: Gebruik van Mixup ($\alpha=0.3$), label smoothing ($\epsilon=0.05$), en sterke augmentaties (kleur, rotatie, erasing).
4. Threshold Optimalisatie: Per-klassen drempelwaarden worden geoptimaliseerd op de validatieset (variërend van 0,05 voor zeer zeldzame klassen tot hogere waarden) om de F1-score te maximaliseren.

C. Temporele Post-processing

Om frame-level voorspellingen om te zetten in klinisch bruikbare gebeurtenissen:

• Toepassing van per-klassen geoptimaliseerde drempels.
• Median-filtering (venstergrootte $w=7$) om geïsoleerde vals-positieven te onderdrukken.
• Gap Merging: Gaten van $\leq 5$ frames tussen gebeurtenissen van dezelfde klasse worden opgevuld, gebaseerd op de klinische verwachting dat pathologieën continu voorkomen.
• Verwijdering van gebeurtenissen korter dan 3 frames.

3. Belangrijkste Resultaten

Het model werd getest op een gehouden testset van 3 NaviCam-examinaties (totaal 161.025 frames).

• Prestatie:
  • Temporal mAP@0.5: 0,2456
  • Temporal mAP@0.95: 0,2353
  • De zeer kleine kloof tussen mAP@0.5 en mAP@0.95 (0,0103) wijst op zeer nauwkeurige temporele grensbepaling van de gedetecteerde gebeurtenissen.
• Per-Klasse Prestaties:
  • Anatomische regio's werden uitstekend geclassificeerd (Colon AP=0,996, Dunne darm AP=0,969).
  • Zeldzame pathologieën bleven een uitdaging (bijv. Actieve bloeding AP=0,002, Erytheem AP=0,001), wat de fundamentele moeilijkheid van het leren van minder dan 0,05% van de data weerspiegelt.
• Efficiëntie:
  • De volledige inferentie op de testset (161k frames) duurde slechts 8,6 minuten op één NVIDIA RTX PRO 6000 GPU.
  • Training duurde ongeveer 3 uur voor 5 epochs.

4. Kernbijdragen

1. Differential Attention in BiomedCLIP: De eerste toepassing van een differentieel attentiemechanisme op een BiomedCLIP-foundation model om ruis te onderdrukken en subtiele pathologische features te versterken.
2. Multi-level Imbalance Strategie: Een holistische aanpak die sampling, loss-weighting, augmentatie en post-processing-drempels combineert om zeldzame klassen te optimaliseren.
3. Temporele Coherentie: Effectieve post-processing die fragmentarische frame-voorspellingen omzet in klinisch consistente gebeurtenissen, wat resulteert in een hoge temporele precisie.
4. Open Source Reproductie: Alle code, modelgewichten en training logs zijn beschikbaar via GitHub, wat transparantie en reproduceerbaarheid garandeert.

5. Betekenis en Toekomstperspectief

Dit werk demonstreert dat het aanpassen van foundation modellen (BiomedCLIP) met specifieke attention-mechanismen, gecombineerd met strikte optimalisatiestrategieën voor onevenwichtige data, effectief kan zijn voor medische beeldanalyse van VCE. Hoewel de prestaties op anatomische regio's uitstekend zijn, blijft de detectie van zeer zeldzame pathologieën (minder dan 200 trainingframes) een uitdaging vanwege visuele ambiguïteit en data-schaarste.

De auteurs suggereren dat toekomstig werk zich moet richten op het integreren van temporele modellering (bijv. recurrente netwerken of sequence-attention modules) om de context van opeenvolgende frames beter te benutten, aangezien pathologische gebeurtenissen in VCE-data vaak gekenmerkt worden door temporele persistentie en geleidelijke morfologische overgangen die frame-voor-frame classifiers niet volledig kunnen benutten.