Technische Samenvatting: ReCAP voor Taalarme Medische Anomaliedetectie

Probleemdefinitie

Medische anomaliedetectie (AD) beoogt abnormale afbeeldingen te identificeren en de regio's met laesies te lokaliseren onder beperkt toezicht, een cruciale vereiste gezien de zeldzaamheid, diversiteit en hoge annotatiekosten van medische laesies. Een praktische detector moet kunnen generaliseren over diverse organen (bijv. hersenen, lever, retina) en modaliteiten (MRI, CT, X-ray, OCT) zonder dat uitgebreide annotaties van het doeldomein vereist zijn.

Bestaande CLIP-gebaseerde benaderingen proberen de annotatiebelasting te verminderen door gebruik te maken van visie-taaluitlijning. Deze methoden vertrouwen echter doorgaans op statische anomalie-ankers—of dit nu vaste tekstprompts zijn (bijv. "normaal" versus "abnormaal") of geleerde visuele tokens—die onveranderd blijven voor alle testafbeeldingen. In cross-domein medische scenario's, waar het normale uiterlijk aanzienlijk varieert door anatomische structuren en beeldvormingsprotocollen, falen deze statische referenties vaak bij betrouwbare transfer. Ze lijden onder drie primaire beperkingen:

1. Semantische Grofheid: Tekstprompts bieden generieke supervisie die moeite heeft om subtiele, gelokaliseerde medische afwijkingen te vangen.
2. Cross-Domein Miscalculatie: Geleerde visuele ankers, zelfs zonder tekst, definiëren vaste grenzen die verkeerd geplaatst kunnen zijn voor ongeziene doelgebieden.
3. Gebrek aan Instance-Level Adaptatie: Compacte globale ankers kunnen niet de diverse normale patronen behouden die nodig zijn voor fijne lokalisatie, vooral in few-shot settings.

Methodologie: ReCAP

De auteurs stellen ReCAP (Re-Centered Anomaly Prototypes) voor, een taalaram framework ontworpen voor zero-shot en few-shot medische anomaliedetectie. ReCAP vervangt statische ankers door input-geconditioneerde visuele prototypes die zich aanpassen aan de globale context van elke query-afbeelding zonder tekstprompts of gradiëntupdates tijdens de testtijd te vereisen.

Kerncomponenten

1. Multi-Level Feature Extractie:
   ReCAP maakt gebruik van een bevroren CLIP visuele encoder (ViT-L/14) die wordt uitgebreid met lichtgewicht segmentatie- en detectie-adapters die in geselecteerde transformer-lagen zijn ingevoegd. Dit extraheert $\ell_2$-genormaliseerde multi-level patch-tokens, waardoor de ruimtelijke getrouwheid voor lokalisatie en discriminatieve responsen voor classificatie behouden blijven.

2. Conditionele Prototype Modulatie:
   In plaats van vaste prototypes te gebruiken, leert ReCAP een paar normale ($q_n$) en abnormale ($q_a$) visuele prototypes. Voor elke inputafbeelding worden deze prototypes hergecentreerd op basis van de globale context van de afbeelding.

   • Context Descriptor: Een globale contextvector $c_l(x)$ wordt afgeleid door het gemiddelde te nemen (average-pooling) en te normaliseren van de patch-tokens van de query.
   • Bounded Gated Modulation: De prototypes worden bijgewerkt via een begrensde gated residu:
     $$\tilde{q}_{l}^{z} = \text{Norm}\left(q_{l}^{z} + \sigma(\beta_{l}^{z}) \cdot \eta \cdot \tanh(W_{l}^{z} c_{l}(x))\right)$$
     Dit ontwerp is cruciaal: omdat de context wordt gepoold uit de gehele afbeelding (die een laesie kan bevatten), zou ongecontroleerde modulatie de "normale" anchor naar de anomalie kunnen verschuiven, waardoor deze onterecht als normaal wordt geclassificeerd. De begrensde aard (via $\tanh$) en de leerbare gate ($\sigma(\beta)$) zorgen ervoor dat de adaptatie gecontroleerd blijft, wat voorkomt dat het prototype instort op de abnormale inhoud, terwijl het toch verschuift naar de distributie van het doeldomein.

3. Scoring Mechanismen:

   • Prototype Branch: Anomalie-scores worden berekend via geschaalde-cosine logits tussen query-patches en de geconditioneerde prototypes.
   • Memory Branch (Alleen voor Few-Shot): Om instance-level normale variaties in few-shot settings te vangen, construeert ReCAP een non-parametrische normal-reference memory bank van normale support-afbeeldingen. Query-patches worden gescoord op basis van hun dichtstbijzijnde buur cosine-afstand tot deze geheugenbank.

4. Fusie en Inferentie:

   • Layer Fusion: Bewijs uit meerdere transformer-lagen wordt samengevoegd met leerbare gewichten en top-$k$ pooling om robuuste afbeelding-niveau scores en pixel-niveau kaarten te produceren.
   • Branch Fusion: In few-shot settings worden de prototype-gebaseerde score en de memory-gebaseerde score gefuseerd met een leerbaar gewicht $\lambda$. In zero-shot settings is de memory branch uitgeschakeld ($\lambda=0$).

5. Trainingsdoelstellingen:
   Het model wordt geoptimaliseerd met een combinatie van pixel-niveau lokalisatieverlies (focal + Dice), afbeelding-niveau detectieverlies (binary cross-entropy) en een prototype scheidingsregularisator die een marge afdwingt tussen de basis normale en abnormale prototypes vóór conditionering.

Belangrijkste Bijdragen

1. Identificatie van Statische Ankers als Beperking: Het artikel identificeert dat vaste anomalie-referenties in CLIP-gebaseerde methoden de cross-domein generalisatie in medische beeldvorming hinderen en stelt input-geconditioneerde visuele prototypes voor als oplossing.
2. Bounded Gated Prototype Modulation: Een nieuw mechanisme dat normale/abnormale prototypes hercentreert volgens de inputcontext, terwijl de verschuiving strikt wordt gecontroleerd om "drift" naar abnormale inhoud te voorkomen, wat gradiëntvrije adaptatie mogelijk maakt.
3. Geïntegreerd Few-Shot Framework: De combinatie van conditionele prototypes met een non-parametrische normal-reference memory en multi-layer fusie, wat state-of-the-art prestaties bereikt in zowel afbeelding-niveau detectie als pixel-niveau lokalisatie over zes benchmarks.

Experimentele Resultaten

ReCAP werd geëvalueerd op zes medische datasets (BrainMRI, LiverCT, RESC, OCT17, ChestXray, HIS) die vijf beeldvormingsdomeinen beslaan onder zero-shot en few-shot (K=2, 4, 8, 16) settings.

• Zero-Shot Prestaties: ReCAP behaalde de beste afbeelding-niveau AUROC op alle zes de datasets en de beste pixel-niveau AUROC op alle drie de segmentatie-datasets, waarmee het zowel prompt-gebaseerde CLIP-methoden als de taalvrije VisualAD baseline overtrof.
• Few-Shot Prestaties: ReCAP behaalde de beste afbeelding-niveau AUROC in 23 van de 24 few-shot settings (over K=2 en K=4) en de beste pixel-niveau AUROC op alle segmentatie-datasets.
• Efficiëntie: ReCAP vertoonde superieure inferentie-efficiëntie, waarbij de latentie met meer dan 70% werd verminderd vergeleken met de snelste baseline (VisualAD). Bijvoorbeeld, zero-shot inferentie duurde 17,4 ms per afbeelding vergeleken met 66,1 ms voor VisualAD, toe te schrijven aan het vermijden van tekstcodering en complexe token-interacties.
• Kwalitatieve Analyse: Visualisaties toonden aan dat ReCAP compactere anomalie-responsen produceert die overeenkomen met de grondwaarheid-laesies, met minder fout-positieven op normale anatomische structuren vergeleken met baselines zoals APRIL-GAN en MVFA.

Betekenis en Claims

Het artikel claimt dat ReCAP gecontroleerde visuele prototype-adaptatie vestigt als een effectief alternatief voor tekstgebaseerde anomalie-modellering in medische beeldvorming. Door het elimineren van de noodzaak voor tekstprompts en gradiëntupdates tijdens de testtijd, biedt ReCAP een robuuste, taalarme oplossing die goed generaliseert over ongeziene anatomische structuren en modaliteiten.

De auteurs benadrukken dat het bounded modulation mechanisme de sleutel tot succes is, waardoor het model kan adapteren aan doelgebieden zonder de discriminatieve grens tussen normaal en abnormaal in gevaar te brengen. Hoewel de huidige evaluatie zich richt op 2D benchmarks, merken de auteurs op dat het uitbreiden van ReCAP naar volumetrische en multimodale klinische data een belangrijke toekomstige richting blijft. Het werk suggereert dat voor tijdgevoelige klinische screening, de combinatie van hoge nauwkeurigheid en lage inferentie-latentie ReCAP bijzonder geschikt maakt voor praktische implementatie.