Technische Samenvatting: WALDO – Wasserstein-Gealigneerde Lokalisatie voor VLM-Gebaseerde Distributionele OOD-Detectie

1. Probleemstelling

De detectie van zeldzame pathologieën in medische beeldvorming is een cruciale klinische uitdaging. Hoewel supervised objectdetectiemodellen goed presteren op bekende klassen, falen ze fundamenteel in het generaliseren naar pathologieën die afwezig zijn in de trainingsdata. Vision-Language Models (VLM's) bieden zero-shot redeneercapaciteiten, maar huidige state-of-the-art VLM's worstelen met anomalielokalisatie in medische beelden. Op de NOVA-benchmark voor hersen-MRI's bereiken top-VLM's slechts 24,5–37,7% mAP@30.

De auteurs identificeren drie structurele beperkingen in huidige VLM-gebaseerde lokalisatie:

1. Gebrek aan Normale Context: VLM's proberen anomalieën te identificeren zonder referentie voor "normale" anatomie, analoog aan het vragen aan een radioloog om een diagnose te stellen zonder gezonde gevallen te zien.
2. Referentieverkeerde Aansluiting: Wanneer referenties worden geboden, leidt willekeurige steekproefneming vaak tot anatomisch niet-overeenkomende weergaven, wat zorgt voor inconsistente vergelijkingen.
3. Hoge Variantie: Stochastische steekproefneming in VLM's leidt tot hoge voorspellingsvariantie (standaardafwijkingen >5% mAP), en bestaande zelfconsistentiemethoden voor taakopdrachten in taal breiden zich niet effectief uit naar ruimtelijke lokalisatie.

2. Methodologie: WALDO

De auteurs stellen WALDO (Wasserstein-Gealigneerde Lokalisatie voor Distributionele OOD) voor, een trainingsvrij raamwerk dat zero-shot lokalisatie herformuleert als een vergelijkend inferentieprobleem. De methode verloopt in drie fasen:

A. Distributionele Similariteit via Entropie-Gewogen Gesneden Wasserstein

In plaats van globale CLS-tokens te gebruiken, extraheren WALDO patch-niveau embeddings met DINOv2 (ViT-B/16) om de ruimtelijke structuur die essentieel is voor lokalisatie te behouden.

• Maatstaf: De methode berekent de Gesneden Wasserstein (SW)-afstand tussen de patch-distributie van de query-afbeelding en referentie-gezonde afbeeldingen.
• Efficiëntie: Om de $O(T^3)$-complexiteit van de standaard Wasserstein-afstand te vermijden, worden $M=100$ willekeurige projecties gebruikt, waardoor de complexiteit wordt gereduceerd tot $O(TM \log T)$.
• Entropiegewichting: Niet alle patches zijn even informatief. De methode weegt patches op basis van lokale entropie ($H(\phi)$), waarbij hogere belangrijkheid wordt toegekend aan getextureerde gebieden (waarschijnlijke pathologie) en een lagere weging aan homogene achtergronden.
  $$SW^{(w)}_2(P, Q) = \left( \sum_{i=1}^T w_i \cdot (p^{(i)} - q^{(i)})^2 \right)^{1/2}$$

B. Gouden Middenweg Referentie Selectie

Een cruciaal theoretisch inzicht is de niet-monotone relatie tussen referentiesimilariteit en lokalisatieprecisie (het "Gouden Middenweg-effect").

• Hoge Similariteit: Anatomisch overeenkomende maar subtiele verschillen kunnen onder de discriminatiedrempel van de VLM vallen, wat leidt tot ruisachtige voorspellingen (hoge variantie).
• Lage Similariteit: Duidelijke verschillen leiden tot spurious detecties bij normale anatomische variaties (hoge bias).
• Optimale Zone: Referenties met matige similariteit (30e–70e percentiel) minimaliseren de bias-variantie-trade-off.
• Diversiteit: Uit deze "Gouden Middenweg-zone" worden referenties geselecteerd met behulp van een Determinantal Point Process (DPP)-achtige repulsieve steekproefneming om diverse anatomische weergaven te garanderen.

C. Differentiële Prompting en Zelfconsistentie Aggregatie

• Prompting: De VLM wordt geprompt om differentieel redeneren uit te voeren: "Vergelijk de patiëntscan met de gezonde referentie... Identificeer gebieden die abnormaal lijken." Dit maakt gebruik van vergelijkende capaciteiten in plaats van absolute anomaliedetectie.
• Aggregatie: Voorspellingen van $K$ referenties worden geaggregeerd via gewogen Non-Maximum Suppression (NMS). Het vertrouwen van elke voorspelling wordt gewogen op basis van de similariteitsafstand ($\tilde{c} = c \cdot \exp(-\lambda \cdot SW_2)$), waarbij voorspellingen van minder vergelijkbare referenties worden afgezwakt. Dit reduceert de voorspellingsvariantie met ongeveer 40%.

3. Belangrijkste Bijdragen

1. Optimale Transport Formulering: Een nieuw referentiekeuzemechanisme met behulp van entropie-gewogen Gesneden Wasserstein-afstand op DINOv2 patch-distributies om ruimtelijke structuur te behouden met $O(n \log n)$-efficiëntie.
2. Theoretische Karakterisering van het Gouden Middenweg-effect: Het artikel toont theoretisch en empirisch aan dat referenties met matige similariteit de bias-variantie-trade-off in vergelijkend visueel redeneren optimaliseren, wat de intuïtie uitdaagt dat "meest vergelijkbaar" altijd het beste is.
3. Ruimtelijke Zelfconsistentie: Een uitbreiding van zelfconsistentie naar ruimtelijke lokalisatie via vertrouwen-gewogen NMS, wat de voorspellingsvariantie aanzienlijk reduceert.
4. Trainingsvrij Paradigma: Een raamwerk dat werkt zonder fine-tuning, waardoor zero-shot evaluatie mogelijk is op eerder onbekende pathologieën.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de NOVA-hersen-MRI-benchmark (907 afbeeldingen, 281 zeldzame pathologieën) en een subset van VinDr-CXR-borst-Röntgenfoto's.

• NOVA Prestaties: Met Qwen2.5-VL-72B behaalde WALDO 43,5 ± 1,6% mAP@30, een 19% relatieve verbetering ten opzichte van de zero-shot baseline (36,4%). Deze verbetering is statistisch significant ($p < 0,01$).
• Cross-Model Generalisatie:
  • GPT-4o: Verbeterd van 19,0% naar 32,0% mAP@30 (+68% relatief).
  • Qwen3-VL-32B: Verbeterd van 20,4% naar 32,0% mAP@30 (+57% relatief).
  • Gemini-2.0-Flash: Verbeterd van 18,1% naar 38,0% mAP@30 (+110% relatief).
  • Opmerking: Het grootste model, Qwen3-VL-235B (MoE), toonde een lichte prestatiedaling (-12%), wat de auteurs toeschrijven aan mogelijke verwarring in het expert-routingmechanisme bij het verwerken van referentiekontexten.
• VinDr-CXR: WALDO toonde consistente winsten voor alle modellen (bijv. Qwen3-32B verbeterde van 12,8% naar 34,1% mAP@30), hoewel de absolute prestaties lager waren (24–35%) dan op MRI's vanwege diffuse pathologieën en anatomische overlapping in Röntgenfoto's.
• Ablatiestudies:
  • Het vervangen van cosinus-similariteit door Gesneden Wasserstein leverde de grootste winst op (+6% mAP).
  • Entropiegewichting, Gouden Middenweg-steekproefneming en zelfconsistentie droegen elk bij aan incrementele verbeteringen.
  • Differentiële prompting presteerde beter dan directe anomaliedetectie-prompten met +7% mAP.

5. Betekenis en Claims

Het artikel stelt dat WALDO een nieuw paradigma vertegenwoordigt voor Out-of-Distribution (OOD)-detectie in medische beeldvorming. De primaire betekenis ligt in het aantonen dat het bieden van gezonde referentieafbeeldingen VLM's in staat stelt differentieel te diagnosticeren via in-context anatomische priors, in plaats van te vertrouwen op geleerde ziekte-representaties.

• Klinische Bruikbaarheid: De auteurs positioneren WALDO als een hulpmiddel voor triage en attentiegeleiding in plaats van primaire diagnose, en merken op dat het nog steeds worstelt met zeer kleine laesies (<5% beeldoppervlak) en diffuse pathologieën.
• Efficiëntie versus Nauwkeurigheid: Hoewel de methode rekenkundige overhead toevoegt (ongeveer 3x inferentietijd door multi-image prompting), bereikt het aanzienlijke nauwkeurigheidswinsten zonder enige modeltraining of parameterupdates.
• Modale Specificiteit: De auteurs erkennen dat de prestaties variëren per modus; de methode blinkt uit op hersen-MRI's (focale intensiteitsveranderingen) maar staat voor uitdagingen op borst-Röntgenfoto's (hoge inter-patiëntvariabiliteit en overlappende structuren).

Het werk suggereert dat toekomstige richtingen onder meer geleerde end-to-end referentiekeuze en onzekerheidskalibratie voor klinische implementatie omvatten, maar vestigt momenteel een sterke baseline voor trainingsvrije, zero-shot anomalielokalisatie.