VAMAE: Vessel-Aware Masked Autoencoders for OCT Angiography

Probleemstelling

Optische coherentietomografie-angiografie (OCTA) biedt niet-invasieve visualisatie van het retinale microvasculatuur, wat cruciaal is voor het diagnosticeren van ziekten zoals diabetische retinopathie en glaucoom. Echter, het leren van robuuste representaties voor deze beelden is uitdagend vanwege twee hoofdredenen:

1. Sparsiteit: OCTA-beelden worden gedomineerd door een uniforme achtergrond, terwijl de vaatstructuren slechts 10-15% van de afbeelding beslaan.
2. Topologische complexiteit: Klinische interpretatie vereist het behoud van globale structurele eigenschappen zoals vertakkingspatronen, langeafstandsconnectiviteit en de grenzen van het vaatvrije zone (FAZ).

Bestaande zelftoezichthoudende leermethodes (Self-Supervised Learning of SSL), zoals Masked Autoencoders (MAE), zijn voornamelijk ontworpen voor dichte natuurlijke afbeeldingen. Ze gebruiken uniforme masking en pixel-gebaseerde reconstructie. In OCTA leidt dit tot een triviaal pretext-probleem waarbij het model vooral de lege achtergrond leert reconstrueren in plaats van de diagnostisch kritieke, dunne vaatstructuren. Hierdoor worden de topologische samenhang en continuïteit van de vaten niet effectief geleerd.

Methodologie: VAMAE

De auteurs stellen VAMAE (Vessel-Aware Masked Autoencoders) voor, een framework dat anatomische kennis integreert in het zelftoezichthoudende pre-training proces. De kerncomponenten zijn:

1. Multi-Target Preprocessing Pipeline
Elke OCTA-afbeelding wordt ontbonden in drie complementaire componenten om verschillende aspecten van de vaatstructuur te vangen:

• Intensiteit: De originele grijswaardenafbeelding.
• Vesselness: Geëxtraheerd via multi-scale Frangi-filtering om tubulaire structuren te versterken.
• Skeleton: Een 1-pixel brede lijnrepresentatie van de vaatcentra, verkregen via morfologische verdunning, die de topologie (vertakkingen en connectiviteit) behoudt.

2. Vessel-Aware Masking Strategie
In plaats van willekeurige masking, gebruikt VAMAE een adaptieve strategie die patches met een hoge dichtheid aan vaten prioriteert:

• Er wordt een "hybride belangsscore" ($w_i$) berekend per patch, gebaseerd op de vaatdichtheid en de aanwezigheid van een skelet.
• Een parameter $\alpha$ (0.6) balanceert tussen het prioriteren van informatieve vaatpatches en het behouden van stochasticiteit om overfitting te voorkomen.
• De top-k patches (meestal 75%) worden geselecteerd voor masking, waardoor het model gedwongen wordt om de complexe vaatstructuren te reconstrueren in plaats van de achtergrond.

3. Architectuur en Doelstelling

• Encoder: Een Vision Transformer (ViT-Base) die alleen de zichtbare patches verwerkt.
• Decoder: Een lichtgewicht Transformer die alle patches reconstrueert door zichtbare tokens te combineren met leerbare mask-tokens.
• Multi-Target Reconstructie: De decoder heeft drie specifieke MLP-heads die gelijktijdig de intensiteit, de vesselness-kaart en het skelet reconstrueren.
• Verliesfunctie: Een gewogen som van reconstructieverliezen, waarbij het verlies voor vesselness (0.5) het zwaarst weegt, gevolgd door intensiteit (0.3) en skelet (0.2).

Belangrijkste Bijdragen

1. VAMAE Framework: Een nieuw zelftoezichthoudend pre-training model specifiek ontworpen voor OCTA-beelden dat vasculaire structuur expliciet in het representatieleerproces integreert.
2. Vessel-Guide Masking: Een innovatieve masking-strategie die Frangi-vesselness en skelet-gebaseerde prioren gebruikt om het model te focussen op vaatrijke gebieden.
3. Multi-Target Objectief: Een reconstructiedoel dat intensiteit, structuur (vesselness) en topologie (skelet) combineert, waardoor het model een completer beeld van de vaatnetwerken leert.
4. Label-efficiëntie: Het aantonen dat deze methode prestaties levert die vergelijkbaar zijn met volledig toezichthoudende methoden, zelfs met slechts 50% van de gelabelde data.

Resultaten

De methode werd geëvalueerd op de OCTA-500 benchmark voor taken zoals segmentatie van grote vaten, het vaatvrije zone (FAZ) en aderen.

• Prestaties: VAMAE bereikte een Dice-score van 82,4% bij volledige supervisie voor grote vaatsegmentatie, wat significant hoger is dan bestaande SSL-methoden (zoals Random MAE: 76,8% en BioVessel-Net: 78,9%).
• Label-efficiëntie: Met slechts 50% gelabelde data behaalde VAMAE een score van 78,4%, wat gelijkstaat aan of beter is dan andere methoden die op 100% data zijn getraind. Dit reduceert de annotatiekosten met 50%.
• Generalisatie: De methode presteerde consistent goed over verschillende taken (grote vaten, FAZ, aderen) en ziektegradaties, hoewel de prestaties bij ernstige pathologieën iets daalden (wat verwacht was bij sterk verstoord vasculair architectuur).
• Ablatiestudies:
  • Vessel-aware masking alleen leverde een verbetering van +4,8% op ten opzichte van willekeurige masking.
  • De toevoeging van multi-target reconstructie gaf een extra verbetering van +0,8%.
  • Het verwijderen van het vesselness-doel had de grootste negatieve impact, wat aantoont dat structurele prioren cruciaal zijn.

Betekenis en Conclusie

VAMAE demonstreert dat het integreren van medische domeinkennis (zoals vaatgeometrie en topologie) in zelftoezichthoudende leerarchitecturen aanzienlijke verbeteringen oplevert ten opzichte van generieke computer-vision methoden.

De belangrijkste implicaties zijn:

• Het overwinnen van de "triviale pretext" valkuil in medische beelden met een lage signaal-ruisverhouding.
• Het mogelijk maken van hoogwaardige segmentatie met beperkte annotaties, wat essentieel is in de medische sector waar expert-labeling duur en schaars is.
• Het bieden van een blauwdruk voor toekomstige SSL-frameworks in andere medische beeldvormingsmodaliteiten waar geometrische en topologische eigenschappen centraal staan.

Kortom, VAMAE bewijst dat "geometrie-bewuste" zelftoezichthoudende learning de standaard voor OCTA-analyse kan worden, met name in scenario's met beperkte data.