Weakly Supervised Patch Annotation for Improved Screening of Diabetic Retinopathy

Titel: Zwak toezicht voor patch-annotatie voor verbeterde screening van Diabetische Retinopathie (DR)

1. Het Probleem

Diabetische Retinopathie (DR) is een leidende oorzaak van vermijdbare blindheid. Vroege detectie is cruciaal, maar wordt bemoeilijkt door de subtiele aard van pathologische manifestaties (laesies zoals microaneurysmata en bloedingen).

• Tekort aan annotaties: Bestaande datasets hebben vaak slechts beeldniveau-labels (DR vs. geen DR) of onvolledige laesie-annotaties. Gedetailleerde, expert-gemaakte segmentatie van laesies is extreem tijdrovend en arbeidsintensief.
• Beperkingen van bestaande methoden:
  • Zwak toezicht (Weakly Supervised Learning): Werkt vaak op beeldniveau en mist de fijne details van individuele laesies.
  • Semi-supervised Learning (SSL): Kan ruis introduceren door onnauwkeurige grenzen van laesies die gezonde gebieden omvatten.
  • Segmentatiemodellen: Lijden onder bias door partiële annotatie, wat leidt tot onvolledig feature-leren.
• Doel: Een systeem ontwikkelen dat schaarse expert-annotaties systematisch uitbreidt naar volledige patch-level annotaties zonder de resolutie van subtiele laesies te verliezen.

2. Methodologie: Het SAFE Framework

De auteurs stellen SAFE (Similarity-based Annotation via Feature-space Ensemble) voor, een tweestapsframework dat zwak toezicht, contrastief leren en ensemble-methoden combineert.

Stap 1: Patch Embedding Network (PEN)

• Architectuur: Een dual-arm netwerk dat een gedeelde encoder ($f_\theta$) gebruikt.
• Doel: Het leren van semantisch gestructureerde, klasse-discriminerende embeddings voor gelabelde patches.
• Verliesfuncties:
  1. Binary Cross-Entropy Loss ($L_{BCE}$): Voor klassieke classificatie (Gezond vs. Ongezond) op basis van voorlopige labels.
  2. Supervised Contrastive Loss ($L_{SCL}$): Dwingt semantisch vergelijkbare patches (binnen dezelfde klasse) dichter bij elkaar in de embedding-ruimte en verwijdert ongelijksoortige. Dit creëert een robuuste, pathologie-bewuste ruimte.
• Ensemble: Er worden meerdere onafhankelijke PEN-modellen getraind (met verschillende data folds) om modelbias te verminderen en de stabiliteit te vergroten.

Stap 2: Annotatie via Feature-space Ensemble

• Inferentie: Ongelabelde patches worden geprojecteerd in de leerde embedding-ruimtes van de ensemble-modellen.
• KNN & Afstemming: Voor elke ongelabelde patch worden de $K$-naaste buren (gebaseerd op cosine-afstand) gezocht in de set van gelabelde patches.
• Abstention Mechanisme (Terugtrekking):
  • Een vertrouwensdrempel ($\tau$) bepaalt of een patch een definitief label krijgt.
  • Als het aantal stemmen voor een klasse de drempel niet haalt, wordt de patch gemarkeerd als "Undecided" (Onbeslist).
  • Dit voorkomt dat het model ruis introduceert door onzekere patches verkeerd te labelen.
• Ensemble Voting: De voorlopige labels van alle modellen in de ensemble worden samengevoegd via meerderheidsstemming om het definitieve label te bepalen.

3. Belangrijkste Bijdragen

1. SAFE Framework: Een uniek tweestapsframework dat zwak toezicht, contrastief leren en ensemble-inferentie unificeren om schaarse laesie-annotaties systematisch uit te breiden.
2. Patch-niveau aanpak: In tegenstelling tot beeldniveau-methoden, behoudt SAFE de resolutie van subtiele laesies door te werken op 128x128 patches, wat essentieel is voor het detecteren van kleine pathologieën.
3. Robuustheid en Vertrouwen: Het gebruik van een ensemble van embedding-ruimtes en een "abstention"-mechanisme zorgt voor hoge precisie en minimaliseert ruis, zelfs bij onzekere data.
4. Nieuwe Metrieken: Introductie van Decided Rate (Drate) (hoeveelheid geannoteerde data) en Misclassification Rate (MR) (inclusief onbesliste gevallen) om de kwaliteit van annotatie in zwak toezicht-scenario's beter te kwantificeren.
5. Validatie: De methode is gevalideerd door oogartsen en toont aan dat het model zich richt op klinisch relevante patronen in plaats van achtergrondruis.

4. Resultaten

De prestaties zijn getest op vier datasets: Messidor, IDRiD, e-ophtha en DDR.

• Annotatiekwaliteit: SAFE behaalde tot 0,9886 nauwkeurigheid in het scheiden van gezonde en zieke patches. Het had een zeer hoge precisie voor de "Ongezond" klasse, wat betekent dat het zelden gezonde plekken als ziek labelde.
• Downstream Taken (DR Classificatie): Het gebruik van SAFE-gegenereerde labels verbeterde de prestaties van downstream classificatiemodellen (ResNet18, InceptionNetV3, ViT) aanzienlijk:
  • Er was een significante stijging in de F1-score voor de zieke klasse.
  • De Area Under the Precision-Recall Curve (AUPRC) steeg met tot wel 0,545 op de DDR-dataset.
• Vergelijking: SAFE presteerde consistent beter dan baselines zoals Vanilla ResNet18, Lesion-based Contrastive Learning (LCL), Prototype-based Label Transfer (PLT) en Deep Cluster.
• Ablatie Studies:
  • Het ensemble van modellen verbeterde de balans tussen nauwkeurigheid en dekking.
  • De combinatie van $L_{BCE}$ en $L_{SCL}$ (met $\lambda=0.3$) leverde de beste balans tussen clustercompactheid en distributie-alignment.

5. Betekenis en Conclusie

Dit paper introduceert een principieel geautomatiseerde strategie voor dataset-verfijning die task-agnostisch toepasbaar is.

• Klinische Impact: Het lost het probleem op van onvolledige annotaties in medische beeldvorming, waardoor modellen beter kunnen leren van schaarse expert-data.
• Betrouwbaarheid: Door het "abstention"-mechanisme te gebruiken, prioriteert SAFE kwaliteit boven kwantiteit, wat essentieel is in de medische sector waar valse positieven schadelijk kunnen zijn.
• Toekomstperspectief: De methode is schaalbaar en kan worden uitgebreid naar andere medische domeinen (zoals histopathologie) en geïntegreerd met actieve leerstrategieën om de inspanning van experts verder te minimaliseren.

Kortom, SAFE bewijst dat het mogelijk is om hoge-kwaliteit, fijngranulaire annotaties te genereren uit zwak gelabelde data, wat leidt tot aanzienlijk betere diagnosemodellen voor Diabetische Retinopathie.