Forgetting-Resistant and Lesion-Aware Source-Free Domain Adaptive Fundus Image Analysis with Vision-Language Model

Deze paper introduceert FRLA, een nieuwe methode voor bronvrije domeinadaptatie in fundusbeeldanalyse die een vision-language model combineert met modules voor het voorkomen van vergeten van betrouwbare voorspellingen en het benutten van fijne, laesie-specifieke kennis om de diagnoseprestaties te verbeteren.

De kern

Stel je voor dat je een zeer ervaren oogarts hebt opgeleid met duizenden foto's van ogen uit Zuid-Korea (de "bron"). Deze arts is een expert geworden in het herkennen van oogziektes op die specifieke foto's. Nu wil je deze arts laten werken in Nederland (het "doel"), waar de camera's anders zijn, de belichting verschilt en de patiënten er net iets anders uitzien.

Het probleem? De arts kijkt naar de Nederlandse foto's en denkt: "Dit ziet er raar uit, ik weet niet zeker wat ik moet doen." Als je de arts dwingt om te leren van de nieuwe foto's zonder hulp, kan hij zijn oude kennis vergeten of fouten gaan maken die hij in Zuid-Korea nooit zou maken.

Dit is precies het probleem dat dit onderzoek oplost. De auteurs hebben een slimme methode bedacht, genaamd FRLA, om deze "oogarts" (een kunstmatige intelligentie) te helpen zich aan te passen zonder zijn beste vaardigheden te verliezen. Ze gebruiken daarbij een hulpmiddel: een super-diepe kennisbank (een Vision-Language model, ofwel een AI die zowel plaatjes als tekst begrijpt).

Hier is hoe hun methode werkt, vertaald in alledaagse taal:

1. Het probleem: "Vergeetachtigheid" en "Te veel details"

In eerdere pogingen om de arts aan te passen, gebruikte men de kennisbank als een soort "gids". Maar er waren twee grote struikelblokken:

• Het vergeten van goede antwoorden: Soms had de arts al een heel goed antwoord op een Nederlandse foto. Maar omdat de gids (de AI) een ander antwoord gaf, werd de arts door de gids "omver gelopen" en verloor hij zijn zelfvertrouwen. Hij vergat zijn eigen goede oordeel.
• De te grote foto: De gids keek alleen naar het gehele oog. Maar oogziektes zitten vaak in kleine vlekjes (zoals een druppeltje vocht of een witte vlek). De gids gaf geen aanwijzingen over waar die vlekjes zaten, waardoor de arts niet leerde om specifiek naar die plekken te kijken.

2. De oplossing: Twee slimme hulpmiddelen

De auteurs hebben twee nieuwe modules toegevoegd aan het leerproces:

A. De "Vergeet-Resistente" Module (Het geheugenboek)

Stel je voor dat de arts een geheugenboek bijhoudt.

• Elke keer als de arts een foto bekijkt en hij is zeer zeker van zijn antwoord, schrijft hij dit antwoord in zijn geheugenboek.
• Tijdens het leren kijkt de arts niet alleen naar de gids, maar ook naar zijn eigen geheugenboek.
• Als de gids zegt: "Ik denk dat dit ziekte A is," maar het geheugenboek zegt: "Nee, ik was zeker dat dit ziekte B was," dan luistert de arts naar zijn eigen boek.
• De metafoor: Het is alsof je een student hebt die al een examen heeft gehaald. Als een nieuwe leraar (de gids) zegt dat het antwoord fout is, maar de student weet dat hij het goed had, dan laat de student zich niet omverblazen. Hij houdt zijn eigen kennis vast. Dit zorgt ervoor dat de arts zijn beste vaardigheden niet verliest.

B. De "Laesie-Bewuste" Module (De vergrootglas)

Deze module zorgt ervoor dat de arts leert kijken naar de kleine details, net als met een vergrootglas.

• De gids (die heel veel weet over oogziekten) wordt niet alleen gevraagd om het hele oog te beoordelen, maar om te zeggen: "Kijk hier, op deze kleine plek, zit een ziekte."
• De arts leert dan om die specifieke plekken (de laesies) te herkennen.
• De metafoor: Stel je voor dat je een schilderij bekijkt. Eerder keek de arts alleen naar het hele schilderij en zei: "Dit is een landschap." Nu krijgt hij een vergrootglas en zegt de gids: "Kijk eens naar dit stukje verf, dat is een boom." De arts leert nu om de boom te zien, niet alleen het landschap.
• Slimme timing: In het begin van het leren krijgt de arts veel hulp van dit vergrootglas. Maar naarmate hij beter wordt, wordt de hulp langzaam minder, zodat hij niet afhankelijk wordt van de gids en zelfstandig blijft werken.

3. Het resultaat

Door deze twee trucjes te combineren, gebeurt er iets magisch:

1. De arts vergeet zijn oude, goede kennis niet.
2. Hij leert de nieuwe, lokale ziektes veel sneller en nauwkeuriger te herkennen omdat hij weet waar hij moet kijken.

In de proefjes (met echte oogfoto's) bleek dat deze methode veel beter werkt dan eerdere methoden. De arts werd niet alleen slimmer dan de gids alleen, maar ook slimmer dan alle andere slimme methoden die er al waren.

Kort samengevat:
De auteurs hebben een manier bedacht om een AI-oogarts te trainen op nieuwe foto's zonder dat hij zijn beste kennis verliest, en hem tegelijkertijd een "vergrotingsglas" geven om de kleine ziekteplekken te zien. Het resultaat is een arts die zowel zijn ervaring behoudt als perfect is aangepast aan de nieuwe omgeving.

Technische samenvatting

Titel

Forgetting-Resistant en Lesion-Aware Source-Free Domain Adaptatie voor Fundusbeeldanalyse met Vision-Language Model

1. Probleemstelling

De paper adresseert het probleem van Source-Free Domain Adaptation (SFDA) in de context van fundusbeeldanalyse (retina-diagnose).

• Context: Diepe neurale netwerken presteren goed in bron-domeinen, maar lijden onder domain shift (verschillen in beeldvormingsprotocollen of apparatuur) wanneer ze worden toegepast op doeldomeinen.
• Beperking: SFDA probeert een model dat is getraind op gelabelde bron-data aan te passen aan een doeldomein met alleen ongelabelde data, zonder toegang tot de oorspronkelijke bron-data (voor privacyredenen).
• Huidige uitdagingen:
  1. Vergeten van goede voorspellingen: Bestaande SFDA-methoden die gebruikmaken van foundation modellen (zoals Vision-Language of ViL-modellen, bijv. CLIP of FLAIR) en Mutual Information (MI) loss, blijken soms te leiden tot het "vergeten" van hoogwaardige voorspellingen die het doelmodel oorspronkelijk maakte. De prestaties op specifieke klassen kunnen tijdens de adaptatie dalen.
  2. Gebrek aan fijnmazige kennis: Bestaande werken gebruiken ViL-modellen voornamelijk voor globale, beeldniveau-informatie. Ze negeren echter de rijke, fijnmazige kennis (zoals patch-voorspellingen) die deze modellen kunnen bieden, wat essentieel is voor het lokaliseren van specifieke laesies (zoals exsudaten, drusen, of afwijkende optic cups) in fundusbeelden.

2. Methodologie: FRLA Framework

De auteurs stellen FRLA (Forgetting-Resistant and Lesion-Aware) voor, een nieuw framework dat twee specifieke modules introduceert om de bovengenoemde beperkingen op te lossen.

A. Forgetting-Resistant Adaptatie (Vergetingsbestendige Adaptatie)

Dit module is ontworpen om te voorkomen dat het doelmodel zijn eigen betrouwbare voorspellingen verliest tijdens de interactie met het ViL-model.

• Mechanisme: Een memory bank wordt gebruikt om periodiek de betrouwbare voorspellingen van het doelmodel op te slaan.
• Dual Mutual Information Loss:
  • $L_{dis}$: Standaard Mutual Information loss tussen de voorspellingen van het doelmodel en het ViL-model.
  • $L_{fr}$ (Forgetting-Resistant): Een extra MI-loss term die de huidige voorspellingen van het doelmodel vergelijkt met de betrouwbare historische voorspellingen uit de memory bank.
• Doel: Door expliciet de correlatie tussen huidige en eerdere betrouwbare voorspellingen te maximaliseren, worden correcte voorspellingen beschermd tegen negatieve invloeden van het ViL-model. Omdat beide loss-termen op dezelfde schaal werken (MI), is geen complexe hyperparameter-balancing nodig.

B. Lesion-Aware Adaptatie (Laesie-bewuste Adaptatie)

Deze module maakt gebruik van de fijnmazige kennis van het ViL-model om het doelmodel bewust te maken van specifieke laesie-gebieden.

• Patch-wise Supervisie: In plaats van alleen beeldniveau-voorspellingen, worden patch-wise (beeldfragment) voorspellingen gegenereerd door het ViL-model (geïnspireerd op CAM - Class Activation Mapping).
• Adaptieve Strategie:
  1. Selectie: Patch-voorspellingen die onverenigbaar zijn met de betrouwbare beeldniveau-voorspellingen uit de memory bank worden verwijderd om fouten te minimaliseren.
  2. Class Imbalance Rectificatie: De patch-voorspellingen worden genormaliseerd op basis van het aantal patches per klasse om bias te voorkomen.
  3. Verloopende Loss Weight: De loss voor deze patch-supervisie ($L_{la}$) heeft een gewicht dat geleidelijk afneemt gedurende de eerste helft van het training en daarna op nul staat. Dit voorkomt dat de model zich laat afleiden van de hoofdtaken (beelddiagnose) door te veel te focussen op patch-classificatie in de late fasen.

Totale Loss: De totale trainingsloss is de som van de beeldniveau-loss (vergetingsbestendig) en de patch-niveau-loss (laesie-bewust): $L = L_{im} + L_{la}$.

3. Key Contributions

1. Identificatie en oplossing van "Forgetting": De auteurs tonen aan dat standaard MI-loss kan leiden tot een daling in prestaties voor specifieke klassen en introduceren een memory-bank gebaseerde aanpak om dit te corrigeren.
2. Uitbuiting van Fijnmazige Kennis: Het is de eerste SFDA-methode voor fundusbeelden die expliciet patch-niveau supervisie gebruikt vanuit een ViL-model om laesie-locaties te leren, in plaats van alleen globale beeldkenmerken.
3. Nieuw Framework (FRLA): Een geïntegreerd systeem dat zowel de stabiliteit van het doelmodel waarborgt als de diagnostische precisie verbetert door laesie-gebieden te benadrukken.

4. Resultaten

De methode is getest op twee cross-domein scenario's met drie datasets: ODIR (bron), FIVES en VietAI (doel). De taak is multi-disease classificatie (Normal, ARMD, DR, GLC).

• Vergelijking met SOTA: FRLA presteert significant beter dan:
  • Direct gebruik van het ViL-model (FLAIR) in zero-shot.
  • Gemiddelde voorspellingen van Source-model en ViL.
  • Bestaande SFDA-methoden (SHOT, COWA, Co-learn, DIFO).
• Specifieke prestaties:
  • Op de ODIR $\to$ FIVES set bereikte FRLA een gemiddelde nauwkeurigheid van 80.4%, vergeleken met 78.6% voor de vorige staat-van-de-kunst (DIFO) en 73.5% voor het ViL-model alleen.
  • Op de ODIR $\to$ VietAI set behaalde FRLA 80.8% gemiddeld, een verbetering ten opzichte van DIFO (78.4%).
• Ablatie-studies:
  • Het toevoegen van de Forgetting-Resistant module ($L_{fr}$) leidde tot een aanzienlijke stijging in gemiddelde nauwkeurigheid en herstelde de dalingen in specifieke klassen (zoals Glaucoom).
  • De Lesion-Aware module ($L_{la}$) verbeterde de prestaties in de vroege trainingsfasen en resulteerde in betere CAM-visualisaties (Class Activation Maps) die de laesies nauwkeuriger lokaliseerden.

5. Significantie

De paper is significant voor het veld van medische beeldanalyse en domain adaptatie omdat:

• Het een oplossing biedt voor het veelvoorkomende probleem van "catastrophic forgetting" van goede voorspellingen tijdens adaptatie, zelfs bij gebruik van krachtige foundation modellen.
• Het aantoont dat foundation modellen meer kunnen bieden dan alleen globale labels; hun interne representaties kunnen worden gebruikt voor fijnmazige, lokale diagnostische taken.
• Het een praktische, privacy-bewuste oplossing biedt voor het verbeteren van AI-systemen voor oogziekten in nieuwe ziekenhuizen of regio's zonder dat er nieuwe gelabelde data nodig is.

De code van de auteurs zal openbaar worden gemaakt, wat de reproduceerbaarheid en adoptie van de methode verder zal stimuleren.