FixationFormer: Direct Utilization of Expert Gaze Trajectories for Chest X-Ray Classification

Dit paper introduceert FixationFormer, een transformer-architectuur die expertbliktrajecten direct als sequenties van tokens verwerkt om deze naadloos te integreren met beeldkarakteristieken voor superieure classificatie van borst-röntgenfoto's.

De kern

FixationFormer: Hoe een AI leert kijken zoals een arts

Stel je voor dat je een zeer slimme, maar nog jonge student-arts hebt die moet leren een röntgenfoto van een long te analyseren. Deze student kijkt naar de foto, maar weet niet precies waar hij moet zoeken. Hij ziet misschien een vlekje, maar is het een ziekte of gewoon een schaduw?

Nu komt er een ervaren, oude dokter langs. Deze dokter kijkt ook naar dezelfde foto, maar hij kijkt op een heel specifieke manier. Zijn ogen bewegen in een bepaald patroon: eerst naar de linkerlong, dan even stilstaan bij een verdachte plek, dan naar het midden, en weer even pauze. Dit patroon van oogbewegingen is als een geheime schatkaart van hoe een expert een ziekte herkent.

De vraag is: hoe leer je de jonge student (de computer) om niet alleen naar de foto te kijken, maar ook naar de schatkaart van de oude dokter?

Het oude probleem: De "Warme Kaart"

Vroeger probeerden onderzoekers dit op een simpele manier. Ze namen de oogbewegingen van de dokter en maakten er een rode "warmtekaart" van.

• De analogie: Stel je voor dat je de oogbewegingen van de dokter op een foto tekent met een rode stift. Waar hij lang keek, wordt de kaart heel rood. Waar hij kort keek, is hij lichtroze.
• Het nadeel: Deze kaart is statisch. Het is alsof je een foto maakt van de stiftstreken. Je ziet waar de dokter keek, maar je ziet niet in welke volgorde hij keek. Keek hij eerst naar de ziekte en toen naar de rand, of andersom? Die volgorde (de tijd) is verdwenen. Bovendien is het rekenen met die grote, vage kaarten soms lastig voor de computer.

De nieuwe oplossing: FixationFormer

De auteurs van dit papier, Daniel en Benjamin, hebben een slimme nieuwe manier bedacht. Ze noemen hun systeem FixationFormer.

In plaats van een statische rode kaart te maken, behandelen ze de oogbewegingen van de dokter als een verhaal of een liedje.

1. Het verhaal van de ogen:
   De computer neemt de oogbewegingen en splitst ze op in kleine stukjes, net als woorden in een zin. Elke keer dat de dokter even stilstaat met zijn ogen (een "fixatie"), wordt dat een woord in het verhaal.

   • Analogie: Het is alsof je de oogbewegingen omzet in een reeks post-it notes op een bord. Elke post-it note zegt: "Hier keek hij 2 seconden lang, op dit punt."

2. De slimme vertaler (De Transformer):
   Computers zijn geweldig in het begrijpen van verhalen en volgorde (denk aan ChatGPT of vertaalsystemen). Dit systeem gebruikt een technologie die "Transformer" heet.

   • Hoe het werkt: De computer leest nu twee dingen tegelijk:
     • De foto van de long (de afbeelding).
     • Het verhaal van de oogbewegingen (de post-it notes).
   • De computer laat deze twee dingen met elkaar "praten". De foto zegt: "Ik zie hier een vlek." Het oogverhaal zegt: "De dokter keek hier ook lang naar, en hij keek eerst naar de andere kant."
   • Door deze twee informatiebronnen samen te voegen, begrijpt de computer niet alleen wat er op de foto staat, maar ook hoe een expert er naar kijkt.

Waarom is dit zo goed?

• Het behoudt de tijd: De computer weet dat de dokter eerst hier keek en toen daar. Die volgorde is belangrijk voor de diagnose.
• Het is directer: In plaats van een vage rode kaart te gebruiken, gebruikt de computer de exacte bewegingen van de dokter.
• Het werkt beter: De onderzoekers hebben dit getest op drie grote verzamelingen van longfoto's. Het systeem bleek net zo goed of zelfs beter te zijn dan de beste bestaande methoden. Het kon ziektes zoals longontsteking en hartfalen beter vinden.

De conclusie in één zin

FixationFormer is als het geven van een "geheime gids" aan een computer: in plaats van alleen te laten kijken naar een foto, laat je de computer ook meekijken met de ogen van een meester-arts, zodat hij leert hoe je moet zoeken, niet alleen wat er te zien is.

Dit maakt de diagnose sneller, nauwkeuriger en helpt de computer om te denken zoals een menselijke expert.

Technische samenvatting

Probleemstelling

In de medische beeldanalyse, en specifiek bij het interpreteren van thoraxröntgenfoto's (CXR), hebben Convolutionele Neural Networks (CNNs) traditioneel de toon aangegeven. Echter, medische datasets zijn vaak kleiner en complexer dan natuurlijke beelddatasets, wat training uitdagend maakt. Een veelbelovende aanvulling is het gebruik van oogbewegingsdata (gaze) van experts (radiologen), die waardevolle inzichten biedt in hoe diagnoses worden gesteld.

De huidige uitdaging ligt in de integratie van deze oogbewegingsdata in bestaande CNN-architecturen:

• Aard van de data: Oogbewegingen zijn sequentieel, tijdelijk dicht maar ruimtelijk schaars, en variëren sterk tussen experts.
• Bestaande oplossingen: De meeste bestaande modellen reduceren oogbewegingen tot statische warmtekaarten (heatmaps). Dit verlies de temporale dynamiek van de blikpatronen, die cruciale contextuele informatie kan bevatten, en de berekening ervan kan kostbaar zijn.
• Architecturale mismatch: CNNs zijn niet van nature ontworpen voor sequentiële data, terwijl oogbewegingen per definitie sequentieel zijn.

Methodologie: FixationFormer

Het paper introduceert FixationFormer, een transformer-gebaseerde architectuur die oogbewegingen direct integreert als een sequentie van tokens, in plaats van ze te reduceren tot een heatmap. De aanpak bestaat uit drie hoofdcomponenten:

1. Beeldcodering (Image Encoder):

   • Er wordt gebruikgemaakt van een standaard Vision Transformer (ViT) als ruggegraat.
   • Om prestaties op kleinere medische datasets te verbeteren, wordt de encoder vooraf getraind (pre-trained) op het grote MIMIC-CXR-dataset met behulp van het MGCA-framework (Multi-Granularity Cross-modal Alignment).

2. Reprezentatie van Oogbewegingen (Gaze Representation):

   • In plaats van ruwe oogdata, worden de trajecten omgezet in een reeks fixaties (punten waar het oog even stilstaat).
   • Elke fixatie wordt omgezet in een token door drie componenten te combineren:
     • Ruimtelijke coördinaten: Projectie via een leerbare lineaire laag.
     • Duur: Projectie via een leerbare lineaire laag.
     • Starttijd: Gebruikt voor temporale positionele encoding (gebaseerd op de originele Transformer-architectuur).
   • Dit resulteert in een token-sequentie die zowel de ruimtelijke als temporale structuur van de expert-blik behoudt.

3. Integratiemodule (Gaze Integration):

   • De model gebruikt cross-attention mechanismen om beeld- en oogtoken-sequenties te fuseren. Er worden twee varianten onderzocht:
     • Image-to-Gaze Cross-Attention: Alleen de beeldfeatures worden bijgewerkt door te "kijken" naar de oogtokens. Hierbij wordt expliciete ruimtelijke positionele encoding toegevoegd om de relatie tussen beeld en blik te behouden.
     • Two-Way Attention: Een bidirectionele aanpak (geïnspireerd op de SAM-mask decoder) waarbij zowel beeldtokens als oogtokens elkaar kunnen bijwerken. Dit zorgt voor een diepere fusie, maar zonder maskering (zodat elk beeldtoken toegang heeft tot het volledige oogtraject).

Kernbijdragen

• Sequentiële Tokenisatie: Het is de eerste methode die oogbewegingen in de medische beeldanalyse direct representeert als een sequentie van tokens binnen een Transformer-architectuur, in plaats van ze te reduceren tot 2D-heatmaps.
• Directe Integratie: Door de natuurlijke overeenkomst tussen de attention-mechanismen van Transformers en de aard van oogbewegingen, wordt een fijnmazige en directe integratie van diagnostische cues mogelijk gemaakt.
• Ablatie-studies: Het paper toont aan dat oogbewegingen op zichzelf betekenisvolle semantiek bevatten (zelfs zonder beeldcontext) en dat de integratie prestaties verbetert, zelfs bij gebruik van een zwakkere backbone (ImageNet ViT).

Resultaten

De methode is geëvalueerd op drie publieke datasets voor thoraxröntgen-classificatie: CXR-Gaze, SIIM-ACR en Reflacx.

• Prestaties: FixationFormer bereikt state-of-the-art (SOTA) resultaten op twee van de drie datasets en presteert vergelijkbaar met de beste bestaande methoden op de derde.
  • Op de CXR-Gaze dataset overtreft de Cross-Attention variant de huidige SOTA (GazeGNN) met een nauwkeurigheid van 84,11% (tegenover 83,18%).
  • Op de SIIM-ACR dataset bereikt de Two-Way Attention variant een nauwkeurigheid van 86,40%.
  • Op de Reflacx dataset (de meest uitdagende) presteert Cross-Attention het beste met 70,06% nauwkeurigheid.
• Stabiliteit: De Cross-Attention variant bleek over het algemeen stabieler en consistenter dan de Two-Way variant, die soms meer variatie vertoonde in training.
• Impact van de Backbone: Wanneer de sterke MIMIC-CXR vooraf getrainde backbone werd vervangen door een standaard ImageNet ViT, bleek de integratie van oogbewegingen nog belangrijker te zijn. De prestatieverbetering door oogdata was hier aanzienlijk groter, wat aantoont dat FixationFormer effectief is zelfs bij minder complexe beeldmodellen.
• Kwalitatieve Analyse: Visualisaties (GradCAM) tonen aan dat het model met oogdata zich meer focust op anatomisch relevante gebieden die overeenkomen met de expert-blik, in vergelijking met een model dat alleen op beelden leunt.

Betekenis en Conclusie

FixationFormer bewijst dat het behouden van de temporale en ruimtelijke structuur van oogbewegingen via Transformer-architecturen superieur is aan de traditionele heatmap-approaches. De studie onderstreept het potentieel van oogtracking als een rijke, passieve bron van domeinkennis in de medische beeldanalyse.

De belangrijkste implicaties zijn:

1. Efficiëntie: Het vermijden van heatmaps bespaart rekenkracht en behoudt context.
2. Robuustheid: De methode verbetert de diagnoseprestaties, vooral in scenario's waar de beeldmodellen minder sterk zijn of de data onbalans vertoont.
3. Toekomstperspectief: Hoewel suitable medische datasets met oogdata nog schaars zijn, biedt deze aanpak een nieuwe richting voor toekomstig onderzoek in multimodale medische AI, waarbij visuele en gedragsdata (blik) naadloos worden samengevoegd.