Technische Samenvatting: GazeWorld – Een Wereldmodel voor Radiologisch Lezen voor het Leren van Representaties van Medische Beelden

1. Probleemstelling

De klinische vertaling van AI voor medische beeldvorming staat voor twee hoofduitdagingen: het gebrek aan grote, diverse gelabelde datasets door privacyreguleringen en de hoge kosten van expertannotatie, en het ontbreken van interpretatie in huidige modellen, die vaak diagnostische labels afgeven zonder de onderliggende bewijslast bloot te leggen. Hoewel oogvolgingsdata van radiologen een veelbelovende oplossing biedt door expertkennis en de temporele volgorde van het verzamelen van bewijs te coderen, maken bestaande methoden slechts gedeeltelijk gebruik van dit signaal. Huidige benaderingen behandelen blik meestal als een statische ruimtelijke prior (bijvoorbeeld warmtekaarten) of als een auxiliair voorspellingstarget dat losstaat van het diagnostische redeneerproces. Bijgevolg blijft de temporele structuur van hoe experts zoeken, vergelijken en bewijs verzamelen, onderbenut voor het verbeteren van diagnostische representaties.

2. Methodologie: GazeWorld

De auteurs stellen GazeWorld voor, een wereldmodel voor medische beeldvorming dat het diagnostische proces van de radioloog herformuleert als een traject door een perceptuele wereld die wordt gedefinieerd door het beeld. In plaats van blik te behandelen als een statische kaart, modelleert GazeWorld het leesproces als een autoregressieve sequentie waarbij de radioloog door het beeld navigeert, lokale bewijslast bij elke fixatie extrahert om het volgende gebied van belang te informeren.

Kernarchitectuur

GazeWorld bestaat uit drie hoofdcomponenten (geïllustreerd in Figuur 1 van het artikel):

1. Patch-representaties en Fixatiereeks:

   • Een online visuele encoder ($\phi$) beeldt een medisch beeld $X$ af op een set semantische representaties op patch-niveau $Z$.
   • Sequenties van radioloogfixaties $F$ worden afgebeeld op unieke, geordende patch-indexen $S = (s_1, \dots, s_L)$, waarbij de temporele volgorde van bezoeken behouden blijft terwijl herhaalde bezoeken aan dezelfde patch worden samengevoegd.

2. Tak voor Voorspelling van Volgende Fixatie (Autoregressief):

   • Volgend op het paradigma van Joint-Embedding Predictive Architecture (JEPA), voorspelt het model de latente representatie van de volgende gefixeerde patch op basis van alle eerder bezochte patches.
   • Een fixatie-embedder ($\psi$) combineert de visuele token van een bezochte patch met ruimtelijke embedding, temporele rang en verblijfsduur.
   • Een autoregressieve predictor ($g_\theta$), geïmplementeerd als een causale Transformer, verwerkt het voorvoegsel van fixatietokens om de representatie van de volgende patch te voorspellen ($\hat{z}_{s_i}$).
   • Het voorspellingstarget is afgeleid van een momentum-taakencoder ($\bar{\phi}$), een exponentiële bewegende gemiddelde (EMA) kopie van de online encoder, wat zorgt voor stabiele doelen in de representatieruimte zonder dat gradiënten via het target worden teruggepropageerd.

3. Ruimtelijke-Aanvullingstak:

   • Om niet-bezochte gebieden aan te pakken, die klinisch informatief kunnen zijn (bijvoorbeeld overgeslagen omdat ze normaal zijn), voorspelt een ruimtelijke-aanvullingstak representaties voor alle niet-bezochte patches parallel.
   • Een lichtgewicht cross-attention-decoder gebruikt de volledige blik-contextrepresentatie (output van de autoregressieve predictor) om de representaties van niet-bezochte patches af te leiden.

Pretraindoel

Het model wordt voorgetraind met een gecombineerde verliesfunctie:
$$L_{pre} = L_{AR} + \lambda L_{SC}$$
Waarbij $L_{AR}$ het autoregressieve verlies is voor voorspelling van de volgende fixatie en $L_{SC}$ het ruimtelijke-aanvullingsverlies is voor niet-bezochte gebieden. Dit doel is zelftoezichtend, vereist geen diagnostische labels, alleen beeld-tekstparen en bliktrajecten.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Formulering van het Gaze-Wereldmodel: De auteurs introduceren een nieuwe formulering van het leesproces van de radioloog als een traject door een perceptuele wereld. Deze benadering maakt volledig gebruik van de temporele structuur van expertblik als een zelftoezichtend signaal, en gaat verder dan statische warmtekaarten en ontkoppelde scanpath-voorspelling.
2. GazeWorld-architectuur: Zij realiseren deze formulering als GazeWorld, wat uniek blik-geordende autoregressieve voorspelling in de latente ruimte combineert met een ruimtelijke-aanvullingstak. Dit vormt de representatie om zowel diagnostische inhoud als de sequentiële structuur van expertredenering te vangen.
3. Dubbel nut van representaties: De geleerde representaties tonen aan dat een enkel model zowel nauwkeurige diagnose als interpreteerbare scanpath-decodering kan ondersteunen. Een generieke decoder, getraind op bevroren GazeWorld-features, presteert beter dan speciaal gebouwde scanpath-voorspellers, wat aangeeft dat de representatie inherent de sequentiële structuur van expertvisuele zoektochten codeert.

4. Experimentele Resultaten

De auteurs evalueerden GazeWorld op diagnose van thoraxröntgenfoto's en scanpath-voorspelling over drie benchmarks: CheXpert, RSNA Pneumonia en SIIM-ACR Pneumothorax.

Diagnostische Prestaties

• Supervisie Settings: Bevroren GazeWorld-features bereikten state-of-the-art (SOTA) AUROC in alle negen supervisie settings (drie datasets $\times$ drie labelfracties: 1%, 10%, 100%). Opmerkelijk is dat, onder een gecontroleerde vergelijking met EGMA (overeenkomende backbone, initialisatie en data), GazeWorld de CheXpert 1% AUROC verbeterde van 71,21 naar 78,37.
• Zero-Shot Prestaties: GazeWorld behaalde de hoogste zero-shot nauwkeurigheid op alle drie de benchmarks en de hoogste F1-scores op CheXpert en SIIM-ACR, en presteerde beter dan modellen zoals MedCLIP, EGMA en GLoRIA.
• Kwalitatieve Analyse: Grad-CAM visualisaties gaven aan dat GazeWorld meer geconcentreerde activaties produceert over klinisch relevante anatomie in vergelijking met basismodellen.

Scanpath-voorspelling

• Probing Experiment: Een generieke decoder, getraind op bevroren GazeWorld-features, werd geëvalueerd op de GazeSearch-benchmark (ChestSearch-protocol).
• Prestaties: Hoewel niet expliciet getraind om blik te voorspellen, stelden de GazeWorld-features een decoder in staat om de speciaal gebouwde LogitGaze-Med met meer dan 16% in ScanMatch en 22% in SED (Scanpath Euclidean Distance) te overtreffen.
• Implicatie: Dit suggereert dat het wereldmodel-pretraining de sequentiële structuur van expertlezen succesvol codeert in de visuele representatie.

Ablatiestudies

• Ordening: Het vervangen van expertscanpaths door raster-scan of willekeurige volgorde degradeerde de prestaties aanzienlijk, wat bevestigt dat de chronologische volgorde van bewijsverzameling cruciaal is.
• Componenten: De autoregressieve (AR) component alleen leverde sterke prestaties, maar het toevoegen van ruimtelijke aanvulling verbeterde de resultaten verder. Ruimtelijke aanvulling alleen was zwakker, wat suggereert dat het afhankelijk is van de autoregressieve context om effectief te zijn.
• Backbones: De methode verbeterde consistent de zero-shot prestaties wanneer toegepast bovenop verschillende medische visuele backbones (MGCA, EGMA, MedCLIP), wat wijst op de generaliseerbaarheid ervan.

5. Betekenis en Claims

Het artikel beweert dat GazeWorld een veelbelovend pretrainparadigma voor AI in medische beeldvorming demonstreert door te modelleren hoe experts lezen, niet alleen wat ze concluderen. Door het beeld te behandelen als een wereld en de fixatierij als een traject, leert het model om de volgende stap in het diagnostische redeneerproces te voorspellen.

De auteurs stellen dat deze benadering:

• De afhankelijkheid van grote gelabelde datasets vermindert door gebruik te maken van het rijke, zelftoezichtende signaal van oogvolgingsdata.
• Een basis biedt voor interpretatie die statische attentiekaarten niet kunnen bieden, aangezien de geleerde representaties de sequentiële structuur van expertredenering behouden.
• Een complementair verfijningdoel biedt voor bestaande medische foundation-modellen, waarbij dynamiek van radiologisch lezen wordt ingebracht in voorgetrainde encoders zonder volledige hertraining van scratch te vereisen.

De studie is bescheiden beperkt tot thoraxröntgenfoto's en een enkel oogvolgingscorpus (MIMIC-EYE), waarbij de auteurs opmerken dat toekomstig werk grotere datasets met meerdere lezers en bredere beeldvormingsmodaliteiten moet verkennen.