GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans

Probleemstelling

[18F]FDG-PET/CT is een cruciale beeldvormende techniek voor het stageren van kanker en het beoordelen van de respons op behandeling. Ondanks de hoge diagnostische waarde, kampen klinische workflows met een tekort aan experts en zijn bestaande AI-modellen voor automatische laesiesegmentatie vaak beperkt in hun klinische toepasbaarheid. De belangrijkste knelpunten zijn:

• Gebrek aan interpretatie en uitlegbaarheid: Bestaande AI-modellen zijn vaak "black boxes" die niet inzichtelijk maken waarom ze een bepaalde conclusie trekken.
• Afwijking van menselijk redeneren: AI-modellen worden getraind op statische datasets zonder inzicht in de visuele zoekpatronen en cognitieve processen van radiologen. Menselijke experts gebruiken complexe, ervaring gebaseerde zoekstrategieën om tumoren te onderscheiden van fysiologische opnames, maar dit "visuele redeneren" wordt door AI niet meegenomen.
• Workflow-integratie: Het is moeilijk om AI-output naadloos te integreren in de workflow zonder extra cognitieve belasting voor de radioloog.

Methodologie

De auteurs hebben GazeXPErT ontwikkeld, een multimodaal 4D-oogbewegingsdataset (eye-tracking) dat de zoekpatronen van experts vastlegt tijdens het lezen van FDG-PET/CT-scans.

Dataverzameling:

• Dataset: 346 unieke FDG-PET/CT-studies (lymfoom, longkanker, melanoom) van een open-source dataset.
• Deelnemers: 13 experts (6 getrainde radiologen/nucleair geneeskundigen en 7 bekwame specialisten) uit diverse landen (VS, Duitsland, Korea, Japan).
• Hardware & Software: Een aangepast platform gebouwd met Python en een Tobii Pro Spark oogvolgsensor (60 Hz).
• Proces: De experts lazen de scans in een gesimuleerde klinische omgeving. Ze moesten metabolisch actieve laesies identificeren, bevestigen en aangeven of ze "zeker" of "onzeker" waren over de maligniteit.
• Interactie: Het systeem bood semi-automatische kandidaat-laesies aan (gebaseerd op de blikrichting en SUV-drempelwaarden). De experts konden deze accepteren, afwijzen of aanpassen. Alle beeldparameters (contrast, venster, modus PET/CT/fusie) en toetsaanslagen werden gelijktijdig opgenomen.
• Data-omvang: In totaal 3.948 minuten aan ruwe oogbewegingsdata, resulterend in 9.030 unieke trajecten van blik naar laesie.

Data-structuur:
De data is opgeslagen in een COCO-achtig formaat (Common Objects in Context) en bevat:

1. Ruwe oogbewegingscoördinaten (60 Hz).
2. Laesie-annotaties (bounding boxes) op slice-niveau.
3. Toetsaanslag-gebeurtenissen (keuzes, acceptaties, afwijzingen).
4. Beeldvisualisatie-parameters (SUV-drempels, contrastinstellingen).

Kernbijdragen

1. Eerste grote dataset voor oogvolging in PET/CT: GazeXPErT is de eerste dataset die oogbewegingen koppelt aan 3D-laesieannotaties in oncologische PET/CT-scans, specifiek gericht op het vastleggen van het visuele redeneren van experts.
2. Integratie van onzekerheid: Het dataset onderscheidt tussen "zeker" en "onzeker" gevonden laesies, wat de diagnostische onzekerheid van experts codeert – een vaak genegeerd maar cruciaal aspect voor realistische AI-training.
3. Open Source: De dataset wordt open-source beschikbaar gesteld via het Stanford AIMI Center en Kaggle, inclusief post-processing scripts en validatie-experimenten.
4. Validatie-experimenten: De auteurs tonen aan dat het integreren van oogbewegingsdata de prestaties van AI-modellen verbetert.

Resultaten van Validatie-experimenten

De auteurs voerden drie experimenten uit om de bruikbaarheid van de dataset te testen:

1. Verbeterde Tumorsegmentatie (3D nnUNet):

   • Een 3D nnUNet-model dat werd getraind met oogbewegingswarmtekaarten (gaze heatmaps) als extra inputkanaal, presteerde significant beter dan het model zonder deze data.
   • Resultaat: De DICE-score steeg van 0,6008 (zonder oogdata) naar 0,6819 (met oogdata). Dit toont aan dat experts, ondanks dat ze minder dan 8% van de tijd direct naar de tumor kijken, waardevolle diagnostische informatie geven via hun zoekpatroon.

2. Correctie van Laesie-selectie (Vision Transformer):

   • Een Vision Transformer (ViT) model werd getraind om op basis van een reeks oogbewegingen en beelden een punt te voorspellen dat dichter bij de echte laesie ligt dan het laatste oogpunt.
   • Resultaat: In 74,95% van de gevallen lag het voorspelde punt dichter bij de laesie dan het originele oogpunt. De hoekfout werd verlaagd van 1,134° naar 0,856°, wat binnen het bereik van statische targeting-taken valt.

3. Voorspelling van Menselijke Intentie:

   • Een binair classificatiemodel probeerde te onderscheiden tussen een "bedoelde" selectie van een laesie en een "onbedoelde" zoekbeweging.
   • Resultaat: Het model bereikte een nauwkeurigheid van 67,53% en een AUROC van 0,747. Dit bewijst dat het mogelijk is om menselijke intentie te voorspellen op basis van oogbewegingen en beeldcontext, hoewel dit een complex probleem blijft.

Betekenis en Toekomstperspectief

GazeXPErT is een mijlpaal voor de ontwikkeling van interpreteerbare en uitlegbare AI (XAI) in de medische beeldvorming.

• Van Black Box naar Transparantie: Door AI-modellen te trainen op het visuele gedrag van experts, kunnen modellen hun beslissingen "onderbouwen" met dezelfde zoekstrategieën die radiologen gebruiken.
• Human-in-the-Loop: De dataset ondersteunt de ontwikkeling van systemen die radiologen proactief kunnen helpen, bijvoorbeeld door gebieden te markeren die mogelijk over het hoofd zijn gezien, of door de assistentie aan te passen aan de intentie van de lezer.
• Klinische Adoptie: Door de integratie van menselijk redeneren en onzekerheid, wordt AI betrouwbaarder en beter geschikt voor klinische implementatie, waarbij het vertrouwen van artsen in AI-systemen wordt vergroot.

Kortom, GazeXPErT biedt de gemeenschap een waardevol hulpmiddel om AI-systemen te creëren die niet alleen nauwkeurig zijn, maar ook "denken" en "zoeken" zoals een menselijk expert, wat essentieel is voor de volgende generatie diagnostische hulpmiddelen in de oncologie.