Technisch overzicht: GazeLT – Visuele aandacht-gestuurde long-tail ziekteclassificatie in thoraxfoto's

Probleemstelling

Long-tail classificatie in medische beeldvorming blijft een aanzienlijke uitdaging vanwege de inherente klassenonbalans tussen veelvoorkomende (head) en zeldzame (tail) pathologieën. In thoraxfoto's komen veelvoorkomende condities zoals pneumothorax of atelectase frequent voor, terwijl zeldzame condities zoals pneumomediastinum of subcutaan emfyseem in minder dan 1% van de gevallen voorkomen. Standaard deep learning-modellen presteren goed op 'head'-klassen, maar hebben moeite met het identificeren van 'tail'-klassen, waarbij ze vaak shortcuts leren of zich richten op ziekte-irrelevante kenmerken. Hoewel bestaande methoden dit aanpakken via loss re-weighting, re-sampling of decoupling strategieën, negeren zij over het algemeen het potentieel van de visuele zoekpatronen van klinische experts. Bovendien hebben eerdere pogingen om oogblikgegevens (eye gaze data) te integreren de visuele aandacht behandeld als een statische, geaggregeerde kaart, waardoor het de dynamische, temporele aard mist van hoe radiologen afbeeldingen in de loop van de tijd interpreteren.

Methodologie: GazeLT

De auteurs stellen GazeLT voor, een nieuw teacher-student deep learning-framework dat de temporele dynamiek van de visuele aandacht van radiologen integreert om long-tail classificatie te verbeteren. De kernhypothese is dat de blikpatronen van radiologen evolueren tijdens de diagnose, waarbij ze verschuiven van grove globale zoekopdrachten naar fijnmazige inspecties, en dat het decomponeren van deze patronen in tijdsvensters zowel integratie- (fijnmazig) als disintegratie- (grof/globaal) aandachtmechanismen kan vastleggen.

1. Temporele Decompositie van Aandacht

De methode verdeelt de totale duur van het bekijken van een afbeelding door een radioloog in $n$ gelijke tijdsvensters (vastgesteld op $n=4$ in experimenten). Binnen elk venster worden twee verschillende aandachtmechanismen gemodelleerd:

• Time Windowed Integration (TW-I): Legt fijnmazige aandacht vast. Fixatiepunten binnen een specifieke afstandsdrempel worden geclusterd om een "hoofd"-aandachtsregio te vormen, terwijl andere punten "substituut"-regio's vormen. Deze worden gecombineerd en gesmeerd om een integratie-heatmap te creëren. Dit bootst de gefocuste zoektocht van de radioloog naar specifieke abnormaliteiten na.
• Time Windowed Disintegration (TW-D): Legt grove, globale aandacht vast. Er wordt een Gaussische filtering toegepast direct op de ruwe fixatiepunten zonder clustering, wat een bredere, globale zoekstrategie vertegenwoordigt die vergelijkbaar is met "disintegratie" in de menselijke psychologie.

2. Teacher-Student Knowledge Distillation

Het framework werkt in twee stadia:

• Teacher Training (t-HVA): Een teacher-netwerk, bestaande uit TW-I en TW-D blokken, wordt getraind met behulp van de oogblikgegevens van radiologen.
  • Het TW-I blok maakt gebruik van een FocalNet transformer-architectuur om integratie-aandacht te leren.
  • Het TW-D blok maakt gebruik van een GC-ViT (Global Context Vision Transformer) architectuur om disintegratie-aandacht te leren.
  • Beide blokken worden gesuperviseerd door Temporal Visual Attention Loss (t-HVA) functies ($L_{I-tVAL}$ en $L_{D-tVAL}$), die de afstand minimaliseren tussen de intermediaire feature maps van het model en de grondwaarheid-gebaseerde gaze-aandachtsheatmaps.
• Student Training: Een student-model (ResNet-50) wordt getraind voor de downstream long-tailed classificatietaak. De gewichten van de teacher zijn bevroren. De student leert via Knowledge Distillation (KD), waarbij de gefuseerde features van de TW-I en TW-D blokken van de teacher ($J(f_I, f_D)$) worden overgedragen naar de student.
  • De distillatie-loss ($L_{BD}$) minimaliseert de Bhattacharyya-afstand tussen de feature-distributie van de student en de gezamenlijke representatie van de teacher.
  • De student wordt ook geoptimaliseerd met een Label-Distribution-Aware Margin (LDAM) loss ($L_{LDAM}$) om klassenonbalans direct aan te pakken.
  • De uiteindelijke student loss is: $L_s = L_{LDAM} + \lambda L_{BD}$.

3. Inferentie

Tijdens de inferentie werkt het student-model uitsluitend op de invoer van de thoraxfoto. De oogblikgegevens en het teacher-netwerk zijn niet vereist, wat garandeert dat het systeem in klinische omgevingen kan worden ingezet zonder extra hardware.

Belangrijkste Bijdragen

1. Temporele Aandachtsdecompositie: Het artikel introduceert een nieuwe benadering om statische visuele aandacht te decomponeren in Time Windowed Integration en Disintegration mechanismen, waarmee de dynamische verschuiving van globale naar lokale zoekpatronen van radiologen wordt vastgelegd.
2. Nieuwe Loss Functies: De auteurs stellen specifieke Visual Attention Loss (VAL) functies voor om het teacher-netwerk te trainen om de temporele evolutie van de menselijke blik na te bootsen.
3. Teacher-Student Framework voor Long-Tailed Learning: Dit is het eerste werk dat het blikgedrag van radiologen specifief gebruikt om long-tail classificatieproblemen te verzachten, met behulp van een distillatiestrategie om temporele diagnostische priors over te dragen aan een student-model.
4. Empirische Validatie: De methode wordt gevalideerd op twee grootschalige, publiekelijk beschikbare long-tailed datasets: NIH-CXR-LT ($n=89.237$) en MIMIC-CXR-LT ($n=111.898$).

Resultaten

De auteurs rapporteren significante prestatieverbeteringen ten opzichte van state-of-the-art baselines, inclus\u00f8nd standaard long-tailed losses (Softmax, Focal, LDAM, RW LDAM-DRW) en visuele aandacht-gebaseerde baselines (RadioTransformer, GazeRadar).

• NIH-CXR-LT: GazeLT behaalde een gemiddelde nauwkeurigheid van 0,410 op de gebalanceerde testset, wat de beste long-tailed loss baseline (LDAM) met 4,1% verslaat en de visuele aandacht-baseline (RadioTransformer) met 21,7%. Opvallend genoeg verbeterde het de nauwkeurigheid van de tail-klassen met 10,9%.
• MIMIC-CXR-LT: GazeLT behaalde een gemiddelde nauwkeurigheid van 0,418, een verbetering van 8,01% ten opzichte van de beste baseline. De nauwkeurigheid van de tail-klassen verbeterde met 12,2%.
• Ablatie-studies: Experimenten bevestigden dat de combinatie van TW-I en TW-D (Time Windowed) beter presteert dan standalone Integration of Disintegration blokken, wat de noodzaak van het modelleren van beide temporele aandachtstypen valideert. Een sensitiviteitsanalyse toonde aan dat 4 tijdsvensters de optimale balans boden tussen temporele detailgraad en redundantie vergeleken met 2 of 8 vensters.
• Multiclass Prestaties: Op de ongebalanceerde NIH-CXR-LT testset behaalde GazeLT een gebalanceerde nauwkeurigheid van 0,421, een MCC van 0,391 en een AUC van 0,829, waarmee het GazeRadar en RadioTransformer aanzienlijk verslaat.

Betekenis en Claims

Het artikel claimt dat GazeLT een belangrijke vooruitgang vertegenwoordigt door de temporele visuele aandachtspatronen van radiologen te integreren in een deep learning-framework. De auteurs stellen dat:

• Dynamisch vs. Statisch: Het decomponeren van aandacht in tijdsvensters de "context-rijke" aard van diagnostische redenering beter vastlegt dan statische geaggregeerde kaarten.
• Clinician-in-the-Loop: De aanpak verbetert de interpreteerbaarheid en klinische relevantie van het model door de focus van het model af te stemmen op de visuele zoekstrategieën van experts, vooral voor zeldzame ziekten waar de data schaars is.
• Praktische Implementatie: Hoewel oogblikgegevens nodig zijn voor de training van de teacher, vereist het uiteindelijke student-model geen oogblikgegevens tijdens de inferentie, wat het bruikbaar maakt in klinische omgevingen zonder eye-tracking hardware.
• Modality Agnostic: Hoewel gedemonstreerd op 2D thoraxfoto's, stellen de auteurs dat het framework uitbreidbaar is naar andere modaliteiten (CT, MRI, echografie) en 3D-data, mits er oogblikgegevens verkregen kunnen worden.

De auteurs erkennen beperkingen, primair de afhankelijkheid van hoogwaardige eye-tracking data voor de trainingsfase en de huidige focus op 2D thoraxfoto's. Zij concluderen dat het integreren van de temporele dynamiek van experts cruciaal is voor het ontwikkelen van robuuste, nauwkeurige en interpreteerbare diagnostische instrumenten voor long-tailed medische beeldvormingstaken.