Imitating Radiological Scrolling: A Global-Local Attention Model for 3D Chest CT Volumes Multi-Label Anomaly Classification

Technische Samenvatting: Het imiteren van radiologisch scrollen met CT-Scroll

Probleemstelling
De snelle toename van het volume aan Computertomografie (CT)-scans heeft een dringende behoefte gecreëerd aan geautomatiseerde hulpmiddelen om radiologen te ondersteunen bij taken zoals multi-label anomalieclassificatie. Hoewel deep learning vooruitgang heeft geboekt in de medische beeldvorming, kampen bestaande methoden met specifieke beperkingen wanneer ze worden toegepast op 3D CT-volumes. Convolutionele Neurale Netwerken (CNN's) blinken uit in het vastleggen van lokale ruimtelijke kenmerken, maar hebben moeite met het modelleren van langetermijnafhankelijkheden over grote 3D-volumes, wat de globale contextuele begrip beperkt. Visie-Transformers (ViTs) kunnen daarentegen globale context modelleren via self-attention, maar zijn vaak rekenintensief voor hoogdimensionale volumetrische data en vereisen uitgebreide pre-training op grootschalige datasets om concurrerende prestaties te behalen. Bovendien modelleren noch beide benaderingen expliciet het navigatiegedrag van de radioloog, dat bestaat uit het scrollen door axiale plakjes om een globaal begrip te vestigen voordat er gefocust wordt op specifieke lokale details om diagnoses te bevestigen.

Methodologie: CT-Scroll
De auteurs stellen CT-Scroll voor, een hybride globaal-lokaal aandachtmodel ontworpen om het scrollgedrag van de radioloog tijdens 3D CT-analyse te emuleren. De architectuur bestaat uit drie primaire fasen:

1. Triplet Slices Embedding:

   • Het input 3D-volume ($240 \times 480 \times 480$) wordt voorbewerkt (center-cropped/gepad, Hounsfield Unit clipping en normalisatie).
   • Axiale plakjes worden gegroepeerd in triplets van drie opeenvolgende plakjes, wat resulteert in 80 triplets.
   • Elk triplet wordt verwerkt door een ResNet (pre-trained op ImageNet) gevolgd door een Global Average Pooling (GAP) laag. Dit produceert een vectorrepresentatie ($h_i \in \mathbb{R}^{512}$) voor elk triplet, wat de parameters aanzienlijk vermindert vergeleken met 3D-convoluties of lineaire projecties, terwijl lokale informatie behouden blijft.

2. Scrolling Block (SB):

   • De sequentie van 80 triplet-vectoren wordt ingevoerd in een Scrolling Block, die fungeert als een Transformer encoder stack ontworpen om interacties langs de cranio-caudale richting (z-as) te modelleren.
   • De blok maakt gebruik van een alternerend aandachtmechanisme geïnspireerd door radiologische navigatie:
     • Global Attention ($f_G$): Een standaard self-attention laag die elke token laat interageren met alle andere tokens, waardoor langetermijnafhankelijkheden en de globale volumestructuur worden vastgelegd.
     • Local Attention ($f_{CAU \to CRA}$ en $f_{CRA \to CAU}$): Twee opeenvolgende lagen maken gebruik van Sliding Window Attention (SWA) met causale maskers. Eén laag modelleert interacties van causaal naar craniaal (het "omhoog" kijken in de stapel) en de andere van craniaal naar causaal (het "omlaag" kijken in de stapel). Dit beperkt het receptieve veld van elke token tot een lokale omgeving van $q$ plakjes, wat het heen-en-weer scrollen van de radioloog nabootst om de lokale context te verfijnen.
   • Elke encoder-laag bevat residuele verbindingen, Layer Normalization en een FeedForward Network met GeGLU-activatie.

3. Aggregatie en Classificatie:

   • De verfijnde visuele tokens worden geaggregeerd via sommatie.
   • Een lichtgewicht Multilayer Perceptron (MLP) classificatiekop voorspelt de logit-vector voor 18 anomalieklassen met behulp van een binary cross-entropy loss.

Belangrijkste Bijdragen

• Nieuwe Architectuur: De introductie van een globaal-lokaal aandachtmodel (CT-Scroll) dat specifiek het scrollgedrag van de radioloog nabootst, waarbij een balans wordt gevonden tussen het begrijpen van de globale context en het bewustzijn van lokale details.
• Computationele Efficiëntie: Het model bereikt hoge prestaties met beperkte computationele middelen (enkele GPU, <24 uur trainingstijd) en vermijdt de zware pre-trainingseisen van standaard ViTs.
• Uitgebreide Evaluatie: De aanpak wordt gevalideerd op twee publieke datasets (CT-RATE en Rad-ChestCT) met cross-dataset generalisatietests.
• Ablatie-analyse: Een gedetailleerde studie naar de impact van feature reductiemethoden (GAP versus 3D Conv), aandachtmechanismen (globaal versus lokaal versus alternerend) en sliding window-groottes op prestaties en efficiëntie.

Experimentele Resultaten
Het model werd geëvalueerd op de CT-RATE en Rad-ChestCT testsets met behulp van AUROC, Accuracy, F1-Score en Precision.

• CT-RATE Prestaties: CT-Scroll behaalde een AUROC van 81,80% en een F1-score van 53,97%. Dit vertegenwoordigt een significante verbetering ten opzichte van de baseline CT-Net (AUROC +3,06%, F1 +2,58%) en andere state-of-the-art modellen zoals Swin3D en CT-ViT.
• Rad-ChestCT Generalisatie: Op de externe Rad-ChestCT dataset demonstreerde CT-Scroll robuuste generalisatie, met een AUROC van 71,21%. Dit is een verbetering van +12,47% ten opzichte van CT-ViT en +3,34% ten opzichte van Swin3D.
• Statistische Significantie: Gepaarde t-testen bevestigden dat de verbeteringen ten opzichte van CT-Net statistisch significant waren ($p < 0,01$) over alle metrieken.
• Ablatie-bevindingen:
  • Het vervangen van 3D-convoluties door GAP voor dimensionaliteitsreductie verbeterde de AUROC met +2,39%.
  • Het integreren van de alternerende globale-lokale Scrolling Block leverde de beste resultaten op, waarbij het de configuraties met alleen globale aandacht overtrof met +0,68% in AUROC.
  • Een sliding window grootte van 16 triplet-plakjes bleek optimaal, wat beter presteerde dan groottes van 4 en 64.
• Efficiëntie: De inferentietijd is ongeveer 90 milliseconden per volume, met een aantal parameters van 16 miljoen, wat het geschikt maakt voor klinische praktijk.

Betekenis en Claims
Het artikel claimt dat CT-Scroll effectief de kloof overbrugt tussen de lokale feature extractie capaciteiten van CNN's en de globale context modellering van Transformers, zonder de respectievelijke computationele of data-hongerige nadelen te ervaren. Door het navigatiestrategie van de radioloog expliciet te modelleren via alternerende globale en lokale aandacht, legt het model multi-schaal anomalieën in 3D CT-volumes effectiever vast dan bestaande methoden. De auteurs positioneren dit werk als een stap naar praktische, hulpbron-efficiënte geautomatiseerde tools die radiologen kunnen ondersteunen bij het beheren van groeiende werklasten, gevalideerd door de sterke prestaties op publieke datasets en het vermogen om te generaliseren over verschillende databronnen. Toekomstig werk, zoals gesuggereerd door de auteurs, omvat het verkennen van regio-specifieke informatie en het integreren van 3D CNN-modules om de ruimtelijke continuïteit beter te bewaren.