When is 3D Worth It? A Resource-Performance Frontier for CNNs and Transformers in Lung CT

Technische Samenvatting: Wanneer is 3D de moeite waard? Een resource-prestatie-front voor CNN's en Transformers in Long CT

Probleemstelling
Hoewel driedimensionale (3D) modellen algemeen worden beschouwd als superieur voor volumetrische medische beeldvorming vanwege hun vermogen om volumetrische context te vatten, wordt hun praktische nut vaak in twijfel getrokken met betrekking tot de vraag of de prestatiewinsten de extra computationele kosten, de geheugeneisen en de complexiteit van optimalisatie rechtvaardigen. Ondanks de prevalentie van 3D-benaderingen in de long CT-analyse, ontbreekt het aan gecontroleerd bewijs dat bepaalt wanneer 3D-inputs daadwerkelijk de kosten waard zijn vergeleken met 2D- of hybride 2.5D-strategieën, met name binnen scenario's met ongebalanceerde klassen (class-imbalance) bij screening.

Methodologie
De auteurs voerden een gecontroleerde, diagnostische studie uit in plaats van een nieuw architectuurvoorstel. De studie maakte gebruik van een lekvrije National Lung Screening Trial (NLST) cohort ($n=1.977$) met vaste patiënt-niveau splitsingen (1.426 train, 254 validatie, 297 test). De taak was binaire patiënt-niveau kankerclassificatie, gekenmerkt door een sterke klasse-onbalans (ongeveer 6,7% prevalentie in de testset). Een ondersteunend cohort uit LIDC-IDRI werd uitsluitend gebruikt voor externe corroboratie van foutmodi (failure modes), niet voor training.

Het experimentele ontwerp isoleerde input-dimensionaliteit als de primaire variabele, terwijl het trainingsprotocol constant werd gehouden:

• Inputs: Drie inputtypen werden geconstrueerd vanuit een enkele canonieke CT-serie per patiënt:
  • 2D: Een enkele centrale axiale doorsnede.
  • 2.5D: Drie orthogonale doorsneden gestapeld als kanalen.
  • 3D: Een op de long gecentreerd sub-volume.
• Modellen: Twee backbone-families werden aangepast aan elke inputdimensie: een Residual Convolutional Neural Network (CNN) en een Vision Transformer (ViT).
• Protocol: Alle modellen werden getraind voor 20 epochs met behulp van weighted binary cross-entropy om onbalans aan te pakken, met identieke optimizer- en leercurve-instellingen.
• Evaluatie: Prestaties werden beoordeeld via ROC-AUC, PR-AUC, sensitiviteit en specificiteit bij zowel de standaard (0,5) als de gevalideerde optimale drempelwaarden (thresholds). Computationele kosten werden gemeten via GPU-geheugen en inferentietijd. Bootstrap 95% betrouwbaarheidsintervallen werden berekend voor de AUC-metrieken.

Belangrijkste Resultaten
De studie vond dat verhoogde dimensionaliteit geen stabiele of superieure prestaties garandeerde in deze ongebalanceerde setting:

• 2.5D CNN: Bereikte de meest gunstige trade-off, met de hoogste ROC-AUC (0,682, 95% CI [0,546, 0,799]) en PR-AUC (0,158) met een stabiel werkpunt en laag GPU-geheugengebruik (~1,6 GB).
• 3D CNN: Vertoonde significante drempelinstabiliteit (threshold instability), waarbij de sensitiviteit drastisch varieerde (0,05 tot 0,50) over verschillende drempelwaarden, ondanks een gematigde ROC-AUC (0,622).
• Transformers (ViT): Lijden onder degeneratieve voorspellingen (degenerate predictions). De 3D ViT produceerde nul sensitiviteit (alle negatieve voorspellingen) ondanks een ROC-AUC van 0,589, terwijl de 2.5D ViT extreme drempelgevoeligheid vertoonde. Transformers vereisten over het algemeen ongeveer 3× meer GPU-geheugen dan CNN's.
• Statistische Significantie: De auteurs benadrukken dat de bootstrap-betrouwbaarheidsintervallen breed waren en elkaar overlapten over alle modellen. Bijgevolg zijn de rangordeverschillen in punt-schattingen niet statistisch scheidbaar.

Belangrijkste Bijdragen

1. Resource–Performance Frontier: Het artikel brengt de trade-off tussen input-dimensionaliteit, computationele kosten en discriminatie in kaart voor zowel CNN- als ViT-families onder een vastgesteld protocol.
2. Foutmodus-Taxonomie: De studie karakteriseert specifieke werkpunt-fouten die ROC-AUC alleen verbergt, specif kinderlijk "drempelinstabiliteit" (in 3D CNN's) en "degeneratieve voorspellingen" (bijv. alle-positieve of alle-negatieve outputs in Transformers).
3. Diagnostische Scope: In plaats van te claimen een nieuwe state-of-the-art model te zijn, dient dit werk als een gecontroleerd, reproduceerbaar startpunt voor grotere studies, waarbij de beperkte scope van één cohort en de bescheiden absolute prestaties expliciet als beperkingen worden behandeld.

Betekenis en Claims
Het artikel claimt bescheiden dat voor klasse-ongebalanceerde longkanker-screeningclassificatie, 2.5D-inputs een betrouwbaardere trade-off bieden tussen prestaties, stabiliteit en computationele efficiëntie dan volledige 3D-representaties. De auteurs stellen dat hoewel 3D-context theoretisch voordelig is, het geen stabiel gedrag garandeert in situaties met beperkte data en onbalans, en mogelijk optimalisatieproblemen introduceert, vooral voor data-hongerige architecturen zoals Transformers.

De bevindingen suggereren dat 2.5D beschouwd moet worden als een praktisch standaardpunt en een starthypothese voor long CT-classificatietaken, terwijl volledige 3D-representaties geschikter kunnen zijn voor ruimtelijk intensieve downstream-taken (bijv. segmentatie) waar volumetrische continuïteit cruciaal is. De auteurs concluderen dat de geschiktheid van de input-dimensionaliteit taakafhankelijk is en dat de geobserveerde resource-prestatie-front en foutmodi observaties zijn die bevestigd moeten worden in grotere studies met meerdere cohorten, in plaats van definitieve superioriteitsclaims.