Structured Spectral Graph Representation Learning for Multi-label Abnormality Analysis from 3D CT Scans

Technische Samenvatting: Gestructureerde Spectrale Grafische Representatie-lering voor Multi-label Abnormaliteitsanalyse van 3D CT-scans

Probleemstelling
Het toenemende volume aan borst-CT-onderzoeken vereist geautomatiseerde hulpmiddelen om radiologen bij de detectie van abnormaliteiten te ondersteunen. Hoewel multi-label classificatie cruciaal is voor klinische besluitvormingsondersteuning, blijft dit uitdagend vanwege de complexe ruimtelijke relaties die inherent zijn aan volumetrische gegevens en de brede variabiliteit van pathologieën. Bestaande benaderingen kampen met specifieke beperkingen: 3D Convolutional Neural Networks (CNN's) hebben vaak moeite met het vastleggen van langetermijnafhankelijkheden, terwijl Vision Transformers (ViTs) doorgaans uitgebreide pre-training op grote, domeinspecifieke datasets vereisen om competitief te presteren. Bovendien missen veel bestaande 2.5D-methoden (die plakjes onafhankelijk verwerken of als sequenties) expliciete modellering van ruimtelijke continuïteit en inter-slice afhankelijkheden binnen het volume.

Methodologie: CT-SSG
De auteurs stellen CT-SSG (Structural Spectral Graph for Computed Tomography) voor, een 2.5D-framework dat 3D CT-volumes representeert als gestructureerde grafen. De architectuur verloopt via vier stadia:

1. Feature Initialisatie: Het invoervolume van 3D wordt opgedeeld in $N$ niet-overlappende triplets van aangrenzende axiale plakjes. Elk triplet wordt onafhankelijk verwerkt door een 2D ResNet-18 backbone om ruimtelijke kenmerken te extraheren, wat resulteert in een compacte embedding voor elk triplet. Deze aanpak legt lokale inter-slice context vast zonder terug te vallen op computationeel dure volledige 3D-convoluties.
2. Grafenconstructie: Het volume wordt gemodelleerd als een graaf $G=(V, E)$ waarbij elk knooppunt $v_i$ een triplet van axiale plakjes vertegenwoordigt. Randen verbinden knooppunten op basis van hun fysieke afstand langs de caudale-craniale (z) as. De randgewichten worden gedefinieerd door een functie van de inter-triplet afstand en slice-afstand, waardoor het model ruimtelijke relaties kan coderen. De auteurs verkennen zowel volledig verbonden als ijle (sparse) topologieën, waarbij de connectiviteit beperkt is tot een specifiek receptief veld $q$.
3. Message Passing in het Spectrale Domein: Om variabiliteit in anatomische positionering tussen patiënten op te vangen, gebruikt het model een Spectraal Module gebaseerd op Chebyshev grafenconvoluties. In tegen tegenstelling tot ruimtelijke grafenconvoluties die vaste lokale buurten aggregeren, opereren spectrale convoluties in het Fourier-domein met behulp van polynomiale benaderingen van de grafen-Laplaciaan. Dit stelt het model in staat om hiërarchische feature-representaties en langetermijn anatomische relaties te vangen, terwijl het robuust blijft tegen inter-patiënt variabiliteit. De module bevat Triplet Axial Slice Positional Embeddings om informatie over de axiale positie te behouden en maakt gebruik van residuele verbindingen met normalisatielagen.
4. Classificatie: De bijgewerkte knooprepresentaties worden geaggregeerd via mean pooling om een globale volume-embedding te produceren, die naar een classificatiekop wordt gestuurd om de aanwezigheid van meerdere abnormaliteiten te voorspellen met behulp van Binary Cross-Entropy loss.

Belangrijkste Bijdragen
Het artikel beschrijft vijf primaire bijdragen:

1. CT-SSG Framework: Een nieuwe visuele encoder die 3D CT-volumes modelleert als grafen van triplet axiale plakjes, inclusief Triplet Axial Slice Positional Embeddings en edge-weighting strategieën binnen een spectrale-domein GNN-module.
2. Cross-Dataset Generalisatie: Aangetoond sterke generalisatie wanneer getraind op de CT-RATE dataset (Turkije) en geëvalueerd op onafhankelijke datasets uit de VS (RAD-ChestCT) en Frankrijk (CT-HCL). Het model vertoonde ook overdraagbaarheid van borst- naar abdominale CT-scans.
3. Uitgebreide Ablatie-studies: Systematische evaluatie van modeldiepte, hyperparameters, grafentopologie (ijle vs. volledig verbonden), edge-weighting en connectiviteitspatronen. De studie identificeert dat ijle topologieën met lokale buurten en een enkele spectrale laag optimale prestaties leveren.
4. Transfer naar Rapportgeneratie: Evaluatie van CT-SSG als visuele encoder voor geautomatiseerde radiologie-rapportgeneratie, waarbij wordt aangetoond dat de geleerde representaties effectief zijn voor downstream tekstgeneratietaken.
5. Transfer naar Abdominale CT: Validatie van de aanpak in een low-data regime voor abdominale CT-abnormaliteitsclassificatie, waarbij getoond wordt dat met borst-gepre-trainde backbones beter presteren dan supervised training vanaf nul wanneer er minder dan 3.750 monsters beschikbaar zijn.

Experimentele Resultaten
Het model werd geëvalueerd op de CT-RATE dataset (21.304 patiënten) en vergeleken met 3D CNN's, 3D Transformers (ViT3D, ViViT, Swin3D) en andere 2.5D-methoden (CT-Net, CT-Scroll).

• Prestaties: CT-SSG behaalde een macro F1-score van 57,18% op de CT-RATE testset, waarmee het de beste baseline (CT-Scroll, 54,30%) versloeg en significante winst boekte ten opzichte van 3D Transformers en CNN's.
• Generalisatie: In cross-dataset evaluaties rangschikte CT-SSG consistent het hoogst op F1-score, AUROC en mAP op zowel RAD-ChestCT als CT-HCL, wat wijst op robuustheid tegen verschillende klinische distributies.
• Ablatie Bevindingen:
  • Topologie: IJle grafentopologieën (receptief veld $q=16$) presteerden beter dan volledig verbonden topologieën, wat suggereert dat het beperken van aggregatie tot lokale interacties de kortetermijn afhankelijkheden beter vastlegt.
  • Diepte: Een enkele spectrale laag leverde de beste resultaten op, wat impliceert dat diepe grafenstructuren niet noodzakelijk zijn voor deze taak.
  • Filtergrootte: In ijle grafen was een Chebyshev filtergrootte van $K=3$ optimaal, terwijl volledig verbonden grafen verminderde meeropbrengsten vertoonden bij een hogere $K$.
  • Robuustheid: Het model bleef robuust tegen z-as translaties en Gaussian noise perturbaties.
• Downstream Taken: In rapportgeneratie behaalde CT-SSG een F1-score van 38,72% (klinische effectiviteit), wat significant beter is dan ViViT (27,54%) en ResNet3D (25,45%). In abdominale CT-transfer presteerde linear probing op bevroren borst-gepre-trainde gewichten beter dan supervised training vanaf nul in low-data regimes.

Betekenis en Claims
De auteurs beweren dat CT-SSG een flexibel en algemeen paradigma biedt dat de brug slaat tussen 2D en volumetrische modellering. Door CT-volumes als gestructureerde grafen te representeren, controleert de methode expliciet de buurtdefinities en edge-weighting, wat een fysiek gefundeerd alternatief biedt voor de dichte connectiviteit van Transformers. Het werk suggereert dat expliciete structurele priors (zoals lokale inter-slice connectiviteit) dienen als een effectieve inductieve bias voor 3D redeneren, waarbij het competitieve prestaties bereikt met lagere computationele complexiteit vergeleken met 3D Transformers. De auteurs positioneren CT-SSG als een veelzijdige backbone die geschikt is voor een breed scala aan 3D medische beeldvormingstaken, inclusief abnormaliteitsdetectie en rapportgeneratie, zonder dat daarvoor uitgebreide domeinspecifieke pre-training nodig is.