Structured Spectral Graph Representation Learning for Multi-label Abnormality Analysis from 3D CT Scans

Résumé Technique : Apprentissage de Représentations de Graphes Spectraux Structurés pour l'Analyse de Multi-anomalies à partir de Scanners CT 3D

Énoncé du Problème
Le volume croissant des examens de scanner thoracique nécessite des outils automatisés pour assister les radiologues dans la détection d'anomalies. Bien que la classification multi-étiquettes soit cruciale pour le support de décision clinique, elle reste un défi en raison des relations spatiales complexes inhérentes aux données volumétriques et de la grande variabilité des pathologies. Les approches existantes font face à des limitations spécifiques : les réseaux de neurones convolutifs (CNN) 3D peinent souvent à capturer les dépendances à longue portée, tandis que les Vision Transformers (ViT) nécessitent généralement un pré-entraînement intensif sur de grands ensembles de données spécifiques au domaine pour être compétitifs. De plus, de nombreuses méthodes 2,5D existantes (qui traitent les coupes de manière indépendante ou séquentielle) manquent de modélisation explicite de la continuité spatiale et des dépendances inter-coupes au sein du volume.

Méthodologie : CT-SSG
Les auteurs proposent CT-SSG (Structural Spectral Graph for Computed Tomography), un cadre 2,5D qui représente les volumes CT 3D sous forme de graphes structurés. L'architecture se déroule en quatre étapes :

1. Initialisation des Caractéristiques : Le volume 3D d'entrée est partitionné en $N$ triplets non chevauchants de coupes axiales adjacentes. Chaque triplet est traité indépendamment par un backbone ResNet-18 2D pour extraire les caractéristiques spatiales, résultant en un plongement (embedding) compact pour chaque triplet. Cette approche capture le contexte inter-coupes local sans recourir à des convolutions 3D complètes et coûteuses en termes de calcul.
2. Construction du Graphe : Le volume est modélisé comme un graphe $G=(V, E)$ où chaque nœud $v_i$ représente un triplet de coupes axiales. Les arêtes relient les nœuds en fonction de leur distance physique le long de l'axe caudal-crânien (z). Les poids des arêtes sont définis par une fonction de la distance inter-triplet et de l'espacement des coupes, permettant au modèle de coder les relations spatiales. Les auteurs explorent des topologies entièrement connectées et creuses, où la connectivité est limitée à une taille de champ récepteur spécifique $q$.
3. Passage de Messages dans le Domaine Spectral : Pour gérer la variabilité du positionnement anatomique entre les patients, le modèle utilise un Module Spectral basé sur des convolutions de graphes de Chebyshev. Contrairement aux convolutions de graphes spatiales qui agrègent des voisinages locaux fixes, les convolutions spectrales opèrent dans le domaine de Fourier en utilisant des approximations polynomiales du Laplacien du graphe. Cela permet au modèle de capturer des représentations de caractéristiques hiérarchiques et des relations anatomiques à longue portée tout en restant robuste à la variabilité inter-patient. Le module inclut des Triplet Axial Slice Positional Embeddings pour conserver l'information de position axiale et utilise des connexions résiduelles avec des couches de normalisation.
4. Classification : Les représentations de nœuds mises à jour sont agrégées via un mean pooling pour produire un plongement de volume global, qui est transmis à une tête de classification pour prédire la présence de multiples anomalies à l'aide d'une perte de type Binary Cross-Entropy.

Contributions Clés
L'article présente cinq contributions principales :

1. Cadre CT-SSG : Un nouvel encodeur visuel modélisant les volumes CT 3D comme des graphes de triplets de coupes axiales, incorporant des Triplet Axial Slice Positional Embeddings et des stratégies de pondération d'arêtes au sein d'un module GNN de domaine spectral.
2. Généralisation Trans-jeu de Données : Démontrée par une forte capacité de généralisation lors de l'entraînement sur le jeu de données CT-RATE (Turquie) et l'évaluation sur des jeux de données indépendants des États-Unis (RAD-ChestCT) et de France (CT-HCL). Le modèle a également montré une transférabilité des scanners thoraciques vers les scanners abdominaux.
3. Études d'Ablation Exhaustives : Évaluation systématique de la profondeur du modèle, des hyperparamètres, de la topologie du graphe (creuse vs entièrement connectée), de la pondération des arêtes et des motifs de connectivité. L'étude identifie que les topologies creuses avec des voisinages locaux et une seule couche spectrale offrent les performances optimales.
4. Transfert à la Génération de Rapports : Évaluation de CT-SSG en tant qu'encodeur visuel pour la génération automatisée de rapports de radiologie, démontrant que les représentations apprises sont efficaces pour les tâches de génération de texte en aval.
5. Transfert au CT Abdominal : Validation de l'approche dans un régime de faibles données pour la classification d'anomalies par CT abdominal, montrant que les backbones pré-entraînés sur le thorax surpassent l'entraînement supervisé à partir de zéro lorsque moins de 3 750 échantillons sont disponibles.

Résultats Expérimentaux
Le modèle a été évalué sur le jeu de données CT-RATE (21 042 patients) et comparé aux CNN 3D, aux Transformers 3D (ViT3D, ViViT, Swin3D) et à d'autres méthodes 2,5D (CT-Net, CT-Scroll).

• Performance : CT-SSG a atteint un score F1 macro de 57,18 % sur l'ensemble de test CT-RATE, surpassant la meilleure ligne de base (CT-Scroll, 54,30 %) et montrant des gains significatifs par rapport aux Transformers 3D et aux CNN.
• Généralisation : Dans les évaluations croisées de jeux de données, CT-SSG a systématiquement occupé le premier rang en termes de score F1, d'AUROC et d'mAP sur RAD-ChestCT et CT-HCL, indiquant une robustesse aux différentes distributions cliniques.
• Résultats d'Ablation :
  • Topologie : Les topologies de graphes creuses (champ récepteur $q=16$) ont surpassé les topologies entièrement connectées, suggérant que la restriction de l'agrégation aux interactions locales permet de mieux capturer les dépendances à courte portée.
  • Profondeur : Une seule couche spectrale a donné les meilleurs résultats, impliquant que des structures de graphes profondes ne sont pas nécessaires pour cette tâche.
  • Taille du Filtre : Dans les graphes creux, une taille de filtre de Chebyshev $K=3$ était optimale, tandis que les graphes entièrement connectés montraient des rendements décroissants avec un $K$ plus élevé.
  • Robustesse : Le modèle est resté robuste aux translations sur l'axe z et aux perturbations par bruit gaussien.
• Tâches Aval : Dans la génération de rapports, CT-SSG a atteint un score F1 de 38,72 % (efficacité clinique), surpassant nettement ViViT (27,54 %) et ResNet3D (25,45 %). Pour le transfert au CT abdominal, le linear probing sur des poids gelés pré-entraînés sur le thorax a surpassé l'entraînement supervisé à partir de zéro dans les régimes de faibles données.

Signification et Revendications
Les auteurs affirment que CT-SSG fournit un paradigme flexible et général capable de faire le pont entre la modélisation 2D et volumétrique. En représentant les volumes CT sous forme de graphes structurés, la méthode contrôle explicitement les définitions de voisinage et la pondération des arêtes, offrant une alternative physiquement fondée à la connectivité dense des Transformers. Ce travail suggère que les priors structurels explicites (tels que la connectivité inter-coupes locale) servent de biais inductif efficace pour le raisonnement 3D, atteignant des performances compétitives avec une complexité de calcul moindre par rapport aux Transformers 3D. Les auteurs positionnent CT-SSG comme un backbone polyvalent adapté à une large gamme de tâches d'imagerie médicale 3D, incluant la détection d'anomalies et la génération de rapports, sans nécessiter de pré-entraînement massif spécifique au domaine.