TARDis: Time Attenuated Representation Disentanglement for Incomplete Multi-Modal Tumor Segmentation and Classification

Le papier présente TARDis, un cadre d'apprentissage profond conscient de la physique qui améliore la segmentation et la classification des tumeurs sur des scanners CT abdominaux incomplets en désenchevêtrant les caractéristiques anatomiques statiques et les dynamiques de perfusion temporelle pour inférer les phases manquantes.

L'essentiel

🏥 Le Problème : Le Scanneur qui "oublie" des photos

Imaginez que vous êtes un détective médical (un radiologue) qui doit examiner un tumeur dans le corps d'un patient. Pour bien voir ce tumeur, on utilise souvent un scanner (CT) avec un produit de contraste (un liquide coloré injecté dans les veines).

Le problème, c'est que ce produit de contraste voyage dans le corps comme une vague.

• Au début, il arrive dans les artères (phase artérielle).
• Ensuite, il se diffuse dans les tissus (phase veineuse).
• Puis, il s'évacue (phase retardée).

Pour avoir un diagnostic parfait, le médecin idéal voudrait voir toutes ces étapes, comme un film complet. Mais en réalité, c'est souvent impossible :

1. La dose de radiation : On ne veut pas trop irradier le patient, alors on ne fait pas 4 ou 5 scans, mais seulement 1 ou 2.
2. L'erreur humaine : Parfois, le scanner est lancé un peu trop tôt ou un peu trop tard. Le "film" est coupé ou flou.

Le résultat ? Les médecins se retrouvent avec des images incomplètes. C'est comme essayer de deviner l'histoire d'un film en regardant seulement une scène au hasard. Les intelligences artificielles actuelles sont très mauvaises dans ce cas : si une "photo" manque, elles paniquent et font des erreurs.

---

🕰️ La Solution : TARDis (Le Voyageur du Temps)

Les auteurs de cet article ont créé une nouvelle IA appelée TARDis (Time Attenuated Representation Disentanglement). Le nom est un clin d'œil à la machine du temps de Doctor Who, car cette IA fait exactement cela : elle comprend le temps et la physique du produit de contraste.

Voici comment ça marche, avec une analogie simple :

1. Séparer le "Solide" du "Mouvement" 🏗️💧

L'idée géniale de TARDis est de décomposer l'image en deux parties distinctes :

• La Partie Statique (L'Anatomie) : C'est la forme du rein, la taille de la tumeur, la structure des os. Cela ne change pas, que ce soit à la seconde 1 ou à la seconde 10. C'est comme le squelette d'un mannequin.
• La Partie Dynamique (La Perfusion) : C'est la façon dont le produit de contraste remplit la tumeur. C'est comme de l'eau qui coule dans un tuyau. Cela change tout le temps.

Les anciennes IA mélangeaient tout : elles voyaient l'eau et le tuyau comme un seul bloc. Si l'eau manquait, elles ne voyaient plus le tuyau. TARDis, elle, sépare les deux.

2. Le Dictionnaire des Formes 📖

Pour la partie "Anatomie" (le squelette), TARDis utilise un dictionnaire d'apprentissage. Imaginez un grand livre de formes anatomiques. Peu importe si le patient a eu un scan artériel ou veineux, l'IA va chercher dans ce dictionnaire la forme exacte du rein. Elle apprend à dire : "Peu importe la phase, c'est toujours le même rein". Cela rend l'IA très robuste.

3. La Machine à Prédire le Temps ⏱️

Pour la partie "Dynamique" (l'eau), c'est là que la magie opère.
L'IA essaie de deviner à quel moment précis du "film" on se trouve. Elle utilise une sorte de machine à vapeur conditionnelle (un VAE).

• Si on lui donne une image sans contraste, elle dit : "Ok, c'est le début du film (temps 0). Je vais imaginer à quoi ressemblerait la tumeur si on injectait le produit maintenant."
• Elle génère (inventer) les informations manquantes en se basant sur la physique du corps humain. C'est comme si vous regardiez une photo de quelqu'un qui court et que vous pouviez imaginer parfaitement où il sera dans 2 secondes, même sans voir le mouvement.

---

🎯 Pourquoi c'est révolutionnaire ?

Imaginez que vous devez deviner le goût d'un gâteau.

• Les anciennes IA : Si on ne vous donne que la farine (pas le sucre, pas les œufs), elles disent : "Je ne sais pas, je ne peux pas deviner."
• TARDis : Elle dit : "Ah, je vois la farine. Je connais la recette. Je vais imaginer le goût du sucre et des œufs manquants pour vous donner le goût complet du gâteau."

Les résultats concrets :

1. Moins de radiation : Les médecins peuvent se contenter d'un seul scan (ou d'un scan mal fait) et l'IA reconstruira les autres phases manquantes. Le patient est moins irradié.
2. Meilleur diagnostic : Même avec une image "pauvre", TARDis détecte mieux les tumeurs malignes (cancéreuses) que les meilleures IA actuelles.
3. Adaptabilité : Ça marche aussi bien sur les scanners (CT) que sur les IRM (MRI), peu importe le protocole utilisé par l'hôpital.

En résumé

TARDis est une intelligence artificielle qui ne se contente pas de "regarder" les images. Elle comprend comment le contraste circule dans le corps. En séparant ce qui est fixe (l'anatomie) de ce qui bouge (le temps), elle peut combler les trous dans les images médicales.

C'est comme donner à un médecin une machine à remonter le temps pour voir toutes les phases d'un examen, même si le scanner n'a été fait qu'une seule fois. Cela rend les diagnostics plus précis, plus sûrs et plus respectueux de la santé des patients.

Résumé technique

1. Problématique

La segmentation et le diagnostic précis des tumeurs par tomodensitométrie (CT) avec injection de produit de contraste reposent fondamentalement sur les profils hémodynamiques transitoires du produit de contraste au fil du temps. Cependant, en pratique clinique réelle, l'acquisition d'une séquence temporelle complète (phases artérielle, veineuse, retardée) est souvent impossible en raison :

• Des limites strictes de dose de radiation imposées aux patients.
• De l'incohérence des protocoles d'acquisition entre différents hôpitaux (délais variables, matériel différent).
• De la variabilité de la fréquence cardiaque des patients.

Ces contraintes entraînent un problème de modalités incomplètes fréquent. Les approches d'apprentissage profond existantes traitent généralement les phases manquantes comme des canaux d'entrée absents ou les remplissent par des zéros, ignorant la continuité temporelle inhérente de l'hémodynamique. Cela conduit à une dégradation sévère des performances lorsque les données sont partielles ou désynchronisées.

2. Méthodologie : TARDis

Les auteurs proposent TARDis (Time Attenuated Representation Disentanglement), un cadre d'apprentissage profond conscient de la physique qui redéfinit les modalités manquantes non pas comme des données absentes, mais comme des points d'échantillonnage manquants sur une Courbe d'Atténuation Temporelle (TAC).

Hypothèse Centrale

L'intensité des unités Hounsfield (HU) d'un tissu peut être explicitement désentrelacée (disentangled) en deux composantes :

1. Composante Statique ($H_s$) : Invariante dans le temps, représentant l'anatomie intrinsèque et la densité de base du tissu (équivalente au scan sans contraste).
2. Composante Dynamique ($H_d$) : Dépendante du temps, représentant le profil de perfusion du produit de contraste.

Architecture du Réseau

TARDis utilise une architecture à double chemin (dual-path) pour apprendre ces représentations séparées :

1. Chemin Modal-Agnostique (Anatomie) :

   • Utilise un dictionnaire d'embeddings apprenable (inspiré de VQ-VAE).
   • Force les caractéristiques extraites de différentes phases à se mapper vers un ensemble fini de vecteurs discrets.
   • Objectif : Extraire une représentation anatomique cohérente et robuste, indépendante de la phase de contraste, en filtrant le bruit spécifique à chaque phase.

2. Chemin Spécifique aux Modalités (Dynamique) :

   • Utilise un Auto-Encodeur Variationnel Conditionnel Hémodynamique (HCVAE).
   • Le modèle régresse d'abord un temps relatif $\tau$ (la position sur la courbe TAC) à partir des caractéristiques dynamiques.
   • La génération des caractéristiques dynamiques est conditionnée par l'anatomie estimée ($\hat{X}_s$) et le temps relatif ($\tau$).
   • Objectif : Modéliser la distribution probabiliste de l'amélioration dynamique. Cela permet au réseau d'inférer les caractéristiques de perfusion manquantes en échantillonnant à partir de la distribution latente apprise, même si la phase correspondante n'est pas présente dans l'entrée.

3. Assemblage Adaptatif :

   • Un mécanisme d'attention pondère et combine les représentations statiques et dynamiques avant la décodage final pour la segmentation ou la classification.

Stratégies d'Entraînement

• Optimisation basée sur les séquences : Gère un nombre variable de modalités d'entrée ($N$) par patient.
• Modality Dropout : Pendant l'entraînement, des modalités sont aléatoirement masquées pour simuler des scénarios cliniques réels et forcer le modèle à apprendre des représentations robustes.
• Fonctions de Perte : Combinaison de pertes de reconstruction, de régularisation KL, de perte de cohérence anatomique (pour aligner les phases) et de perte de désentrelacement (CLUB) pour minimiser l'information mutuelle entre les espaces latents statique et dynamique.

3. Contributions Clés

1. Modélisation Physique : Passage d'une approche purement statistique à une approche basée sur la physique, en traitant les phases de contraste comme des échantillons d'une courbe continue plutôt que comme des canaux indépendants.
2. Désentrelacement Représentationnel : Séparation explicite de l'anatomie (statique) et de la perfusion (dynamique), permettant au modèle de "reconstruire" les phases manquantes de manière probabiliste.
3. Robustesse Extrême : Capacité à maintenir des performances élevées même avec une seule modalité (ex: scan sans contraste uniquement), là où les méthodes de l'état de l'art échouent.
4. Généralisation : Le cadre est applicable non seulement aux CT abdominaux, mais aussi aux IRM cérébrales (BraTS), démontrant une transférabilité au-delà des modalités d'imagerie spécifiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois ensembles de données :

• CH Dataset (Privé) : 2 282 patients, scans abdominaux multi-phases (Rein).
• C4KC-KiTS (Public) : Données de segmentation de tumeurs rénales.
• BraTS 2018 (Public) : Données IRM cérébrales (tumeurs glioblastomes).

Performances Principales :

• Segmentation : TARDis surpasse systématiquement les méthodes de l'état de l'art (RFNet, mmFormer, M3AE, M2FTrans). Sur le dataset CH, le score Dice moyen est de 0.885 contre 0.801 pour le meilleur concurrent.
• Scénarios de Données Sparses : Dans les cas extrêmes (une seule modalité), TARDis maintient un Dice de 0.859 (scan sans contraste), tandis que les méthodes concurrentes chutent drastiquement (ex: ~0.63 pour mmFormer).
• Classification : Pour le diagnostic de sous-types tumoraux, TARDis atteint un AUC de 0.923, surpassant largement les autres méthodes (< 0.760).
• Stabilité : Les courbes de performance de TARDis sont lisses quelle que soit la combinaison de modalités manquantes, contrairement aux méthodes baselines qui montrent des chutes brutales lorsque les phases critiques (artérielle/veineuse) manquent.

Visualisation : Les analyses t-SNE confirment que TARDis réussit à séparer clairement les clusters de caractéristiques statiques et dynamiques, validant l'hypothèse de désentrelacement.

5. Signification et Impact Clinique

• Réduction de la Radiation : En démontrant qu'un diagnostic précis est possible même avec des protocoles incomplets (ou en inférant les phases manquantes), TARDis ouvre la voie à des protocoles d'acquisition réduisant le nombre de phases nécessaires, diminuant ainsi l'exposition des patients aux radiations.
• Interopérabilité Clinique : Le modèle est robuste aux variations de protocoles entre hôpitaux, ce qui est crucial pour le déploiement en milieu réel où les scanners et les délais d'injection varient.
• Paradigme Généralisable : L'approche de "désentrelacement temporel" peut être étendue à d'autres défis médicaux, tels que l'imagerie à faible dose ou l'harmonisation de données multi-centriques.

En résumé, TARDis représente une avancée significative en transformant le problème des données manquantes d'une contrainte technique en une opportunité d'inférence basée sur des principes physiques, offrant une solution robuste pour le diagnostic tumoral en conditions réelles.