⚡ electrical engineering

An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

Ce papier présente un modèle fondation open-source et multicentrique pour la segmentation des tumeurs sur l'ensemble du corps à partir de TEP/TDM au FDG, qui exploite une fusion intermodale précoce et un objectif spécifique de masquage auto-encodant pour atteindre des performances élevées avec un minimum de données étiquetées, réduisant ainsi la dépendance aux annotations manuelles extensives en oncologie clinique.

Auteurs originaux : Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à repérer des tumeurs dans le corps d'un patient en utilisant des examens médicaux. Les médecins examinent généralement deux types d'images ensemble : un scanner CT (qui montre l'anatomie du corps, comme une carte 3D détaillée des os et des organes) et un scanner PET (qui montre le métabolisme, en illuminant les zones où les cellules brûlent de l'énergie, indiquant souvent un cancer).

Pendant longtemps, les ordinateurs ont été mauvais pour combiner efficacement ces deux vues. La plupart des modèles d'IA existants étaient comme des étudiants qui n'avaient étudié que pour un seul examen spécifique. Ils étaient entraînés sur de petits groupes de patients provenant d'un seul hôpital, et ils traitaient souvent les scanners CT et PET comme deux matières distinctes, ne tentant de les combiner qu'à la toute fin de leur processus de « réflexion ». Cela les rendait fragiles ; si l'ordinateur voyait un examen provenant d'un hôpital différent ou d'une machine différente, il était souvent perdu.

Ce papier introduit une nouvelle solution : un « Modèle de Fondation » pour les scanners PET/CT. Pensez-y non pas comme un étudiant préparant un seul examen, mais comme un étudiant en médecine qui a lu des milliers de manuels provenant de quatre pays différents avant même de voir un vrai patient.

Voici comment ils l'ont construit et pourquoi cela fonctionne, expliqué simplement :

1. La « Bibliothèque » d'examens

Au lieu d'utiliser un petit jeu de données provenant d'un seul endroit, les chercheurs ont rassemblé 4 997 examens provenant de quatre ensembles de données publics différents (Allemagne, Australie, États-Unis et Vietnam).

Le Défi : Ces examens avaient tous des tailles différentes et avaient été réalisés avec des machines différentes. C'est comme essayer de construire un puzzle où certaines pièces proviennent d'un ensemble de 1000 pièces et d'autres d'un ensemble de 500 pièces, et où la qualité de l'image varie.
La Solution : Ils ont créé un « pipeline d'harmonisation ». Imaginez un éditeur en chef qui prend toutes ces différentes pièces de puzzle, coupe les bords et les redimensionne pour qu'elles s'adaptent toutes à la même grille physique (2,0 x 2,0 x 3,0 mm par pièce). Crucialement, ils ne se sont pas contentés d'étirer les images pour qu'elles semblent identiques ; ils ont préservé la taille physique réelle des tumeurs afin que l'ordinateur apprenne l'échelle réelle des choses.

2. Le « Mariage Précoce » du CT et du PET

La plupart des modèles d'IA précédents traitaient les scanners CT et PET comme deux personnes assises à des extrémités opposées d'une table, ne se parlant qu'après avoir chacun rédigé leur propre rapport.

La Nouvelle Approche : Ce modèle force les scanners CT et PET à « se tenir la main » dès le tout premier instant. Ils sont assemblés côte à côte (concaténation canal par canal) avant même que l'ordinateur ne commence à les analyser.
L'Analogie : C'est comme enseigner à un enfant à reconnaître un chien en lui montrant une image d'un chien et le son d'un aboiement simultanément, plutôt que de lui montrer une image, de demander « Qu'est-ce que c'est ? », puis de jouer un son et de demander « Qu'est-ce que c'est ? » séparément. En mélangeant immédiatement les informations anatomiques (CT) et métaboliques (PET), le modèle apprend comment la structure du corps et son utilisation de l'énergie sont liées dès le départ.

3. Le Jeu du « Bandeau » (Auto-encodage Masqué)

Pour enseigner ce modèle sans avoir besoin qu'un humain dessine des contours sur chaque tumeur (ce qui est coûteux et lent), ils ont utilisé une technique appelée Auto-encodage Masqué.

Le Jeu : Imaginez que vous montrez à l'ordinateur une image d'une tumeur, mais que vous couvrez 50 % de celle-ci avec un bandeau. La tâche de l'ordinateur est de deviner ce qui se cache dessous en se basant sur les parties visibles et l'autre type d'examen (par exemple, si le CT est caché, il regarde le PET pour deviner la forme).
L'Innovation : Habituellement, lorsque les ordinateurs masquent des parties d'une image, ils remplissent l'espace vide avec un « jeton » générique (comme un carré gris vide). Les chercheurs ont réalisé que cela créait des « bords artificiels » qui confondaient l'ordinateur. Au lieu de cela, ils ont utilisé une Imputation à Moyenne Nulle. Puisqu'ils avaient déjà normalisé les données (ajusté la luminosité pour que la moyenne soit nulle), ils ont simplement rempli les zones cachées par zéro.
Pourquoi c'est important : C'est comme combler un trou dans un mur avec exactement la même couleur de plâtre que celle qui était déjà là, plutôt que d'y mettre un patch gris. Cela maintient la « texture » de l'image lisse, permettant à l'ordinateur d'apprendre mieux sans être distrait par des frontières factices.

4. Les Résultats : Apprendre avec Moins

Les chercheurs ont testé ce nouveau modèle sur une tâche appelée « segmentation de tumeur » (dessiner une ligne autour de la tumeur).

Le Miracle du « Few-Shot » : Habituellement, l'IA a besoin de milliers d'exemples étiquetés pour bien apprendre. Ce modèle, cependant, a d'abord été entraîné sur la vaste « bibliothèque » de 4 997 examens. Lorsqu'ils l'ont testé avec seulement 10 % des données étiquetées habituelles (soit 70 examens), il a performé aussi bien que d'autres modèles entraînés sur 100 % des données.
Le Test « Extrême » : Ils ont même essayé un test « 5-shot », où l'ordinateur n'a vu que 5 exemples étiquetés. Le nouveau modèle a encore fonctionné, tandis que les anciens modèles échouaient complètement.
La Conclusion : Parce que le modèle a appris des règles générales sur l'apparence des tumeurs dans le CT et le PET à partir d'un énorme ensemble de données diversifié, il n'avait pas besoin d'être rééduqué à partir de zéro pour chaque nouvel hôpital.

Résumé

Le papier présente un « cerveau » open-source pour l'imagerie médicale qui a lu des milliers d'examens diversifiés. En lui apprenant à regarder les scanners CT et PET ensemble dès le début et en utilisant une méthode d'entraînement astucieuse de « remplissage de trous », ils ont créé un système qui est :

Plus intelligent : Il comprend mieux la relation entre la structure du corps et le métabolisme.
Plus efficace : Il peut apprendre à repérer des tumeurs avec très peu d'exemples étiquetés, économisant du temps aux médecins.
Plus robuste : Il fonctionne bien même lorsque les examens proviennent d'hôpitaux ou de machines différents.

Les auteurs notent que bien que ce soit un outil puissant, il nécessite actuellement la présence de scanners CT et PET (il ne peut pas encore gérer les données manquantes) et que la plus grande version du modèle a parfois besoin de plus de données étiquetées pour être parfaitement affinée que ce qui était disponible dans leur test. Cependant, il fournit une base solide et ouverte pour l'imagerie automatisée du cancer à l'avenir.

Résumé Technique : Un Modèle de Fondation Open Source Multi-Centres pour la Tomographie par Émission de Positons (TEP) au FDG et la Tomodensitométrie (TDM) du Corps Entier destinée à la Segmentation des Tumeurs

Énoncé du Problème
Bien que l'interprétation synergique de la Tomodensitométrie (TDM) et de la Tomographie par Émission de Positons (TEP) soit la norme en imagerie oncologique pour la détection et le stadification des lésions, les approches d'apprentissage profond existantes rencontrent des limitations significatives. La plupart des méthodes actuelles sont spécifiques à une tâche, entraînées sur de petits cohortes monocentriques, et reposent sur des schémas de fusion à double branche qui retardent l'interaction inter-modale. Ces approches échouent souvent à se généraliser à travers différents établissements, fournisseurs de scanners et protocoles d'acquisition en raison d'un manque de données d'entraînement diversifiées et d'une sous-utilisation de la correspondance spatiale précoce entre la TEP et la TDM. De plus, les implémentations standard des Autoencodeurs Masqués (MAE), qui utilisent des jetons de masquage apprenables, peuvent introduire des discontinuités d'intensité non physiques qui déstabilisent les architectures hiérarchiques encodeur-décodeur courantes en imagerie médicale.

Méthodologie
Les auteurs proposent un modèle de fondation open source pré-entraîné sur un corpus harmonisé de 4 997 scans TEP/TDM au FDG du corps entier, agrégés à partir de quatre jeux de données publics (AutoPET IV, DeepPSMA, SPADE et ViMedPET).

Curration et Harmonisation des Données : Au lieu de redimensionner les images vers des tailles de matrice fixes (ce qui déforme l'anatomie), les auteurs ont rééchantillonné tous les scans vers un espacement de voxels physique unifié de $2,0 \times 2,0 \times 3,0$ mm $^3$ . Ils ont appliqué une normalisation par score-z au niveau du volume pour standardiser les unités Hounsfield de la TDM et les Valeurs d'Absorption Standardisée (SUV) de la TEP. Les désalignements dans des jeux de données spécifiques ont été corrigés par enregistrement rigide.
Architecture : Le cadre emploie des dos d'âne (backbones) en forme de UNet hiérarchique, évaluant spécifiquement SwinUNETR-v2 (dans des configurations petite, base et grande) et nnUNet-v2. Une innovation architecturale clé est la concaténation précoce canal par canal des entrées TEP et TDM au niveau de la première couche d'embedding. Cela permet aux caractéristiques anatomiques et métaboliques d'interagir immédiatement, plutôt que d'être traitées par des encodeurs séparés et fusionnés plus tard.
Objectif de Pré-entraînement (Imputation MAE à Moyenne Nulle) : Pour résoudre l'incompatibilité des jetons de masquage apprenables avec les connexions de saut convolutives, les auteurs les ont remplacés par une imputation à moyenne nulle. Étant donné que les données d'entrée sont normalisées par score-z, les patches masqués sont remplis de zéros (la moyenne attendue du fond).
Fonction de Perte : Le modèle utilise une fonction de perte de reconstruction globale pondérée. Contrairement aux MAE standards qui ignorent les régions visibles, cette perte inclut un terme pondéré pour les voxels visibles ( $\lambda = 0,2$ ) afin de stabiliser l'entraînement des connexions de saut et de préserver les informations structurelles haute fréquence, tout en se concentrant principalement sur la reconstruction des régions masquées.

Contributions Clés

Corpus Multi-Centres à Grande Échelle : La création et l'harmonisation d'un jeu de données de pré-entraînement de 4 997 scans 3D TEP/TDM au FDG du corps entier, augmentant considérablement l'échelle et la diversité disponibles pour l'apprentissage de représentations TEP/TDM.
Cadre de Pré-entraînement Novel : L'introduction d'une stratégie d'auto-encodage masqué adaptée aux dos d'âne hiérarchiques CNN/Transformers, présentant un masquage indépendant TEP/TDM, une imputation à moyenne nulle et une fonction de perte de reconstruction globale pondérée.
Efficacité des Étiquettes Démontrée : Des preuves empiriques montrant que les modèles de fondation résultants atteignent de fortes performances avec un minimum de données étiquetées, surpassant les approches de pré-entraînement par modalité séparée.

Résultats
Les modèles ont été évalués sur des tâches de segmentation de lésions AutoPET en aval dans divers régimes de données :

Affinage avec Données Limitées : Lorsqu'affinés avec seulement 10 % des données d'entraînement étiquetées (70 scans), les modèles initialisés par MAE ont atteint des performances comparables à celles des modèles entraînés à partir de zéro sur l'ensemble du jeu de données (700 scans). Par exemple, le modèle SwinUNETR-v2-base a obtenu un score Dice de 0,6132 avec 10 % de données (initialisé par MAE) contre 0,4889 (à partir de zéro), et cela était compétitif par rapport à la référence complète à partir de zéro (0,6414).
Sondage Linéaire Few-Shot : Dans des conditions extrêmes de 5 exemples (gel de l'encodeur et de la majeure partie du décodeur, entraînement uniquement de la dernière couche), le pré-entraînement conjoint TEP/TDM a nettement surpassé le pré-entraînement par modalité séparée. Le SwinUNETR-v2-base a obtenu un score Dice de 0,3557 avec un pré-entraînement conjoint contre 0,2163 avec un pré-entraînement séparé, tandis que l'initialisation à partir de zéro s'est effondrée à environ 0,09.
Mise à l'Échelle du Modèle : Bien que la variante SwinUNETR-v2-large ait obtenu la perte de reconstruction de pré-entraînement la plus faible et les meilleurs scores de sondage linéaire, la variante SwinUNETR-v2-base a démontré le meilleur équilibre pour l'affinage à paramètres complets, évitant le surapprentissage sur le jeu de données en aval limité.

Signification et Revendications
L'article revendique la présentation du premier modèle de fondation TEP/TDM open source pré-entraîné sur un grand corpus multi-centres. La signification principale réside dans la démonstration de l'efficacité des étiquettes et de l'apprentissage de représentations inter-modales. Les auteurs soutiennent que le pré-entraînement multi-centres à grande échelle fournit des priors anatomiques et métaboliques transférables qui réduisent considérablement le besoin de grandes annotations manuelles dans la pratique clinique.

Le travail suggère que la fusion précoce des modalités génère un espace latent plus utile qu'une fusion retardée. De plus, l'étude met en évidence que, bien que les modèles à grande capacité apprennent des représentations robustes, les modèles de capacité intermédiaire (comme SwinUNETR-v2-base) peuvent offrir un équilibre plus pratique entre la puissance de représentation et les contraintes des données annotées disponibles pour les tâches cliniques en aval. Les auteurs concluent que ce modèle de fondation fournit une base robuste et open source pour faire progresser l'imagerie oncologique automatisée, bien qu'ils reconnaissent des limitations concernant les métriques au niveau des pixels qui ne capturent pas pleinement l'incertitude diagnostique et l'exigence actuelle que les deux modalités TEP et TDM soient présentes.