🤖 machine learning

RADIANT-PET: Reasoning-Augmented PET/CT Lesion Segmentation with Large Language Models and Reinforcement Learning

RADIANT-PET est un nouveau cadre qui améliore la segmentation des lésions en TEP/TDM en combinant un modèle permissif au niveau du voxel avec un grand modèle de langage optimisé par apprentissage par renforcement pour arbitrer les candidats à l'aide de descriptions textuelles structurées et de rapports cliniques, réduisant ainsi considérablement les faux positifs et alignant les prédictions sur l'interprétation clinique.

Auteurs originaux : Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

Publié 2026-06-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver des trésors spécifiques et cachés (des lésions cancéreuses) à l'intérieur d'une carte 3D géante et lumineuse du corps humain (un scanner PET/CT). Le problème est que la carte est remplie de « bruit » — la chaleur naturelle du corps, une inflammation due à un rhume, ou même des bugs de la caméra — qui ressemble exactement au trésor que vous traquez.

Les programmes informatiques traditionnels essaient de trouver ces trésors en regardant uniquement l'image. Ils sont comme un garde de sécurité qui ne vérifie que la forme d'un objet. Si cela semble rond et brillant, il signale un trésor. Mais comme le corps est désordonné, ce garde peut confondre une bosse inoffensive avec un trésor, ceما entraînant de nombreuses fausses alertes.

RADIANT-PET est un nouveau système qui résout ce problème en ajoutant un « détective intelligent » à l'équipe. Voici comment cela fonctionne, étape par étape :

1. L'éclaireur trop enthousiaste (Segmentation à haute sensibilité)

D'abord, le système utilise un modèle de vision par ordinateur spécialisé (appelé HS-UNet) pour scanner le corps. Considérez ce modèle comme un éclaireur à qui l'on a dit : « Trouve tout ce qui pourrait être un trésor. Il vaut mieux rapporter 100 cailloux en pensant que ce sont des pépites d'or que de rater une seule vraie pépite. »

Le résultat : Cet éclaireur trouve presque toutes les lésions réelles, mais il rapporte aussi un énorme tas de « faux positifs » (des parties normales du corps qui semblent suspectes).

2. Le traducteur (Description structurée)

Le système prend ensuite chaque point suspect trouvé par l'éclaireur et rédige un bulletin de notes détaillé pour celui-ci. Au lieu de simplement montrer une tache floue, il traduit l'image en une description textuelle structurée.

L'analogie : Imaginez que l'éclaireur pointe un point lumineux et dise : « C'est un point brillant et rond situé juste à côté du rein gauche, en forme de crêpe aplatie, et il brille très intensément. »
Le système ajoute également du contexte : « Ce point se situe au niveau de la 6ème côte. » Il transforme la donnée visuelle en une histoire.

3. Le détective intelligent (Le LLM)

C'est ici que la magie opère. Le système injecte ces « bulletins de notes » dans un Modèle de Langage Étendu (LLM) — un type d'IA qui est très doué pour lire et raisonner, de la même manière qu'un médecin humain réfléchit.

Le travail : Le détective lit le rapport : « Ce point est à côté du rein et ressemble à une crêpe aplatie. » Il utilise ensuite ses connaissances médicales pour décider : « Ah, cela ressemble à une activité rénale normale, pas à une tumeur. Écartez-le. » Ou bien : « Cela ressemble à une vraie tumeur. Gardez-la. »
Le bonus : Si le patient possède un rapport écrit par un médecin (un compte rendu de radiologie), le détective peut aussi le lire ! Il peut croiser la description de l'image avec les notes du médecin, comme un détective vérifiant le témoignage d'un témoin par rapport à la scène de crime.

4. Le camp d'entraînement (Apprentissage par renforcement)

Pour rendre le détective encore plus affûté, les auteurs l'ont entraîné en utilisant une méthode appelée Apprentissage par Renforcement (plus précisément GRPO).

L'analogie : Imaginez que le détective soit un étudiant passant un examen. Chaque fois qu'il identifie correctement une vraie tumeur ou qu'il écarte correctement une fausse, il reçoit une « étoile dorée » (une récompense). Chaque fois qu'il fait une erreur, il reçoit une « pénalité ».
À travers des milliers de tests d'entraînement, le détective apprend exactement quels motifs rechercher et comment raisonner face à des cas difficiles, devenant finalement bien meilleur pour distinguer un vrai cancer du simple bruit corporel inoffensif que les programmes originaux basés uniquement sur l'image.

Les résultats

L'article a testé ce système sur des patients atteints de lymphome.

Sans le détective : Les programmes basés uniquement sur l'image étaient bons pour trouver des points, mais mauvais pour savoir lesquels étaient réels, ce qui entraînait de nombreuses erreurs.
Avec le détective (RADIANT-PET) : Le système a réussi à filtrer le « bruit » (les fausses alertes) tout en conservant les vrais trésors.
Avec les notes du médecin : Lorsque le détective a été autorisé à lire les rapports de radiologie, il a obtenu les meilleurs résultats de tous, atteignant la précision la plus élevée.

En bref : RADIANT-PET ne se contente pas de regarder l'image ; il lit l'image, la décrit et utilise un détective IA intelligent pour raisonner à partir des indices, garantissant que ce qui est compté comme une tumeur est réellement une tumeur.

Résumé Technique : RADIANT-PET

Problématique

La segmentation précise des lésions en imagerie PET/CT est cruciale en oncologie, particulièrement pour la stadification des lymphomes et la modélisation pronostique (ex. : post-thérapie par cellules CAR-T). Les modèles de segmentation purement basés sur l'image peinent à distinguer la captation maligne de la captation physiologique du traceur, de l'inflammation, de l'infection ou des artefacts d'imagerie. Les approches actuelles uniquement basées sur l'image, incluant les variantes de pointe de nnUNet, n'ont pas réussi à atteindre des valeurs de coefficient de similitude de Dice (DSC) supérieures à 0,8, entraînant souvent des faux positifs significatifs qui faussent les mesures du volume tumoral métabolique (MTV). Les auteurs émettent l'hypothèse que cette limitation provient de l'absence de capacités de raisonnement médical explicite dans les pipelines de segmentation actuels, qui reposent uniquement sur des motifs visuels plutôt que sur l'intégration du contexte anatomique et des connaissances cliniques.

Méthodologie

L'article propose RADIANT-PET (Reasoning-Augmented Description–Inference Network for PET), un cadre hybride à deux étapes qui sépare la génération de candidats de l'adjudication au niveau de la lésion.

1. Génération de Candidats à Haute Sensibilité (HS-UNet)

La première étape privilégie le rappel pour s'assurer qu'aucune véritable lésion n'est manquée, acceptant un taux plus élevé de faux positifs.

Architecture du Modèle : Basée sur nnUNet-v2, le vainqueur de la sous-catégorie FDG d'AutoPET III.
Objectif d'Entraînement : La fonction de perte est modifiée pour être délibérément permissive. Elle combine une perte de Tversky (avec $\alpha=1, \beta=0$ pour réduire les pénalités de faux positifs) et une entropie croisée asymétrique (ACE) (accentuant les faux négatifs avec $\lambda_{FN}=8,0$ ).
Inférence : Le seuil de décision est abaissé de 0,5 à 0,1 pour maximiser la sensibilité.
Alternative : Une approche de seuillage SUV fixe (SUV $\ge$ 2,5) est également utilisée comme ligne de base clinique pour la génération de candidats.
Post-traitement : Un algorithme de division par watershed sépare les régions de captation confluentes. Les limites sont validées via des vérifications de vallées de SUV pour s'assurer que les divisions correspondent à de réelles séparations métaboliques plutôt qu'à des artefacts géométriques.

2. Génération de Descriptions Structurées

Chaque région candidate est convertie en une description textuelle structurée (format JSON) contenant :

Caractéristiques Quantitatives : Volume de voxel, descripteurs de forme 3D (élongation, sphéricité, etc.), et métriques d'intensité PET ( $SUV_{max}$ , $SUV_{mean}$ ).
Contexte Anatomique Local : Pourcentages de chevauchement avec les organes segmentés par TotalSegmentator et vecteurs de position relative.
Contexte Anatomique Global : Assignation du niveau vertébral (ex. : T6) et localisation par rapport au centre de l'image corps entier.

3. Adjudication par LLM avec Apprentissage par Renforcement

Un grand modèle de langage (LLM) évalue les descriptions structurées pour classifier les candidats comme « véritable lésion » ou « captation physiologique ».

Modèle de Base : Un modèle local de 20 milliards de paramètres (gpt-oss-20b) est utilisé pour garantir la confidentialité lors du déploiement clinique.
Entrée : Descriptions JSON structurées, optionnellement augmentées par des rapports de radiologie en texte libre.
Optimisation (GRPO) : Le modèle est affiné via Group Relative Policy Optimization (GRPO), un algorithme d'apprentissage par renforcement.
- Fonction de Récompense : Une récompense composite additionne :
  1. Exactitude Binaire : +1 pour la classe correcte, -1 pour les erreurs mutuellement exclusives.
  2. Localisation Anatomique : +2 pour une correspondance exacte du site, +1,5 pour une correspondance au sein d'un groupe d'équivalence.
  3. Régularisateur de Raisonnement : Pénalité de -0,5 si la trace de raisonnement ne fait pas référence au $SUV_{max}$ , garantissant que le modèle utilise les caractéristiques d'imagerie.
Données d'Entraînement : Les modèles ont été entraînés sur AutoPET et une cohorte interne de l'OSU (avec et sans rapports de radiologie).

Contributions Clés

Cadre Augmenté par le Raisonnement : Un nouveau pipeline couplant une segmentation conventionnelle à haute sensibilité avec une étape d'adjudication par LLM, allant au-delà de la simple classification par pixel.
Apprentissage par Renforcement pour le Raisonnement Médical : Application de GRPO pour optimiser l'adjudication des lésions par LLM, ciblant directement la précision de la classification et la plausibilité anatomique.
Intégration Native des Rapports : Incorporation directe des rapports de radiologie comme contexte, permettant au LLM de tirer parti des interprétations et des récits cliniques des médecins pendant le processus de raisonnement.

Résultats

Le cadre a été évalué sur la cohorte AutoPET-Test et une cohorte interne OSU-Test.

Génération de Candidats : Le HS-UNet modifié a atteint une sensibilité plus élevée (0,88) que le nnUNet-v2 de base (0,63) sur l'OSU-Test, avec un DSC nettement amélioré (0,58 contre 0,34) par rapport au simple seuillage.
Performance du LLM : L'affinage par GRPO a considérablement amélioré le modèle gpt-oss-20b. Sans rapports, le modèle affiné par RL a atteint un F1 de 0,68 (contre 0,52 pour le modèle de base). Avec les rapports, il a atteint un F1 de 0,76, comparable à de puissants modèles propriétaires (ex. : Gemini-Flash-3.0).
Performance de Segmentation :
- Sans Rapports : RADIANT-PET (utilisant l'LLM affiné par RL) a surpassé la ligne de base nnUNet-v2 sur AutoPET-Test (DSC 0,82 contre 0,78) et sur OSU-Test (DSC 0,77 contre 0,72).
- Avec Rapports : La meilleure performance a été obtenue en combinant les candidats HS-UNet, l'LLM affiné par RL et les rapports de radiologie, produisant un DSC de 0,84 et une Erreur Absolue Moyenne en Pourcentage (MAPE) de 0,16 pour le MTV sur l'OSU-Test. Cela représente une amélioration substantielle par rapport à la ligne de base nnUNet-v2 (DSC 0,72, MAPE 0,83).

Signification et Revendications

L'article affirme que RADIANT-PET démontre que l'adjudication par raisonnement au niveau de la lésion via LLM sert de couche d'adjudication post-segmentation efficace. En ajoutant une étape de raisonnement qui évalue l'intensité de la captation, la morphologie et le contexte anatomique, le cadre parvient à supprimer les faux positifs physiologiques tout en préservant la sensibilité.

Les auteurs soulignent que :

Le raisonnement explicite apporte une valeur ajoutée au-delà du seul contexte clinique supplémentaire, car les modèles affinés par RL égalent ou dépassent les bases uniquement par l'image même sans rapports.
L'intégration des rapports de radiologie fournit un signal complémentaire fort, alignant les découvertes dérivées de l'imagerie avec l'interprétation du médecin.
L'utilisation d'un LLM local optimisé via GRPO offre une alternative respectueuse de la vie privée par rapport aux modèles propriétaires, comblant l'écart de performance dans les scénarios de déploiement clinique.

L'étude est limitée au lymphome FDG PET/CT et repose sur la segmentation d'organes en amont et des caractéristiques artisanales, mais elle établit un nouveau paradigme pour l'intégration du raisonnement médical dans les flux de travail d'imagerie automatisés.