💻 computer science

CPS4: Class Prompt driven Semi-Supervised Spine Segmentation with Class-specific Consistency Constraint

L'article propose CPS4, un nouveau cadre de segmentation de la colonne vertébrale semi-supervisée guidé par le texte qui exploite des contraintes de cohérence spécifiques aux classes lors du pré-entraînement des VLM pour générer des pseudo-étiquettes de haute qualité, atteignant une performance supérieure avec seulement 5 % de données étiquetées.

Auteurs originaux : Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à identifier et à détourer chaque vertèbre et chaque disque d'une colonne vertébrale humaine à partir d'une IRM. C'est un travail difficile car la colonne vertébrale possède de nombreuses parties qui se ressemblent beaucoup, et étiqueter chaque pixel d'une image médicale, c'est comme compter les grains de sable sur une plage — cela prend un temps infini et nécessite un expert hautement qualifié.

Ce document présente une nouvelle méthode appelée CPS4 pour résoudre ce problème. Elle est conçue pour fonctionner même lorsque le robot ne possède que quelques exemples « étiquetés » (où un humain a déjà dessiné les contours) et une énorme pile d'images « non étiquetées » (où personne n'a rien dessiné).

Voici comment fonctionne CPS4, décomposé en concepts simples :

Le Problème : Le Robot s'Embrouille

Habituellement, lorsque les robots essaient d'apprendre à partir d'images non étiquetées, ils devinent les contours (appelés « pseudo-étiquettes »), puis essaient d'apprendre de leurs propres suppositions. Le problème est que si le robot commet une petite erreur au début, il répète cette erreur encore et encore, et la situation empire. C'est comme un élève qui essaierait d'apprendre les mathématiques en recopiant les réponses d'un ami qui ne connaît pas non plus les réponses.

La Solution : Un « Guide Textuel »

Les auteurs ont réalisé que, bien que le robot soit mauvais pour deviner, il est en fait plutôt doué pour comprendre le langage. Ils ont décidé d'utiliser des prompts textuels (comme écrire « Ceci est la vertèbre lombaire 1 ») pour aider le robot à se concentrer.

Imaginez le robot comme un artiste très intelligent mais un peu distrait. Si vous dites simplement à l'artiste : « Dessine une colonne vertébrale », l'artiste pourrait dessiner une tache informe. Mais si vous lui donnez une fiche d'instruction spécifique disant : « Concentrez-vous uniquement sur la Vertèbre Lombaire 1 », l'artiste peut dessiner cette partie spécifique avec beaucoup plus de précision.

Comment fonctionne CPS4 (La Danse en deux étapes)

La méthode utilise un processus d'entraînement en deux étapes, que les auteurs appellent CPS4 :

Étape 1 : La phase du « Professeur Strict » (Pré-entraînement)
Avant que le robot ne commence à deviner sur les images non étiquetées, il doit apprendre à écouter parfaitement les instructions textuelles.

L'analogie : Imaginez un professeur montrant à un élève l'image d'un os spécifique et disant : « Ceci est la vertèbre T12 ». L'élève doit apprendre à pointer exactement cet os et à ignorer tout le reste.
L'innovation : Les auteurs ont créé deux « règles » spéciales (fonctions de perte) pour forcer le robot à prêter attention :
1. Attention au niveau du Token : Cela garantit que le robot sait quel mot de la phrase correspond à quelle partie de l'image. C'est comme s'assurer que le mot « T12 » est collé à l'os T12 dans l'esprit du robot.
2. Attention au niveau du Pixel : Cela garantit que le robot ne se contente pas de pointer vaguement l'os, mais qu'il couvre l'intégralité de l'os avec précision, et pas seulement un petit coin.
Le Résultat : Le robot apprend à coupler étroitement la description textuelle avec la partie réelle de l'image.

Étape 2 : La phase de l'« Assistant » (Segmentation semi-supervisée)
Maintenant, le robot est prêt à s'attaquer aux images non étiquetées.

Le Processus : Pour chaque image de colonne vertébrale non étiquetée, le robot utilise son « guide textuel » entraîné pour générer une carte séparée pour chaque type de partie de la colonne (par exemple, une carte pour T10, une pour T11, etc.).
La Magie : Il combine toutes ces cartes individuelles en une seule « carte maîtresse » de haute qualité. Cette carte maîtresse est bien meilleure qu'une simple supposition car elle a été guidée par les prompts textuels.
La Boucle : Le robot utilise cette « carte guidée par le texte » de haute qualité pour s'enseigner à lui-même, corrigeant ses propres erreurs et apprenant plus vite que s'il était seul.

Les Résultats : Une Grande Victoire avec Peu de Données

Les chercheurs ont testé leur méthode sur un ensemble de données public de la colonne vertébrale.

Le Défi : Ils ont essayé d'entraîner le robot en utilisant seulement 5 % des données étiquetées (une quantité infime).
Le Résultat : Même avec si peu de données, CPS4 a atteint un score Dice de 80,44 %.
Comparaison : C'était meilleur que toutes les autres méthodes populaires, y compris celles qui utilisent du texte (modèles Vision-Langage) et celles qui n'en utilisent pas. Cela a prouvé que l'utilisation de prompts textuels pour guider le robot rend les « suppositions » beaucoup plus précises.

Preuve Visuelle

Le document montre des images (Figures 3 et 5) comparant leur méthode aux autres.

Les autres méthodes : Se trompent souvent, confondant différentes vertèbres ou manquant des parties entières.
CPS4 : Les « cartes d'attention » (le focus interne du robot) montrent qu'il sait exactement où regarder. Quand le texte dit « L5 », le focus du robot est parfaitement verrouillé sur la vertèbre L5, ignorant le reste de la colonne.

Résumé

En bref, CPS4 est un système qui enseigne à un ordinateur à segmenter les colonnes vertébrales en utilisant les descriptions textuelles comme un projecteur. En apprenant d'abord à l'ordinateur à comprendre exactement quel texte appartient à quel os, puis en utilisant cette compréhension pour générer de meilleurs exemples d'entraînement pour lui-même, le système peut cartographier les colonnes vertébrales avec une grande précision, même lorsque les humains n'ont fourni que peu d'exemples pour commencer.

Résumé Technique : CPS4 – Segmentation de la colonne vertébrale semi-supervisée pilotée par des invites de classe avec contrainte de cohérence spécifique à la classe

Énoncé du Problème

La segmentation automatique de la colonne vertébrale, plus précisément la segmentation multi-classe des corps vertébraux (VB) et des disques intervertébraux (IVD) en IRM, est cruciale pour le diagnostic orthopédique et la planification chirurgicale. Bien que les méthodes d'apprentissage profond aient progressé de manière significative, elles dépendent fortement d'annotations au niveau du pixel, qui sont laborieuses et nécessitent une expertise spécialisée. L'apprentissage semi-supervisé (SSL) offre une solution en utilisant des données étiquetées limitées aux côtés de données non étiquetées abondantes. Cependant, les méthodes de SSL existantes, qui reposent généralement sur la régularisation de cohérence et le pseudo-étiquetage, souffrent souvent de pseudo-étiquettes de faible qualité. Ces étiquettes bruitées introduisent une supervision incorrecte, poussant les modèles à se concentrer sur des caractéristiques non pertinentes et entravant l'exploitation efficace des données non étiquetées.

Bien que les modèles vision-langage (VLM) montrent un potentiel pour améliorer la qualité des pseudo-étiquettes en exploitant des invites textuelles de classe pour générer des cartes de segmentation, les VLM actuels manquent de contraintes explicites pour assurer la cohérence entre les invites de classe et les objets d'image spécifiques. Cette déficience entraîne un faible couplage sémantique spécifique à la classe et des interférences entre classes, ce qui aboutit à une performance insatisfaisante dans la génération de cartes de segmentation multi-classes.

Méthodologie

Les auteurs proposent CPS4, un nouveau cadre qui intègre des invites de classe dans la segmentation semi-supervisée de la colonne vertébrale via une stratégie d'entraînement en deux étapes.

Étape 1 : Pré-entraînement du VLM sous contrainte de cohérence spécifique à la classe

Les VLM existants (par exemple, CLIP, MedCLIP) effectuent un alignement multimodal au niveau de l'image, ce qui ne garantit pas que les invites de classe distinctes se concentrent sur leurs objets correspondants. Pour y remédier, CPS4 introduit une étape de pré-entraînement utilisant un modèle vision-langage (utilisant spécifiquement ViT pour la vision et BioClinicalBERT pour le texte) avec deux nouvelles fonctions de perte pour imposer la cohérence entre les invites de classe et les unités de la colonne vertébrale :

Perte d'attention au niveau du jeton ( $L_{token}$ ) : Cette perte optimise l'alignement entre un jeton d'invite de classe ( $F_{T,i}$ ) et les jetons de patch d'image correspondants ( $F_I$ ). Elle calcule un score de similitude pour générer une carte d'attention grossière ( $A_i$ ) et agrège les activations vers la région prédite de l'unité de la colonne vertébrale ( $B_i$ ). L'objectif est de forcer l'invite textuelle à se coupler étroitement avec l'unité de la colonne vertébrale cible dans l'espace sémantique.
Perte d'attention au niveau du pixel ( $L_{pixel}$ ) : Pour éviter que le modèle ne sur-agrège l'attention uniquement dans certaines sous-régions d'une unité cible, une fonction d'entropie croisée au niveau du pixel est ajoutée. Cela garantit que la carte d'attention couvre uniformément l'ensemble de l'unité de la colonne vertébrale cible.

La perte de pré-entraînement totale est la moyenne de $L_{token}$ et $L_{pixel}$ .

Étape 2 : Segmentation de la colonne vertébrale semi-supervisée pilotée par l'invite de classe

Dans cette étape, les encodeurs vision-texte pré-entraînés sont utilisés pour améliorer le processus de pseudo-étiquetage des données non étiquetées.

Génération de cartes de segmentation guidée par l'invite de classe : Pour chaque image de la colonne vertébrale non étiquetée, le système génère une carte de segmentation binaire pour chaque classe (par exemple, « Vertèbre lombaire 1 ») en calculant le produit scalaire entre les jetons de patch d'image et les jetons d'invite de classe. Ces cartes sont suréchantillonnées et converties en masques binaires via la méthode de seuillage automatique OTSU. Toutes les cartes spécifiques à la classe sont empilées pour former une carte de segmentation multi-classe unifiée ( $y^{text}$ ).
Génération et optimisation des pseudo-étiquettes : Le cadre emploie une architecture Mean Teacher (MT) avec un réseau étudiant et un réseau enseignant. Le réseau enseignant génère des pseudo-étiquettes ( $y^t_u$ $y_{u}^{t}$ ) pour les images non étiquetées via une moyenne mobile exponentielle (EMA).
- Perte supervisée ( $L_{sup}$ ) : Calculée entre les prédictions de l'étudiant sur les données étiquetées et la vérité terrain.
- Perte semi-supervisée ( $L_{semi}$ ) : Composée de deux parties :
  1. $L^{text}_{semi}$ : Perte de cohérence entre la prédiction de l'étudiant sur les données non étiquetées et la carte générée par l'invite de classe ( $y^{text}$ ).
  2. $L^{enhance}_{semi}$ : Perte de cohérence entre la prédiction de l'étudiant et une pseudo-étiquette améliorée créée en intégrant la pseudo-étiquette de l'enseignant ( $y^t_u$ ) et la carte de l'invite de classe ( $y^{text}$ ).

Principales Contributions

Premier SSL guidé par le texte pour la segmentation de la colonne vertébrale : Ce travail est le premier à introduire des invites de classe textuelles pour améliorer la qualité des pseudo-étiquettes dans la segmentation semi-supervisée de la colonne vertébrale.
Nouvelle contrainte de cohérence spécifique à la classe : Les auteurs proposent un mécanisme de pré-entraînement spécifique utilisant des pertes d'attention au niveau du jeton et du pixel pour imposer des contraintes explicites, assurant un couplage sémantique étroit entre chaque invite de classe et son unité de la colonne vertébrale cible.
Performance de pointe (State-of-the-Art) : La méthode démontre une performance supérieure à travers divers ratios de données étiquetées, particulièrement dans les régimes de faibles données.

Résultats Expérimentaux

La méthode a été évaluée sur le jeu de données MRSpineSeg, contenant des images volumétriques IRM pondérées en T2 de 215 sujets avec 20 catégories (19 structures spinales et l'arrière-plan).

Performance : En utilisant seulement 5 % de données étiquetées, CPS4 a atteint un score Dice de 80,44 % et un mIoU de 70,63 %.
Comparaison : Ces résultats surpassent les méthodes d'apprentissage semi-supervisé populaires (par exemple, MT, BCP, SS-Net) et les approches basées sur les VLM existantes (par exemple, CLIP, MedCLIP, MGCA, EGMA).
- Comparée à la méthode sous-optimale GraphCL avec des invites de texte sur 5 % de données étiquetées, CPS4 a amélioré le mDice de 2,23 % et le mIoU de 2,42 %.
Robustesse : Les études d'ablation ont confirmé que les pertes au niveau du jeton et du pixel contribuent toutes deux de manière significative à la performance. La méthode a montré des gains de performance stables à mesure que le ratio de données étiquetées augmentait de 5 % à 50 %, surpassant nettement la ligne de base MT.
Visualisation : Les cartes d'attention générées par CPS4 montrent un fort alignement avec les unités de la colonne vertébrale cibles, tandis que les VLM de référence (comme MedCLIP) présentent des activations dispersées et un faible couplage sémantique.

Signification

L'article affirme que CPS4 atténue efficacement le problème de la rareté des étiquettes pour la segmentation de la colonne vertébrale en exploitant la puissance sémantique du texte pour guider la génération de pseudo-étiquettes de haute qualité. En imposant explicitement la cohérence entre les invites de classe et les unités de la colonne vertébrale lors du pré-entraînement, le cadre surmonte les limites des VLM actuels dans les tâches d'imagerie médicale. Les résultats suggèrent que cette approche permet une génération de pseudo-étiquettes pilotée par l'invite de classe plus fiable, améliorant considérablement l'efficacité de l'apprentissage semi-supervisé dans des scénarios avec des données annotées limitées. Les auteurs notent que leur code sera mis à disposition pour faciliter la recherche future.