Résumé Technique : GLeVE – Ancrage Guidé par Graphes des Lésions avec Vérification des Propositions en CT 3D

Énoncé du Problème

Le défi central abordé par ce travail est le « fossé sémantique-spatial » entre les rapports de radiologie en texte libre et les volumes de Tomodensitométrie (CT) 3D. Bien que les rapports fournissent des descriptions structurées des lésions (attribution d'organe, sous-régions, taille, Unités Hounsfield), les cliniciens doivent actuellement rechercher manuellement et de manière itérative dans les tranches CT pour vérifier ces constatations. Ce processus est inefficace, dépend de l'expérience et sujet à l'erreur, en particulier dans les scénarios multi-organes ou multi-lésions où l'information saillante est diluée par le texte de routine.

Les solutions existantes présentent des limitations significatives :

• Modèles de Segmentation Généraux : Des méthodes comme SwinUNETR ou MedSAM produisent des masques globaux mais manquent d'un alignement interprétable, lésion par lésion, avec des descriptions spécifiques du rapport.
• Alignement au Niveau des Phrases : Les approches d'ancrage de texte actuelles alignent souvent des phrases individuelles plutôt que de traiter une description complète de lésion comme une unité sémantique cohérente, conduisant à une localisation peu fiable.
• Pénurie d'Annotations : De nombreux jeux de données cliniques manquent de masques au niveau des pixels, rendant difficile l'entraînement de modèles qui imposent une correspondance précise un-à-un entre le texte et l'anatomie sans une supervision lourde.

Méthodologie : Cadre GLeVE

Les auteurs proposent GLeVE (Ancrage Guidé par Graphes des Lésions avec Vérification des Propositions), un cadre conçu pour atteindre une localisation de lésions vérifiable et précise au pixel. L'architecture se compose de trois modules principaux :

1. Modélisation Sémantique et Requêtage des Lésions (LeQu)

Au lieu de traiter le texte de manière linéaire, GLeVE traite chaque description de lésion comme une unité sémantique atomique.

• Analyse Syntaxique Structurée : Un Grand Modèle de Langage (LLM) figé (Qwen3-8B) extrait des champs structurés (organe, sous-emplacement, taille, HU) des rapports.
• Construction de Graphes : Ces champs sont organisés en un graphe sémantique $G_i = (V_i, E_i)$ contenant des nœuds de lésion, anatomiques et d'attributs. Les arêtes encodent des relations telles que l'attribution lésion-organe et les contraintes inter-lésions.
• Raisonnement Sensible aux Relations : Un Transformer de Graphes avec des mécanismes d'attention sensibles aux types de relations traite le graphe. Cela permet au modèle de désambiguïser les cas multi-lésions en exploitant des comparaisons inter-lésions.
• Génération de Requêtes : La représentation finale du nœud de lésion est mappée vers un ensemble de « requêtes par lésion » ($q_i$) via un Générateur de Banque de Requêtes, servant de résumé sémantique pour la localisation.

2. Proposition et Vérification de Lésions à Priori Anatomique (AnVer)

Ce module garantit que les candidats générés respectent les contraintes anatomiques et impose un alignement strict un-à-un texte-lésion.

• Modulation Douce : Un segmenteur d'organes fournit des masques souples utilisés pour moduler les caractéristiques visuelles via une Modulation Linéaire Spécifique aux Caractéristiques (FiLM). Cela injecte une conscience anatomique dans les caractéristiques de voxel, supprimant les régions non pertinentes tout en préservant la structure spatiale globale.
• Génération de Candidats : Les requêtes de lésion sont appariées à la carte de caractéristiques sensible à l'organe en utilisant la similarité cosinus au niveau des voxels pour générer une carte de réponse. Les K composants à réponse la plus élevée sont sélectionnés comme candidats initiaux.
• Vérification au Niveau de la Région : Pour atténuer le bruit provenant des pics au niveau des voxels, les candidats subissent une vérification au niveau de la région. Le système construit des vecteurs de preuve encodant la couverture anatomique et la cohérence des attributs du rapport (par exemple, chevauchement de volume et de HU). Un mécanisme de notation sélectionne la meilleure correspondance unique par description, minimisant l'entropie de la distribution des candidats pour imposer une correspondance dominante.

3. Raffinement Autoregressif des Lésions par Octree (OcRe)

Pour atteindre des limites précises au pixel, en particulier pour les petites lésions ou celles à faible contraste, GLeVE emploie une stratégie de raffinement du grossier au fin.

• Construction d'Octree : À partir du candidat sélectionné, un octree est construit pour subdiviser hiérarchiquement la région d'intérêt.
• Raffinement Autoregressif : Un mécanisme autoregressif conditionnel utilise la prédiction du niveau précédent comme prior structurel pour le suivant. Un décodeur de raffinement résiduel 3D partagé traite les caractéristiques locales concaténées et les prédictions précédentes suréchantillonnées pour raffiner progressivement le masque.
• Supervision Faible : En l'absence de masques au niveau des pixels, le modèle est optimisé en utilisant une fonction de perte de supervision faible pilotée par le rapport. Cette perte pénalise les écarts dans le volume prédit et les HU par rapport aux valeurs rapportées et impose une séparation entre les lésions, ainsi qu'une perte de unimodalité pour assurer des correspondances dominantes uniques.

Contributions Clés

1. Modélisation Sémantique Guidée par Graphes : L'introduction d'un transformer de graphes sensible aux relations qui traite les descriptions complètes de lésions comme des unités atomiques, permettant la désambiguïsation de scénarios complexes multi-lésions.
2. Vérification Sensible à l'Anatomie : Un mécanisme de vérification de proposition novateur qui combine une modulation anatomique douce avec des vérifications de cohérence au niveau de la région pour imposer un alignement texte-lésion un-à-un, réduisant les réponses erronées.
3. Raffinement Basé sur Octree : Une stratégie de raffinement hiérarchique autoregressif qui améliore le délimitation des contours pour les petites lésions sans engendrer de coûts computationnels prohibitifs.
4. Entraînement Faiblement Supervisé : Une fonction objectif pilotée par le rapport qui permet au modèle d'apprendre à partir de données dépourvues d'annotations au niveau des pixels en exploitant les attributs quantitatifs rapportés (volume, HU).

Résultats Expérimentaux

Les expériences ont été menées sur AbdomenAtlas 3.0, un jeu de données comprenant 9 262 cas avec des rapports révisés par des radiologues et des masques de tumeurs alignés sur les voxels pour les lésions du foie, des reins et du pancréas.

• Performance : GLeVE a constamment surpassé les modèles de base multimodaux classiques (par exemple, CT-CLIP, M3D-LaMed) et les méthodes de segmentation universelles (par exemple, nnUNet, MedFormer).
  • Sous supervision complète (100 % de masques), GLeVE a atteint un Rappel de Lésion (LR) de 76,2 % et un Score de Localisation de Lésion (LLS) de 35,3 %.
  • Il a démontré une amélioration de 7,26 % du score Dice par rapport à la meilleure méthode de segmentation universelle et a réduit la distance de Hausdorff au 95e percentile (HD95) de 7,3 mm par rapport aux bases de référence assistées par rapport avancées.
• Robustesse : Sous supervision faible (10 % ou 25 % de masques), GLeVE est resté compétitif, surpassant souvent les alternatives, démontrant une robustesse face à la pénurie d'annotations.
• Études d'Ablation : Le retrait de l'un quelconque des trois modules principaux (LeQu, AnVer, OcRe) a entraîné des baisses de performance significatives, confirmant que la modélisation sémantique, la vérification et le raffinement hiérarchique sont complémentaires et essentiels pour une localisation robuste.

Signification et Revendications

L'article revendique que GLeVE fournit une solution vérifiable et précise au pixel pour l'ancrage des rapports de radiologie dans le CT 3D. En établissant un alignement traçable et un-à-un entre les descriptions clés du rapport et les preuves d'imagerie, le cadre soutient une interprétation clinique fiable et une évaluation quantitative. Les auteurs soulignent que leur approche comble le fossé entre les récits en texte libre et l'anatomie volumétrique, offrant un outil pratique pour réduire la charge manuelle des cliniciens dans la vérification des constatations critiques. Le travail suggère que des extensions futures pourraient appliquer ce cadre à des régions anatomiques plus larges et à diverses catégories de maladies.