Beyond the Embedding Bottleneck: Adaptive Retrieval-Augmented 3D CT Report Generation

1. Problématique : Le Goulot d'Étranglement Représentationnel

L'article identifie un problème fondamental dans la génération automatique de rapports radiologiques à partir de volumes CT (Tomodensitométrie) 3D. Bien que les modèles récents (comme CT-CHAT, CT-Agent) combinent des encodeurs visuels et des grands modèles de langage (LLM), la couverture des pathologies reste incomplète et les performances cliniques plafonnent.

Les auteurs démontrent empiriquement que la limite ne réside pas dans la capacité du générateur (le LLM), mais dans une bottleneck représentationnel au niveau des embeddings visuels :

• Concentration Dimensionnelle : Les embeddings 3D CT obtenus par apprentissage contrastif (ex: CT-CLIP) souffrent d'une "collapse dimensionnel". Alors que l'espace d'embedding a 512 dimensions, l'analyse en composantes principales (PCA) révèle que la variance utile est concentrée dans seulement 2 à 9 dimensions effectives.
• Manque de Richesse Sémantique : Bien que ces embeddings soient capables de distinguer grossièrement la présence ou l'absence d'une pathologie (hauts scores AUC pour les classifieurs linéaires), ils ne possèdent pas la capacité de représenter les détails fins nécessaires aux rapports (latéralité, sévérité, co-occurrence de lésions).
• Échec du Scaling : Augmenter la taille du LLM (de 8 milliards à 70 milliards de paramètres) n'apporte aucune amélioration significative, prouvant que le modèle ne peut pas extraire plus d'informations que ce que le canal visuel pauvre ne lui fournit.
• Échec de la RAG Statique : Une récupération d'informations (RAG) basée uniquement sur la similarité des images échoue car elle hérite du même goulot d'étranglement visuel, ne parvenant pas à isoler les cas pertinents pour des pathologies fines.

2. Méthodologie : AdaRAG-CT

Pour contourner ce goulot d'étranglement sans réentraîner les encodeurs visuels, les auteurs proposent AdaRAG-CT, un cadre d'augmentation adaptative qui introduit un canal textuel supplémentaire pour compenser l'information visuelle manquante.

Architecture et Composants Clés :

1. Modèle de Base : Une architecture de type LLaVA utilisant un LLM (Llama-3) recevant des tokens visuels projetés à partir d'embeddings globaux (CT-CLIP) et d'embeddings spécifiques aux organes (ViSD-Boost pour le poumon, le cœur, l'œsophage, l'aorte).
2. Base de Données Indexée par Organe : Un corpus de phrases extrait des rapports d'entraînement, annotées par organe et pathologie, indexées pour une recherche rapide (FAISS).
3. Token [RAG] Adaptatif : Inspiré de Self-RAG, le modèle apprend à générer un token spécial [RAG] de manière autonome. Ce token déclenche la récupération de contexte uniquement lorsque le modèle juge que des informations externes sont nécessaires pour compléter la phrase en cours de génération.
4. Stratégies de Récupération :
   • Deux étapes (Two-Stage) : Récupération grossière basée sur l'image (similitude cosinus) pour filtrer les patients pertinents, suivie d'un ré-ranking par texte (Text2Text) et sélection via la pertinence marginale maximale (MMR).
   • Texte-à-Texte (Text2Text) : Récupération directe basée sur la génération partielle du modèle.
5. Entraînement "Oracle-Mixed" : Le modèle est entraîné avec un mélange de contextes "oracle" (phrases de vérité terrain) et de contextes "bruyants" (résultats réels de récupération). Cela permet au modèle d'apprendre à utiliser le contexte quand il est utile et à ignorer le bruit quand il est inapproprié, renforçant sa robustesse.

3. Contributions Principales

1. Diagnostic Quantitatif du Goulot : La première analyse démontrant que les embeddings contrastifs 3D médicaux ont une dimensionnalité effective extrêmement faible (2 à 9 dimensions sur 512), ce qui explique l'échec des approches purement visuelles et de la RAG statique.
2. Cadre AdaRAG-CT : Une nouvelle architecture qui ne cherche pas à remplacer l'encodeur visuel, mais à le compenser par un canal textuel contrôlé. L'innovation réside dans le mécanisme de déclenchement adaptatif ([RAG]) qui permet une intégration sélective du contexte.
3. Preuve par l'Expérience : Démonstration que l'ajout de contexte textuel via la récupération adaptative permet de dépasser les limites des modèles les plus avancés, prouvant que le problème est informationnel (visuel) et non génératif (LLM).

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark CT-RATE (25 692 études CT thoraciques).

• Performance Clinique :
  • Le modèle AdaRAG-CT (8B) atteint un Clinical F1 de 0,480, surpassant l'état de l'art précédent (CT-Agent à 0,420) de 6 points.
  • Il surpasse également la version 70B de CT-CHAT (0,184) et confirme que le scaling du LLM seul est inefficace sans amélioration visuelle.
• Impact de l'Adaptativité :
  • Les ablations montrent que l'injection fixe de contexte (toutes les N phrases) est sensible aux hyperparamètres et souvent inférieure.
  • Le mécanisme adaptatif (déclenchement par [RAG]) est le principal moteur de l'amélioration, permettant au modèle d'utiliser le contexte de manière ciblée (environ 1,5 déclencheurs par rapport).
• Analyse Qualitative :
  • Le modèle de base tend à halluciner des structures anatomiques hors champ (ex: artères des jambes dans un CT thoracique) en raison de la pauvreté du signal visuel.
  • Avec AdaRAG-CT, le modèle récupère des preuves spécifiques au patient (ex: calcifications de l'aorte) et corrige ses hallucinations, produisant des rapports alignés avec la vérité terrain.

5. Signification et Conclusion

Cet article apporte un changement de paradigme dans la génération de rapports médicaux 3D :

• Le problème n'est pas le générateur, mais la représentation visuelle. Les encodeurs contrastifs actuels sont trop "pauvres" en information sémantique fine pour soutenir une génération complète.
• La RAG comme canal de substitution. Dans ce contexte, la récupération d'informations ne sert pas à ajouter des connaissances générales, mais à agir comme un canal visuel de remplacement (surrogate visual channel) pour transmettre les détails fins que l'image compressée a perdus.
• Perspective Future : Bien que AdaRAG-CT soit une solution efficace, les auteurs soulignent que la résolution fondamentale nécessitera des pré-entraînements visuels plus riches (awareness des pathologies) ou des représentations visuelles denses par token. En attendant, l'augmentation textuelle adaptative est une solution nécessaire et performante.

En résumé, ce travail démontre que pour les tâches médicales complexes où les données visuelles sont intrinsèquement limitées par la nature des données et les méthodes d'entraînement actuelles, l'intégration intelligente de contexte textuel est la clé pour atteindre une efficacité clinique acceptable.