LLaMA-XR: A Novel Framework for Radiology Report Generation using LLaMA and QLoRA Fine Tuning

1. Problématique

La génération automatique de rapports radiologiques à partir d'images de radiographie thoracique (CXR) vise à assister les radiologues dans la création de descriptions détaillées. Cependant, ce processus reste un défi majeur en raison de :

• La complexité du langage médical et la nécessité d'une précision clinique.
• La difficulté à corréler correctement les données visuelles avec des descriptions textuelles cohérentes.
• Les limites des modèles précédents (basés sur des RNN ou des transformateurs plus petits) qui peinent à gérer des phrases longues, complexes et à capturer les nuances sémantiques profondes requises pour des rapports cliniques fiables.
• Le coût computationnel élevé nécessaire pour affiner (fine-tuning) de grands modèles de langage (LLM) sur des données médicales.

2. Méthodologie : Le Framework LLaMA-XR

Les auteurs proposent LLaMA-XR, un cadre novateur qui intègre l'extraction de caractéristiques visuelles et la génération de texte via un LLM, optimisé pour l'efficacité.

A. Extraction de Caractéristiques Visuelles

• Modèle : Utilisation de DenseNet-121 (pré-entraîné sur le jeu de données IU X-ray et d'autres ensembles de données CXR).
• Fonctionnement : Au lieu d'utiliser des embeddings d'images bruts de haute dimension, le modèle extrait des scores de confiance pour 18 conditions médicales (ex: atélectasie, cardiomegalie, pneumonie, etc.) pour deux vues (frontale et latérale).
• Représentation : Cela génère un vecteur de 36 dimensions (18 scores x 2 vues) qui sert d'embedding sémantique riche et interprétable cliniquement pour le modèle de langage.

B. Génération de Texte et Architecture LLM

• Modèle de Langage : Le cœur du système est LLaMA 3.1 8B, un modèle de langage pré-entraîné de grande taille capable de comprendre et de générer un contexte médical complexe.
• Format d'Entrée (Prompting) : Les scores de classification de DenseNet sont injectés dans le modèle via un format de prompt structuré de style Alpaca. Le prompt contient une instruction spécifique décrivant la tâche et les 36 valeurs d'entrée, guidant le modèle pour générer le rapport correspondant.

C. Optimisation et Affinage (Fine-Tuning)

Pour rendre l'entraînement de LLaMA 3.1 8B réalisable avec des ressources limitées, les auteurs utilisent une stratégie combinée :

• QLoRA (Quantized Low-Rank Adaptation) : Une technique qui gèle les poids pré-entraînés du modèle (quantifiés en 4 bits pour réduire la mémoire d'environ 60 %) et n'entraîne que de petites matrices de rang faible (Low-Rank).
• SFT (Supervised Fine-Tuning) : Le modèle est affiné sur le jeu de données IU X-ray (7 470 images et 3 955 rapports) pour adapter le langage général au domaine médical.
• Efficacité : Cette approche permet un entraînement jusqu'à deux fois plus rapide avec une réduction de 60 % de l'utilisation de la mémoire, rendant possible l'entraînement sur un seul GPU A100.

3. Contributions Clés

1. Nouveau Framework : Proposition de LLaMA-XR, combinant DenseNet-121 pour l'interprétation visuelle et LLaMA 3.1 pour la génération de texte, avec une adaptation efficace via QLoRA.
2. Performance Supérieure : Démonstration d'une supériorité par rapport aux méthodes de l'état de l'art (SOTA) sur des métriques sémantiques critiques (ROUGE-L et METEOR).
3. Qualité Clinique : Mise en évidence de la capacité du modèle à produire des rapports factuellement précis, sémantiquement alignés et cliniquement pertinents, réduisant les « hallucinations » (fausses observations) par rapport à des modèles plus petits comme CvT-DistilGPT2.
4. Efficacité Computationnelle : Démonstration qu'il est possible d'entraîner des modèles LLM massifs (8B paramètres) pour des tâches médicales complexes avec des ressources de calcul réduites grâce à la quantification et à l'adaptation de rang faible.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données IU X-ray.

• Métriques de Performance :

  • ROUGE-L : 0,433 (une amélioration de 4,34 % par rapport à la meilleure méthode précédente, SGF).
  • METEOR : 0,336 (une amélioration impressionnante de 54,13 % par rapport à la méthode UAR).
  • BLEU-4 : 0,180 (légèrement inférieur à certaines méthodes récentes, mais les auteurs soulignent que BLEU est moins pertinent pour l'évaluation de la précision sémantique clinique que ROUGE-L ou METEOR).

• Analyse Qualitative :

  • Comparé à CvT-DistilGPT2, LLaMA-XR produit des rapports plus cohérents, avec moins de contenu superflu ou halluciné.
  • Il capture mieux les détails cliniques essentiels (ex: absence de pneumonie, taille normale du cœur) et maintient une structure narrative fluide.
  • Contrairement à d'autres modèles qui peuvent omettre des findings critiques, LLaMA-XR démontre une meilleure fidélité au contenu source.

5. Signification et Impact

• Avancée Clinique : Ce travail montre que l'utilisation de modèles de langage de très grande taille (LLaMA 3.1), correctement affinés, permet de dépasser les limites des architectures antérieures en termes de compréhension contextuelle et de précision médicale.
• Accessibilité : L'utilisation de QLoRA et de la quantification 4-bit rend l'entraînement de tels modèles accessible à des institutions disposant de ressources informatiques limitées, favorisant ainsi une adoption plus large de l'IA en radiologie.
• Fiabilité : La réduction des hallucinations et l'amélioration de la précision sémantique sont des étapes cruciales pour le déploiement sécurisé de l'IA dans les environnements de soins de santé, où la fiabilité des diagnostics est primordiale.
• Perspectives : Bien que les résultats soient prometteurs, les auteurs notent la nécessité de futures validations sur des jeux de données plus vastes (comme MIMIC-CXR) et d'évaluations cliniques approfondies par des radiologues pour garantir la sécurité et l'utilité réelle dans la pratique quotidienne.

En conclusion, LLaMA-XR établit une nouvelle référence pour la génération automatique de rapports radiologiques, prouvant que l'association de l'extraction de caractéristiques visuelles ciblée et de l'affinage efficace de grands modèles de langage peut produire des outils d'aide à la décision clinique à la fois précis, cohérents et économiquement viables.