Parameter-Efficient VLMs for Gastrointestinal Endoscopy: Medical Image Generation and Clinical Visual Question Answering

Résumé Technique : VLM Économes en Paramètres pour l'Endoscopie Gastro-intestinale

Énoncé du Problème
Le déploiement de l'Intelligence Artificielle (IA) avancée en endoscopie gastro-intestinale (GI) est actuellement entravé par trois obstacles principaux : la rareté des ensembles de données médicales annotées, des réglementations strictes sur la confidentialité des patients limitant le partage de données, et les coûts computationnels prohibitifs associés au fine-tuning complet conventionnel des grands modèles. Ces limitations se traduisent par des systèmes d'IA souffrant souvent de biais, d'une mauvaise généralisation aux pathologies rares et d'une incapacité à évoluer efficacement dans la pratique clinique. De plus, les modèles existants de Réponse aux Questions Visuelles (VQA) produisent fréquemment des « hallucinations » — des informations cliniques plausibles mais incorrectes — tandis que les méthodes de génération de données synthétiques échouent souvent à équilibrer haute fidélité et alignement sémantique avec les consignes médicales.

Méthodologie
Pour répondre à ces défis, les auteurs proposent un cadre à double pipeline utilisant des techniques de Fine-Tuning Économe en Paramètres (PEFT). Le système est conçu pour fonctionner sur l'ensemble de données Kvasir-VQA (6 500 images) et se compose de deux composants parallèles :

1. Pipeline de Réponse aux Questions Visuelles Cliniques (VQA) :

   • Architecture : Le système adopte le modèle vision-langage Florence-2. Il utilise un encodeur DaViT (Data-efficient Vision Transformer) figé pour extraire des caractéristiques visuelles hiérarchiques et un décodeur de type BART pour la génération de texte.
   • Stratégie PEFT : Au lieu de réentraîner l'ensemble du modèle, l'encodeur visuel est figé et seuls les composants linguistiques sont adaptés. Les questions cliniques sont préfixées par un token spécifique au domaine (<MedVQA>) pour activer les représentations pertinentes.
   • Mécanisme : Un mécanisme d'attention croisée permet au modèle de se concentrer dynamiquement sur des régions spécifiques de l'image en fonction des requêtes textuelles, soutenant le raisonnement spatial et la localisation d'objets. Le modèle est entraîné en utilisant une perte d'entropie croisée au niveau des tokens avec une optimisation AdamW.

2. Pipeline de Génération d'Images Synthétiques Préservant la Vie Privée :

   • Architecture : Ce pipeline utilise Stable Diffusion 2.1 comme modèle de base de texte vers image.
   • Stratégie PEFT : L'Adaptation à Faible Rang (LoRA) est intégrée dans les couches d'attention du modèle de diffusion. Plus précisément, les matrices de poids pré-entraînées ($W_0$) sont figées et des matrices entraînables à faible rang ($A$ et $B$) sont insérées de telle sorte que $W = W_0 + BA$.
   • Optimisation : Les auteurs ont déterminé empiriquement qu'une configuration LoRA de rang 4 offre le meilleur équilibre entre efficacité et puissance de représentation, réduisant considérablement le nombre de paramètres ajustables et le risque de surapprentissage sur les petits ensembles de données médicales.
   • Processus : Le modèle génère des images GI haute fidélité à partir de consignes textuelles cliniques (par exemple, « image clinique de coloscopie avec un polype ») tout en préservant la confidentialité des patients en évitant l'utilisation de données réelles de patients pour l'entraînement du modèle génératif.

Contributions Clés
L'article expose trois contributions principales :

1. Implémentation et Analyse du PEFT pour la VQA : L'adaptation réussie du modèle Florence-2 à l'endoscopie GI utilisant le PEFT, accompagnée d'une analyse détaillée des performances démontrant que le fine-tuning sur des ensembles de données privés produit des résultats supérieurs à ceux des ensembles de données publics.
2. Cadre Robuste de Génération d'Images Synthétiques : La conception d'un pipeline Stable Diffusion amélioré par LoRA, enrichi par des techniques avancées d'ingénierie des consignes, pour générer des images GI cliniquement précises et respectueuses de la vie privée afin d'étendre les ensembles de données.
3. Évaluation Complète : Une évaluation approfondie des deux méthodologies dans le contexte du diagnostic GI, soutenue par des études d'ablation sur les rangs LoRA et des comparaisons avec des modèles de l'état de l'art.

Résultats

• Performance VQA : Le modèle Florence-2 basé sur PEFT a obtenu un score ROUGE-1 de 0,92 et un score ROUGE-L de 0,91. Les scores BLEU se sont améliorés de 0,08 à 0,24, indiquant une précision accrue des n-grammes pour la terminologie médicale. Le modèle a démontré des performances constantes sur divers types de questions (oui/non, comptage, localisation) et a montré une meilleure généralisation sur les ensembles de données privés par rapport aux ensembles publics.
• Performance de Génération Synthétique : La synthèse LoRA de rang 4 a atteint un score de Fidélité de 0,290, un score d'Accord de 0,730 et une Distance Fréchet BiomedCLIP (FBD) de 1450.
• Analyse Comparative :
  • En VQA, la méthode proposée a surpassé les références VQA-RAD et MedVQA en ROUGE-L (0,910).
  • En génération d'images, bien que FLUX et Kandinsky 2.2 aient montré des scores de Fidélité ou d'Accord plus élevés respectivement, le modèle proposé a démontré un alignement sémantique supérieur avec une FBD significativement plus faible (1450) par rapport à Kandinsky (2060,58) et MSDM (1531,62).
• Efficacité : L'approche PEFT a réduit les paramètres entraînables d'environ 89,9 % et a diminué le temps d'entraînement à 4–5 heures sur du matériel GPU standard, permettant un déploiement sur l'infrastructure hospitalière standard sans ressources computationnelles spécialisées.

Signification et Revendications
Les auteurs affirment que ce cadre établit une solution robuste pour améliorer la VQA et la génération de données synthétiques en IA clinique. En combinant PEFT avec des données synthétiques, l'approche répond aux goulots d'étranglement critiques de la rareté des données et de la confidentialité. Le score FBD plus bas indique que les images générées possèdent une meilleure cohérence image-texte que les modèles concurrents, les rendant précieuses pour l'expansion des bases de données d'entraînement sans violer la confidentialité des patients.

L'article positionne ce travail comme une étape vers la démocratisation de l'accès à l'IA médicale de haute qualité, permettant l'intégration d'outils diagnostiques sophistiqués dans les organisations de santé disposant de ressources computationnelles limitées. Bien que les auteurs reconnaissent des limitations dans les tâches complexes de comptage numérique, ils affirment que le système est prêt pour des tests pilotes cliniques, en particulier dans des contextes éducatifs et en tant qu'outil d'aide au diagnostic, visant ultimement à améliorer les soins aux patients grâce à une IA médicale accessible et alignée éthiquement.