CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

Résumé technique : CapCLIP – Une approche d'alignement des représentations vision-langage pour l'analyse de l'entéroscopie par capsule sans fil

Énoncé du problème
L'entéroscopie par capsule sans fil (WCE) permet une visualisation non invasive de l'intestin grêle, mais se heurte à des contraintes cliniques majeures dues au volume massif d'images générées par examen et à la difficulté d'identifier des anomalies subtiles dans des conditions d'imagerie hautement variables. Les approches d'apprentissage automatique existantes pour la WCE sont principalement axées sur la vision seule, souvent limitées à des ensembles de pathologies restreints, et démontrent une généralisation limitée entre différents jeux de données et centres cliniques. Ces modèles reposent généralement sur des étiquettes de classes fixes, ce qui entraîne des sorties manquant d'interprétabilité sémantique et peinant à s'adapter aux décalages de distribution (par exemple, prévalence variable des pathologies, dispositifs d'acquisition ou apparence des images). De plus, il existe un manque de cadres multimodaux spécifiques au domaine pour la WCE, car les données image-texte naturellement appariées (rapports cliniques liés à des images spécifiques) ne sont pas disponibles à grande échelle, et les modèles vision-langage médicaux existants sont souvent entraînés sur des données de radiologie ou d'autres modalités aux caractéristiques différentes.

Méthodologie
L'article propose CapCLIP, un cadre d'apprentissage de représentations vision-langage spécifique au domaine, conçu pour aligner les images de la WCE avec des descriptions textuelles ancrées dans la pratique clinique. La méthodologie pallie l'absence de paires image-texte naturelles grâce à un pipeline structuré de génération de légendes :

1. Génération de légendes : Les étiquettes au niveau de l'image sont transformées en descriptions textuelles riches à l'aide de modèles de légendes prédéfinis, d'une nomenclature spécifique au domaine (dérivée d'études de consensus Delphi) et de modèles de langage de grande taille (LLM) guidés par une base de connaissances contextuelle de la littérature médicale. Ces légendes encodent les caractéristiques visuelles, la sémantique des pathologies et la pertinence clinique (par exemple, lier « Érythème » à « lésion vasculaire » ou « Anormal » à « maladie de Crohn »).
2. Architecture : Le cadre adopte une architecture de type CLIP avec deux encodeurs :
   • Encodeur d'image : Un Vision Transformer (ViT), évalué dans deux variantes (ViT-B/16 et ViT-L/14), initialisé avec les poids de CLIP OpenAI.
   • Encodeur de texte : Un Transformer à 12 couches (similaire à la configuration CLIP originale) utilisant le codage Byte-Pair (BPE).
3. Objectif d'entraînement : Le modèle est entraîné en utilisant une perte d'entropie croisée symétrique pour aligner les embeddings d'image et de texte dans un espace hypersphérique partagé. L'entraînement utilise des mini-lots où les paires image-texte appariées sont encouragées à avoir une forte similarité cosinus, tandis que les paires non appariées sont repoussées.
4. Variantes : Trois modes d'entraînement sont explorés :
   • CapCLIP-B : Classification binaire (Normal vs Anormal).
   • CapCLIP-M : Classification multiclasse (étiquettes de pathologies spécifiques).
   • CapCLIP-MIX : Une approche hybride combinant des appariements binaires et multiclasse.

Configuration expérimentale et évaluation
Le cadre est évalué dans des conditions strictes de zéro-shot en utilisant des jeux de données WCE non vus et hors distribution (CrohnIPI, KID2, Galar) qui n'ont pas été utilisés lors de l'entraînement. Les données d'entraînement sont constituées des jeux de données SEE-AI et Kvasir-Capsule. L'évaluation compare CapCLIP à plusieurs lignes de base :

• Modèles de fondation uniquement vision : EndoSSL, EndoFM, EndoFM-LV.
• Modèles vision-langage généraux/médicaux : CLIP (OpenAI), MedCLIP, BioMedCLIP, MedImageInsight.

La performance est évaluée sur trois tâches en aval :

1. Classification K-Nearest Neighbour (KNN) en zéro-shot : Sonde la structure sémantique des embeddings visuels.
2. Classification image-texte de type CLIP en zéro-shot : Évalue la capacité discriminative intermodale à l'aide d'invites textuelles.
3. Recherche d'image par texte en zéro-shot : Évalue la capacité à retrouver des images pertinentes basées sur des requêtes textuelles (à la fois au niveau grossier « anomalie » et au niveau fin « pathologie »).

Résultats clés

• Classification KNN : CapCLIP surpasse systématiquement les lignes de base sur les jeux de données KID2 et CrohnIPI, avec des gains allant jusqu'à +11,2 % du score F1 pondéré pour les configurations multiclasse. Sur le jeu de données Galar, la performance est comparable aux lignes de base, attribué à la forte redondance du jeu de données qui rend le sondage KNN moins discriminant.
• Classification image-texte : CapCLIP démontre des améliorations substantielles par rapport à toutes les lignes de base. En classification binaire, il réalise des améliorations de l'AUROC/AUPRC allant jusqu'à +54,5 % par rapport à la meilleure ligne de base. En classification multiclasse, les gains sont encore plus marqués, avec des améliorations allant jusqu'à +206,7 % du score F1 pondéré sur le jeu de données CrohnIPI.
• Recherche d'image par texte : CapCLIP améliore significativement les performances de recherche. Pour la recherche d'anomalies grossières, il améliore le mAP jusqu'à +94,2 % sur CrohnIPI. Pour la recherche de pathologies fines, il réalise des gains allant jusqu'à +260,8 % de la Précision pondérée@200 sur le jeu de données Galar.
• Visualisation des embeddings : Les visualisations t-SNE confirment que CapCLIP apprend des embeddings avec des structures de clusters plus claires et une meilleure séparabilité inter-classe par rapport aux lignes de base uniquement vision et vision-langage médicales existantes.

Signification et revendications
L'article revendique que CapCLIP représente une avancée significative vers des modèles de fondation spécifiquement adaptés à l'entéroscopie par capsule. La principale signification réside dans la démonstration que l'apprentissage de représentations guidé par le langage peut produire des embeddings plus transférables et plus riches sémantiquement que ceux générés par les lignes de base existantes de domaine général ou médical.

Les contributions clés incluent :

1. Le développement d'un cadre systématique de benchmarking en zéro-shot pour évaluer les modèles multimodaux sur les données WCE.
2. L'introduction de CapCLIP, qui permet un apprentissage de représentations ancré dans le langage pour une modalité dépourvue de paires image-texte naturelles.
3. La preuve que l'alignement des images avec des légendes structurées et conscientes des pathologies améliore la généralisation à des jeux de données non vus et renforce l'interprétabilité sémantique de l'analyse WCE.

Les auteurs concluent que, tandis que les approches actuelles uniquement vision sont limitées par des taxonomies fixes, l'approche vision-langage proposée offre une voie plus flexible pour l'aide à la décision clinique, permettant aux médecins d'interroger les données WCE à l'aide de concepts en langage naturel plutôt que d'être restreints à des étiquettes prédéfinies. L'article reconnaît les limites, notamment la dépendance à des légendes générées plutôt qu'à des paires naturelles et l'échelle relativement réduite des données d'entraînement WCE par rapport aux modèles de fondation généraux, suggérant que les travaux futurs devraient se concentrer sur des jeux de données plus vastes et des stratégies d'entraînement unifiées.