💻 computer science

On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

Cet article présente le benchmark Endo-C6 et le modèle RobustEndoCLIP pour démontrer que, bien que les modèles de vision-langage temporels prêts à l'emploi souffrent d'un effondrement sévulier de performance face aux corruptions vidéo spécifiques à l'endoscopie, une adaptation légère par quelques exemples (few-shot) peut considérablement améliorer leur robustesse sans modifier l'interface basée sur les prompts.

Auteurs originaux : Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment regarder des vidéos. Vous ne voulez pas lui apprendre un jeu spécifique à la fois ; au lieu de cela, vous lui donnez un « cerveau » général qui comprend à la fois ce qu'il voit et ce que les mots signifient. C'est ce qu'on appelle un Modèle de Vision-Langage. Considérez cela comme un étudiant qui a lu tous les livres de la bibliothèque et regardé tous les films jamais créés, de sorte que vous pouvez simplement lui demander : « Que se passe-t-il dans cette vidéo ? » et il répond en fonction de ses connaissances. Ces robots deviennent très populaires pour surveiller les vidéos de chirurgie, où les médecins doivent identifier rapidement les outils, les phases d'une opération ou les problèmes de sécurité sans passer des années à étiqueter chaque image.

Cependant, il y a un piège. Le robot a été entraîné sur des vidéos parfaites, en haute définition et de qualité studio. Mais les vidéos de chirurgie réelles sont désordonnées. C'est comme regarder un film à travers une fenêtre embrumée, avec la caméra qui tremble, de la fumée provenant d'un outil de découpe laser, ou le signal qui se fige à cause d'une mauvaise connexion internet. La grande question que les scientifiques se posent est la suivante : si vous montrez à ce robot super intelligent une vidéo de chirurgie désordonnée, fonctionne-t-il toujours ? Ou se laisse-t-il confondre et commence-t-il à halluciner des absurdités ? Ce document plonge précisément dans ce problème, testant la capacité de ces modèles d'IA à résister lorsque la qualité de la vidéo « déraille ».

Le test de réalité du robot : Quand les vidéos de chirurgie deviennent désordonnées

Rencontrez le Modèle de Vision-Langage Temporel (TVLM). Vous pouvez les considérer comme les « génies multitâches » du monde de l'IA. Au lieu d'être entraînés pour reconnaître une seule chose (comme « est-ce un scalpel ? »), ils sont entraînés pour comprendre toute l'histoire d'une vidéo en faisant correspondre des images en mouvement avec des descriptions textuelles. Les chirurgiens les adorent car on peut leur poser des questions telles que : « Quelle est la phase de la chirurgie ? » ou « Quel outil est utilisé ? » sans avoir besoin d'un cerveau construit sur mesure pour chaque question.

Mais voici le rebondissement : ces génies ont été élevés dans un monde stérile et parfait. Les vidéos dont ils ont appris étaient propres, stables et lumineuses. La chirurgie réelle, cependant, est une aventure chaotique. La caméra peut devenir brumeuse à cause de la chaleur, la lentille peut devenir floue, la fumée d'un outil de cautérisation (un dispositif qui brûle les tissus) peut remplir l'écran, ou la vidéo peut bugger en raison de pertes de paquets (comme lorsque votre appel vidéo se fige).

Les auteurs de ce document, une équipe de chercheurs provenant de lieux tels que le MBZUAI et le Centre allemand de recherche sur le cancer, ont décidé de soumettre ces modèles d'IA au test de résistance ultime. Ils ont demandé : Si nous lançons ces problèmes du monde réel désordonnés sur les modèles, vont-ils s'effondrer ?

L'obstacle de l'« Endo-C6 »

Pour répondre à cela, l'équipe a construit un parcours d'obstacles spécial appelé Endo-C6. Imaginez un niveau de jeu vidéo où vous devez naviguer à travers six types différents de catastrophes :

Défocalisation : La caméra perd sa netteté, comme une photo floue.
Brouillard (Brume) : La vue devient nuageuse, comme si l'on regardait à travers un miroir de salle de bain embué.
Bruit de tir (Shot Noise) : L'image devient granuleuse, comme une vieille télévision avec de la neige.
Flou de mouvement : La caméra bouge trop vite, étalant l'image.
Perte de paquets : La vidéo saute ou se fige, comme un flux internet en cours de chargement.
Fumée de cautérisation : Une fumée épaisse obscurcit la vue, ce qui est courant lorsque les chirurgiens brûlent des tissus.

Ils ont pris trois modèles d'IA populaires (SurgVLP, HecVLP et PeskaVLP) et les ont fait passer dans ce parcours d'obstacles en utilisant de vraies vidéos de chirurgie provenant de trois ensembles de données différents : la chirurgie laparoscopique (à l'intérieur du ventre), l'endoscopie gastro-intestinale (regardant dans la gorge ou l'intestin) et la chirurgie colorectale.

Les résultats choquants : Le « Effondrement »

Les résultats ont été un peu effrayants pour la communauté de l'IA. Quand les vidéos étaient propres, les modèles s'en sortaient bien. Mais dès que les « catastrophes » frappaient, les modèles subissaient ce que les auteurs appellent un « effondrement dans le pire des cas ».

Pensez à un étudiant qui réussit un examen de mathématiques dans une bibliothèque calme mais qui, lorsqu'on lui demande de résoudre les mêmes problèmes debout dans un ouragan avec un viseur embué, oublie comment compter.

Sur un ensemble de données (CholecT50), la précision des modèles est tombée d'environ 40 % sur des vidéos propres à seulement 7 % lorsque la fumée ou le flou étaient introduits.
Sur un autre ensemble de données (TEMSET-24K), les modèles étaient encore pires, tombant à une précision terrifiante de 0,4 % sur certains clips corrompus. C'est pratiquement du hasard.

Le document exclut explicitement l'idée que ces modèles soient prêts pour une utilisation immédiate sous leur forme actuelle « prête à l'emploi ». Ils sont trop fragiles. Une petite quantité de fumée ou de flou peut les rendre complètement inutiles, ce qui est dangereux dans une chirurgie où la sécurité est primрье.

Le Héros : Une astuce de « réglage » légère

Mais ne paniquez pas ! Le document ne fait pas que pointer le problème ; il propose une solution. Les chercheurs ont développé un nouveau modèle appelé RobustEndoCLIP.

Au lieu de réentraîner tout le cerveau géant de l'IA (ce qui prend un temps infini et nécessite des quantités massives de données), ils ont utilisé une astuce ingénieuse appelée VeRA (Adaptation de matrice aléatoire basée sur les vecteurs). Imaginez que le modèle d'IA soit une immense et lourde bibliothèque. Réentraîner la bibliothèque, c'est comme reconstruire toute la bibliothèque. VeRA, c'est comme ajouter un petit système de fiches intelligentes à la réception. C'est incroyablement petit et efficace.

Ils ont pris une petite tranche de données propres (seulement 16 % des clips d'entraînement disponibles) et ont utilisé cette astuce de « fiche » pour pousser doucement le modèle à mieux comprendre le monde désordonné.

Le résultat ? RobustEndoCLIP n'a pas seulement survécu au parcours d'obstacles ; il a prospéré.

Alors que les anciens modèles tombaient à 7 % de précision dans les pires scénarios de fumée, le nouveau modèle se maintenait à 16,83 %.
Sur l'ensemble de données le plus difficile (TEMSET-24K), il a amélioré la précision dans le pire des cas, passant d'un dérisoire 0,40 % à un 19,98 % beaucoup plus fiable.

Le document montre que ce réglage léger rend le modèle beaucoup plus robuste, surtout dans les scénarios du « pire des cas », sans changer la façon dont les médecins interagissent avec lui. Vous lui posez toujours des questions en langage courant, et il donne de meilleures réponses même quand la vidéo est désordonnée.

Ce que cela signifie pour l'avenir

Les auteurs font attention à ne pas dire qu'ils ont « résolu » l'IA chirurgicale. Ils suggèrent que leur nouveau benchmark, Endo-C6, devrait devenir la norme pour tester ces modèles. Avant de faire confiance à une IA pour aider dans une salle d'opération, nous devons savoir comment elle gère la fumée, le flou et la brume.

L'étude conclut que bien que les modèles actuels soient fragiles, un peu de réglage intelligent et efficace peut les rendre beaucoup plus résistants. C'est un rappel que dans le monde désordonné de la chirurgie, être « intelligent » ne suffit pas ; il faut aussi être « robuste ». Et avec des outils comme RobustEndoCLIP, nous nous rapprochons peut-être d'une IA capable de gérer le chaos de la salle d'opération sans perdre son sang-froid.

Résumé technique : Sur la robustesse des modèles de vision-langage temporels pour les vidéos d'endoscopie chirurgicale

Problématique

Les modèles de vision-langage temporels (TVLM) offrent une interface réutilisable et basée sur des prompts pour la compréhension des vidéos chirurgicales, éliminant ainsi le besoin de classifieurs sur mesure pour chaque nouvel ensemble d'étiquettes. Cependant, leur robustesse face aux artefacts d'acquisition cliniquement réalistes en endoscopie reste insuffisamment caractérisée. L'endoscopie chirurgicale est intrinsèquement bruitée et sujette à des décalages de distribution structurés causés par le défaut de mise au point, la brume, le flou de mouvement, le bruit, la fumée de cautérisation et la perte de paquets. Ces artefacts, qui sont courants lors des interventions (par exemple, pendant la cautérisation ou un repositionnement rapide), peuvent compromettre l'alignement vidéo-texte. Les bancs d'essai de robustesse actuels échouent souvent à isoler les échecs dus aux artefacts des décalages de mélange de procédures ou d'étiquettes, et les études existantes sur les VLM médicaux omettent fréquemment les modèles temporels basés sur des prompts ou se concentrent sur des tâches spécifiques comme l'estimation de la profondeur plutôt que sur la classification de clips généraux.

Méthodologie

Les auteurs proposent un cadre complet pour tester la résistance des TVLM et améliorer leur robustesse grâce à une adaptation efficace.

1. Benchmark Endo-C6 :
Le document introduit Endo-C6, un benchmark de corruption compact conçu pour évaluer les TVLM sous six perturbations réalistes de l'endoscopie :

Défaut de mise au point (Defocus) : Simulant la perte de mise au point de l'objectif.
Brume (Fog/Haze) : Mimant la présence de fluides ou l'embuage de la lentille.
Bruit de tir (Shot Noise) : Simulant le bruit de capteur en faible luminosité.
Flou de mouvement (Motion Blur) : Représentant des mouvements de caméra rapides.
Perte de paquets (Packet Loss) : Simulant les erreurs de transmission dans les flux en direct.
Fumée (Smoke) : Modélisant les panaches de fumée de cautérisation.

Ces corruptions sont appliquées à une sévérité élevée fixe (sévérité 5) sur des clips provenant de trois jeux de données publics : CholecT50 (phases de cholécystectomie laparoscopique), Kvasir (points de repère/pathologie gastro-intestinale) et TEMSET-24K (actions chirurgicales). Le protocole d'évaluation traite les clips propres comme étant en distribution (In-Distribution - ID) et les variantes corrompues comme des décalages hors distribution (Out-Of-Distribution - OOD) contrôlés, mesurant la performance via le Mean-C (précision moyenne à travers les corruptions) et le Worst-C (précision la plus basse parmi les corruptions).

2. RobustEndoCLIP :
Pour remédier à la fragilité des modèles prêts à l'emploi, les auteurs proposent RobustEndoCLIP. Cette approche utilise un ajustement de paramètres efficace à peu d'exemples (few-shot parameter-efficient tuning) avec VeRA (Vector-based Random Matrix Adaptation).

Architecture : Elle utilise un backbone CLIP temporel pré-entraîné (spécifiquement initialisé à partir de SurgVLP avec un encodeur visuel ResNet-50).
Stratégie d'adaptation : Au lieu d'un fine-tuning complet ou d'un LoRA standard, la méthode fige le backbone et ne met à jour que la couche de projection entièrement connectée (FC) finale. VeRA parvient à cela en fixant les matrices aléatoires $A$ et $B$ et en apprenant uniquement les vecteurs d'échelle ( $\Lambda_b, \Lambda_d$ ), réduisant considérablement le nombre de paramètres entraînables par rapport à LoRA.
Entraînement : Le modèle est adapté en utilisant un petit sous-ensemble étiqueté (jusqu'à 16 %) de données d'entraînement propres, préservant l'interface de déploiement basée sur les prompts tout en « ancrant » l'espace de plongement (embedding) au domaine cible.

Contributions clés

Benchmark Endo-C6 : Un benchmark de corruption diversifié couvrant six types d'artefacts réalistes à travers l'endoscopie gastro-intestinale et la chirurgie laparoscopique, organisé par saillance de domaine et structure temporelle.
Étude de benchmarking systématique : Un protocole d'évaluation basé sur les prompts reproductible appliqué à trois lignes de base de TVLM chirurgicales représentatives (SurgVLP, HecVLP et PeskaVLP) à travers 294 évaluations au niveau du jeu de données.
RobustEndoCLIP : Un VLM temporel spécialisé qui atteint des gains de robustesse substantiels via un ajustement léger à peu d'exemples, démontrant que l'ajustement efficace des paramètres peut améliorer les performances sans modifier l'interface basée sur les prompts.

Résultats

L'étude a évalué 3 modèles de référence et le proposé RobustEndoCLIP à travers les trois jeux de données dans des conditions propres et corrompues.

Fragilité des modèles de référence : Les TVLM prêts à l'emploi présentent un effondrement sév Bre de cas (worst-case collapse) sous les corruptions spécifiques à l'endoscopie. Par exemple, sur CholecT50, la précision Worst-C des modèles de référence est tombée à environ 7 % sous l'effet de la fumée et du flou de mouvement, malgré une précision propre modérée (~40-44 %). Sur TEMSET-24K, les modèles de référence ont montré un Worst-C aussi bas que 0,40 %.
Sensibilité à la corruption : Les modes de défaillance sont spécifiques au domaine. Les vidéos laparoscopiques (CholecT50) sont les plus sensibles à la fumée, tandis que les jeux de données GI (Kvasir, TEMSET-24K) montrent une sensibilité hétérogène au mouvement, au bruit de tir et au défaut de mise au point selon le modèle.
Performance de RobustEndoCLIP : La méthode proposée a nettement surpassé les modèles de référence tant dans les configurations Mean-C que Worst-C.
- Sur CholecT50, elle a amélioré le Worst-C de ~7 % (modèles de référence) à 16,83 %.
- Sur Kvasir, elle a amélioré le Worst-C de ~6,5-8,2 % à 11,42 %.
- Sur TEMSET-24K, elle a élevé le Worst-C de ~0,4-1,5 % à 19,98 %.
VeRA vs. LoRA : Sous un budget de labels fixe de 16 %, l'adaptation basée sur VeRA a produit une robustesse (Mean-C) supérieure à celle de LoRA, malgré un nombre de paramètres nettement inférieur (1024 contre ~720k). VeRA a atteint un Mean-C moyen de 29,13 % à travers les jeux de données, contre 16,92 % pour LoRA.
Échelle du budget de labels : La robustesse s'est généralement améliorée avec l'augmentation des budgets de labels (0 % à 16 %), bien que les rendements dépendent du jeu de données.

Signification et affirmations

L'article affirme qu'Endo-C6 fournit un protocole standardisé et reproductible pour rapporter la robustesse dans la compréhension des vidéos endoscopiques, comblant la lacune où les échecs rares dans des contextes cliniques à enjeux élevés sont souvent négligés. Les conclusions suggèrent que, bien que les TVLM prêts à l'emploi soient fragiles sous les artefacts chirurgicaux réalistes, un ajustement léger à peu d'exemples peut considérablement améliorer les performances moyennes et les cas extrêmes (worst-case). Les auteurs postulent qu'Endo-C6 servira de modèle de rapport pratique pour promouvoir des systèmes de vision-langage clinique plus fiables, en soulignant que la robustesse doit être évaluée non seulement sur la performance moyenne, mais aussi sur les échecs de la queue de distribution (Worst-C). L'étude reste modeste, notant que le benchmark se concentre actuellement sur la classification basée sur les prompts et que l'extension à d'autres tâches (par exemple, la détection, la segmentation) ou aux modèles génératifs constitue une direction pour les travaux futurs.