Résumé technique : Apprentissage contrastif sous auto-supervision temporelle bruyante pour les vidéos de coloscopie

Énoncé du problème

L'apprentissage robuste de représentations de tracklets de polypes (séquences de détections consécutives d'un même polype) est essentiel pour diverses applications d'IA assistée en coloscopie, notamment la caractérisation des polypes, la génération de rapports automatisés et la recherche de lésions. Bien que l'apprentissage contrastif supervisé ait fait ses preuves, il repose sur des annotations d'« entité polype » — des étiquettes reliant les détections au même polype sous-jacent tout au long d'une vidéo. La génération de ces étiquettes est coûteuse, longue et nécessite une expertise clinique spécialisée, ce qui limite l'évolutivité des approches supervisées.

Les méthodes auto-supervisées existantes tentent de contourner ce problème en découpant les tracklets en segments disjoints ou en les regroupant par clusters. Cependant, ces approches échouent souvent à capturer la cohérence sémantique complète d'une entité polype à travers une vidéo. À l'inverse, les méthodes supervisées récentes qui utilisent des annotations d'entités explicites obtiennent des performances supérieures, soulignant un écart significatif entre l'apprentissage supervisé et l'apprentissage auto-supervisé. Le défi consiste à réduire cet écart sans recourir à des annotations d'entités manuelles, malgré l'environnement visuel hautement variable de la coloscopie (changements de point de vue, d'échelle, d'éclairage, de flou de mouvement et d'occlusion).

Méthodologie

Le cadre proposé exploite le flux de travail séquentiel inhérent aux procédures de coloscopie pour dériver des associations auto-supervisées à partir de la structure temporelle. L'hypothèse de base est que les observations capturées à des instants proches sont susceptibles de dépeindre la même entité polype.

1. Structure temporelle comme auto-supervision

La méthode construit un ensemble de tracklets $\{x_i\}$ à partir de détections de polypes de référence (ground-truth). Pour chaque tracklet ancre $i$ au sein d'une vidéo $v_i$, un « sac » de tracklets positifs candidats est construit à partir d'autres tracklets de la même vidéo ($v_j = v_i$).

• Classement : Les tracklets sont triés par leur distance temporelle par rapport à l'ancre.
• Construction du sac : Au lieu de sélectionner uniquement les tracklets temporellement les plus proches (ce qui génère des vues redondantes), la méthode échantillonne $K$ rangs distincts selon une distribution exponentielle $P_\tau(r) \propto \exp(-r/\tau)$. Le paramètre de température $\tau$ contrôle la diversité du sac : un $\tau$ faible sélectionne des voisins proches (forte similarité, faible bruit), tandis qu'un $\tau$ élevé sélectionne des voisins éloignés (forte diversité, risque accru d'associations incorrectes).
• Apprentissage par curriculum : Pour équilibrer le compromis entre la diversité des vues et la justesse des associations, une variable de curriculum $c \in [0, 1]$ est introduite. La température $\tau$ est augmentée progressivement d'une valeur minimale à une valeur maximale au cours de l'entraînement en utilisant un calendrier cosinusoïdal. Cela permet au modèle de commencer par des associations sûres et hautement similaires, puis d'apprendre progressivement à partir d'associations temporelles plus diversifiées et potentiellement plus bruyantes.

2. Perte contrastive consciente du bruit

Étant donné que la proximité temporelle ne garantit pas que deux tracklets appartiennent au même polype (par exemple, deux polypes différents apparaissant en succession rapide), les « sacs » résultants peuvent contenir des échantillons « impurs » (tracklets provenant de polypes différents). Traiter tous les échantillons d'un sac comme positifs peut dégrader l'apprentissage des représentations.

Les auteurs proposent une perte contrastive consciente du bruit qui assouplit la contrainte contrastive standard. Au lieu d'exiger que tous les échantillons positifs d'un sac soient similaires à l'ancre, la perte impose que au moins un tracklet du sac soit plus similaire à l'ancre que n'importe quel tracklet du sac ne l'est par rapport à n'importe quelle autre ancre.

• Formulation mathématique : La fonction de perte utilise une approximation log-sum-exp de l'opérateur max. Elle maximise la similarité entre l'ancre et le positif le mieux correspondant dans le sac tout en minimisant la similarité entre l'ancre et les négatifs provenant d'autres ancres.
• Effet : Cette formulation permet au modèle d'« ignorer » efficacement les associations temporelles bruyantes (incorrectes) au sein d'un sac, empêchant ainsi qu'elles ne dégradent l'espace d'embedding appris.

3. Architecture

Le cadre utilise un encodeur léger composé d'un ResNet-50 pour l'extraction d'embeddings de trames, suivi d'une pile de trois couches d'encodeur transformer pour agréger les représentations globales des tracklets. La perte peut être appliquée à l'embedding final du tracklet, aux embeddings par trame, ou aux deux.

Contributions clés

1. Cadre auto-supervisé : Une approche novatrice qui exploite le flux de travail séquentiel de la coloscopie pour construire des signaux d'auto-supervision à partir de la structure temporelle, éliminant ainsi le besoin d'annotations manuelles d'entités polype.
2. Perte contrastive consciente du bruit : Une fonction de perte conçue pour atténuer l'impact des associations temporelles bruyantes en garantissant que seuls les échantillons positifs les plus cohérents au sein d'un sac pilotent le processus d'apprentissage.
3. Évaluation complète : Une évaluation extensive sur quatre ensembles de données publics (REAL-Colon, SUN, PolypSize, PolypsSet) couvrant plusieurs tâches en aval, démontrant des performances égales ou supérieures à celles de récents modèles de fondation.

Résultats

La méthode a été entraînée sur seulement 27 vidéos (85 polypes) issues de l'ensemble de données REAL-Colon et évaluée sur quatre tâches en aval :

• Recherche de polypes : Mesurée par la précision moyenne (mAP) et le taux de réussite (Hit Rate).
• Ré-identification (ReID) : Mesurée par l'AUC (AUROC) et la précision moyenne sous la courbe de précision-rappel (AUPR).
• Estimation de la taille : Classification binaire (polype diminutif vs non diminutif) via un sondage non linéaire.
• Classification histologique : Classification binaire (adénome vs non-adénome) via un sondage non linéaire.

Points saillants des performances :

• Par rapport aux bases de référence auto-supervisées : La méthode proposée a surpassé les approches auto-supervisées antérieures (par exemple, TPC, MVE, SFE) avec des marges significatives, notamment une amélioration relative de 23,69 % de la mAP de recherche et une amélioration de 24,4 % de la précision histologique.
• Par rapport aux bases de référence entièrement supervisées : La méthode a constamment obtenu des performances supérieures ou comparables aux bases de référence entièrement supervisées (qui reposent sur des annotations d'entités coûteuses). Par exemple, elle a amélioré l'AUPR de 18,56 % par rapport à la meilleure base de référence supervisée en ReID.
• Par rapport aux modèles de fondation : L'encodeur léger (25,6 millions de paramètres) entraîné sur 27 vidéos a égalé ou dépassé les grands modèles de fondation à usage général (par exemple, DinoV2-giant avec 1136 millions de paramètres) et les modèles de fondation spécifiques à l'endoscopie sur toutes les tâches.
• Études d'ablation : L'étude a confirmé que l'échantillonnage basé sur le rang exponentiel et la stratégie d'apprentissage par curriculum contribuent tous deux aux gains de performance. L'application de la perte à la fois aux embeddings de trames et de tracklets a produit les meilleurs résultats globaux.

Importance et revendications

L'article revendique que ce travail permet un apprentissage de représentations évolutif en coloscopie en réduisant considérablement la dépendance aux annotations manuelles tout en maintenant des performances élevées sur les applications cliniques. En exploitant la structure procédurale des vidéos de coloscopie et en introduisant un mécanisme pour gérer le bruit inhérent à l'auto-supervision temporelle, les auteurs démontrent que des représentations robustes de tracklets de polypes peuvent être apprises efficacement. La capacité d'égaler ou de dépasser les performances de modèles de fondation massifs en utilisant une architecture légère entraînée sur un petit ensemble de données suggère une voie pratique vers le déploiement d'outils assistés par IA dans des environnements cliniques où les ressources d'annotation de données sont limitées.