Résumé Technique : Compréhension-Augmentée par Collaboration de Modèles pour la Détection d'Erreurs en Vision Égocentrique à Longue Traîne

Définition du Problème

Le document traite du défi de la détection d'erreurs égocentriques, une tâche distincte de la reconnaissance d'actions standard. L'objectif est de déterminer si un utilisateur effectue une action incorrectement au sein de vidéos dues à des instructions. Cette tâche est caractérisée par deux difficultés primordiales :

1. Distribution à Longue Traîne : Les échantillons d'erreurs sont rares et souvent ambigus par rapport aux actions correctes, ce qui conduit les modèles conventionnels à un surapprentissage (overfitting) sur la classe dominante des actions correctes.
2. Types d'Erreurs Multi-Sémantiques : Les erreurs surviennent à différents niveaux. Certaines sont des erreurs d'exécution locale (l'action spécifique est mal exécutée), tandis que d'autres sont des erreurs procédurales (l'action est exécutée correctement de manière isolée, mais est inappropriée pour l'étape actuelle du flux de travail global).

Les approches existantes basées sur un modèle unique peinent souvent à capturer efficacement et simultanément le contexte du flux de travail à grain grossier et les détails d'exécution à grain fin.

Méthodologie : UE-MCM

Les auteurs proposent la Méthode de Collaboration de Modèles Augmentée par la Compréhension (UE-MCM), une architecture à double branche conçue pour équilibrer vitesse, précision et raisonnement contextuel.

1. Architecture à Double Branche

Le système se compose de deux branches complémentaires qui traitent les entrées différemment et sont fusionnées de manière adaptative :

• Branche du Grand Modèle (Raisonnement à Grain Fin) :

  • Entrée : Uniquement le segment d'action à grain fin ($V^f_{t:t+\tau}$).
  • Backbone : Utilise le modèle Qwen3-VL Embedding pour extraire des représentations à haute capacité et sémantiquement riches.
  • Fonction : Se concentre sur la détermination de savoir si la manipulation spécifique elle-même contient une erreur d'exécution. Le modèle d'embedding est gelé pendant l'entraînement afin de préserver sa force sémantique tout en optimisant le classificateur.

• Branche du Petit Modèle (Raisonnement au Niveau du Flux de Travail) :

  • Entrée : À la fois la vidéo complète à grain grossier ($V^c_{0:T}$) et le segment à grain fin ($V^f_{t:t+\tau}$).
  • Backbone : Construit sur un encodeur vidéo CLIP4CLIP, qui est initialisé à partir d'un modèle CLIP amélioré par une Reconstruction Contrastive par Diffusion (DCR).
  • Fonction : Effectue une compréhension vidéo efficace à grain grossier. En observant conjointement le flux de travail et le segment spécifique, il identifie les actions qui sont localement correctes mais incohérentes avec la procédure globale.
  • Amélioration : La technique DCR améliore l'encodeur visuel en introduisant des signaux de reconstruction contrastive, garantissant que la représentation préserve à la fois des sémantiques discriminantes de classe et des informations perceptuelles sensibles aux détails.

2. Porte de Collaboration Adaptative

Les prédictions des deux branches ne sont pas simplement moyennées, mais sont fusionnées via une porte de collaboration légère.

• La porte prend les caractéristiques projetées des deux branches ($\bar{h}_s, \bar{h}_l$) ainsi que leur produit élément par élément.
• Elle génère des poids normalisés ($\alpha_s, \alpha_l$) via une fonction softmax.
• Les logits finaux sont calculés comme une somme pondérée : $z = \alpha_s z_s + \alpha_l z_l$.
• Cette conception permet au système de balancer dynamiquement le raisonnement de cohérence au niveau du flux de travail par rapport au jugement de correction au niveau de l'action pour chaque entrée.

3. Optimisation de la Longue Traîne

Pour traiter le déséquilibre de classe sévère entre les actions correctes et les erreurs rares, les classificateurs sont optimisés à l'aide d'une fonction d'objectif composite combinant trois pertes complémentaires :

• Entropie Croisée Repondérée ($L_{WCE}$) : Augmente la pénalité pour les échantillons d'erreurs sous-représentés en fonction de la fréquence des classes.
• Perte Orientée AUC ($L_{AUC}$) : Améliore la qualité du classement en encourageant les échantillons d'erreurs à recevoir des scores plus élevés que les échantillons corrects.
• Ajustement Sensible aux Étiquettes ($L_{LA}$) : Calibre la frontière de décision en utilisant les priors empiriques des classes.

L'objectif final est $L = L_{WCE} + \lambda_{AUC}L_{AUC} + \lambda_{LA}L_{LA}$.

Principales Contributions

1. Collaboration à Double Branche : L'introduction de l'UE-MCM, qui sépare le raisonnement d'exécution à grain fin (Grande Branche) du raisonnement de cohérence du flux de travail (Petite Branche), répondant ainsi à la nature multi-niveaux des erreurs.
2. Amélioration de la Représentation : L'application de la Reconstruction Contrastive par Diffusion (DCR) pour améliorer les encodeurs basés sur CLIP afin de mieux préserver les détails visuels et le contexte procédural.
3. Stratégie de Longue Traîne : L'intégration de l'entropie croisée repondérée, de l'apprentissage orienté AUC et de l'ajustement sensible aux étiquettes pour cibler spécifiquement le rappel et le classement des instances d'erreurs rares.

Résultats Expérimentaux

Le système a été évalué sur l'ensemble de test du HoloAssist 2026 Mistake Detection Challenge.

• Performance : La méthode proposée a atteint un F-score de 0,60 en utilisant uniquement la modalité RGB.
• Comparaisons :
  • Elle a nettement surpassé la ligne de base TimeSformer (F-score 0,35) et la solution la plus performante de 2024 (F-score 0,51).
  • Elle a amélioré la solution la plus performante de 2025 (F-score 0,57), particulièrement en termes de Rappel de Correction (0,97 vs 0,97, avec une précision améliorée) et de Rappel d'Erreur (0,62 vs 0,63, avec une précision améliorée).
• Efficacité : La méthode a obtenu des performances compétitives en utilisant uniquement des entrées RGB, égalant ou surpassant des modèles qui reposaient sur des entrées multimodales (ex: RGB + Mains + Yeux).

Signification et Revendications

Le papier affirme que l'UE-MCM équilibre efficacement vitesse et précision, ce qui le rend adapté à la détection d'erreurs subtiles, rares et ambiguës dans les vidéos de formation égocentrées. En modélisant explicitement la distinction entre les erreurs d'exécution locale et les incohérences procédurales, et en optimisant pour les distributions à longue traîne, le système fournit une solution robuste pour la détection d'erreurs en conditions réelles où le déséquilibre des données est une contrainte critique. Les auteurs soulignent que leur approche intègre avec succès le raisonnement au niveau de l'action, la cohérence du flux de travail, l'amélioration de la représentation et l'optimisation de la longue traîne dans un cadre unifié.