ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

Résumé Technique : ESTANet

Énoncé du Problème
L'article traite du défi de la détection d'erreurs en temps réel et en ligne dans les vidéos procédurales. Contra-rément aux méthodes hors ligne qui traitent des vidéos entières, les systèmes en ligne doivent fonctionner de manière causale en utilisant uniquement les images passées et présentes, une exigence pour un déploiement pratique sur des appareils portables (ex. : Microsoft HoloLens, Apple Vision Pro) qui assistent les utilisateurs dans leurs tâches quotidiennes. Le système doit détecter deux types distincts d'erreurs :

1. Erreurs d'Exécution : Des actions qui sont interrompues, mal exécutées ou superflues (ex. : lâcher un couteau, ajouter du sucre au lieu du miel).
2. Erreurs Procédurales : Des écarts dans la séquence, tels que l'omission, la répétition ou le mauvais ordre des étapes (ex. : serrer les pieds d'une table avant d'insérer un support transversal).

Les méthodes en ligne existantes souffrent de limitations : elles ne détectent souvent que la première erreur, négligent les erreurs d'exécution nuancées, reposent sur des modèles de langage de grande taille (LLM) lourds qui entravent les performances en temps réel, ou nécessitent des vidéos annotées avec erreurs et sans erreurs pendant l'entraînement.

Méthodologie : ESTANet
Les auteurs proposent ESTANet (Error-Sensitive and Temporally-vArying Network), un cadre léger qui détecte les erreurs en exploitant les incohérences de prédiction parmi un petit ensemble de détecteurs d'actions. L'hypothèse centrale est que les détecteurs d'actions ayant des sensibilités et des contextes temporels différents divergeront naturellement dans leurs prédictions lorsqu'une erreur survient, tout en restant cohérents lors d'exécutions correctes.

Le cadre se compose de quatre détecteurs divisés en deux catégories :

1. Détecteurs Standards vs Sensibles aux Erreurs (Capturer les Erreurs d'Exécution) :

   • Détecteurs Standards : Ils utilisent une architecture simple composée d'une unité récurrente à porte (GRU) à une seule couche suivie d'une tête de classification linéaire. Ils sont entraînés pour produire des prédictions stables.
   • Détecteurs Sensibles aux Erreurs : Ils intègrent un module Temporellement-Sensible (TAD - Temporal-Aware Dynamic). Le module TAD génère des poids et biais dynamiques pour la transformation affine des caractéristiques des images avant qu'elles n'entrent dans le GRU. Ces paramètres sont dépendants de l'entrée et temporellement conscients, rendant le détecteur hautement sensible aux données hors distribution (c'est-à-dire les erreurs d'exécution), ce qui entraîne des prédictions incohérentes par rapport aux détecteurs standards.

2. Conception Temporellement-Variable (Capturer les Erreurs Procédurales) :

   • Le système entraîne des détecteurs avec différentes tailles de fenêtres temporelles : une petite fenêtre ($s$) et une grande fenêtre ($l$).
   • Stratégie de Sélection de la Fenêtre : Au lieu d'une recherche exhaustive d'hyperparamètres, les auteurs proposent une stratégie robuste et spécifique au jeu de données :
     • $s$ est défini comme la durée moyenne la plus courte de toute action dans le jeu de données, forçant le détecteur à s'appuyer sur un contexte partiel.
     • $l$ est calculé pour couvrir $\beta$ (fixé à 2) actions précédentes complètes pour environ $\theta$ (fixé à 50 %) des actions du jeu de données.
   • Cela garantit que lorsqu'une erreur procédurale (ex. : une étape manquante) survient, le détecteur avec une grande fenêtre (s'appuyant sur des dépendances à long terme) prédira différemment du détecteur avec une petite fenêtre (s'appuyant sur un contexte à court terme).

Inférence et Logique de Décision
Lors de l'inférence, le système traite les images de manière causale. Il génère quatre prédictions d'action par image :

• $y^{s-st}$ et $y^{s-lg}$ : Détecteurs standards avec petites et grandes fenêtres.
• $y^{e-st}$ et $y^{e-lg}$ : Détecteurs sensibles aux erreurs avec petites et grandes fenêtres.

Le système construit quatre paires de comparaison pour vérifier l'accord :

1. $(y^{s-st}, y^{e-st})$ et $(y^{s-lg}, y^{e-lg})$ : Détectent les erreurs d'exécution en comparant les prédictions standards vs sensibles aux erreurs.
2. $(y^{s-st}, y^{s-lg})$ et $(y^{e-st}, y^{e-lg})$ : Détectent les erreurs procédurales en comparant les prédictions à travers différentes fenêtres temporelles.

Une image est marquée comme erreur ($z_t = 1$) si au moins trois des quatre paires présentent un désaccord (vote majoritaire). Le modèle est entraîné exclusivement sur des vidéos sans erreur en combinant une perte d'entropie croisée et une perte de lissage pour assurer la cohérence temporelle.

Contributions Clés

• Perspective Nouvelle : L'article déplace l'attention de la conception d'architectures complexes vers l'exploitation des comportements de prédiction intrinsèques des détecteurs d'actions. Il démontre que les incohérences parmi des détecteurs simples sont un signal puissant pour la détection d'erreurs.
• Architecture Légère : ESTANet évite les composants lourds comme les LLM ou l'apprentissage sur graphes complexe, utilisant uniquement des GRU et un module TAD léger, garantissant une efficacité en temps réel adaptée aux appareils de bord.
• Stratégie de Sélection de Fenêtre Robuste : L'article introduit une méthode automatisée et indépendante du jeu de données pour déterminer les tailles de fenêtres temporelles optimales ($s$ et $l$), éliminant ainsi le besoin de recherches heuristiques chronophages.
• Détection Unifiée : Le cadre traite simultanément les erreurs d'exécution et les erreurs procédurales sans nécessiter de données d'erreur annotées pendant l'entraînement.

Résultats Expérimentaux
Les auteurs ont évalué ESTANet sur trois jeux de données : EgoPER (contenant les deux types d'erreurs), Assembly-101-O, et EPIC-Tent-O (se concentrant sur les erreurs procédurales).

• EgoPER : ESTANet a atteint des performances de pointe avec un F1@10 de 47,2, un F1@25 de 37,8 et un F1@50 de 21,6, surpassant les bases de référence comme PREGO et DTGL.
• Assembly-101-O : La méthode a obtenu un Avg-F1 de 59,6, dépassant DTGL (53,5) et PREGO (32,5).
• EPIC-Tent-O : ESTANet a obtenu un Avg-F1 de 70,2, surpassant de manière significative DTGL (46,5) et PREGO (29,4).
• Efficacité : Le modèle maintient une efficacité en temps réel grâce à sa conception légère, évitant les problèmes de latence associés aux approches basées sur les LLM.

Signification et Revendications
L'article affirme qu'ESTANet fournit une solution pratique et puissante pour la détection d'erreurs en ligne en exploitant les propriétés intrinsèques des détecteurs d'actions plutôt qu'en augmentant la complexité architecturale. Les auteurs soulignent que leur approche s'aligne sur les contraintes du monde réel où les vidéos normales (sans erreur) sont abondantes, tandis que les données d'erreurs annotées sont rares. En atteignant des performances de pointe avec un simple ensemble de GRU, ce travail suggère que l'incohérence de prédiction est un signal fondamental et sous-utilisé pour la détection de déviations dans les tâches procédurales.