TIMID: Time-Dependent Mistake Detection in Videos of Robot Executions

Ce papier présente TIMID, une nouvelle architecture de détection d'anomalies vidéo capable d'identifier des erreurs temporelles dans les exécutions de robots grâce à une supervision faible et à une évaluation sim-to-real sur un jeu de données multi-robots.

L'essentiel

🤖 TIMID : Le Détective de l'Erreur dans le Temps

Imaginez que vous avez un robot très intelligent, capable de faire des tâches complexes comme cuisiner ou ranger une pièce. Si le robot lâche une cuillère, c'est facile à voir : c'est une erreur physique. Mais que se passe-t-il si le robot fait exactement le bon geste, mais au mauvais moment ?

Par exemple, il met le gâteau au four avant d'avoir mélangé les ingrédients. Chaque geste est correct, mais l'histoire globale est un désastre. C'est ce qu'on appelle une erreur dépendante du temps.

Les systèmes actuels ont du mal à voir ces erreurs. C'est là qu'intervient TIMID (Time-Dependent Mistake Detection).

1. Le Problème : Le Robot qui "oublie" l'histoire

Les robots sont souvent comme des acteurs qui apprennent leur texte mot par mot. Ils savent dire "Je prends l'œuf" et "Je le casse". Mais ils ne comprennent pas la scénographie de la pièce.

• Si un robot casse un œuf sur le sol au lieu de le mettre dans un bol, c'est une erreur visible (comme un accident de voiture).
• Si un robot met le gâteau au four avant de l'avoir préparé, c'est une erreur de logique temporelle. Pour un humain, c'est évident. Pour un robot classique, c'est souvent invisible car chaque action prise isolément semble normale.

2. La Solution : TIMID, le "Cinéphile" Robotique

Les auteurs proposent une nouvelle architecture appelée TIMID. Pour faire simple, imaginez TIMID comme un réalisateur de cinéma très pointilleux qui regarde un film en direct.

• Ce qu'il regarde : Il ne regarde pas seulement les images (la vidéo). Il écoute aussi deux "notes de mise en scène" (des textes) :
  1. Le but : "Le robot doit mettre le gâteau au four après l'avoir préparé."
  2. L'erreur à chercher : "Le robot met le gâteau au four avant de l'avoir préparé."
• Ce qu'il fait : Il analyse chaque seconde de la vidéo. Dès qu'il voit le robot enfreindre la règle de temps (le gâteau dans le four trop tôt), il marque un point rouge sur la pellicule vidéo.

3. L'Entraînement : Apprendre sans tout voir

C'est là que la magie opère. Habituellement, pour entraîner un détective, il faut lui montrer des milliers de films où l'on a surligné exactement à quelle seconde l'erreur arrive. C'est long et cher.

TIMID utilise une astuce intelligente (appelée apprentissage faible ou weak supervision) :

• On ne lui dit pas où est l'erreur.
• On lui dit juste : "Ce film contient une erreur" ou "Ce film est parfait".
• Comme un élève qui doit trouver la faute dans un texte en ne sachant que le titre du chapitre, TIMID apprend à repérer les indices temporeux par lui-même. C'est beaucoup plus rapide et moins cher à entraîner.

4. Le Terrain de Jeu : Une Simulation de Robots

Pour tester leur idée, les chercheurs ont créé un monde virtuel (un simulateur) avec plusieurs robots (des petits robots nommés Turtlebots) et deux objets : un lion en peluche et une balle verte.

Ils ont inventé deux règles strictes :

1. La Règle de l'Exclusion : "Un robot ne peut pas être près du lion ET de la balle en même temps." (C'est comme dire : "Tu ne peux pas être à la fois à Paris et à Rome").
2. La Règle de l'Ordre : "Le robot doit toucher la balle avant d'approcher du lion." (C'est comme dire : "Il faut mettre ses chaussettes avant ses chaussures").

Ils ont généré des milliers de vidéos où les robots respectent ou enfreignent ces règles, y compris des vidéos de vrais robots pour voir si ce qui est appris en simulation fonctionne dans la réalité.

5. Les Résultats : Pourquoi les "Super-Robots" échouent

Les chercheurs ont comparé TIMID à des géants de l'intelligence artificielle (des modèles de langage et de vision très puissants, comme des "super-cerveaux" pré-entraînés).

• Les Super-Cerveaux : Ils sont très forts pour dire "Oh, c'est une cuillère !" ou "Oh, le robot a glissé !". Mais quand il s'agit de logique temporelle complexe ("Il a fait A avant B alors qu'il aurait dû faire B avant A"), ils se perdent. C'est comme si un génie des mathématiques ne comprenait pas l'histoire d'un film. De plus, ils sont très lents à analyser.
• TIMID : Il est spécialisé. Il est moins "généraliste" mais beaucoup plus efficace pour ce jeu de logique temporelle. Il détecte les erreurs de timing avec une précision bien supérieure et est beaucoup plus rapide (il analyse la vidéo en quelques secondes, là où les autres prennent des minutes).

En Résumé

TIMID est un outil qui permet de surveiller les robots non pas pour voir s'ils trébuchent, mais pour voir s'ils oublient l'ordre des choses.

C'est comme avoir un chef de cuisine qui ne vérifie pas seulement si l'assiette est propre, mais qui s'assure que le dessert n'est pas servi avant le plat principal. Grâce à une astuce d'apprentissage intelligente, ce chef peut apprendre à partir de simples remarques globales ("Ce repas est raté") sans avoir besoin de voir chaque seconde de la préparation, rendant la surveillance des robots plus rapide, moins chère et plus fiable.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "TIMID: Time-Dependent Mistake Detection in Videos of Robot Executions", rédigé en français.

1. Problématique et Contexte

L'augmentation de la complexité des tâches exécutées par les systèmes robotiques entraîne une diversification des modes de défaillance. Bien que les cadres de détection d'anomalies vidéo (VAD) soient matures, ils se concentrent généralement sur des échecs cinématiques ou actionnels de bas niveau (ex: collisions, chutes). Ils peinent à identifier des erreurs temporelles dépendantes du temps (time-dependent mistakes), qui sont des violations de contraintes logiques ou temporelles à haut niveau, même si chaque action atomique est exécutée correctement visuellement.

Les défis principaux identifiés sont :

• Manque de conscience temporelle et sémantique : Les politiques autonomes actuelles ne détectent pas toujours les déviations par rapport à la procédure globale (ex: exécuter une étape dans le mauvais ordre).
• Limites des modèles existants : Les méthodes de VAD traditionnelles nécessitent souvent des annotations manuelles rigides ou se focalisent sur des anomalies visuelles évidentes (accidents, intrusions). Les grands modèles de vision-langage (VLM) manquent de raisonnement temporel explicite pour ce type de tâche.
• Pénurie de données : Il existe un manque crucial de jeux de données contenant des exécutions robotiques erronées, en particulier pour des tâches multi-robots complexes.

2. Méthodologie : L'architecture TIMID

Les auteurs proposent TIMID, une architecture inspirée de la détection d'anomalies vidéo (VAD) conçue pour détecter des erreurs temporelles à partir de vidéos d'exécution robotique.

A. Formulation du Problème

L'objectif est d'apprendre une fonction de notation $f(F, P, M) \to \{\hat{y}_t\}$ qui prend en entrée :

• Une vidéo $F$.
• Une description textuelle de la tâche $P$.
• Une description textuelle de l'erreur potentielle $M$.
  Le modèle doit prédire, au niveau de chaque image (frame-level), si l'erreur est présente ou non.

B. Modélisation des Erreurs

Les erreurs sont classées en deux catégories (basées sur une taxonomie existante) :

1. Erreurs d'exécution ($M_{exec}$) : Déviations physiques (ex: prise ratée).
2. Erreurs procédurales/temporelles ($M_{proc}$) : Violations de contraintes temporelles ou logiques (ex: ordre incorrect, prérequis non satisfaits). Ces dernières sont modélisées via la Logique Temporelle Linéaire (LTL), permettant une intégration naturelle avec les prompts textuels des modèles de langage.

C. Architecture du Réseau

L'architecture se compose de quatre modules principaux :

1. Encodeur Vidéo : La vidéo est divisée en fragments via une fenêtre glissante et traitée par un backbone vidéo pré-entraîné pour extraire des vecteurs de caractéristiques.
2. Module de Contexte Temporel : Inspiré des méthodes VAD, il utilise un encodage de position sinusoïdal et un prior gaussien apprenable pour capturer à la fois le contexte global (non masqué) et local (causal, ne regardant que le passé). Deux flux (global et local) sont fusionnés pour comprendre les dépendances temporelles.
3. Alignement Sémantique : Un module d'attention croisée (Cross-Attention) aligne les caractéristiques temporelles de la vidéo avec les caractéristiques sémantiques extraites des prompts de tâche et d'erreur via un encodeur CLIP pré-entraîné. Cela permet de mapper les "mauvaises exécutions" dans un espace latent commun.
4. Classifieur : Projette les représentations alignées vers une sortie de score par image.

D. Entraînement Faiblement Supervisé (Weakly Supervised)

Le modèle est entraîné uniquement avec des étiquettes au niveau de la vidéo (une seule étiquette indiquant si une erreur est présente dans la séquence entière), sans annotations d'erreurs au niveau des images.

• Apprentissage par plusieurs instances (MIL) : Pour l'entraînement, les scores des images sont regroupés (pooled) : le maximum pour les vidéos normales (pour pénaliser les fausses alarmes) et la moyenne des $k$ meilleurs scores pour les vidéos anormales.
• Fonction de perte : Une combinaison de perte binaire (BCE) et d'une perte de contraste (Contrastive Loss) pour séparer les espaces de caractéristiques des modes de défaillance.

3. Contributions Clés

1. Architecture TIMID : Une nouvelle approche VAD capable de détecter des erreurs temporelles complexes en utilisant uniquement des descriptions textuelles de la tâche et de l'erreur, avec un entraînement faiblement supervisé.
2. Nouveau Jeu de Données Multi-Robots : Introduction d'un dataset généré en simulation (Gazebo) contenant des tâches collaboratives avec des erreurs temporelles contrôlées (exclusion mutuelle, ordonnancement séquentiel). Ce dataset inclut également des vidéos de robots réels pour l'évaluation Sim-to-Real (zéro-shot).
3. Évaluation Comparative Rigoureuse : Démonstration que les VLMs (comme Qwen 2.5), même fine-tunés, échouent à raisonner temporellement sur ces tâches, tandis que l'approche TIMID surpasse les méthodes de détection d'anomalies traditionnelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks :

• BridgeData V2 : Pour les erreurs physiques localisées (bas niveau).
• Dataset Multi-Robots (TIMID) : Pour les erreurs procédurales (haut niveau, exclusion mutuelle, ordonnancement).

Principaux résultats (Tableau I et II) :

• Performance sur les erreurs temporelles : Sur les tâches d'exclusion mutuelle (Mutex) et d'ordonnancement (Ordering), TIMID obtient un score F1 de 49,1% et 41,98% respectivement, surpassant largement les VLMs (Qwen 2.5 ~30%) et les auto-encodeurs.
• Efficacité temporelle : TIMID est extrêmement rapide (0,02 min d'inférence pour l'ensemble du dataset) comparé aux VLMs qui prennent plusieurs heures (ex: 423 min pour Qwen 2.5).
• Robustesse Sim-to-Real : Dans une évaluation zéro-shot (entraînement sur simulation, test sur réel), TIMID conserve une performance supérieure (F1 de 26,76%) par rapport aux autres modèles (qui chutent autour de 13-15%), prouvant qu'il apprend la sémantique de la tâche et non pas simplement des motifs visuels simulés.
• Étude d'ablation : La combinaison des modules temporels et sémantiques est essentielle pour obtenir les meilleurs résultats globaux, bien que chaque module puisse fonctionner seul sur des tâches spécifiques.

5. Signification et Conclusion

Ce travail démontre que l'adaptation des méthodes de détection d'anomalies vidéo (VAD) au domaine robotique est une voie prometteuse pour identifier des erreurs de haut niveau que les modèles de langage visuel actuels ne peuvent pas gérer par manque de raisonnement temporel explicite.

Points forts :

• Réduction de la dépendance aux annotations coûteuses (seulement une étiquette par vidéo nécessaire).
• Capacité à généraliser à des erreurs temporelles complexes sans coder manuellement la structure de la tâche.
• Validation de la transférabilité vers le monde réel via un dataset hybride simulation/réel.

Limitations et Perspectives :
L'architecture actuelle nécessite un réentraînement pour chaque nouvelle tâche ou type d'erreur. Les travaux futurs visent à étendre le modèle à la détection d'anomalies multiples simultanées et à réduire encore la supervision en explorant des techniques non supervisées (comme l'extraction de processus) pour n'utiliser que des vidéos d'exécutions normales.