Unsupervised Discovery of Failure Taxonomies from Deployment Logs

Cet article présente une méthode non supervisée qui extrait des taxonomies de défaillances cohérentes et exploitables à partir de logs de déploiement robotique en combinant le raisonnement vision-langage et le regroupement sémantique, facilitant ainsi l'amélioration des politiques et la surveillance des systèmes.

L'essentiel

Imaginez que vous avez un robot, un peu comme un assistant personnel ou une voiture autonome. Comme tout le monde, il fait des erreurs. Parfois, il renverse un vase, parfois il se cogne contre une porte en verre, et parfois il ne sait pas comment traverser une intersection.

Le problème, c'est que dans le monde réel, ces robots génèrent des milliers d'heures de vidéos de ces échecs. Regarder manuellement toutes ces vidéos pour comprendre pourquoi le robot a échoué serait comme essayer de trouver une aiguille dans une botte de foin... pendant des années. C'est trop long, trop cher et impossible à faire à la main.

C'est là que cette recherche intervient. Voici l'histoire de leur solution, expliquée simplement :

1. Le Problème : La "Boîte Noire" des Erreurs

Actuellement, quand un robot échoue, on a juste une vidéo de l'accident. C'est comme avoir une photo d'un accident de voiture sans savoir si c'était la pluie, un freinage tardif ou un pneu crevé. On sait que ça a mal tourné, mais pas pourquoi, ni comment regrouper les différents types d'erreurs.

2. La Solution : Le "Detective IA"

Les chercheurs ont créé un système qui agit comme un super-détective capable de lire des milliers de rapports d'accidents en quelques secondes. Voici comment il fonctionne, étape par étape :

• Étape 1 : Le Filtrage Intelligent (Le "Zoom")
  Au lieu de regarder chaque seconde de la vidéo, le système ne garde que les moments clés. Imaginez un monteur de film qui ne garde que les scènes où l'action change vraiment (le robot qui glisse, l'objet qui tombe) et jette tout le reste. Cela permet de se concentrer sur l'essentiel.

• Étape 2 : L'Explication (Le "Pourquoi ?")
  Le système utilise une intelligence artificielle très avancée (un modèle de langage et de vision) pour regarder ces moments clés et écrire une petite phrase expliquant l'erreur.

  • Au lieu de dire : "Vidéo 452, collision."
  • Il dit : "Le robot a essayé de saisir une tasse, mais il a mal estimé la distance et l'a fait tomber."

• Étape 3 : Le Tri par Catégories (Le "Classement")
  C'est la partie magique. Le système prend des milliers de ces petites phrases et les regroupe automatiquement, comme un bibliothécaire qui classe des livres par thème sans avoir de liste préétablie.

  • Il crée des "rayons" dans sa bibliothèque mentale : "Erreurs de vision", "Mauvaise estimation de la distance", "Problèmes de planification".
  • Il donne un nom à chaque rayon et compte combien de fois chaque erreur est arrivée.

3. À Quoi Cela Sert ? (Les Super-Pouvoirs)

Une fois que le robot a cette "carte des erreurs" (ce qu'ils appellent une taxonomie), deux choses incroyables deviennent possibles :

• A. La Prévention (L'Alarme Prédictive)
  Imaginez que le robot est en train de conduire. Au lieu de juste dire "Attention !", le système dit : "Attention ! Tu es en train de faire exactement la même erreur que dans la catégorie 'Renversement de vase' : tu t'approches trop vite d'un objet fragile."
  Cela permet d'arrêter le robot avant l'accident, en reconnaissant le modèle de l'erreur, pas juste l'accident lui-même.

• B. L'Entraînement Ciblé (Le "Coach de Sport")
  Si vous voulez améliorer un athlète, vous ne le faites pas courir au hasard. Vous identifiez ses faiblesses.
  Grâce à cette carte, les ingénieurs savent exactement où le robot est faible. Par exemple, si la catégorie "Portes en verre" est pleine d'erreurs, ils vont juste filmer et entraîner le robot spécifiquement avec des portes en verre.

  • Résultat : Au lieu d'ajouter 1000 heures de vidéos au hasard, ils ajoutent 100 heures de vidéos précisément là où c'est nécessaire. Le robot devient beaucoup plus fort, beaucoup plus vite.

En Résumé

Cette recherche, c'est comme passer d'une liste de courses (une liste d'accidents sans ordre) à un manuel d'instructions (un guide organisé qui explique pourquoi les choses échouent et comment les éviter).

Au lieu de laisser les robots apprendre par essais et erreurs de manière chaotique, ce système leur apprend à comprendre leurs propres erreurs, à les classer, et à s'améliorer de manière intelligente et ciblée. C'est une étape majeure pour rendre nos robots et nos voitures autonomes plus sûrs et plus fiables dans notre monde réel, imprévisible et parfois dangereux.

Résumé technique

1. Problématique

L'intégration croissante des systèmes robotiques (véhicules autonomes, assistants domestiques) dans des environnements réels et non structurés expose ces systèmes à une grande variété de scénarios imprévus, entraînant des défaillances. Bien que ces échecs offrent des données précieuses pour améliorer la robustesse du système, leur analyse manuelle à grande échelle est impraticable et non évolutive.

Le défi central identifié par les auteurs est le suivant : comment passer de volumes massifs de journaux bruts de défaillances multimodaux (trajectoires perceptives) à une taxonomie de défaillances structurée, sémantiquement cohérente et exploitable, sans recourir à des étiquettes prédéfinies ni à une annotation humaine coûteuse ? L'objectif n'est pas seulement de regrouper des séquences visuellement similaires, mais d'identifier les modes de défaillance récurrents et leurs causes racines.

2. Méthodologie

L'approche proposée est un pipeline entièrement non supervisé composé de trois étapes principales, illustrées dans la Figure 1 du papier :

A. Échantillonnage par Downsampling Sémantique

Pour encoder efficacement chaque trajectoire de défaillance tout en préservant le contexte causal, l'algorithme ne conserve pas toutes les images.

• Fenêtre temporelle : Il se concentre sur une fenêtre autour de l'événement de défaillance (avant et après).
• Sélection basée sur les embeddings : En utilisant les embeddings CLIP, le système sélectionne dynamiquement des images clés. Il conserve uniquement les cadres qui présentent un changement sémantique significatif par rapport au cadre précédemment sélectionné (sélection bidirectionnelle).
• Objectif : Éliminer les observations temporellement redondantes tout en conservant les transitions critiques menant à l'échec et ses conséquences immédiates, optimisant ainsi l'entrée pour les modèles de langage.

B. Raisonnement sur les Défaillances (Failure Reasoning)

Chaque sous-séquence compressée est soumise à un Modèle de Langage Visuel (VLM).

• Le modèle reçoit les images, le contexte de la tâche et le plan d'action exécuté.
• En utilisant une stratégie de Chaîne de Pensée (Chain-of-Thought), le VLM infère une explication structurée de la cause de la défaillance ($r_n$) basée sur les preuves observées.
• Cela transforme des données perceptives brutes en descriptions textuelles explicatives.

C. Découverte de Taxonomie par Agrégation Sémantique

Les explications de défaillance sont ensuite regroupées pour former une taxonomie.

• Clustering via LLM : Au lieu d'utiliser des algorithmes de clustering traditionnels sur des vecteurs, les auteurs utilisent un LLM comme optimiseur pour regrouper les explications en modes de défaillance distincts.
• Stratégie d'Ensemble et de Raffinement : Pour assurer la robustesse, le système génère plusieurs taxonomies candidates via des reformulations diverses, puis utilise un LLM pour les réconcilier en une seule taxonomie consolidée. Cela résout les incohérences et fusionne les catégories chevauchantes.
• Résultat : Chaque cluster est défini par un nom naturel ($s_l$), une description ($d_l$), des mots-clés ($\kappa_l$) et une fréquence d'apparition.

D. Attribution

Enfin, chaque nouvelle trajectoire est assignée au mode de défaillance le plus approprié de la taxonomie découverte. Les cas ne correspondant à aucun cluster sont signalés comme des valeurs aberrantes (outliers).

3. Contributions Clés

1. Formalisation du problème : Introduction de la tâche de découverte non supervisée de taxonomies de défaillances à partir de trajectoires multimodales centrées sur l'échec.
2. Cadre technique innovant : Proposition d'un pipeline combinant le raisonnement VLM pour l'extraction d'explications structurées et l'agrégation sémantique par LLM pour le clustering, évitant ainsi l'annotation manuelle.
3. Validation empirique et utilité : Démonstration que ces taxonomies offrent des bénéfices tangibles pour la sécurité en boucle fermée, notamment pour la collecte de données ciblée et la surveillance en temps réel.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur trois domaines robotiques distincts :

• Manipulation Robotique (RoboFail) :

  • Sur un ensemble de données avec taxonomie experte (8 modes), la méthode a atteint une précision de cluster (CP) de 0,92 et une couverture de taxonomie (TC) de 1,00, surpassant significativement les méthodes de base comme BERTopic.
  • L'attribution des trajectoires aux clusters a obtenu un score F1 pondéré de 85,53 %, bien supérieur à une simple similarité d'embeddings (32,41 %).
  • L'utilisation de modèles de raisonnement généralistes (Gemini 2.5 Pro) a surpassé les modèles spécialisés fine-tunés en termes de généralisation.

• Véhicules Autonomes (Données Nexar) :

  • La méthode a découvert une taxonomie cohérente de 1500 vidéos de accidents (ex: collisions arrière, violations de priorité, coupures dangereuses).
  • Les catégories découvertes correspondent étroitement à la typologie officielle du U.S. DoT Volpe Center, validée sans aucune étiquette préalable.

• Navigation Intérieure :

  • Identification de modes de défaillance liés à la perception (ex: objets minces, surfaces sans texture, portes en verre).
  • La taxonomie a permis de redécouvrir des causes d'échec connues manuellement et d'en organiser de nouvelles.

5. Signification et Applications en Boucle Fermée

Le papier démontre que la taxonomie découverte n'est pas seulement descriptive, mais actionnable pour améliorer la sécurité :

1. Surveillance des Défaillances en Temps Réel (Runtime Monitoring) :

   • L'intégration de la taxonomie dans un moniteur VLM améliore la détection d'anomalies.
   • Résultats : Sur des données de conduite, le système guidé par la taxonomie atteint un score F1 de 77,9 % sur des données hors distribution (OOD), surpassant les classificateurs supervisés et les méthodes d'anomalie sans contexte. Il permet également une détection plus précoce des échecs potentiels.

2. Collecte de Données Ciblée et Raffinement de Politique :

   • La taxonomie identifie les régions à haut risque de l'environnement.
   • Résultats : En collectant des données supplémentaires spécifiquement pour les modes de défaillance identifiés (ex: murs sans texture), le taux d'échec d'une politique de navigation est passé de 46 % à 18 %. Une collecte de données uniforme (non guidée) n'a réduit le taux qu'à 34 %, prouvant l'efficacité de l'approche ciblée.

Conclusion

Ce travail établit un nouveau paradigme pour l'analyse de la sécurité robotique. En automatisant la transformation de logs bruts en taxonomies sémantiques interprétables, il permet aux systèmes d'apprendre de leurs échecs à grande échelle sans intervention humaine. Cela ouvre la voie à des systèmes robotiques plus robustes capables d'itérer sur leur sécurité grâce à une boucle de rétroaction continue entre le déploiement, l'analyse des défaillances et l'amélioration des politiques.