V-MORALS: Visual Morse Graph-Aided Estimation of Regions of Attraction in a Learned Latent Space

Cet article présente V-MORALS, une méthode qui utilise des graphes de Morse visuels et un espace latent appris à partir de données d'images pour estimer les régions d'attraction d'un système sans avoir besoin de connaître son état complet ni ses dynamiques.

L'essentiel

Imaginez que vous essayez de prédire si un robot va réussir à se lever ou s'il va tomber, mais vous n'avez pas accès à ses "pensées" internes (sa vitesse, l'angle de ses articulations, etc.). Vous n'avez que ses yeux : une série de vidéos ou d'images. C'est un peu comme essayer de deviner la météo future en regardant seulement des photos du ciel, sans connaître la température ni la pression atmosphérique.

C'est exactement le défi que relève ce papier de recherche, qui présente une nouvelle méthode appelée V-MORALS.

Voici une explication simple, avec des analogies, de ce que font ces chercheurs :

1. Le Problème : Trop d'informations, pas assez de clarté

Les robots modernes sont complexes. Pour analyser s'ils sont en sécurité, les méthodes traditionnelles ont besoin de connaître tous les détails mathématiques du système (comme la vitesse exacte d'une roue). Mais dans le monde réel, on n'a souvent que des caméras.

• L'analogie : C'est comme si vous vouliez prédire si une voiture va arriver à destination, mais vous ne pouvez regarder que des photos de la route prises par le pare-brise. Vous ne voyez pas la vitesse, ni le niveau d'essence. C'est flou et ambigu.

2. La Solution : Le "Résumé Magique" (L'espace latent)

Pour résoudre ce problème, V-MORALS utilise une astuce intelligente : au lieu de regarder chaque pixel de l'image (ce qui est trop compliqué), le système apprend à créer un résumé de la situation.

• L'analogie : Imaginez que vous avez un livre de 1000 pages sur un voyage. Au lieu de lire chaque mot, vous écrivez un résumé de 3 phrases qui capture l'essentiel : "Il a commencé par monter, il a glissé, et il est tombé".
• Dans le langage des chercheurs, ce résumé s'appelle un espace latent. Le système prend une séquence d'images et la transforme en un petit point mathématique (un vecteur) qui résume tout ce qui se passe.

3. La Carte du Destin (Le graphe de Morse)

Une fois que le système a appris à faire ces résumés, il construit une carte.

• L'analogie : Imaginez une carte de randonnée avec des vallées et des sommets.
  • Si le robot est dans une "vallée" (un attracteur), il va naturellement glisser vers le bas et s'arrêter là. C'est un état stable.
  • Le système trace une carte (appelée Graphe de Morse) qui montre toutes les vallées possibles.
  • Certaines vallées mènent au succès (le robot se tient debout), d'autres au désastre (le robot tombe).

4. Comment ça marche en pratique ?

Voici les étapes clés de la méthode V-MORALS :

1. Nettoyage des images : Le système prend les vidéos et enlève le fond (comme un fond vert dans un film) pour ne garder que le robot. Cela simplifie la tâche.
2. Apprentissage par la séquence : Au lieu de regarder une seule photo (qui ne dit pas si le robot tombe ou se relève), le système regarde une séquence de photos. C'est comme regarder une courte vidéo de 2 secondes pour comprendre la direction du mouvement.
3. Prédiction : Le système apprend à deviner où le point "résumé" va aller dans la prochaine seconde.
4. La Carte de Sécurité : En répétant cette prédiction, il dessine la carte des destinations possibles. Si vous lancez le robot depuis un certain point sur la carte, la carte vous dit : "Attention, vous allez glisser vers la vallée de la chute !" ou "Super, vous allez vers la vallée du succès".

5. Pourquoi c'est important ?

Avant, pour faire cette carte de sécurité, il fallait connaître les équations exactes du robot (ce qui est souvent impossible pour des robots complexes ou appris par IA).

• La révolution de V-MORALS : Ils ont réussi à créer cette carte de sécurité uniquement avec des images, sans connaître la physique interne du robot.
• Le résultat : Ils l'ont testé sur des robots comme un humanoïde qui doit se lever, un pendule, ou un chariot avec un bâton. Même avec des images complexes, le système a pu dire : "Si on commence ici, le robot va réussir. Si on commence là, il va échouer."

En résumé

V-MORALS, c'est comme donner à un robot un sixième sens qui lui permet de regarder une vidéo de son propre mouvement, de comprendre intuitivement s'il va tomber ou réussir, et de dessiner une carte mentale de tous ses futurs possibles, le tout sans avoir besoin de lire ses manuels techniques internes.

C'est une étape cruciale pour rendre les robots plus sûrs et capables de fonctionner dans des environnements réels où nous n'avons que des caméras pour les observer.

Résumé technique

1. Problématique

L'analyse de la faisabilité (reachability analysis) et de la sécurité des systèmes robotiques est cruciale pour distinguer les états sûrs des états dangereux. Cependant, les méthodes existantes souffrent de plusieurs limitations majeures :

• Dépendance aux dynamiques connues : Elles nécessitent souvent des modèles de dynamique du système parfaitement connus.
• Coût computationnel : L'analyse directe sur des espaces d'états de haute dimension (comme les images) est exponentiellement coûteuse.
• Hypothèse d'observabilité totale : La plupart des méthodes supposent l'accès complet aux variables d'état (vitesses, positions articulaires, etc.), ce qui n'est pas le cas dans de nombreux scénarios réels où seules des mesures de capteurs (images) sont disponibles.

L'approche précédente, MORALS, a permis d'estimer les Regions of Attraction (ROA) dans un espace latent de faible dimension en utilisant des graphes de Morse. Toutefois, MORALS repose toujours sur la connaissance complète de l'état du système. Le défi principal abordé par cet article est d'étendre cette capacité aux données visuelles brutes, en présence d'une observabilité partielle (une seule image ne contient pas d'informations de mouvement explicites comme les vitesses).

2. Méthodologie : V-MORALS

La méthode proposée, V-MORALS, est une extension non triviale de MORALS conçue pour fonctionner uniquement avec des séquences d'images. Elle repose sur trois piliers techniques :

A. Prétraitement et Encodage Spatio-temporel

• Masquage Binaire : Pour réduire la complexité et isoler le système de son environnement, chaque image est prétraitée pour générer un masque binaire. Cela élimine les informations dynamiquement non pertinentes (textures, éclairage) et se concentre sur la configuration physique du robot.
• Encodage de Séquences : Pour pallier l'ambiguïté d'une image unique (qui peut correspondre à plusieurs états dynamiques), V-MORALS encode des séquences d'images (trajectoires courtes) plutôt que des images isolées.
• Architecture 3D : Un autoencodeur convolutif 3D est utilisé pour encoder ces séquences binaires en un vecteur latent de faible dimension ($Z$). Les convolutions 3D capturent simultanément les caractéristiques spatiales et temporelles (mouvement, vélocité implicite).

B. Architecture du Modèle

Le système est composé de trois réseaux entraînés conjointement :

1. Encodeur ($E$) : Transforme une séquence d'images binaires en un vecteur latent $z \in Z$.
2. Réseau de Dynamique Latente ($LD$) : Prédit le vecteur latent futur ($\hat{z}_{k+1}$) à partir du vecteur courant ($z_k$) dans l'espace latent.
3. Décodeur ($D$) : Reconstruit la séquence d'images à partir du vecteur latent pour assurer que l'information est préservée.

C. Objectifs d'Entraînement (Loss Function)

La fonction de perte totale combine quatre composantes pour garantir la fidélité de la reconstruction et la structure de l'espace latent :

1. Perte de Reconstruction ($L_{recon}$) : Erreur de reconstruction binaire (BCE) entre l'entrée et la sortie du décodeur.
2. Perte de Dynamique Latente ($L_{dynamics}$) : Minimisation de l'erreur (MSE) entre la prédiction de la dynamique et le vecteur latent réel de la séquence suivante.
3. Perte de Reconstruction de Prédiction ($L_{recon\_pred}$) : Reconstruire la séquence future à partir de la prédiction latente pour valider la cohérence dynamique.
4. Perte Contrastive ($L_{contrast}$) : Une innovation clé qui structure l'espace latent en regroupant les vecteurs ayant le même résultat (succès ou échec) et en séparant les clusters de résultats opposés. Cela aide le modèle à distinguer clairement les trajectoires sûres des trajectoires dangereuses.

D. Construction du Graphe de Morse et ROA

Une fois l'espace latent appris :

1. L'espace est discrétisé en une grille de cellules.
2. Les transitions entre cellules sont simulées via le réseau de dynamique latente ($LD$), en tenant compte de l'incertitude (via des "bulles de sécurité" de rayon $\delta$).
3. Un Graphe de Morse est construit à partir de ces transitions. Ce graphe est un graphe acyclique dirigé où les nœuds feuilles représentent les attracteurs (états stables ou cycles limites).
4. Les Regions of Attraction (ROA) sont calculées en identifiant quelles cellules initiales convergent vers un attracteur de "succès" ou de "échec".

3. Contributions Clés

1. Extension à l'Observabilité Partielle : V-MORALS est la première méthode capable de générer des graphes de Morse et des ROA à partir de données purement visuelles, sans accès aux variables d'état internes du système.
2. Apprentissage de Dynamique Temporelle : Utilisation d'un autoencodeur 3D et de séquences d'images pour résoudre le problème de l'ambiguïté des images statiques et capturer la dynamique du système.
3. Validation Empirique Étendue : Application réussie sur quatre benchmarks de contrôle standards : Pendule, CartPole, Acrobot et Humanoïde, avec différents contrôleurs (LQR, DDPG, SAC).
4. Analyse de la Dimensionnalité Latente : Démonstration que l'augmentation de la dimension de l'espace latent (de 2 à 3) améliore significativement la capacité du modèle à capturer la complexité des dynamiques et à prédire correctement les résultats.

4. Résultats Expérimentaux

Les expériences ont été menées sur des environnements simulés (MuJoCo) avec des contrôleurs variés.

• Impact de la Dimension Latente :

  • Une dimension latente de 2 s'est révélée insuffisante pour capturer la complexité des systèmes (ex: CartPole, Humanoïde), conduisant à des graphes de Morse complexes et à une faible précision.
  • Une dimension de 3 a permis d'obtenir des graphes plus simples et plus précis, reflétant mieux la nature bistable des tâches (succès/échec).
  • Exemple : Pour CartPole (LQR), le F-score est passé de 0.29 (dim 2) à 0.81 (dim 3). Pour l'Humanoïde, il est passé de 0.54 à 0.84.

• Comparaison avec MORALS (État vs Image) :

  • V-MORALS (basé sur les images) atteint des performances proches de l'original MORALS (basé sur l'état) lorsque la dimension latente est suffisante (3D).
  • Pour l'Humanoïde, V-MORALS (dim 3) atteint un F-score de 0.84, contre 0.94 pour MORALS (état, dim 3), montrant que l'écart se réduit avec une meilleure représentation latente.

• Robustesse au Bruit :

  • L'ajout de bruit gaussien aux images entraîne une baisse de performance (F-score chutant à ~0.25-0.30), indiquant que la capacité de reconstruction du décodeur est sensible au bruit, ce qui constitue une limite actuelle.

5. Signification et Conclusion

V-MORALS représente une avancée significative pour l'analyse de sécurité en robotique. En démontrant qu'il est possible d'effectuer une analyse de faisabilité formelle (ROA) et de prédire les résultats à long terme d'un système uniquement à partir de données visuelles, la méthode ouvre la voie à :

• L'application de l'analyse de sécurité sur des robots réels où les capteurs d'état complet sont indisponibles ou trop coûteux.
• La généralisation des méthodes de vérification formelle à des contrôleurs complexes (RL) et des systèmes à haute dimension.
• La création de cartes topologiques interprétables (Graphes de Morse) qui permettent de visualiser les zones de succès et d'échec sans modèle physique explicite.

Bien que des limitations subsistent (nécessité de masquage binaire, sensibilité au bruit, hypothèse d'attracteurs fixes), ce travail pose les bases pour l'analyse de sécurité dans des environnements de perception partielle, un défi majeur pour le déploiement autonome de robots dans le monde réel.