Robot Arm Control via Cognitive Map Learners

1. Problématique

L'approche traditionnelle de l'apprentissage automatique en robotique repose souvent sur des réseaux de neurones profonds (DNN) monolithiques, entraînés pour une tâche spécifique. Cette méthode présente plusieurs limites :

• Manque de modularité : Il est difficile de composer des modules pré-entraînés pour résoudre des problèmes plus complexes sans réentraînement coûteux.
• Dépendance à la cinématique inverse : Le contrôle des bras robotiques nécessite généralement des équations de cinématique inverse complexes, qui peuvent échouer dans des conditions de singularité et ne sont pas naturellement adaptatives.
• Continuité de l'espace d'état : Apprendre directement des espaces d'états continus (comme les angles d'un bras robotique) avec des modèles d'apprentissage par renforcement ou des CML (Cognitive Map Learners) est souvent instable et nécessite de nombreuses tentatives.

L'objectif de cet article est de proposer une méthode de contrôle de bras robotiques modulaire, compositionnelle et sans équations de cinématique inverse, en utilisant des Apprenants de Cartes Cognitives (CML) et l'Informatique Hyperdimensionnelle (HDC).

2. Méthodologie

La solution proposée repose sur une architecture où chaque segment du bras robotique est contrôlé par un module CML indépendant. Le processus global se déroule en quatre étapes clés :

A. Représentation par Informatique Hyperdimensionnelle (HDC)

Les positions et les angles sont encodés sous forme d'hypervecteurs (vecteurs de haute dimension, $d \ge 1024$) utilisant l'encodage par puissance fractionnaire (Fractional Power Encoding - FPE).

• Les axes cartésiens $x$ et $y$ sont définis comme des vecteurs de base phasoriques ($e^{j2\pi U}$).
• Un point cible $(a, b)$ est encodé comme le produit tensoriel (binding) de ces bases élevées à la puissance des coordonnées : $p = x^a \odot y^b$.
• Cette propriété permet de manipuler les positions par multiplication, où la multiplication de phasors équivaut à l'addition de leurs exposants.

B. Construction des CML par Segment

Chaque segment du bras est modélisé par un CML qui apprend la topologie d'un graphe abstrait :

• États (Nœuds) : Les angles discrets possibles d'un segment sont pré-calculés et encodés via FPE.
• Actions (Arêtes) : Les transitions entre angles sont définies explicitement comme la différence entre les vecteurs d'état.
• Fonctionnement : Le CML ne résout pas le problème global, mais planifie un chemin local entre l'angle actuel et un angle cible désiré en itérant sur des scores d'utilité, sans avoir été entraîné spécifiquement pour la planification de chemin.

C. Factorisation du Point Cible (Résolution du problème)

Le cœur de la méthode consiste à transformer le point cible encodé $p$ en un ensemble d'angles pour chaque segment.

• Le problème est reformulé comme un problème de sac à dos (ou problème de somme de sous-ensembles) : trouver les facteurs $s_1, s_2, ..., s_n$ tels que $p \approx s_1 \odot s_2 \odot ... \odot s_n$.
• Deux méthodes de factorisation sont utilisées pour décomposer l'hypervecteur cible en utilisant les dictionnaires (codebooks) des états de chaque CML :
  1. Réseau Résonateur : Une approche itérative qui unbind (désassemble) les estimations des autres modules pour converger vers les facteurs corrects.
  2. Réseau de Hopfield Moderne : Une approche à itération unique (ou très rapide) utilisant une fonction softmax pour restaurer les motifs stockés.
• Si la factorisation échoue, le système réinitialise les estimations avec du bruit aléatoire et réessaie jusqu'à convergence.

D. Exécution et Extension 3D

• Une fois les angles cibles extraits, chaque CML de segment exécute sa propre planification de chemin pour atteindre l'angle désiré, déplaçant ainsi le bras vers le point cible.
• Pour le cas 3D, l'approche gère la non-commutativité des rotations en utilisant un CML circulaire pour la base rotative (orientation égocentrique) et des CML FPE pour les segments (orientation allocentrique), en convertissant les coordonnées cartésiennes en sphériques.

3. Contributions Clés

1. Workflow Compositionnel : Définition d'un pipeline où des CMLs indépendants sont orchestrés via un protocole commun d'hypervecteurs (FPE) pour contrôler un système complexe sans réentraînement.
2. Reformulation du problème : Interprétation de la cinématique directe/inverse comme un problème de factorisation d'hypervecteurs, résoluble par des méthodes de recherche de motifs (Résonateur ou Hopfield).
3. Évitement de la Cinématique Inverse : La méthode atteint le point cible sans jamais calculer d'équations de cinématique inverse analytiques, évitant ainsi les singularités mathématiques.
4. Généralité : La solution est applicable à un bras 2D avec un nombre arbitraire de segments et offre une solution spécifique pour un bras 3D à base rotative.

4. Résultats Expérimentaux

Les auteurs ont testé leur approche sur un bras à 3 segments ($n=3$) :

• Cas 2D (Non contraint) :

  • Avec des segments ayant 29 positions angulaires chacun, la couverture de l'espace de travail était limitée (74,5 %).
  • En utilisant des nombres premiers consécutifs pour le nombre d'états par segment ($m = [19, 23, 29]$), la couverture a atteint 98,8 % de la grille cible avec moins d'états finaux totaux.
  • Précision : L'erreur de déplacement moyenne était de $\epsilon \approx 0.071$ (Résonateur) et $0.061$ (Hopfield).
  • Convergence : Le réseau de Hopfield nécessitait plus de réinitialisations pour converger que le réseau résonateur, mais les deux trouvaient des solutions valides.

• Cas 3D (Contraints) :

  • Des contraintes physiques (pas de collision avec le sol, segments non sécants) ont été intégrées directement dans la topologie des graphes CML.
  • La couverture de l'espace accessible (premier quadrant) était de 99,4 %.
  • Les erreurs de déplacement restaient faibles ($\epsilon \approx 0.082$ pour le résonateur).
  • Le système a démontré sa capacité à trouver plusieurs configurations de bras valides pour un même point cible (moyenne de ~6 à 7 solutions par point).

5. Signification et Perspectives

• Modularité et Évolutivité : Cette approche démontre que l'on peut construire des systèmes robotiques complexes en assemblant des modules simples et indépendants, une propriété absente des DNN monolithiques.
• Robustesse : L'absence de singularités mathématiques (contrairement à la cinématique inverse) rend le système plus robuste dans des configurations limites.
• Adaptabilité : Les CMLs peuvent s'adapter dynamiquement aux changements de l'environnement (obstacles) en modifiant simplement la disponibilité des actions dans le graphe, sans réentraînement.
• Applications Futures :
  • Extension aux robots quadrupèdes (12 CMLs pour 4 jambes).
  • Intégration avec des réseaux de neurones à impulsions (Spiking Neural Networks) sur du matériel neuromorphique (comme Loihi) pour un déploiement embarqué efficace.
  • Application à des bras robotiques à 6 degrés de liberté via des techniques de factorisation non commutative.

En conclusion, ce travail ouvre une voie prometteuse pour le contrôle robotique basé sur des architectures compositionnelles et symboliques, combinant la robustesse de l'informatique hyperdimensionnelle avec la flexibilité des apprenants de cartes cognitives.