Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion

Résumé Technique : Deep Q-Learning Rainbow avec Conception Sensible à la Cinématique pour l'Insertion Coopérative par un Robot Delta et un Robot Parallèle 3-RRS

Énoncé du Problème
L'article aborde le défi de la manipulation coopérative d'insertion axe-trou utilisant une paire hétérogène de robots parallèles : un manipulateur Delta (fournissant trois degrés de liberté de translation) et un manipulateur 3-RRS (Révolution-Révolution-Sphérique) (fournissant deux degrés de liberté de rotation et un degré de liberté de translation verticale). La tâche nécessite une synchronisation précise pour insérer un axe dans un trou cible situé sur une plateforme en forme de dôme portée par le 3-RRS. Les auteurs identifient trois défis principaux : (1) la nécessité d'un alignement temporel précis de la translation et de la rotation dans des conditions dynamiques ; (2) l'exigence d'adaptation aux poses relatives changeantes sans reprogrammation explicite ; et (3) la nécessité de maintenir un mouvement sûr dans un espace de travail confiné tout en respectant les contraintes cinématiques, en évitant spécifiquement les singularités et les limites de l'espace de travail qui compliquent le contrôle des mécanismes parallèles.

Méthodologie
La solution proposée est un cadre d'Apprentissage par Renforcement Profond (DRL) « informé par la cinématique » qui intègre une étape d'optimisation de la conception géométrique avec un Réseau de Q-Network Profond Rainbow (DQN).

1. Étape d'Optimisation Géométrique : Avant le début de l'apprentissage, les paramètres géométriques du manipulateur 3-RRS sont optimisés. En utilisant une méthode simplexe sans gradient (Nelder–Mead), les auteurs maximisent la surface de l'espace de travail d'orientation exempt de singularités et améliorent le nombre de conditionnement de la matrice jacobienne. Cette étape élargit la région sûre disponible pour l'agent d'apprentissage par renforcement afin d'explorer, réduisant ainsi la probabilité que les épisodes se terminent en raison de violations cinématiques.
2. Formulation du Processus de Décision Markovien (MDP) : La tâche coopérative est modélisée comme un MDP à horizon fini.
   • Espace d'État : Un vecteur de 12 dimensions comprenant la pose cartésienne de la plateforme Delta, l'orientation (roulis/pitch) et la position verticale de la plateforme 3-RRS, le déplacement relatif entre la pointe de l'axe et le trou cible, et le vecteur normal du trou cible.
   • Espace d'Action : Un ensemble discret de 12 actions, composé de commandes incrémentales positives et négatives pour chacun des 6 degrés de liberté contrôlés (3 translations pour le Delta, 2 rotations et 1 translation verticale pour le 3-RRS).
   • Fonction de Récompense : Une récompense façonnée combine une guidance de proximité dense (distance à la cible, progrès incrémental), des pénalités pour les violations de l'espace de travail ou de la cinématique inverse (IK), et des bonus épars pour les insertions réussies.
3. Algorithme d'Apprentissage : Les auteurs emploient le Rainbow DQN, qui intègre six extensions au DQN standard : Double Q-learning (pour réduire le biais de surestimation), une architecture Dueling (estimation séparée de la valeur d'état et de l'avantage), Prioritized Experience Replay (pour l'efficacité de l'échantillonnage), retours multi-étapes (propagation plus rapide de la récompense), Couches Linéaires Bruitées (pour une exploration dépendante de l'état sans programmes de stratégie $\epsilon$-gloutonne), et une Tête de Valeur Distributionnelle.
4. Protocole d'Entraînement : Un curriculum à deux étapes est utilisé. L'agent s'entraîne d'abord sur un sous-ensemble de quatre trous périphériques (Étape C0) et passe aux six trous (Étape C1) une fois que le taux de réussite à moyenne mobile dépasse 75 %.

Contributions Principales
L'article expose trois contributions principales :

1. Flux de Travail de Co-Conception Séquentielle : Une méthodologie où la géométrie du 3-RRS est optimisée pour maximiser l'espace de travail exempt de singularités et améliorer le conditionnement avant l'entraînement DRL. Cela élargit la région d'exploration sûre pour la paire hétérogène Delta + 3-RRS.
2. Formulation Rainbow DQN Spécifique à la Tâche : Un cadre unifié présentant un état de 12 dimensions, un ensemble d'actions discret de 12 commandes incrémentales, et une fonction de récompense qui intègre explicitement des connaissances cinématiques (contraintes de l'espace de travail et validité IK) pour un façonnage dense.
3. Étude de Simulation Complète : Une étude d'ablation évaluant l'impact des composants individuels du Rainbow DQN et de l'étape d'optimisation géométrique, comparée à un DQN Vanilla et à un planificateur classique basé sur l'échantillonnage (RRT-Connect).

Résultats
La validation a été effectuée dans un simulateur cinématique haute fidélité utilisant un environnement Python personnalisé. Les résultats, moyennés sur 100 épisodes de test avec 5 graines, démontrent :

• Supériorité de Performance : L'approche Rainbow DQN a atteint un taux de réussite de 95 % ± 2 %, surpassant significativement le DQN Vanilla (68 % ± 5 %) et le planificateur RRT-Connect classique (55 % ± 4 %).
• Efficacité : La méthode proposée a réduit le temps moyen d'achèvement à 7,1 secondes (contre 9,8 s pour le DQN Vanilla et 12,4 s pour le planificateur) et a atteint une erreur de trajectoire RMS plus faible (1,5 mm).
• Résultats de l'Ablation :
  • Le retrait du Prioritized Replay ou de la Tête Dueling a entraîné les baisses de performance les plus significatives (les taux de réussite tombant à 82 % et 85 %, respectivement).
  • L'étape d'Optimisation Géométrique a permis de réduire le nombre d'étapes d'environnement nécessaires pour atteindre 75 % de réussite d'environ un tiers (de $11,2 \times 10^5$ à $7,6 \times 10^5$ étapes) et a éliminé complètement les terminaisons liées aux singularités pendant l'entraînement.
• Robustesse : La politique a maintenu un taux de réussite de 88 % lorsqu'elle a été soumise à un bruit gaussien (1 % de la plage d'état normalisée) lors des tests.

Signification et Revendications
L'article affirme que l'intégration de l'optimisation géométrique avec un DRL informé par la cinématique fournit une solution robuste pour la manipulation coopérative dans des environnements contraints et sujets aux singularités. Les auteurs affirment que l'optimisation géométrique pré-entraînement n'est pas simplement une étape de conception, mais un facilitateur critique qui réduit la complexité d'échantillonnage et empêche les échecs d'entraînement causés par des singularités cinématiques.

Le travail se positionne comme une étape vers une synthèse de politiques adaptatives et pilotées par les données pour les systèmes multi-robots où les pipelines de planification explicite peinent à gérer la coordination dynamique et les tolérances serrées. Les auteurs notent explicitement les limitations, notamment la dépendance à la simulation (manque de validation matérielle), l'utilisation d'un espace d'actions discret qui peut limiter la fluidité de la trajectoire, et la nature centralisée du contrôleur. Ils identifient la validation matérielle, les extensions à actions continues (par exemple, SAC, PPO) et les formulations multi-agents décentralisées comme des orientations futures nécessaires.