A robust and compliant robotic assembly control strategy for batch precision assembly task with uncertain fit types and fit amounts

Cet article propose une stratégie de contrôle robuste et conforme pour l'assemblage robotisé de précision en série, utilisant une méthode d'apprentissage par renforcement combinant fusion force-vision et distillation de politiques pour gérer efficacement les incertitudes de types et d'ajustements entre pièces.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en parlions autour d'un café.

🤖 Le Défi : Assembler des pièces comme un chef d'orchestre aveugle

Imaginez que vous devez assembler des milliers de petits composants électroniques (comme des lentilles de téléphone) avec une précision incroyable. Le problème ? La fabrication n'est jamais parfaite. Parfois, le trou est un tout petit peu plus grand que la pièce (un "jeu"), parfois il est un tout petit peu plus petit (un "serrage").

C'est comme essayer d'enfiler un anneau sur un doigt :

• Parfois, ça glisse tout seul (jeu).
• Parfois, ça frotte un peu (serrage léger).
• Parfois, ça bloque complètement si on force trop (serrage fort).

Dans une usine, un robot doit faire cela des milliers de fois. Si le robot est trop rigide et qu'il force quand il y a un serrage, il casse la pièce. S'il est trop mou et qu'il y a un jeu, il ne sait pas où aller et perd du temps.

L'objectif de l'article : Créer un robot "intelligent" et "souple" capable de s'adapter à n'importe quelle situation, sans savoir à l'avance si la pièce va glisser ou coincer.

---

🧠 La Solution : Trois étapes pour un robot "Génie"

Les chercheurs de Tsinghua University ont imaginé une méthode en trois actes, un peu comme entraîner un athlète de haut niveau.

1. La Décomposition : Apprendre par petits morceaux 🧩

Au lieu d'essayer d'enseigner au robot tout d'un coup (ce qui est trop difficile et lent), ils ont découpé le problème en plusieurs sous-tâches simples.

• L'analogie : Imaginez que vous voulez apprendre à cuisiner un grand banquet. Au lieu de tout apprendre en une nuit, vous vous entraînez d'abord sur un plat avec beaucoup de sel, puis un avec peu de sel, puis un avec du poivre, etc.
• Ici, ils ont créé 4 scénarios d'entraînement : un avec un gros serrage, un avec un petit serrage, un avec un petit jeu, et un avec un gros jeu. Le robot apprend la meilleure stratégie pour chaque cas précis.

2. L'Entraînement Multi-Tâches : Le "Cerveau Partagé" 🧠⚡

Normalement, on entraînerait un robot pour le cas "serrage", puis on le réinitialiserait pour le cas "jeu". C'est lent et inefficace.

• L'analogie : C'est comme si un étudiant apprenait le piano. Au lieu d'apprendre une chanson, puis d'effacer sa mémoire pour apprendre la suivante, il apprend toutes les chansons en même temps. Il remarque que certaines techniques de doigts servent pour toutes les chansons.
• Les chercheurs utilisent une technique appelée Apprentissage par Renforcement Multi-Tâches (MTRL). Le robot apprend simultanément les 4 scénarios. Il découvre les "secrets communs" entre un serrage et un jeu. Résultat : il apprend 50 % plus vite et devient plus intelligent.

3. La Fusion des Savoirs : Le "Distillateur de Sagesse" 🧪✨

À la fin de l'entraînement, le robot a 4 "cerveaux" différents (un pour chaque scénario). Mais dans la vraie usine, on ne veut pas dire au robot "Attention, c'est le scénario n°3 !". On veut un robot qui fonctionne tout seul.

• L'analogie : Imaginez 4 professeurs experts (un expert en serrage, un en jeu, etc.). Ils donnent tous leurs cours à un seul élève (le "candidat final"). L'élève ne doit pas juste copier un professeur, mais intégrer la sagesse de tous les professeurs pour devenir un maître universel capable de gérer n'importe quelle situation inattendue.
• C'est ce qu'ils appellent la distillation de politique. Le robot final devient un "super-robot" qui ne dépend plus des étiquettes de ses entraînements.

---

👁️🖐️ Les Sens du Robot : Des Yeux et des Mains Sensibles

Pour réussir, le robot ne se contente pas de bouger. Il utilise deux sens combinés :

1. La Vision (Les Yeux) : Des caméras regardent la pièce pour voir si elle est bien alignée, même si le robot tient la pièce avec une ventouse qui se déforme un peu.
2. La Force (Le Toucher) : Un capteur mesure la pression. Si ça frotte trop, le robot ajuste sa force immédiatement, comme un humain qui sent qu'il faut tourner un peu le bouchon de vin pour le faire sortir.

Le robot combine ces deux informations en temps réel pour décider : "Dois-je pousser plus fort ? Dois-je tourner un peu ? Dois-je reculer ?"

---

🏆 Le Résultat : Un Robot qui ne rate rien

Les chercheurs ont testé leur méthode dans la vraie vie avec des pièces hexagonales complexes.

• Avant (Méthodes classiques) : Le robot cassait souvent les pièces ou échouait s'il ne savait pas exactement la taille du trou.
• Après (Leur méthode) :
  • Taux de réussite : 98,5 % (presque parfait !).
  • Douceur : Le robot exerce très peu de force, évitant d'abîmer les pièces fragiles.
  • Robustesse : Même avec des pièces qu'il n'avait jamais vues (des serrages plus forts ou plus faibles que ceux de l'entraînement), il réussit à les assembler.

En résumé

Cette recherche montre comment transformer un robot rigide en un artisan souple et intelligent. En lui apprenant à gérer plusieurs situations à la fois, puis en fusionnant ces apprentissages, ils ont créé un système capable de s'adapter aux imprévus de la fabrication réelle. C'est un pas de géant vers des usines où les robots peuvent assembler des produits de haute précision sans intervention humaine, même quand les pièces ne sont pas parfaitement identiques.

Résumé technique

Voici un résumé technique détaillé de l'article en français, structuré selon les sections demandées.

Titre : Une stratégie de contrôle d'assemblage robotique robuste et conforme pour des tâches d'assemblage de précision par lots avec types et quantités d'ajustement incertains

1. Problématique

L'article aborde le défi de l'assemblage de précision en série (batch) dans l'industrie manufacturière, en particulier pour les produits électroniques (3C).

• Contexte : Les robots sont déployés pour assembler des pièces en grand nombre (ex: lentilles de smartphones). Ces pièces sont conçues avec des ajustements de transition, ce qui signifie que, en raison des erreurs de fabrication inévitables, un couple pièce-tige (peg) et trou (hole) spécifique peut présenter soit un ajustement avec jeu (clearance), soit un ajustement avec serrage (interference), avec des quantités d'ajustement incertaines.
• Défi : Les méthodes de contrôle existantes (basées sur des modèles ou l'apprentissage par renforcement simple) manquent de robustesse. Un contrôleur conçu pour un type d'ajustement spécifique échoue souvent lorsque le type ou la quantité d'ajustement change. De plus, les méthodes d'apprentissage par renforcement (RL) classiques nécessitent un temps d'entraînement prohibitif pour couvrir l'espace continu des incertitudes et peinent à gérer la dynamique de contact complexe sans endommager les pièces (manque de conformité/force).
• Objectif : Développer une stratégie de contrôle unique, robuste et conforme capable de gérer l'ensemble des variations d'ajustement (jeu et serrage) sans nécessiter de re-calibrage ni de connaissance préalable du type d'ajustement spécifique pour chaque paire de pièces.

2. Méthodologie

Les auteurs proposent un cadre méthodologique en trois étapes principales, combinant la décomposition de tâches, l'apprentissage par renforcement multi-tâches (MTRL) et la distillation de politiques.

A. Décomposition de la tâche (Task Decomposition)
Au lieu d'essayer d'apprendre directement sur un espace continu d'incertitudes (ce qui est inefficace en RL réel), la tâche globale est décomposée en plusieurs sous-tâches déterministes.

• L'intervalle total des quantités d'ajustement possibles est divisé en sous-intervalles (ex: grand serrage, petit serrage, petit jeu, grand jeu).
• Chaque sous-tâche correspond à un ajustement spécifique et pré-déterminé, permettant un apprentissage local robuste.

B. Apprentissage par Renforcement Piloté par un Contrôleur Fusion Force-Vision (FVFC-MTRL)
Pour chaque sous-tâche, une stratégie est apprise via un cadre Multi-Task Reinforcement Learning (MTRL) :

• Contrôleur de base (FVFC) : Au lieu d'apprendre directement les commandes de mouvement, l'agent RL ajuste les paramètres d'un contrôleur de base combinant la vision et la force.
  • Vision : Utilise deux caméras monoculaires pour extraire les caractéristiques géométriques et corriger les erreurs d'alignement initial et les déformations de la ventouse flexible.
  • Force : Utilise un capteur de force/couple pour maintenir des forces de contact faibles.
• Architecture MTRL : Un seul réseau de politique (acteur) et de critique est entraîné simultanément sur toutes les sous-tâches.
  • Des encodages de tâches (task encodings) sont ajoutés à l'état d'entrée pour distinguer les sous-tâches.
  • L'algorithme MTSAC (Multi-Task Soft Actor-Critic) est utilisé avec des coefficients d'entropie désengagés pour chaque tâche.
  • La méthode PCGrad (Projecting Conflicting Gradients) est employée pour résoudre les conflits de gradients entre les différentes sous-tâches, stabilisant l'entraînement.
• Résultat intermédiaire : Une politique apprise pour chaque sous-tâche, mais qui dépend encore de l'encodage de la tâche spécifique.

C. Distillation de Politique Multi-Enseignant (Multi-Teacher Policy Distillation)
Pour obtenir une stratégie finale robuste et indépendante de la tâche :

• Les politiques entraînées pour chaque sous-tâche agissent comme des modèles enseignants.
• Un nouveau réseau élève (student network) est entraîné par apprentissage supervisé pour imiter les actions des enseignants.
• Clé de la robustesse : Lors de la distillation, les encodages de tâche sont supprimés de l'entrée. Le réseau élève doit donc apprendre à inférer implicitement la quantité d'ajustement à partir des trajectoires de force et de vision, généralisant ainsi à des ajustements jamais vus pendant l'entraînement.

3. Contributions Clés

1. Cadre de construction robuste : Proposition d'une méthode efficace combinant décomposition de tâche, MTRL et distillation pour gérer l'incertitude continue des ajustements dans l'assemblage de précision.
2. Contrôleur FVFC-RL : Intégration d'un contrôleur fusion force-vision piloté par RL, permettant un ajustement adaptatif des paramètres pour une meilleure conformité et une gestion des déformations de la ventouse.
3. Efficacité de l'entraînement MTRL : Démonstration que l'entraînement simultané via MTRL améliore l'efficacité de l'échantillonnage de plus de 50 % par rapport à l'entraînement de tâches individuelles (STRL).
4. Généralisation sans encodage : Utilisation de la distillation de politique pour créer une stratégie unique capable de gérer des ajustements incertains (jeu et serrage) sans connaître a priori le type d'ajustement, surpassant les méthodes nécessitant des stratégies spécifiques par tâche.

4. Résultats Expérimentaux

Les expériences ont été menées sur un robot UR10 avec des pièces hexagonales irrégulières et des ajustements variant de -0,04 mm (serrage) à +0,04 mm (jeu).

• Performance d'entraînement : La méthode FVFC-MTRL converge plus rapidement et plus stablement que les méthodes basées sur un seul contrôleur (FBCC) ou un RL mono-tâche (STRL).
• Taux de réussite et Récompense : La stratégie finale FVFC-MTRL-PD atteint un taux de réussite de 98,5 % et une récompense moyenne de 22,1 sur tous les sous-tâches, surpassant toutes les méthodes de base (FBCC, MDRL, FVFC-CP).
• Conformité (Forces de contact) : La méthode proposée génère des forces de contact maximales significativement plus faibles (ex: ~0,2 N en Fx/Fy contre ~0,6 N pour les méthodes de base) et des moments réduits, évitant ainsi les blocages (jamming) et les dommages aux pièces.
• Robustesse sur lots réels : Lors de tests sur des pièces manufacturées avec des ajustements inconnus (y compris des cas extrêmes non vus à l'entraînement et des pièces déformées), la méthode proposée maintient un taux de réussite d'environ 90-100 %, tandis que les méthodes de référence (MDRL) tombent à 0 % sur les cas les plus difficiles.

5. Signification et Impact

Cette recherche est significative car elle comble le fossé entre les méthodes de contrôle théoriques et les exigences industrielles réelles de l'assemblage de précision en série.

• Industrialisation : Elle permet le déploiement fiable de robots dans des environnements de production où les tolérances de fabrication entraînent une variabilité inévitable des ajustements, éliminant le besoin de mesures préalables coûteuses pour chaque pièce.
• Efficacité : La combinaison MTRL et distillation réduit considérablement le temps et le coût de développement des stratégies de contrôle pour de nouvelles gammes de produits.
• Généralité : Bien que focalisée sur les ajustements incertains, le cadre proposé est extensible à d'autres variations géométriques (formes différentes), offrant une voie prometteuse pour l'automatisation robuste de l'assemblage de précision.