Learning to Build: Autonomous Robotic Assembly of Stable Structures Without Predefined Plans

Cet article présente un cadre d'assemblage robotique autonome capable de construire des structures stables sans plans prédéfinis, en utilisant une politique d'apprentissage par renforcement basée sur des caractéristiques successeurs pour s'adapter aux incertitudes environnementales.

L'essentiel

🏗️ Le Robot Architecte qui "improvise"

Imaginez un chantier de construction traditionnel. D'habitude, les robots suivent un plan d'architecte ultra-précis, comme un chef d'orchestre qui suit une partition de musique note par note. Si un tuyau est un peu tordu ou si le vent pousse un mur de 2 centimètres, le robot s'arrête, car son plan ne correspond plus à la réalité. C'est rigide et fragile.

Ce papier présente une nouvelle idée : un robot capable de construire sans plan préétabli.

Au lieu de lui donner un dessin à copier, on lui donne simplement une mission et des règles du jeu :

• La Mission : "Relie le sol à ce point précis (la cible)."
• Les Règles : "Évite ces zones rouges (les obstacles)."
• Les Outils : "Voici tes briques (carrées ou trapèzes)."

Le robot doit alors inventer sa propre structure pour réussir la mission, tout en restant stable. C'est comme si on demandait à un enfant de construire une tour avec des LEGOs pour toucher une pomme posée sur une étagère, sans lui dire exactement comment faire.

🧠 Le Cerveau du Robot : Un Apprentissage par l'Essai et l'Erreur

Comment ce robot sait-il quoi faire ? Il utilise une technique appelée Apprentissage par Renforcement (RL).

Imaginez que vous apprenez à faire du vélo :

1. Vous tombez, vous vous relevez.
2. Vous essayez une autre position, vous tombez moins.
3. Au bout de quelques centaines d'essais, vous trouvez l'équilibre parfait.

Ce robot a fait la même chose, mais dans un simulateur virtuel :

• Il a essayé de construire des structures sur 15 défis différents (des ponts, des colonnes, des arches).
• Il a appris que certaines positions de briques faisaient tomber la tour (échec) et d'autres permettaient d'atteindre la cible (succès).
• Après seulement 50 sessions d'entraînement (ce qui est très rapide pour un robot), il a développé une "intuition" : il sait maintenant comment assembler des briques pour atteindre n'importe quelle cible, même si la forme change.

🎨 La Magie des "Super-Pouvoirs" (Les Successeurs)

Le vrai génie de ce papier réside dans la façon dont le robot "pense". Au lieu de mémoriser chaque mouvement, il utilise ce qu'on appelle des fonctionnalités de successeur (une sorte de cristal de vision).

Imaginez que le robot a une vue à rayons X du futur.

• Quand il pose une brique, il ne voit pas seulement la brique actuelle.
• Il voit une "image fantôme" de la structure finale qui va se former.
• Cela lui permet de dire : "Si je pose cette brique ici, je vais pouvoir atteindre la cible plus tard, même si je ne suis pas encore là."

C'est comme si un joueur d'échecs ne pensait pas seulement à son prochain coup, mais visualisait tout le match jusqu'à la victoire.

🤖 Le Test Réel : Du Virtuel au Vrai Monde

Pour prouver que ce n'est pas juste de la théorie, les chercheurs ont mis ce cerveau dans un vrai bras robotique dans un vrai laboratoire.

• Le défi : Dans la vraie vie, les choses ne sont jamais parfaites. Les briques ne sont pas posées exactement au millimètre près, le sol peut être un peu penché, et le robot peut trembler.
• Le système en boucle fermée : Le robot a des "yeux" (une caméra 3D). Après avoir posé une brique, il regarde la structure. Si la brique est un peu de travers, le robot le voit, met à jour son plan mental, et ajuste le coup suivant pour compenser l'erreur.

Les résultats ?

• En simulation, il a réussi 93 % des missions.
• Dans la vraie vie, avec toutes les imprécisions, il a réussi 80 % des missions.
• Le plus impressionnant : dans certains cas où le robot a dû improviser à cause d'une erreur de placement, il a trouvé une solution différente de celle prévue en simulation, mais qui a fonctionné ! Il s'est adapté en temps réel.

🌟 Pourquoi c'est important ?

Aujourd'hui, construire avec des robots est lent et coûteux car il faut des plans parfaits. Avec cette méthode :

1. Flexibilité : Si le chantier change (pluie, terrain instable), le robot s'adapte.
2. Rapidité : Pas besoin de dessiner un nouveau plan pour chaque petit changement.
3. Avenir : Imaginez des robots construisant des abris après une catastrophe naturelle, ou construisant des bases sur la Lune, sans qu'un humain ait besoin de leur envoyer un plan précis à l'avance. Ils savent juste où ils doivent aller et comment s'y rendre.

En résumé : Ce papier nous montre un robot qui ne suit plus aveuglément un plan, mais qui comprend l'objectif et improvise la meilleure façon de le construire, comme un artisan expérimenté qui sait s'adapter à la matière.

Résumé technique

1. Problématique et Contexte

L'industrie de la construction robotique fait actuellement face à un goulot d'étranglement majeur : la dépendance à des plans architecturaux rigides et prédéfinis. Contrairement à l'industrie manufacturière où les environnements sont contrôlés, les chantiers de construction sont dynamiques et incertains (terrains irréguliers, tolérances matérielles, imprécisions humaines). Les flux de travail actuels, basés sur des séquences d'assemblage fixes, manquent de flexibilité pour s'adapter aux variations in situ, rendant souvent les approches « planifiées » impraticables.

L'objectif de cet article est de développer un cadre d'assemblage robotique autonome capable de construire des structures stables (en maçonnerie sèche, sans mortier) sans aucun plan préétabli. Au lieu de suivre un blueprint, le robot doit répondre à des objectifs abstraits définis par des cibles (points à atteindre) et des obstacles (zones à éviter), en s'adaptant en temps réel à l'évolution de la structure et aux incertitudes physiques.

2. Méthodologie

L'approche proposée repose sur une combinaison de formalisation de tâches, d'apprentissage par renforcement (RL) et d'une boucle de contrôle en temps réel.

A. Formalisation de la Tâche

La tâche de construction est définie par quatre éléments :

• L'espace de construction : Un environnement 2D avec un sol et des limites.
• Les cibles et obstacles : Des points et des zones géométriques qui définissent le but (ex: atteindre un point en hauteur) et les contraintes (ex: éviter un mur).
• Les blocs : Des unités discrètes rigides (carrés et trapèzes) assemblées par joints secs.
• La stabilité : Chaque placement doit garantir l'équilibre de la structure, évalué via la méthode d'équilibre des blocs rigides (RBE - Rigid-Block Equilibrium).

Le but est de trouver une séquence de placements reliant le sol aux cibles tout en évitant les obstacles, sans connaître à l'avance la forme finale de la structure.

B. Apprentissage par Renforcement (RL) Conditionné par l'Objectif

Le cœur du système est une politique de RL conditionnée par l'objectif, utilisant un algorithme de Deep Q-Learning (DQN) avec des caractéristiques successeurs (Successor Features).

• Représentation des états et actions : Au lieu de vecteurs abstraits, l'article utilise des représentations basées sur l'image.
  • L'état ($S$) est la somme des caractéristiques des actions passées (position des blocs).
  • La tâche ($T$) est encodée comme une image à deux canaux : un pour les obstacles, un pour les cibles.
  • L'action ($A$) est une image binaire représentant la forme et la position du bloc à placer.
• Fonction de récompense : Une récompense dense est générée en convoluant les cibles avec un noyau gaussien, encourageant la croissance de la structure vers les objectifs tout en pénalisant l'utilisation excessive de matériaux.
• Caractéristiques Successeurs ($\Psi$) : L'algorithme apprend à prédire les caractéristiques successeurs, qui décomposent la valeur d'une action en une composante dépendante de l'action et une composante dépendante de la tâche. Cela permet à une seule politique de généraliser à de multiples tâches avec des objectifs différents, sans réentraînement.
• Avantages : Cette approche offre une équivariance translationnelle (déplacer la cible déplace l'action optimale) et permet d'interpréter visuellement l'intention à long terme du robot.

C. Assemblage Robotique en Boucle Fermée

Pour valider la robustesse, le système est déployé sur un bras robotique réel (ABB CRB 15000) avec une pince à succion.

• Boucle de rétroaction : Après chaque placement, une caméra 3D (Zivid) scanne la structure. Des marqueurs ArUco sur les blocs permettent une estimation de pose 6D précise.
• Adaptation : L'état réel mis à jour est réinjecté dans la simulation pour calculer la prochaine action. Cela permet au robot de corriger les erreurs d'assemblage et de s'adapter aux tolérances physiques.

3. Résultats Expérimentaux

Les expériences ont été menées sur un ensemble de 15 tâches d'assemblage 2D (colonnes, ponts, arches) avec des configurations variées de cibles et d'obstacles.

• Performance en Simulation :
  • Après seulement 50 épisodes d'entraînement, la politique a résolu 14 tâches sur 15 (93,3 % de succès).
  • Le système a appris à utiliser moins de blocs au fil du temps et a généré des solutions complexes et contre-intuitives (ex: structures en arche, contrepoids pour des surplombs).
• Performance en Réel (Robuste) :
  • Sur le bras robotique, le taux de succès est de 80 % (12 tâches sur 15 réussies, dont 10 du premier coup).
  • Le système a démontré sa capacité à s'adapter : dans certains cas (Tâches 3 et 12), la structure réelle a divergé de la simulation à cause du bruit physique, mais la politique a ajusté sa stratégie pour atteindre l'objectif.
• Analyse des échecs : Les échecs (Tâches 4, 7, 9, 11, 13) sont attribués à trois facteurs :
  1. Accumulation d'erreurs sur les tâches à long horizon (dérive trop importante).
  2. Limites du solveur de stabilité binaire (RBE) qui ne capture pas les cas de stabilité marginale sensibles aux perturbations réelles.
  3. Contraintes matérielles (collisions de la pince non prises en compte dans l'apprentissage).

4. Contributions Clés

1. Cadre d'assemblage sans plan : Proposition d'un système capable de construire des structures stables basées uniquement sur des définitions abstraites (cibles/obstacles), éliminant le besoin de plans architecturaux rigides.
2. Apprentissage multi-tâches généralisable : Développement d'une politique unique basée sur des caractéristiques successeurs et des représentations d'images, capable de gérer une variété de topologies (verticales, en arc, en pont) et de géométries de blocs (y compris des trapèzes).
3. Validation en boucle fermée : Démonstration de la faisabilité de l'approche sur un système robotique réel, prouvant que l'apprentissage par renforcement peut gérer le bruit de fabrication et les incertitudes physiques grâce à une rétroaction visuelle en temps réel.
4. Interprétabilité : La visualisation des caractéristiques successeurs rend l'intention de construction à long terme du robot transparente et compréhensible.

5. Signification et Perspectives

Ce travail marque une avancée significative vers la construction robotique adaptative. En passant d'une logique de « suivre un plan » à une logique de « répondre à un objectif », le système ouvre la voie à des applications dans des environnements imprévisibles, tels que la reconstruction post-catastrophe ou la construction spatiale avec des matériaux in situ.

Bien que l'étude soit actuellement limitée à un environnement 2D et à deux types de blocs, elle pose les fondations pour des systèmes futurs capables de gérer des formes 3D complexes, des matériaux irréguliers et des équipes de robots collaboratifs. La capacité à apprendre des stratégies de construction sans blueprint préalable représente un changement de paradigme essentiel pour l'automatisation dans le secteur du BTP.