Résumé Technique : BRICKCRAFT

Énoncé du Problème

L'assemblage autonome de briques imbriquées par des robots représente un défi redoutable en matière de manipulation à long horizon, nécessitant l'intégration fluide du raisonnement de haut niveau sur les tâches, de l'ancrage spatial et d'une manipulation fine et riche en contacts. Les paradigmes de contrôle monolithiques existants, de bout en bout, peinent à gérer les dépendances à long terme et les exigences massives en données nécessaires pour modéliser des contraintes structurelles complexes. De plus, combler le fossé entre les plans sémantiques de haut niveau et l'exécution visuomotrice de bas niveau est particulièrement difficile dans l'assemblage de briques en raison de deux facteurs confondants : (1) l'ambiguïté visuelle causée par des unités géométriques périodiques et des caractéristiques répétitives, et (2) la multi-modalité spatiale, où plusieurs poses d'assemblage localement valides mais discrètes existent pour les interfaces d'interverrouillage. Les solutions actuelles reposent souvent sur des états cinématiques explicites (vulnérables au bruit de perception) ou sur des images de but implicites (difficiles à ancrer physiquement), échouant à fournir une guidance robuste aux robots dans des scénarios d'assemblage à faible dégagement.

Méthodologie

L'article présente BRICKCRAFT, un cadre compositionnel conçu pour transformer des conceptions de briques numériques en produits physiques à travers trois phases distinctes :

1. Raisonnement d'Assemblage Orienté Compétence

BRICKCRAFT décompose les tâches d'assemblage à long horizon en une séquence de sous-objectifs actionnables en utilisant une stratégie d'assemblage par désassemblage.

• Formulation Relative : Au lieu de poses absolues, chaque étape d'assemblage est définie par un tuple $(b_{ref}, b_{tgt}, \tau)$, où une brique cible ($b_{tgt}$) est attachée à une brique de référence ($b_{ref}$) au sein de la structure partielle existante.
• Encodage Géométrique de la Tâche : La relation spatiale relative est paramétrée par un vecteur 4D $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$, représentant des décalages spatiaux discrets en unités de picots et une orientation plane relative. Cette formulation abstrait des tâches d'assemblage diverses en un ensemble fini de compétences primitives réutilisables.
• Algorithme de Recherche : Une recherche en profondeur (DFS) explore des voies de désassemblage viables depuis l'état final, validant les mouvements candidats contre quatre critères : Connectivité ($C_{con}$), Observabilité ($C_{obs}$), Opérabilité ($C_{op}$) et Stabilité ($C_{stab}$).

2. Ancrage de l'Intention d'Assemblage (Manuels Situations)

Pour combler le fossé entre les plans symboliques et l'exécution physique, le cadre introduit des manuels situations. Cette stratégie projette des intentions d'assemblage abstraites sur les observations robotiques en temps réel pour fournir une guidance spatiale explicite.

• Génération de Références Visuelles : Un moteur de simulation (Blender) rend l'état attendu de l'assemblage, générant une image photoréaliste et des masques sémantiques pour la structure globale et la brique de référence spécifique.
• Segmentation d'Entités Physiques : Un modèle YOLOv8-seg finement ajusté segmente l'espace de travail physique pour identifier la structure assemblée, le préhenseur et la brique cible.
• Alignement et Suivi des Masques : Une transformation affine aligne le masque de référence simulé avec l'observation physique. Un module de suivi (SAM 2) maintient la cohérence temporelle de ces masques.
• Augmentation Visuelle : Le système crée un « manuel situation » en superposant le masque de référence suivi au flux brut de la caméra. Les régions en dehors des masques actifs sont assombries (atténuées à 25 % de luminosité) avec une transition en dégradé, créant un effet de projecteur qui met en évidence les entités pertinentes pour la tâche et supprime les distracteurs visuels.

3. Exécution Visuomotrice Compositionnelle

Le pipeline d'exécution enchaîne des compétences visuomotrices apprises sous la guidance des manuels situations.

• Architecture de Politique : La compétence d'assemblage est formulée comme une Politique de Diffusion conditionnée par des observations visuelles en double vue (augmentées du manuel situation), l'état proprioceptif et l'encodage de la tâche $\tau$.
• Modalités d'Entrée : Les observations incluent les vues des caméras de l'espace de travail et du poignet, la pose de l'effecteur terminal, l'état du préhenseur et les forces externes 3D estimées à partir des couples articulaires pour améliorer la conscience des contacts.
• Enchaînement de Compétences : Les tâches à long horizon sont exécutées comme une séquence de compétences de préhension et d'assemblage : $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$.
• Vérification : Des pré-conditions et post-conditions vérifient la visibilité de la cible, la faisabilité cinématique et la cohérence géométrique entre l'état physique et le plan symbolique pour prévenir l'accumulation d'erreurs.

Contributions Clés

1. Cadre BRICKCRAFT : Un cadre compositionnel pour l'assemblage de briques imbriquées à long horizon qui découple le raisonnement de la tâche de l'exécution.
2. Formulation Relative de la Tâche : Une approche novatrice qui mappe des tâches d'assemblage diverses vers un ensemble fini de compétences primitives en ancrant les étapes sur des briques de référence via des encodages géométriques relatifs.
3. Manuels Situations : Une stratégie qui ancre les intentions symboliques dans des observations en temps réel en segmentant et en mettant en évidence les entités pertinentes pour la tâche, résolvant efficacement l'ambiguïté visuelle et fournissant une guidance spatiale explicite.
4. Validation Empirique : Des expériences réelles complètes démontrant une forte généralisation compositionnelle à des structures non vues.

Résultats Expérimentaux

Le cadre a été évalué sur un bras Kinova Gen3 avec un préhenseur Robotiq utilisant des briques LEGO Duplo.

• Jeu de Données : 692 trajectoires de démonstration à travers plus de 60 configurations, augmentées avec le pipeline de manuels situations.
• Performance par Étape Unique : BRICKCRAFT a atteint un taux de réussite de 86,25 % sur 240 essais portant sur 48 structures distinctes (24 vues, 24 non vues).
  • Il a nettement surpassé les références : Politique de Diffusion Conditionnée par l'Image de But (GI-DP) et $\pi_0.5$ Conditionné par l'Image de But (GI-$\pi_0.5$).
  • GI-DP a subi une baisse de performance de 12,5 à 15,0 % sur les structures non vues, tandis que GI-$\pi_0.5$ est resté bloqué en dessous de 50 % de réussite.
  • Les visualisations EigenCAM ont confirmé que les manuels situations concentrent l'attention visuelle sur les relations géométriques, alors que les références présentaient des activations dispersées vulnérables aux distracteurs.
• Performance à Long Horizon : Le système a réussi à compléter les tâches d'assemblage pour quatre structures distinctes (Pyramide, Escaliers, Maison, Château), y compris le « Château » qui était entièrement non vu pendant l'entraînement.
  • Les taux de complétion étaient élevés pour les structures entièrement soutenues (Pyramide, Escaliers) mais ont montré de légères baisses pour les structures avec des régions centrales non soutenues (Maison, Château) en raison d'erreurs accumulées et de déformations structurelles.
• Études d'Ablation : La stratégie d'assombrissement de l'arrière-plan pour les manuels situations a surpassé les alternatives par boîtes englobantes de 10 à 12,5 %, suggérant que les transitions douces préservent mieux les contours géométriques que les bords artificiels.

Signification et Revendications

L'article revendique que BRICKCRAFT adresse le goulot d'étranglement critique de l'ancrage du raisonnement sémantique de haut niveau dans l'exécution physique pour des tâches d'assemblage complexes. En introduisant des manuels situations, le cadre résout efficacement l'ambiguïté visuelle inhérente aux structures géométriques répétitives, permettant aux robots d'apprendre à partir de démonstrations limitées et de se généraliser à de nouvelles configurations non vues.

Les auteurs soulignent que, bien que les compétences individuelles soient compétentes, le pipeline d'exécution compositionnel est essentiel pour la fiabilité à long horizon. Le cadre démontre que la décomposition de tâches complexes en primitives relatives et réutilisables, combinée à une guidance spatiale explicite, offre une voie viable vers des systèmes incarnés intelligents capables d'opérer dans des environnements complexes et réels. Le travail suggère que combiner le raisonnement symbolique avec des compétences atomiques ancrées spatialement est une direction prometteuse pour déployer des agents robustes dans des scénarios de manipulation plus larges, bien que le système actuel soit limité à l'assemblage de briques imbriquées et manque de capacités de correction automatique réactive pour la récupération d'erreurs.