HERB: Human-augmented Efficient Reinforcement learning for Bin-packing

Résumé Technique : HERB – Apprentissage par Renforcement Efficace Augmenté par l'Humain pour le Bin-packing

Énoncé du Problème
L'emballage efficace d'objets 3D irréguliers (par exemple, des articles ménagers ou de l'épicerie) est un défi fondamental dans la logistique et la robotique. Bien que le problème du bin-packing soit très étudié, les solutions de forme fermée sont irréalisables pour des formes irrégulières arbitraires. Les approches existantes reposent généralement sur des règles heuristiques ou sur l'apprentissage par renforcement (RL) sans modèle. Cependant, ces méthodes présentent des limitations significatives :

• Heuristiques : Elles se concentrent souvent uniquement sur l'optimisation géométrique, ce qui entraîne des temps d'inférence longs en raison de recherches exhaustives dans des espaces discrétisés. Elles ignorent fréquemment les contraintes physiques telles que la fragilité des objets, la déformabilité et les préférences humaines, ce qui produit des solutions physiquement instables ou peu pratiques pour un déploiement robotique réel.
• RL Pur : Bien que fondées sur les données, les méthodes de RL pur nécessitent souvent des temps d'entraînement étendus et dépendent de la discrétisation de l'espace d'action, ce qui restreint la généralisation et limite la capacité à modéliser les facteurs latents complexes inhérents aux stratégies de colisage humaines.
• Apprentissage par Imitation (IL) : Les approches standards d'IL (par exemple, le clonage de comportement ou Behavioral Cloning) luttent contre la nature multimodale du colisage. Un état unique (configuration de la boîte + objet) peut présenter plusieurs actions de placement valides, ce qui fait que les pertes de régression standards (comme l'MSE) produisent des prédictions « moyennées » et physiquement invalides (par exemple, placer un objet à un endroit qui le fait basculer).

Méthodologie : Le Cadre HERB
Les auteurs proposent HERB (Human-augmented Efficient RL), un cadre hybride qui décompose la tâche de colisage en deux sous-tâches : la Planification de Séquence et la Prédiction de Placement.

1. Planification de Séquence de type Humain :
   Au lieu d'apprendre l'ordre des objets via le RL ou un échantillonnage aléatoire, HERB utilise une chaîne de Markov statique reconstruite à partir d'un ensemble de données de démonstrations de colisage humain (BoxED). Un algorithme de recherche Beam-3 modifié échantillonne les trois prochains objets à emballer en se basant sur les probabilités de transition par paires observées dans les données humaines. Cela capture les préférences implicites humaines concernant la catégorie d'objets, la stabilité et la compatibilité sans modélisation explicite.

2. Prédiction de Placement via le RL :
   L'action continue et de haute dimension consistant à placer un objet (spécifiquement la position $x, y$ et la rotation planaire $\theta$) est apprise via le Soft Actor-Critic (SAC), un algorithme de RL off-policy robuste.

   • Espace d'Observation : L'état est représenté par une carte de hauteur (heightmap) du contenu actuel de la boîte, augmentée d'une projection de dessus du prochain objet à emballer.
   • Espace d'Action : L'agent prédit $x, y$ et $\theta$. La coordonnée verticale $z$ est estimée de manière déterministe à partir de la carte de hauteur et du modèle de l'objet pour réduire la dimensionnalité de l'espace d'action.
   • Fonction de Récompense : Les auteurs évaluent trois structures de récompense :
     • Simple : Récompense binaire pour un placement réussi.
     • Compacité (C) : Récompense le ratio du volume cumulé des objets emballés par rapport au volume de la boîte englobante minimale.
     • Compacité + Stabilité (CS) : Une combinaison pondérée ($\alpha C + (1-\alpha)S$) où $S$ est une récompense binaire pour maintenir la stabilité (définie par le fait de ne pas basculer au-delà de 10°).

3. Comparaison avec l'IL Pur :
   Le papier compare HERB à deux modèles d'IL pur :

   • BC-MSE : Un modèle de clonage de comportement standard minimisant l'erreur quadratique moyenne (MSE), qui échoue à capturer les distributions multimodales.
   • BC-MDN : Un réseau de densité de mélange (Mixture Density Network) tentant de modéliser des sorties multimodales, ce que les auteurs considèrent comme manquant de la précision requise pour les tâches de placement continu, entraînant des erreurs cumulatives.

Principales Contributions

• Architecture Hybride : L'introduction de HERB, qui intègre la prédiction de séquence de type humain (via Beam-3) avec le RL continu pour le placement. Cette approche tire parti de la connaissance latente humaine pour l'ordonnancement tout en utilisant le RL pour affiner le placement continu précis.
• Supériorité de Performance : HERB surpasse les heuristiques de pointe (PackIt), le RL pur et les approches d'IL pur en termes d'efficacité de colisage (nombre d'objets emballés), de taux de succès et de latence d'inférence.
• Jeu de Données et Environnement : Le développement d'un environnement de simulation léger basé sur PyBullet et d'un ensemble de données correspondant de démonstrations de colisage humain, conçu pour faciliter l'entraînement et l'évaluation efficaces.
• Validation dans le Monde Réel : Implémentation d'un pipeline robotique complet utilisant un robot Baxter®, démontrant la faisabilité de la méthode dans des scénarios physiques avec de réelles entrées de caméras de profondeur (Intel RealSense L515).

Résultats Expérimentaux

• Efficacité : HERB a atteint un taux de succès de 87,83 % (avec CS0,9) et a emballé en moyenne 87,83 objets par épisode, surpassant nettement l'heuristique PackIt SO(2) (82,50 objets) et dépassant largement les modèles d'IL (BC-MSE : 7,22 objets).
• Latence : La méthode proposée a démontré une faible latence d'inférence (~16,76 ms), comparable ou plus rapide que les méthodes heuristiques, et nettement plus rapide que les temps d'entraînement requis pour les bases de RL pur dans la littérature associée.
• Stabilité et Qualité : L'analyse qualitative a montré que HERB produit des arrangements plus stables et plus proches de l'humain. L'inclusion de la récompense de stabilité (CS) a empêché les objets de basculer ou de se renverser, un mode de défaillance courant des heuristiques axées uniquement sur la compacité.
• Faisabilité Robotique : Le système a fonctionné avec succès sur un robot Baxter de manière zero-shot (sans ajustement sur des données réelles), gérant le bruit sensoriel du monde réel et la physique, bien que les auteurs notent une divergence entre la simulation et la réalité due au fossé sim-to-real.

Signification et Revendications
Le papier affirme que HERB comble l'écart critique entre l'optimisation géométrique et la faisabilité physique dans le bin-packing robotique. En découplant la tâche, les auteurs soutiennent que l'apprentissage à partir de démonstrations humaines pour la planification de séquence fournit les informations latentes nécessaires (fragilité, déformabilité, préférences) qui sont difficiles à modéliser explicitement. Simultanément, l'utilisation du RL pour le placement continu évite les limites de précision de l'apprentissage par imitation pur.

Les auteurs positionnent HERB non pas seulement comme une amélioration de performance, mais comme une étape vers des systèmes de manipulation conscients de l'humain. Ils soulignent que l'intégration de contraintes de stabilité et d'un ordonnancement de type humain conduit à des stratégies de colisage qui sont non seulement plus efficaces, mais aussi plus appropriées pour un déploiement dans le monde réel, où l'intégrité des objets et la sécurité sont primordiales. Le travail suggère que si le RL pur ou l'IL pur présentent des limitations dans ce domaine, leur combinaison offre une solution robuste, efficace et scalable pour l'emballage d'objets irréguliers.