Learning 3D Affordances for Blade Insertion in Cluttered Stowing

Résumé Technique : Apprentissage des Affordances 3D pour l'Insertion de Lames dans le Rangement en Milieu Encombré

Énoncé du Problème
Le rangement robotique implique l'insertion d'une lame rigide dans des bacs de tissus densément encombrés afin de balayer les objets et de créer de l'espace. Cette tâche nécessite de raisonner sur les affordances d'espace libre : identifier les volumes d'espace 3D où un outil peut naviguer en toute sécurité sans entrer en collision avec la géométrie environnante. Contrairement aux affordances de contact de surface (où un outil touche un objet), les affordances d'espace libre dépendent du volume navigable contraint par les parois du bac et les objets occultés.

Les approches standard traitent cela comme un problème de régression ou de génération sur des poses SE(3) (placements d'outils à 6 degrés de liberté). Cependant, les données de production sont intrinsèquement unimodales : pour une configuration de bac donnée, le système n'exécute qu'une seule stratégie, même si plusieurs chemins d'insertion géométriquement valides existent. L'entraînement de modèles génératifs (ex. : flow matching) sur ces données de poses unimodales provoque un effondrement vers un mode unique, échouant ainsi à récupérer la diversité des solutions géométriques valides. De plus, le raisonnement dans l'espace des poses déplace l'inférence hors du domaine où la faisabilité géométrique est naturellement définie (l'occupation 3D), ce qui rend difficile la détermination de la possibilité physique de placements non observés.

Méthodologie : VulcanVoxel
Les auteurs proposent VulcanVoxel, un cadre qui maintient l'inférence dans le domaine spatial plutôt que de la projeter dans l'espace des poses. L'hypothèse centrale est que les affordances de lame sont des objets spatiaux (sous-ensembles de l'espace 3D) et doivent être inférées comme tels.

1. Représentation : Le système reconstruit la scène à partir d'une seule image RGB-D en une grille d'occupation 3D multicanale ($32^3$ voxels). Les canaux encodent :
   • L'occupation combinée des parois et des objets ($O_{occupy}$).
   • L'occupation des objets uniquement ($O_{object}$).
   • L'occupation de la lame de vérité terrain ($O_{blade}$).
2. Architecture : VulcanVoxel utilise un Autoencodeur Masqué (MAE) 3D U-Net.
   • Objectif d'entraînement : Au lieu de prédire une distribution de poses, le modèle est entraîé pour reconstruire le canal d'occupation de la lame masqué, conditionné par la géométrie de la scène observée.
   • Masquage de canaux : Pendant l'entraînement, des combinaisons aléatoires des trois canaux sont masquées. Cela force le modèle à apprendre les relations géométriques inter-canaux (ex. : inférer où une lame s'insère compte tenu de la position des parois et des objets) plutôt que de mémoriser des schémas d'exécution.
   • Fonction de perte : En raison de la parcimonie des voxels de la lame, le modèle utilise une combinaison de Focal Loss et de Dice Loss pour gérer le déséquilibre des classes et imposer la cohérence de la forme.
3. Pipeline d'inférence :
   • Le modèle produit un champ de probabilité 3D de l'occupation valide de la lame.
   • Extraction de poses : Les composantes connexes valides dans le champ d'occupation sont identifiées. Des poses SE(3) candidates sont énumérées autour de ces composantes et scorées selon le chevauchement volumétrique avec le champ prédit. Cela diffère l'extraction de pose à une étape post-hoc, garantissant que le raisonnement spatial se produit d'abord.
4. Distillation : Pour traiter la latence d'inférence (le modèle voxel-à-voxel prend ~2,3s), un étudiant distillé est entraîné pour prédire l'occupation de la lame directement à partir d'images RGB en ~30ms. Cet étudiant utilise un encodeur ViT et un décodeur 3D, élevant les caractéristiques 2D en 3D via des contraintes géométriques dérivées de la calibration de la caméra.

Contributions Clés

1. Inférence Spatiale pour les Affordances d'Espace Libre : L'article démontre que représenter les affordances sous forme de champs d'occupation 3D, plutôt que sous forme de distributions de poses SE(3), permet aux modèles de récupérer des prédictions multimodales à partir de données de production unimodales.
2. Analyse de Représentation : À travers une ablation systématique (comparaison des modalités d'entrée, des représentations de sortie et des objectifs d'entraînement), les auteurs montrent que :
   • Opérer dans le domaine spatial est nécessaire mais non suffisant.
   • L'objectif de reconstruction (apprendre ce qui est géométriquement cohérent) est le facteur critique qui permet la multimodalité, distinguant VulcanVoxel des bases de flow-matching opérant dans le même domaine spatial.
3. Généralisation aux Échecs : Le modèle peut identifier des volumes d'espace libre géométriquement valides même dans des configurations de bacs où le système de production a échoué, transformant ainsi les épisodes d'échec en signaux d'entraînement informatifs.
4. Dataset StowAffordance : La publication d'un ensemble de données à grande échelle contenant plus de 10 000 cycles d'insertion de lame réels avec des observations RGB-D, des trajectoires SE(3) et des étiquettes de résultat.

Résultats
Évalué sur 1 000 épisodes de test réels (juillet 2025) et des ensembles temporels/à forte densité supplémentaires :

• Couverture : VulcanVoxel atteint une Couverture Top-5 (Cov5) de 0,89, surpassant nettement la meilleure base de pose (Voxel FM Pose) qui est à 0,71. Cela signifie que dans 89 % des scènes, au moins une des cinq poses prédites est géométriquement valide.
• Multimodalité : VulcanVoxel prédit en moyenne 2,7 modes distincts par scène avec un écart spatial ($\sigma$) de 8,4 cm. En revanche, les bases de flow-matching s'effondrent vers des modes uniques ($N_m \approx 1,0$) ou produisent un étalement géométriquement incohérent.
• Précision : Bien que le coût d'une prédiction unique de VulcanVoxel soit légèrement plus élevé que celui de la meilleure base de pose (0,81 contre 0,60), il égale la performance de production en termes de précision de prédiction unique tout en offrant une diversité nettement supérieure.
• Distillation : Le modèle étudiant RGB atteint une inférence de 30ms (accélération de 46x) tout en récupérant environ 65 % de la qualité de prédiction de l'enseignant et en maintenant une multimodalité partielle.
• Généralisation des Échecs : Sur les cycles d'échec de production, VulcanVoxel maintient une couverture élevée (>0,80), suggérant que de nombreux échecs de production proviennent de problèmes d'exécution ou de retour de force plutôt que d'erreurs perceptuelles.

Signification et Revendications
L'article soutient que les affordances d'outils sont des objets spatiaux, et que l'inférence dans l'espace des poses SE(3) rejette la structure géométrique essentielle au raisonnement de faisabilité. En maintenant l'inférence dans le domaine 3D natif et en utilisant un objectif de reconstruction, le modèle apprend "où les lames s'insèrent" comme une condition géométrique locale plutôt que "où les lames ont été insérées" comme une distribution globale.

Les auteurs affirment que cette approche est une solution canonique pour l'apprentissage des affordances d'espace libre dans la manipulation d'outils rigides. Ils postulent que ce principe s'étend au-delà du rangement à tout domaine de manipulation où la compatibilité géométrique est la contrainte primaire, suggérant que l'inférence spatiale devrait être l'approche par défaut lorsque les données de production sont abondantes, même si ces données sont unimodales. Ce travail souligne que le goulot d'étranglement dans de telles tâches est souvent le domaine d'inférence (pose vs espace) et l'objectif d'entraînement (génératif vs reconstruction), plutôt que la capacité du modèle ou l'échelle des données.