Learning 3D Affordances for Blade Insertion in Cluttered Stowing

Resumen Técnico: Aprendizaje de Asequibilidades 3D para la Inserción de Cuchillas en Almacenamiento con Desorden

Planteamiento del Problema
El almacenamiento robótico implica insertar una cuchilla rígida en contenedores de tela densamente desordenados para apartar objetos y crear espacio. Esta tarea requiere razonar sobre las asequibilidades de espacio libre (free-space affordances): identificar volúmenes de espacio 3D donde una herramienta puede navegar de forma segura sin colisionar con la geometría circundante. A diferencia de las asequibilidades de contacto superficial (donde una herramienta toca un objeto), las asequibilidades de espacio libre dependen del volumen navegable restringido por las paredes del contenedor y los objetos ocluidos.

Los enfoques estándar tratan esto como un problema de regresión o generativo sobre poses SE(3) (posiciones de la herramienta en 6 DoF). Sin embargo, los datos de producción son inherentemente unimodales: para cualquier configuración dada del contenedor, el sistema ejecuta una única estrategia, a pesar de que existen múltiples trayectorias de inserción geométricamente válidas. Entrenar modelos generativos (por ejemplo, flow matching) en estos datos de poses unimodales provoca que colapsen hacia un único modo, fallando al recuperar el conjunto diverso de soluciones geométricas válidas. Además, razonar en el espacio de poses desplaza la inferencia fuera del dominio donde la viabilidad geométrica se define naturalmente (ocupación 3D), lo que dificulta determinar si las colocaciones no observadas son físicamente posibles.

Metodología: VulcanVoxel
Los autores proponen VulcanVoxel, un marco de trabajo que mantiene la inferencia en el dominio espacial en lugar de proyectarla al espacio de poses. La hipótesis central es que las asequibilidades de la cuchilla son objetos espaciales (subconjuntos del espacio 3D) y deben inferirse como tales.

1. Representación: El sistema reconstruye la escena a partir de un único cuadro RGB-D en una rejilla de ocupación 3D multicanal ($32^3$ vóxeles). Los canales codifican:
   • Ocupación combinada de paredes y objetos ($O_{occupy}$).
   • Ocupación de solo objetos ($O_{object}$).
   • Ocupación de la cuchilla de verdad de campo (ground-truth) ($O_{blade}$).
2. Arquitectura: VulcanVoxel emplea un Autoencoder de Máscara de U-Net 3D (MAE).
   • Objetivo de entrenamiento: En lugar de predecir una distribución de poses, el modelo se entrena para reconstruir el canal de ocupación de la cuchilla condicionado a la geometría observada de la escena.
   • Enmascaramiento de canales: Durante el entrenamiento, se enmascaran combinaciones aleatorias de los tres canales. Esto obliga al modelo a aprender relaciones geométricas inter-canales (por ejemplo, inferir dónde encaja una cuchilla dado el posicionamiento de las paredes y los objetos) en lugar de memorizar patrones de ejecución.
   • Función de pérdida: Debido a la escasez de los vóxeles de la cuchilla, el modelo utiliza una combinación de Pérdida Focal (Focal Loss) y Pérdida Dice (Dice Loss) para manejar el desequilibrio de clases y asegurar la coherencia de la forma.
3. Pipeline de Inferencia:
   • El modelo genera un campo de probabilidad 3D de la ocupación válida de la cuchilla.
   • Extracción de poses: Se identifican los componentes conectados válidos en el campo de ocupación. Se enumeran candidatas poses SE(3) alrededor de estos componentes y se califican según su solapamiento volumétrico con el campo predicho. Esto difiere la extracción de poses a un paso post-hoc, asegurando que el razonamiento espacial ocurra primero.
4. Destilación: Para abordar la latencia de inferencia (el modelo de vóxel a vóxel tarda ~2.3s), se entrena un estudiante destilado para predecir la ocupación de la cuchilla directamente desde imágenes RGB en ~30ms. Este estudiante utiliza un codificador ViT y un decodificador 3D, elevando las características 2D a 3D mediante restricciones geométricas derivadas de la calibración de la cámara.

Contribuciones Clave

1. Inferencia Espacial para Asequibilidades de Espacio Libre: El artículo demuestra que representar las asequibilidades como campos de ocupación 3D, en lugar de distribuciones de poses SE(3), permite a los modelos recuperar predicciones multimodales a partir de datos de producción unimodales.
2. Análisis de Representación: A través de una ablación sistemática (comparando modalidades de entrada, representaciones de salida y objetivos de entrenamiento), los autores muestran que:
   • Operar en el dominio espacial es necesario pero no suficiente.
   • El objetivo de reconstrucción (aprender qué es geométricamente consistente) es el factor crítico que permite la multimodalidad, distinguiendo a VulcanVoxel de las líneas base de flow-matching que operan en el mismo dominio espacial.
3. Generalización a Fallos: El modelo puede identificar volúmenes de espacio libre geométricamente válidos incluso en configuraciones de contenedores donde el sistema de producción falló, convirtiendo eficazmente los episodios de fallo en señales de entrenamiento informativas.
4. Dataset StowAffordance: El lanzamiento de un conjunto de datos a gran escala que contiene más de 10,000 ciclos reales de inserción de cuchilla con observaciones RGB-D, trayectorias SE(3) y etiquetas de resultado.

Resultados
Evaluado en 1,000 episodios reales de prueba (julio de 2025) y conjuntos adicionales de series temporales y alta densidad de desorden:

• Cobertura: VulcanVoxel logra una Cobertura Top-5 (Cov5) de 0.89, superando significativamente a la mejor línea base basada en poses (Voxel FM Pose) con 0.71. Esto significa que en el 89% de las escenas, al menos una de las cinco poses predichas es geométricamente válida.
• Multimodalidad: VulcanVolo predice un promedio de 2.7 modos distintos por escena con una dispersión espacial ($\sigma$) de 8.4 cm. En contraste, las líneas base de flow-matching colapsan a modos únicos ($N_m \approx 1.0$) o producen una dispersión geométricamente incoherente.
• Precisión: Aunque el costo de una sola predicción de VulcanVoxel es ligeramente superior al de la mejor línea base basada en poses (0.81 vs. 0.60), iguala el rendimiento de producción en precisión de una sola predicción mientras ofrece una diversidad muy superior.
• Destilación: El modelo estudiante RGB logra una inferencia de 30ms (una aceleración de 46x) mientras recupera aproximadamente el 65% de la calidad de predicción del profesor y mantiene una multimodalidad parcial.
• Generalización de Fallos: En los ciclos de fallo de producción, VulcanVoxel mantiene una alta cobertura (>0.80), lo que sugiere que muchos fallos de producción derivan de problemas de ejecución o de retroalimentación de fuerza, más que de errores perceptuales.

Significado y Reivindicaciones
El artículo argumenta que las asequibilidades de herramientas son objetos espaciales, e inferirlas en el espacio de poses SE(3) descarta la estructura geométrica esencial para el razonamiento de viabilidad. Al mantener la inferencia en el dominio nativo 3D y utilizar un objetivo de reconstrucción, el modelo aprende "dónde encajan las cuchillas" como una condición geométrica local, en lugar de "dónde se insertaron las cuchillas" como una distribución global.

Los autores afirman que este enfoque es una solución canónica para el aprendizaje de asequibilidad de espacio libre en la manipulación de herramientas rígidas. Postulan que este principio se extiende más allá del almacenamiento a cualquier dominio de manipulación donde la compatibilidad geométrica sea la restricción primaria, sugiriendo que la inferencia espacial debería ser el enfoque por defecto cuando los datos de producción son abundantes, incluso si estos son unimodales. El trabajo destaca que el cuello de botella en tales tareas suele ser el dominio de la inferencia (pose vs. espacio) y el objetivo de entrenamiento (generativo vs. reconstrucción), más que la capacidad del modelo o la escala de los datos.