HERB: Human-augmented Efficient Reinforcement learning for Bin-packing

Resumen Técnico: HERB – Aprendizaje por Refuerzo Eficiente con Aumento Humano para el Embalaje de Objetos

Planteamiento del Problema
El embalaje eficiente de objetos 3D irregulares (por ejemplo, artículos domésticos o de supermercado) es un desafío fundamental en la logística y la robótica. Aunque el problema del embalaje de contenedores (bin-packing) está bien estudiado, las soluciones de forma cerrada son inviables para formas irregulares arbitrarias. Los enfoques existentes suelen depender de reglas heurísticas o de Aprendizaje por Refuerzo (RL) libre de modelos. Sin embargo, estos métodos enfrentan limitaciones significativas:

• Heurísticas: A menudo se centran únicamente en la optimación geométrica, lo que genera tiempos de inferencia prolongados debido a búsquedas exhaustivas en espacios discretizados. Con frecuencia ignoran restricciones físicas como la fragilidad, la deformabilidad y las preferencias humanas, lo que resulta en soluciones físicamente inestables o poco prácticas para el despliegue robótico en el mundo real.
• RL Puro: Aunque son métodos basados en datos, los métodos de RL puro requieren tiempos de entrenamiento extensos y dependen de la discretización del espacio de acciones, lo que restringe la generalización y limita la capacidad de modelar factores latentes complejos inherentes a las estrategias de embalaje humano.
• Aprendizaje por Imitación (IL): Los enfoques estándar de IL (por ejemplo, el Clonación de Comportamiento o Behavioral Cloning) luchan contra la naturaleza multimodal del embalaje. Un único estado (configuración de la caja + objeto) puede tener múltiples acciones de colocación válidas, lo que causa que las pérdidas de regresión estándar (como MSE) produzcan predicciones "promediadas" y físicamente inválidas (por ejemplo, colocar un objeto en una ubicación que provoca que se vuelque).

Metodología: El Marco de Trabajo HERB
Los autores proponen HERB (Human-augmented Efficient RL), un marco híbrido que descompone la tarea de embalaje en dos subtareas: Planificación de Secuencias y Predicción de Colocación.

1. Planificación de Secuencias similar a la Humana:
   En lugar de aprender el orden de los objetos mediante RL o muestreo aleatorio, HERB utiliza una Cadena de Markov estática reconstruida a partir de un conjunto de datos de demostraciones de embalaje humano (BoxED). Un algoritmo de búsqueda Beam-3 modificado muestrea los siguientes tres objetos a embalar basándose en las probabilidades de transición por pares observadas en los datos humanos. Esto captura las preferencias implícitas humanas respecto a la categoría del objeto, la estabilidad y la compatibilidad sin un modelado explícito.

2. Predicción de Colocación mediante RL:
   La acción continua y de alta dimensión de colocar un objeto (específicamente la posición $x, y$ y la rotación planar $\theta$) se aprende mediante Soft Actor-Critic (SAC), un algoritmo de RL off-policy robusto.

   • Espacio de Observación: El estado se representa mediante un mapa de altura (heightmap) del contenido actual de la caja, aumentado con una proyección cenital del siguiente objeto a ser embalado.
   • Espacio de Acción: El agente predice $x, y$ y $\theta$. La coordenada vertical $z$ se estima de forma determinista a partir del mapa de altura y el modelo del objeto para reducir la dimensionalidad del espacio de acciones.
   • Función de Recompensa: Los autores evalúan tres estructuras de recompensa:
     • Simple: Recompensa binaria por colocación exitosa.
     • Compacidad (C): Recompensa la relación entre el volumen acumulado de los objetos embalados y el volumen de la caja delimitadora mínima.
     • Compacidad + Estabilidad (CS): Una combinación ponderada ($\alpha C + (1-\alpha)S$) donde $S$ es una recompensa binaria por mantener la estabilidad (definida como no volcar más allá de 10°).

3. Comparación con IL Puro:
   El artículo compara HERB con dos modelos de IL puro:

   • BC-MSE: Un modelo de Clonación de Comportamiento estándar que minimiza el Error Cuadrático Medio, el cual falla al no capturar distribuciones multimodales.
   • BC-MDN: Una Red de Mezcla de Densidad que intenta modelar salidas multimodales, la cual los autores encuentran que carece de la precisión requerida para tareas de colocación continua, lo que genera errores compuestos.

Contribuciones Clave

• Arquitectura Híbrida: La introducción de HERB, que integra la predicción de secuencias de tipo humano (vía Beam-3) con el RL continuo para la colocación. Este enfoque aprovecha el conocimiento latente humano para el ordenamiento mientras utiliza RL para refinar la colocación continua precisa.
• Superioridad de Rendimiento: HERB supera a las heurísticas de vanguardia (PackIt), al RL puro y a los enfoques de IL puro en términos de eficiencia de embalaje (número de objetos embalados), tasa de éxito y latencia de inferencia.
• Conjunto de Datos y Entorno: El desarrollo de un entorno de simulación ligero basado en PyBullet y un conjunto de datos correspondiente de demostraciones de embalaje humano, diseñado para facilitar el entrenamiento y la evaluación eficientes.
• Validación en el Mundo Real: Implementación de un flujo de trabajo robótico completo utilizando un robot Baxter®, demostrando la viabilidad del método en escenarios físicos con entradas de cámara de profundidad reales (Intel RealSense L515).

Resultados Experimentales

• Eficiencia: HERB logró una tasa de éxito del 87.83% (con CS0.9) y embaló un promedio de 87.83 objetos por episodio, superando significativamente a la heurística PackIt SO(2) (82.50 objetos) y superando ampliamente a los modelos de IL (BC-MSE: 7.22 objetos).
• Latencia: El método propuesto demostró una baja latencia de inferencia (~16.76 ms), comparable o incluso más rápida que los métodos heurísticos, y significativamente más rápida que los tiempos de entrenamiento requeridos para los modelos base de RL puro en la literatura relacionada.
• Estabilidad y Calidad: El análisis cualitativo mostró que HERB produce arreglos más estables y similares a los humanos. La inclusión de la recompensa de estabilidad (CS) evitó que los objetos se volcaran o derramaran, un modo de fallo común en las heurísticas impulsadas puramente por la compacidad.
• Viabilidad Robótica: El sistema operó con éxito en un robot Baxter de manera zero-shot (sin ajuste fino en datos del mundo real), manejando el ruido sensorial del mundo real y la física, aunque los autores señalan una divergencia entre la simulación y la realidad debido a la brecha sim-to-real.

Significancia y Reivindicaciones
El artículo afirma que HERB aborda la brecha crítica entre la optimización geométrica y la viabilidad física en el embalaje de objetos robótico. Al desacoplar la tarea, los autores argumentan que aprender de las demostraciones humanas para la planificación de secuencias proporciona la información latente necesaria (fragilidad, deformabilidad, preferencias) que es difícil de modelar explícitamente. Simultáneamente, el uso de RL para la colocación continua evita las limitaciones de precisión del aprendizaje por imitación puro.

Los autores posicionan a HERB no solo como una mejora de rendimiento, sino como un paso hacia los sistemas de manipulación conscientes del humano. Enfatizan que la incorporación de restricciones de estabilidad y un ordenamiento similar al humano conduce a estrategias de embalaje que no solo son más eficientes, sino también más apropiadas para el despliegue en el mundo real, donde la integridad de los objetos y la seguridad son primordiales. El trabajo sugiere que, mientras que el RL puro o el IL puro tienen limitaciones en este dominio, su combinación ofrece una solución robusta, eficiente y escalable para el embalaje de objetos irregulares.