iPack: Intuitive Bin Packing with Large Language Models

Resumen Técnico de iPack: Empaquetado Intuitivo con Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Si bien la robótica y la automatización han avanzado significativamente en la logística de almacenes, la tarea específica de empacar diversos artículos (como comestibles) en contenedores sigue siendo menos explorada en comparación con la recolección de objetos (bin picking). Los métodos actuales de empaquetado de contenedores se centran principalmente en optimizar la densidad de empaque y la estabilidad de los objetos dentro de entornos controlados donde las formas de los artículos son conocidas y están pre-empaquetadas. En escenarios de mundo abierto como el empaquetado de comestibles, el orden de empaquetado es crítico para la integridad del producto (por ejemplo, evitar que los artículos pesados aplasten a los frágiles o mantener los productos congelados alejados de artículos sensibles a la humedad). Definir reglas explícitas para estas restricciones es difícil debido a la gran variedad de objetos y la necesidad de razonamiento semántico. Los enfoques actuales suelen requerir la especificación manual de reglas o el entrenamiento en conjuntos de datos específicos, lo que limita su adaptabilidad a nuevos artículos o escenarios de vocabulario abierto.

Metodología
El artículo presenta iPack, un nuevo marco de trabajo que combina Modelos de Lenguaje Visual (VLM), Modelos de Lenguaje de Gran Escala (LLM) y Programación Lineal Entera Mixta (MILP) para automatizar el empaquetado de contenedores con restricciones semánticas similares a las humanas. El sistema opera en tres pasos distintos:

1. Paso de Percepción:

   • El sistema utiliza GroundingDINO para detectar objetos en una escena RGB-D y SAM 2 para generar máscaras de segmentación.
   • Para filtrar distractores (como la caja o la pinza del robot) y refinar la selección de objetos, se le proporciona un prompt a un VLM con numeración visual para identificar los artículos de la compra.
   • El VLM estima las propiedades de los objetos (peso, tamaño, pose). Para artículos estandarizados, aprovecha una búsqueda de agente en internet para recuperar dimensiones precisas; para artículos no estandarizados (por ejemplo, productos frescos), se basa en la apariencia visual.
   • El seguimiento de objetos se mantiene mediante el algoritmo húngaro, combinando la Intersección sobre Unión (IoU) de las máscaras y la distancia del centroide.

2. Paso de Planificación:

   • Se consulta a un LLM para generar un conjunto de pares de artículos críticos ($F$) que representan "restricciones de integridad del producto" (por ejemplo, "el Artículo $j$ no puede colocarse encima del Artículo $i$").
   • Estas restricciones, junto con las reglas de evitación de contacto (por ejemplo, productos congelados que no toquen el pan), se integran en un marco de Programación Lineal Entera Mixta (MILP) (resuelto mediante PySCIPOpt).
   • El optimizador calcula un esquema de empaquetado espacialmente óptimo que minimiza el volumen del contenedor (seleccionando la caja más pequeña adecuada de un conjunto) mientras satisface las restricciones de no solapamiento e integridad.
   • Para asegurar la viabilidad robótica, el planificador incorpora restricciones de manipulación: restringe las orientaciones de los objetos a poses estables, aplica un margen de colisión (padding) de 5 mm para las dimensiones de la pinza y el ruido de percepción, y minimiza la suma de las posiciones verticales ($z$) para asegurar un apilamiento estable.

3. Paso de Ejecución:

   • Un manipulador robótico ejecuta el plan recolectando y colocando los artículos en orden ascendente de sus posiciones $z$ (de abajo hacia arriba).
   • La pose de agarre se construye utilizando el Análisis de Componentes Principales (PCA) sobre las máscaras de segmentación proyectadas en la nube de puntos. La dirección de aproximación es vertical, y la pinza se alinea con el componente principal menor de la máscara.
   • El sistema utiliza un planificador de movimiento RRT estándar para las operaciones de recogida y colocación.

Contribuciones Clave

1. Empaquetado de Vocabulario Abierto: Un enfoque novedoso que optimiza el espacio de empaquetado bajo restricciones de integridad de producto generadas dinámicamente sin necesidad de reentrenamiento para nuevas clases de artículos.
2. Puntuación de Consistencia de Empaque ($C$): Una nueva métrica basada en datos y preferencias humanas para evaluar qué tan bien un esquema de empaquetado se adhiere a las reglas de apilamiento humanas. Esta métrica se derivó de una encuesta web que involucró a 84 participantes y 14 clases de objetos.
3. Evaluación Exhaustiva: Validación extensa tanto en simulación como en un robot real (Franka Research 3), demostrando la capacidad del sistema para manejar diversos artículos de compra y seleccionar tamaños de contenedor óptimos.
4. Código Abierto: Lanzamiento del código fuente, el stack de manipulación y el conjunto de datos de evaluación para facilitar la integración en escenarios personalizados.

Resultados Experimentales

• Sensibilidad del VLM: Los autores evaluaron cuatro VLMs (GPT-5, GPT-5-mini, Claude Sonnet 4.5, Gemini 3 Flash) para la generación de restricciones. GPT-5 produjo la mejor Puntuación de Consistencia de Empaque ($C=0.2$), indicando la mayor alineación con las preferencias humanas, mientras que Claude Sonnet 4.5 logró la mayor densidad de empaque pero con una puntuación de violación más alta ($C=1.6$).
• Comparación con Baselines: Comparado contra métodos offline (Elhedhli et al., Dube et al.) y un método online (GOPT), iPack logró el menor número de restricciones violadas ($C=0.2$) y una alta densidad de empaque ($0.445$). La versión vanilla de iPack (sin restricciones de integridad) logró una mayor densidad ($0.478$) pero significativamente más violaciones ($C=2.4$), resaltando el compromiso entre densidad y seguridad del producto.
• Rendimiento en el Mundo Real: En experimentos de extremo a extremo con 6 a 12 artículos, el sistema logró una tasa de éxito de manipulación del 92.6%. Los fallos se atribuyeron al ruido de RGB-D que afectó la estimación del agarre, colisiones de la pinza con las paredes del contenedor y errores de colocación que provocaron colisiones posteriores. La Puntuación de Consistencia de Empaque aumentó con el número de artículos, lo cual es consistente con la complejidad del problema de planificación.

Significancia y Reivindicaciones
El artículo afirma que iPack cierra la brecha entre el empaquetado de contenedores tradicional, centrado en la densidad, y los requisitos semánticos de la logística del mundo real. Al aprovechar el conocimiento de sentido común de los modelos VLM y LLM preentrenados, el sistema puede manejar objetos arbitrarios sin especificación manual de reglas ni recolección de datos de entrenamiento. Los autores enfatizan que su enfoque es zero-shot y de vocabulario abierto, lo que lo hace adaptable a diversos dominios de empaquetado y preferencias de usuario. Aunque reconocen limitaciones en la robustez de la manipulación (por ejemplo, deslizamientos, colisiones con paredes), el trabajo demuestra que las restricciones semánticas pueden integrarse con éxito en marcos de optimización para preservar la integridad del producto en el empaquetado automatizado de comestibles. Se sugiere como trabajo futuro la incorporación de modelos de visión-lenguaje-acción para manejar comportamientos ricos en contacto, como el empuje para la corrección de errores.