From Pixels to Shelf: An Integrated Robotic System for Autonomous Supermarket Stocking with a Mobile Manipulator

Resumen Técnico: De los Píxeles al Estante

Planteamiento del Problema
El abastecimiento autónomo en entornos minoristas, particularmente en supermercados, enfrenta obstáculos significativos debido a las interacciones humanas dinámicas, los espacios restringidos y la diversidad geométrica de los productos. Aunque los Robots Móviles Autónomos (AMR) han tenido éxito en almacenes estructurados, su adopción en el sector minorista sigue limitada por los altos costos, la complejidad técnica y la dificultad de la navegación y manipulación de "último metro" en espacios compartidos con humanos. Las soluciones existentes suelen depender de hardware de alta gama, carecen de capacidades de manipulación completas o se centran en submódulos (por ejemplo, escaneo de inventario) en lugar de canales de abastecimiento completos de extremo a extremo.

Metodología
Los autores proponen un sistema robótico integrado y rentable diseñado para el despliegue comercial utilizando hardware comercial estándar y una arquitectura de software escalable basada en ROS2.

• Plataforma de Hardware: El sistema utiliza el Hello Robot Stretch 3, un manipulador móvil con una base de tracción diferencial, un brazo telescópico y una muñeca de 3 grados de libertad (DoF). Está alimentado por un Intel NUC para la planificación local y una estación de trabajo externa (Intel i9, NVIDIA RTX 4090) para tareas pesadas de percepción.
• Arquitectura de Planificación: La gestión de tareas de alto nivel se realiza mediante un marco de Árbol de Comportamiento (BT). El BT gestiona la toma de decisiones reactiva, incluyendo el acoplamiento, la carga y la ejecución de tareas (recogida y colocación). Las tareas se generan a través de una aplicación web y se transmiten al robot vía MQTT.
• Navegación y Localización:
  • Navegación Global: Utiliza el marco Nav2 con un controlador de Integral de Camino Predictivo de Modelo (MPPI) y una Capa de Vóxel Espacio-Temporal (STVL) para detectar obstáculos invisibles para el LiDAR (por ejemplo, objetos elevados).
  • Navegación de "Último Metro": Para superar las limitaciones de rango mínimo del LiDAR cerca de los estantes, el sistema emplea marcadores ArUco colocados en los portafiquetas de los estantes. Un Filtro de Kalman (KF) de 14 estados fusiona los datos de los marcadores visuales para una estimación robusta de la pose.
  • Control: Un marco de Control Predictivo de Modelo (MPC) de dos pasos coordina la base y el cabezal de la cámara. El primer paso optimiza el movimiento de la base para alcanzar el estante, mientras que el segundo optimiza el movimiento del cabezal de la cámara para mantener el marcador en el campo de visión y asegurar trayectorias de aproximación suaves.
• Pipeline de Percepción:
  • Detección de Objetos: Utiliza modelos YOLO11n-cls ajustados para la identificación de productos de abarrotes. Para productos sin modelos específicos, el sistema intenta utilizar GPT-4o con imágenes de referencia, aunque esto se señala como menos eficiente.
  • Segmentación y Seguimiento: Emplea SAM2 (Segment Anything Model 2) para la segmentación de la escena y el seguimiento de objetos basado en video para aislar los productos objetivo.
  • Manipulación: El proceso de recogida implica la generación de nubes de puntos a partir de datos RGB-D, el cálculo de cajas delimitadoras basadas en las dimensiones conocidas del producto y el uso de un controlador de brazo basado en velocidad. El proceso de colocación consulta un planograma para determinar las posiciones en el estante, utiliza el KF para una localización precisa y emplea un controlador de Cinemática Inversa (IK) para la colocación, con detección de contacto para asegurar una liberación suave.

Contribuciones Clave

1. Integración del Sistema: El artículo presenta un canal de ROS2 totalmente integrado y desplegable que combina hardware comercial con percepción avanzada (YOLO, SAM2), planificación (BTs) y control (MPC, KF) específicamente adaptado para el abastecimiento minorista.
2. Solución de "Último Metro" Rentable: Los autores demuestran una estrategia de navegación y manipulación robusta utilizando marcadores ArUco de bajo costo y un MPC de dos pasos, logrando una alta fiabilidad sin requerir conjuntos de sensores costosos y de alta gama.
3. Validación Exhaustiva: El trabajo incluye experimentos de laboratorio extensos que replican escenarios de abastecimiento nocturno, proporcionando un benchmark cuantitativo frente a la teleoperación y trabajadores humanos, y descomponiendo las brechas de rendimiento en limitaciones de hardware y software.
4. Código Abierto: Los módulos clave, incluyendo el simulador y los paquetes de ROS2, se liberan como código abierto para facilitar la investigación futura.

Resultados Experimentales
El sistema fue evaluado en un entorno de supermercado simulado durante 70 tareas de abastecimiento que involucraron 724 operaciones individuales de recogida y colocación.

• Tasas de Éxito: El sistema logró una tasa de éxito a nivel de objeto superior al 98% y una tasa de éxito a nivel de tarea superior al 87%. La mayoría de los fallos ocurrieron durante la etapa de recogida debido a errores de clasificación o latencia de red, mientras que la colocación fue altamente fiable.
• Rendimiento de la Percepción: Los modelos YOLO ajustados superaron significativamente a GPT-4o tanto en precisión (97.5% vs. 84.7%) como en tiempo de inferencia (0.2s vs. 6.9s).
• Rendimiento vs. Humanos: El sistema autónomo fue aproximadamente 10 veces más lento que los trabajadores humanos. Sin embargo, fue significativamente más rápido y rentable que la teleoperación.
• Análisis de Costos: Aunque el sistema autónomo es actualmente menos eficiente que la mano de obra humana, ofrece ventajas económicas mediante la operación nocturna sin costos laborales incrementales. Los autores estiman que ~80% de la brecha de rendimiento respecto a los humanos se atribuye a restricciones de hardware (por ejemplo, tamaño de la pinza, velocidad), mientras que ~20% se debe a limitaciones de software.

Significancia y Reivindicaciones
El artículo afirma demostrar la viabilidad práctica del abastecimiento autónomo en entornos minoristas utilizando hardware asequible y comercialmente disponible. Destaca que, si bien los sistemas autónomos actuales aún no están listos para reemplazar totalmente a los trabajadores humanos debido a las brechas de velocidad y rentabilidad, la integración de algoritmos modulares de percepción y control ha logrado una alta fiabilidad (98% de éxito) en tareas complejas y no estructuradas. El trabajo sirve como una línea base para mejoras futuras, identificando las capacidades del hardware como el principal cuello de botella para alcanzar la eficiencia de nivel humano en la automatización minorista. Los autores declaran explícitamente que el despliegue comercial generalizado requiere más progresos tanto en la velocidad del hardware como en la optimización del software.