Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

Resumen Técnico: Prompting Visual para la Manipulación Robótica con Pick-and-Place Guiado por Anotaciones mediante ACT

Planteamiento del Problema
Las tareas robóticas de pick-and-place (recogida y colocación) en entornos de tiendas de conveniencia enfrentan obstáculos significativos debido a las disposiciones densas de objetos, las oclusiones frecuentes y la alta variabilidad en las propiedades de los objetos (color, forma, tamaño, textura). Los enfoques tradicionales que dependen de heurísticas predefinidas, entornos estructurados o una segmentación exhaustiva de la escena a menudo carecen de la adaptabilidad necesaria para artículos novedosos y diseños dinámicos. Además, la planificación convencional paso a paso puede ser propensa a errores en tareas de largo horizonte, lo que conduce a la acumulación de errores y al fallo.

Metodología
Los autores proponen un pipeline de percepción-acción que combina el prompting visual guiado por anotaciones con Action Chunking with Transformers (ACT), un algoritmo de aprendizaje por imitación.

• Prompting Visual: En lugar de requerir que el robot realice un análisis de escena complejo y exhaustivo, el sistema utiliza anotaciones de cajas delimitadoras (bounding boxes) para proporcionar una guía espacial estructurada. Estas anotaciones identifican explícitamente el objeto objetivo para la recogida y el destino para la colocación. El sistema emplea dos cámaras Intel RealSense (una D435i en la muñeca y una D415 en la mesa) para capturar datos RGB y de profundidad. Las imágenes RGB, aumentadas con prompts visuales (cajas delimitadoras), sirven como entradas directas a la red neuronal.
• Action Chunking with Transformers (ACT): El algoritmo de control central es ACT, que reemplaza la planificación rígida paso a paso por la predicción de secuencias de acciones "fragmentadas" (chunked).
  • Arquitectura: El modelo utiliza una arquitectura basada en Transformers. Un codificador CVAE procesa los datos de demostración humana (acciones y observaciones sin imágenes) para generar una variable latente ($z$). Un decodificador Transformer predice entonces una secuencia de acciones futuras (un "chunk") basándose en el estado actual, la variable latente y la entrada visual (imagen RGB con cajas delimitadoras).
  • Entrenamiento: El sistema se entrena mediante aprendizaje por imitación utilizando demostraciones humanas recolectadas mediante teleoperación (mouse 3D). El objetivo de entrenamiento minimiza el error de reconstrucción entre los chunks de acción predichos y los reales, regularizado por un término de divergencia KL.
• Configuración Experimental: El sistema se implementó en un brazo Universal Robots UR5e equipado con una pinza de dos dedos Robotiq. Los experimentos se realizaron en un entorno de tienda de conveniencia simulado y real utilizando seis categorías de productos distintos (por ejemplo, cuencos de fideos, cajas de chocolate, botellas de té) que representan diversas formas, texturas y materiales.

Contribuciones Clave

1. Prompting Visual Guiado por Anotaciones: La introducción del prompting visual basado en cajas delimitadoras para guiar la manipulación robótica. Este enfoque reduce la complejidad de la comprensión de la escena al tiempo que asegura la ejecución de la tarea al proporcionar pistas espaciales ligeras y efectivas.
2. Sistema Adaptativo Basado en ACT: La implementación de ACT para permitir que el brazo robótico ejecute secuencias de acciones suaves y fragmentadas derivadas de demostraciones humanas, en lugar de depender de una planificación incremental y rígida.
3. Marco de Evaluación Sistemático: Un análisis experimental estructurado a través de tres niveles progresivos de complejidad de la tarea (escenarios Simple, Complejo y Más Complejo) para evaluar cómo el prompting visual y la diversidad de objetos influyen en el rendimiento robótico.

Resultados
El sistema fue evaluado en tres escenarios que involucran disposiciones de 3x3 de productos:

• Escenario Simple: Nueve cajas similares con un objetivo anotado. El sistema logró una tasa de éxito del 90%, demostrando fiabilidad en entornos uniformes.
• Escenario Complejo: Nueve productos diversos con un objetivo anotado. Las tasas de éxito iniciales descendieron al 70% debido a las variaciones en las propiedades de los objetos (reflectividad, deslizamiento). Tras aumentar los datos de demostración en un 20% específicamente para los casos de fallo, el rendimiento del sistema mejoró significamente, alcanzando una tasa de éxito del 100% en todas las categorías de objetos en este escenario.
• Escenario Más Complejo: Nueve productos diversos en posiciones variables con tanto la ubicación de recogida como la de colocación anotadas. El éxito inicial fue del 70%. Debido al aumento de la dificultad, los investigadores recolectaron el doble de cantidad de datos anotados por humanos para cada producto. Tras este incremento de datos, el rendimiento mejoró, aunque algunas categorías de objetos específicas (por ejemplo, botellas de té reflectantes, frascos resbaladizos) siguieron mostrando tasas de éxito más bajas (80%) en comparación con las cajas rígidas (90%).

Análisis de Fallos
El estudio identificó modos de fallo específicos, incluyendo el desalineamiento de los dedos, la fuerza de agarre débil que provoca deslizamientos (particularmente en superficies resbaladizas) y el desalineamiento en la colocación. Los mapas de calor de atención revelaron que el modelo ACT desplaza con éxito su enfoque desde la ubicación de recogida hacia la ubicación de colocación, adaptando su estrategia basándose en los prompts visuales. Sin embargo, los objetos con superficies reflectantes o texturas blandas presentaron desafíos persistentes, provocando desalineamientos y fallos de agarre.

Significancia y Reivindicaciones
El artículo sostiene que la combinación de prompting visual con el fragmentado de acciones (action chunking) permite a los robots interpretar y actuar eficientemente sobre anotaciones mínimas pero informativas para tareas de manipulación en el mundo real. El método propuesto representa un paso adelante en la creación de sistemas robóticos adaptables capaces de manejar variaciones complejas de objetos con una mejor autonomía y robustez.

Los autores mantienen una postura modesta respecto a las limitaciones de su trabajo. Reconocen explícitamente que el sistema es exigente en cuanto a datos, dependiendo fuertemente de datos de demostración humana diversos y de alta calidad. Por consiguiente, el artículo no pretende una generalización universal sin suficientes datos de entrenamiento. El trabajo futuro se identifica centrado en la aumentación de datos para expandir artificialmente los conjuntos de datos, en lugar de reclamar soluciones inmediatas a la escasez de datos. El estudio concluye que, si bien el enfoque mejora la estabilidad del agarre y la precisión de la colocación, su efectividad sigue ligada a la calidad y cantidad de las demostraciones de entrenamiento.