Representation Handoffs for OpenArm-Based Laboratory Mobile Manipulation

Resumen Técnico: Transferencias de Representación para la Manipulación Móvil de Laboratorio Basada en OpenArm

Planteamiento del Problema
Si bien los modelos fundacionales y la robótica de código abierto han reducido las barreras para construir prototipos de IA incorporada (embodied AI), traducir estos prototipos en sistemas de ejecución de tareas fiables y seguros para la automatización de laboratorios sigue siendo un desafío. Específicamente, la manipulación de laboratorio guiada por lenguaje requiere una alineación robusta entre las instrucciones en lenguaje natural, las observaciones sensoriales y las acciones físicas seguras. La dificultad central no radica meramente en representar la escena, sino en determinar qué representaciones son accionables por un robot real. Pasar directamente las salidas de un Modelo de Lenguaje Grande (LLM) al control del robot es inseguro, y depender únicamente de las poses 6D de los objetos es insuficiente; las acciones requieren contexto sobre los roles de los objetos, contratos de habilidades, marcos de referencia, parámetros geométricos y límites de seguridad.

Metodología
Los autores presentan un prototipo de manipulación móvil basado en OpenArm diseñado para tareas de tipo laboratorio. El sistema integra dos manipuladores OpenArm, un deslizador vertical, una base móvil, sensores RGB-D y mapeo basado en lidar, todo orquestado mediante ROS2 y MoveIt.

El sistema se articula en torno a transferencias de representación (representation handoffs), tratando las estructuras de datos intermedias como interfaces explícitas y auditables en lugar de suposiciones implícitas. El flujo de trabajo procede de la siguiente manera:

1. Representación del Entorno: El sistema establece relaciones espaciales entre el mapa de navegación, el espacio de trabajo de la mesa y los sensores. Los perfiles de calibración definen los marcos de referencia (mundo, base, herramienta, cámara, etc.), y las detecciones de AprilTag sirven como anclajes para verificar los marcos de la mesa.
2. Roles de Objetos e Interfaces de Habilidades: Los objetos de laboratorio se mapean a "símbolos orientados a habilidades" mediante un perfil de uso. Los objetos se definen por nombres, nubes de puntos/mallas, dimensiones físicas, roles semánticos (por ejemplo, "movible", "contenedor de líquidos") y habilidades expuestas. Esto actúa como una vista de afectancia (affordance) diseñada donde el significado se fundamenta en las acciones posibles.
3. Poses de Objetos y Parámetros de Operación: Las salidas de percepción (provenientes de un servicio FoundationPose) se convierten en registros WorldObject que contienen poses 6D, puntuaciones de confianza y roles. Estos se enriquecen con parámetros de operación deterministas (aproximación, agarre, levantamiento, vertido, etc.) generados por un planificador de parámetros de operación.
4. Representación de Metas y Tareas: Un planificador LLM unificado convierte las instrucciones en lenguaje natural en un SkillPlan que contiene registros de SkillCall registrados. Este plan se valida estrictamente contra un banco de habilidades, requisitos de rol de objetos y tipos de argumentos. Las llamadas validadas se vinculan a registros de MotionGoal ejecutables (por ejemplo, move_to, open_gripper) mediante vinculaciones en tiempo de ejecución.
5. Ejecución y Retroalimentación: Un orquestador determinista ejecuta el plan. Antes de cada llamada a una habilidad, el sistema realiza comprobaciones previas en tiempo de ejecución sobre la disponibilidad del objeto, el estado del robot y los límites de seguridad. La ejecución es conservadora; si un objeto falta, la confianza es baja o un precedente falla, el sistema se detiene y registra una RuntimeFeedback.

Contribuciones Clave

1. Visión de Sistema de Transferencias de Representación: El artículo define un flujo estructurado que conecta instrucciones de laboratorio, mapas, poses de objetos, priors de objetos, llamadas a habilidades registradas, vinculaciones en tiempo de ejecución y metas de movimiento.
2. Integración de OpenArm: Un prototipo funcional que conecta la ejecución de ROS2/MoveIt, navegación móvil, movimiento vertical, fundamentación RGB-D, un banco de habilidades y plantillas de habilidades deterministas.
3. Evidencia de Pruebas en Seco y Lecciones de Campo: Los autores proporcionan trazas de "pruebas en seco" y comprobaciones de inicio que identifican bloqueadores específicos de despliegue, tales como calibración faltante, activos de objetos incompletos y fundamentación visual inacabada.

Resultos
El sistema ejecuta con éxito un flujo completo de representación en un modo de "prueba en seco". Para instrucciones de transferencia simples con planes de LLM válidos, el sistema genera una traza ejecutable completa, expandiendo las llamadas a habilidades en secuencias de recogida-colocación (pick-place). Cuando el LLM no está disponible o las solicitudes están fuera del banco de habilidades, el sistema reporta explícitamente unmapped_requests en lugar de fallar silenciosamente o alucinar comandos.

Sin embargo, el artículo señala que la implementación actual valida la integración de software y el flujo de representación, pero aún no proporciona tasas de éxito en el mundo real para el agarre visual, el vertido o la inserción. El sistema depende actualmente de transformaciones de marcador de posición y trazas de percepción simuladas para la ejecución completa, resaltando que el despliegue en un robot real está bloqueado por la necesidad de datos de calibración medidos, mallas de objetos pobladas y máscaras RGB-D reales.

Significancia y Reivindicaciones
El artículo redefine el desarrollo de prototipos de inteligencia incorporada como un esfuerzo de integración de sistemas centrado en la representación. Su principal significancia radica en demostrar que tratar las interfaces intermedias (perfiles, contratos de habilidades, parámetros de operación) como representaciones explícitas hace que el sistema sea auditable y depurable.

Los autores argumentan que:

• Las poses 6D son insuficientes: Los objetos accionables requieren contexto (roles, habilidades, marcos).
• Los perfiles son representaciones: Los perfiles de uso y calibración codifican el estado (object priors, hechos geométricos, contratos de capacidad) que deben tratarse como representaciones de primera clase para mejorar las comprobaciones de inicio.
• Las formas restringidas permiten la depuración: Al forzar a los LLM a proponer únicamente llamadas a habilidades registradas, las capacidades no soportadas se vuelven visibles como brechas explícitas (unmapped_requests) en lugar de suposiciones ocultas del modelo.
• Los bloqueadores de despliegue son bloqueadores de representación: Los obstáculos restantes para el despliegue en el mundo real se identifican no solo como problemas de hardware, sino como representaciones faltantes (por ejemplo, transformaciones medidas, mallas de objetos, límites del espacio de trabajo calibrados).

Este trabajo sirve como un informe de campo que expone la ruta de integración específica y los componentes faltantes necesarios para pasar de un prototipo a un sistema de automatización de laboratorio fiable.