Resumen Técnico: Política de Prompting de Comportamiento (BPP)

Declaración del Problema

Enseñar nuevas habilidades a los robots tradicionalmente requiere un reentrenamiento exhaustivo o un ajuste fino (fine-tuning) para cada tarea específica, lo cual es ineficiente y limita el despliegue rápido. Aunque los modelos de lenguaje de gran tamaño han demostrado éxito en el aprendizaje en contexto (adaptación a nuevas tareas mediante pocos ejemplos en el test-time), la robótica se ha quedado rezagada en la consecución de capacidades similares para la manipulación. Los enfoques existentes suelen depender de descripciones lingüísticas o imágenes de objetivo, que pueden proporcionar información incompleta respecto a la ejecución espacial y temporal específica requerida para una tarea. Además, muchos métodos de aprendizaje con pocos ejemplos en robótica dependen del meta-aprendizaje con actualizaciones de gradiente o transformaciones espaciales explícitas, lo que puede no escalar bien ante distribuciones de tareas de alta diversidad.

Los autores proponen el Prompting de Comportamiento (Behavior Prompting), un paradigma donde un robot realiza una nueva tarea en el momento de la inferencia dado una única demostración humana (el "prompt de comportamiento"). Este prompt consiste en observaciones, propiocepción y acciones en el espacio sensoriomotor del robot, definiendo simultáneamente la tarea y proporcionando un ejemplo concreto de cómo ejecutarla.

Metodología

1. Política de Prompting de Comportamiento (BPP)

La contribución algorítmica central es la Política de Prompting de Comportamiento (BPP), una arquitectura visuomotora de aprendizaje en contexto diseñada para traducir un prompt de comportamiento y la observación actual en acciones del robot. La arquitectura consta de tres componentes principales:

• Fragmentación y Embedding del Prompt (Prompt Chunking & Embedding): El prompt de comportamiento (una secuencia de observaciones, propiocepción y acciones) se submuestrea temporalmente (típicamente a 1Hz) para mayor eficiencia. La secuencia se divide en "fragmentos" (chunks), donde cada fragmento contiene un paso de tiempo de observación ($o$) y propiocepción ($q$), junto con la secuencia de acciones ($a$) que conduce al siguiente fragmento. Un mecanismo de Agrupación por Atención (Attention Pooling) fusiona $\{o, q, a\}$ en un único embedding de fragmento ($p_i$).
• Codificador de Prompt (Prompt Encoder): Este es un decodificador transformer que extrae información relevante de la secuencia del prompt ($P = [p_0, \dots, p_n]$) condicionada por la observación actual. La observación actual es tokenizada y procesada mediante atención cruzada (cross-attention) con los embeddings de los fragmentos del prompt. Esto permite al modelo identificar correspondencias temporales y diferencias espaciales entre la demostración del prompt y el entorno actual.
• Decodificador de Acción (Action Decoder): La información del prompt extraída, concatenada con la observación actual y un paso de tiempo de difusión, se introduce en un Modelo de Difusión (específicamente una arquitectura basada en CNN con condicionamiento FiLM). El decodificador denosa iterativamente para generar acciones de bucle cerrado.

Estrategia de Entrenamiento: BPP se entrena utilizando clonación de comportamiento estándar en conjuntos de datos de aprendizaje de imitación multitarea. Para cada paso de entrenamiento, se muestrea una única demostración como el prompt, y se toma un lote de observaciones de horizonte recesivo y acciones futuras de otras demostraciones de la misma tarea. Crucialmente, no se impone ninguna correspondencia espacial o temporal explícita entre el prompt y el lote de entrenamiento; el modelo aprende de extremo a extremo para aprovechar el prompt.

2. Interfaz iPhUMI

Para abordar los requisitos de datos para el prompting de comportamiento, los autores introducen iPhUMI, una interfaz de manipulación portátil. Adaptada de la pinza UMI, reemplaza la GoPro por un iPhone 15 Pro. Características clave incluyen:

• Localización Instantánea: Utiliza ARKit en el dispositivo para SLAM en tiempo real, eliminando la necesidad de un mapeo tedioso del entorno.
• Prompting Inalámbrico: Permite a un operador humano transmitir prompts de comportamiento de forma inalámbrica a una estación de trabajo, permitiendo el condicionamiento inmediato de la política en el test-time para nuevas tareas.

Evaluación y Benchmarks

Los autores introducen dos nuevos benchmarks para evaluar la adaptación en el test-time, centráéndose en la alta diversidad de tareas en lugar de la complejidad de una sola tarea:

1. DrawAnything: Un entorno de dibujo (simulado y real) que requiere una adaptación de acción continua y de grano fino.
   • Sim: Entrenado en 2,000 tareas generadas procedimentalmente; probado en 50 dibujos humanos no vistos.
   • Real: Utiliza un brazo robótico ARX con una cámara de muñeca iPhone. Entrenado en 1,000 tareas; probado en 10 tareas no vistas.
2. LIBERO-Gen: Una extensión del benchmark de manipulación LIBERO con significativamente más tareas.
   • Combinación (Combination): Extiende 10 tareas a 174, probando la capacidad de elegir uno de dos cuencos idénticos y colocarlo en uno de nueve ubicaciones.
   • Cadena (Chain): Extiende 10 tareas a 321, probando interacciones secuenciales de dos pasos (por ejemplo, abrir un cajón y luego colocar un objeto).

Resultados Clave

• Adaptación Superior: En tareas de dibujo no vistas (DrawAnything-Sim), BPP logró una reducción del error del 80.7% en comparación con una línea base de Imagen de Objetivo (Goal-Image) y una reducción del 33.3% en comparación con ICRT (un modelo previo de prompting de comportamiento).
• Robustez a la Complejidad: En los benchmarks de LIBERO-Gen, BPP superó a las líneas base (Goal-Image, Lenguaje e ICRT) e igualó a $\pi_{0.5}$ (un modelo VLA de fundamentos con 100K pasos de ajuste fino LoRA), a pesar de que BPP no posee preentrenamiento de fundamentos.
• Mecanismo de Atención: La visualización de la atención del codificador de prompt (Fig. 5) revela que BPP rastrea eficazmente la progresión de la tarea. Para tareas continuas (dibujo), la atención sigue de cerca el prompt; para tareas discretas (LIBERO), la atención rastrea "hitos" (por ejemplo, el siguiente objeto con el que interactuar).
• Requisitos de Datos: Las ablaciones sistemáticas mostraron que la diversidad de tareas es el principal motor de la capacidad de prompting. Recolectar menos demostraciones por tarea a través de un mayor número de tareas distintas produce una mejor adaptación en el test-time que muchas demostraciones para unas pocas tareas.

Significado y Reivindicaciones

El artículo afirma que el prompting de comportamiento proporciona una forma flexible y escalable de enseñar nuevas habilidades a los robots sin un ajuste fino costoso. Al aprovechar una única demostración humana como prompt, los usuarios pueden especificar tareas o definir nuevas capacidades robóticas "sobre la marcha".

Los autores enfatizan que:

1. Los prompts sensoriomotores son más expresivos que el lenguaje o las imágenes de objetivo para tareas que requieren comportamientos de bajo nivel específicos o estrategias espacio-temporales.
2. La diversidad de tareas en los datos de entrenamiento es crítica para permitir la adaptación zero-shot a tareas no vistas.
3. iPhUMI sirve como una interfaz práctica tanto para la recolección de datos de entrenamiento diversos como para especificar prompts de comportamiento en el test-time, cerrando la brecha entre la intención humana y la ejecución del robot.

El trabajo posiciona el prompting de comportamiento como un paso hacia permitir que los robots adapten su conocimiento de preentrenamiento a nuevos entornos (por ejemplo, un hogar específico) a través de una sola demostración, simplificando el problema de la adaptación al proporcionar información rica sobre el entorno objetivo y la estrategia de manipulación deseada.