Resumen Técnico: DeMiAn – Anotación Densa Multi-Aspecto para el Aprendizaje de Políticas Robóticas

1. Declaración del Problema

La escalabilidad del aprendizaje de políticas robóticas está actualmente limitada por el alto costo de la recolección de demostraciones de operadores expertos. Si bien los conjuntos de datos modernos requieren miles de horas de teleoperación en hardware dedicado, el lenguaje asociado a estas demostraciones a menudo permanece subutilizado. Los conjuntos de datos típicos etiquetan fragmentos con instrucciones breves y de alto nivel (por ejemplo, "abrir el cajón") que no logran capturar explícitamente las ricas relaciones espaciales, las transiciones de contacto, los estados de encarnación y las estructuras de subobjetivos ya presentes en los píxeles visuales.

Los enfoques existentes para el "lenguaje denso" en robótica suelen comprometerse con un único estilo de subtítulo (por ejemplo, primitivas de movimiento, cadena de pensamiento o anclaje de escena) y lo aplican de manera uniforme. Este trabajo argumenta que ningún estilo de anotación único domina en todas las tareas; más bien, la estructura óptima del lenguaje depende de las demandas específicas del primitivo de manipulación. El desafío consiste en aprovechar el bajo costo de generar lenguaje denso para amplificar la señal en corpus de demostraciones fijos, sin incurrir en la latencia o el costo de una nueva recolección de datos.

2. Metodología: DeMiAn

Los autores proponen DeMiAn (Anotación Densa Multi-Aspecto), un marco de extremo a extremo que opera en dos etapas: una pipeline de anotación durante el entrenamiento y un instructor aprendido durante la inferencia.

2.1 Cuatro Aspectos de Anotación Complementarios

DeMiAn reetiqueta segmentos de video existentes a lo largo de cuatro dimensiones distintas, cada una poniendo de manifiesto información estructural omitida por las etiquetas de tarea estándar:

1. Movimiento Físico: Describe la acción temporal y el anclaje de contacto (por ejemplo, alcanzar, agarrar, levantar, interacciones con objetos).
2. Composición de la Escena: Proporciona anclaje espacial (por ejemplo, distribución del espacio de trabajo, objetos visibles, distractores y relaciones espaciales).
3. Postura del Brazo: Se centra en la encarnación y el anclaje del estado de contacto (por ejemplo, postura del brazo, estado del efector final, orientación relativa al entorno).
4. Razonamiento: Captura el anclaje causal y de subobjetivos (por ejemplo, el propósito del segmento, dependencias de segmentos adyacentes y fases de preparación frente a ejecución).

2.2 Pipeline de Tiempo de Entrenamiento

Una pipeline automática que utiliza un Modelo Visión-Lenguaje (VLM), específicamente Qwen3-VL-30B, reanota conjuntos de datos existentes (RoboCasa 365, MolmoBot y EgoVerse). Para cada segmento de video, el VLM se solicita con fotogramas muestreados y contexto para generar un subtítulo de dos oraciones para cada uno de los cuatro aspectos. Este proceso se aplica a más de 1 millón de fragmentos sin recolectar nuevas demostraciones.

2.3 Instructor Aprendido de Tiempo de Inferencia

Para abordar el hecho de que diferentes tareas se benefician de diferentes tipos de anotación, DeMiAn emplea un pequeño instructor aprendido (entrenado mediante Ajuste Fino Supervisado en Qwen3.5-2B).

• Entrenamiento: El instructor se entrena para predecir el aspecto de anotación óptimo para una tarea dada. La distribución objetivo se deriva de una "tabla de recompensas" construida ejecutando la política de acción con cada uno de los cuatro aspectos de verdad fundamental y registrando la tasa de éxito (SR). El instructor aprende a aproximar un oráculo por tarea, muestreando objetivos mediante un softmax sobre estas recompensas.
• Despliegue: El instructor se ejecuta de forma asíncrona junto a la política de acción. Toma la instantánea inicial de la escena y la descripción de la tarea como entrada, genera la anotación densa apropiada e la inyecta en el prompt de la política en el siguiente límite de bloque de acción. Este diseño oculta la latencia de generación detrás del despliegue, asegurando que no haya retraso añadido al ritmo de control del robot.

2.4 Arquitecturas de Políticas

El método se evalúa en dos arquitecturas distintas:

• DeMiAn VLA: Construido sobre openpi 0.5 (esqueleto PaliGemma con experto de acción de ajuste de flujo), utilizando anotaciones densas como una señal auxiliar de entrenamiento conjunto.
• DeMiAn WAM: Un Modelo Mundo-Acción basado en video que utiliza Cosmos-Predict 2.5 (esqueleto DiT), donde el lenguaje denso condiciona el objetivo de predicción de video durante el entrenamiento intermedio y la cabeza de acción durante el entrenamiento posterior.

3. Contribuciones Clave

1. Pipeline Automática Multi-Aspecto: Un sistema basado en VLM que pone de manifiesto cuatro aspectos estructurales complementarios (movimiento, escena, postura, razonamiento) a partir de demostraciones robóticas y humanas existentes.
2. Instructor Asíncrono Aprendido: Un modelo pequeño que selecciona el aspecto de anotación apropiado para la tarea durante el despliegue, cerrando la brecha entre las líneas base de aspecto fijo y un oráculo por tarea sin introducir latencia de inferencia.
3. Evidencia de Generalización: Demostración empírica de que este enfoque generaliza a tareas compuestas (mediante el cambio de prompts impulsado por subobjetivos) y a escenas y objetos fuera de distribución (OOD).
4. Frente Computación-Rendimiento: Una comparación controlada que muestra que la reanotación densa mejora la compensación computación-rendimiento tanto en el entrenamiento intermedio de WAM como en el entrenamiento posterior de VLA, incluso cuando los FLOPs para la generación de anotaciones se cargan contra el presupuesto.

4. Resultados Experimentales

Evaluado en RoboCasa 365 (17 tareas atómicas de cocina) y MolmoSpaces (9 puntos de referencia en 4 familias de tareas):

• Brecha del Oráculo: Ningún aspecto de anotación fijo único domina. Un oráculo por tarea (seleccionando el mejor aspecto por tarea) mejora la tasa de éxito promedio (SR) en 8 puntos porcentuales sobre la línea base solo de tarea en RoboCasa VLA (alcanzando el 52% frente al 44%).
• Rendimiento del Instructor: El instructor aprendido eleva la SR promedio al 49%, cerrando la brecha a 2-3 puntos del oráculo. Esto representa un aumento de +5 puntos porcentuales sobre la línea base, superando significativamente la selección aleatoria de aspectos.
• Generalización:
  • En tareas compuestas (por ejemplo, "Preparar Café"), la política DeMiAn-VLA con el instructor logra un 18% de éxito en la tarea completa, superando la línea base (13%) y acercándose al rendimiento de los prompts atómicos de verdad fundamental (22%).
  • El sistema muestra una generalización OOD más fuerte en escenas y objetos de MolmoSpaces en comparación con las líneas base solo de tarea.
• Eficiencia Computacional:
  • En el entrenamiento intermedio de WAM (en 50k fragmentos de EgoVerse), las anotaciones densas permiten que el modelo alcance una SR aguas arriba más alta con presupuestos computacionales más bajos en comparación con la línea base.
  • En el entrenamiento posterior de VLA (en 1 millón de fragmentos de MolmoBot), DeMiAn iguala el rendimiento de la línea base en tareas específicas (NextTo, Color) con ~62% menos de cómputo (ahorrando ~1.3 × 10²⁰ FLOPs).

5. Significado y Afirmaciones

El trabajo postula que la densidad del lenguaje es una palanca barata y práctica para escalar el aprendizaje de políticas robóticas. Al tratar el tipo de anotación como una elección de diseño aprendible en lugar de un formato de prompt fijo, DeMiAn extrae significativamente más señal de los conjuntos de datos existentes.

Los autores afirman que:

• La reanotación es viable: Generar anotaciones densas es órdenes de magnitud más barato que recolectar nuevas demostraciones, y el costo computacional se recupera mediante una mayor eficiencia de muestra.
• La dependencia de la tarea es crítica: El enfoque de "talla única" para el lenguaje denso es subóptimo; la capacidad de seleccionar dinámicamente el aspecto de anotación correcto por tarea es esencial para alcanzar el rendimiento máximo.
• Escalabilidad: El método escala efectivamente a través de diferentes familias de modelos (VLA y WAM) y escalas de datos (desde 11k fragmentos hasta 1 millón de fragmentos), lo que sugiere que es una estrategia complementaria a la escalabilidad de demostraciones.

Limitaciones: Los autores señalan que las anotaciones heredan sesgos del VLM congelado, la evaluación actual es solo de simulación (RoboCasa/MolmoSpaces) y el esquema de cuatro aspectos es heurístico. También reconocen que el instructor aún no cierra completamente la brecha del oráculo en todas las tareas, particularmente en las fases finales de las tareas compuestas.