Resumen Técnico: DreamDojo

Planteamiento del Problema

El desarrollo de agentes robóticos generalistas depende en gran medida de modelos de mundo capaces de simular estados futuros basados en acciones. Aunque los avances recientes en la generación de video han permitido modelos de mundo para dominios de control discretos (por ejemplo, juegos, conducción), estos presentan dificultades con tareas robóticas de contacto rico y alta dimensionalidad. Los enfoques existentes enfrentan tres limitaciones principales:

1. Escasez y Distribución de Datos: Los datos robóticos están limitados por los costos de hardware y la variabilidad, fallando a menudo en cubrir la variedad infinita de entornos y objetos del mundo real.
2. Falta de Estocasticidad: Los conjuntos de datos existentes consisten predominantemente en demostraciones de expertos, careciendo de la estocasticidad en las intenciones necesaria para aprender un control de acción robusto.
3. Escasez de Etiquetas: Las etiquetas de acción detalladas son escasas en los conjuntos de datos de video a gran escala. El entrenamiento ingenuo en videos pasivos ignora la causalidad entre observaciones y acciones, lo que conduce a una transferencia de conocimiento deficiente para la simulación condicionada por acción.

Consecuentmente, los modelos de mundo de video actuales suelen limitarse a simular configuraciones observadas y no logran responder a acciones contrafácticas o generalizar a objetos y entornos no vistos.

Metodología

DreamDojo se presenta como un modelo de mundo fundacional diseñado para tareas robóticas diestras en el mundo abierto. El enfoque consta de tres fases distintas:

1. Preentrenamiento con Video Humano a Gran Escala

Para superar las limitaciones de datos, los autores curan DreamDojo-HV, el conjunto de datos de video egocéntrico humano más grande hasta la fecha, que comprende 44,711 horas de video. Este conjunto de datos abarca diversos escenarios cotidianos (hogar, comercio minorista, transporte, etc.) con aproximadamente 6,015 habilidades únicas y 1,135k objetos únicos.

• Acciones Latentes Continuas: Para abordar la falta de etiquetas de acción, los autores introducen acciones latentes continuas como acciones proxy unificadas. Un Autoencoder Variacional (VAE) con una arquitectura de Transformer espaciotemporal extrae estas acciones de fotogramas de video consecutivos de manera autosupervisada. Esto crea un cuello de botella de información que desvincula la información de movimiento crítica del contexto, permitiendo la transferencia de conocimiento de encarnación cruzada (de humanos a robots).
• Arquitectura: El modelo se basa en el modelo de difusión de video latente Cosmos-Predict2.5.
  • Acciones Relativas: En lugar de poses articulares absolutas, las entradas se rebasan a acciones relativas para reducir la complejidad del modelado.
  • Inyección por Bloques (Chunked Injection): Las acciones se inyectan en bloques (4 acciones consecutivas por fotograma latente) en lugar de como una condición global para mitigar la confusión de causalidad.
  • Objetivo de Entrenamiento: La pérdida estándar de flow matching se aumenta con una pérdida de consistencia temporal para igualar mejor las transiciones temporales de la verdad de campo, mejorando la completitud de los objetos y el seguimiento de las acciones.

2. Post-entrenamiento en Robots Objetivo

Para adaptar el modelo fundacional a encarnaciones robóticas específicas (por ejemplo, Fourier GR-1, Unitree G1, AgiBot), se realiza una etapa de post-entrenamiento en conjuntos de datos de robots objetivo a pequeña escala.

• La capa de condicionamiento de acción se reinicia y reinicializa para coincidir con el espacio de acción del objetivo.
• El modelo se ajusta completamente (fine-tuning), aprovechando el fuerte preentrenamiento para lograr la generalización zero-shot a objetos no vistos y entornos novedosos a pesar de los limitados datos objetivo.

3. Destilación para Inferencia en Tiempo Real

Para permitir aplicaciones como teleoperación en vivo y planificación en línea, el modelo fundacional se destila en un modelo estudiante autorregresivo utilizando el paradigma Self Forcing.

• Cambio de Arquitectura: El mecanismo de atención bidireccional se reemplaza por una atención causal sobre una ventana deslizante.
• Proceso: Un proceso de dos etapas (calentamiento y destilación) alinea la distribución del estudiante con las soluciones ODE del profesor, minimizando el desajuste de la distribución entre entrenamiento y prueba.
• Resultado: El modelo destilado alcanza 10.81 FPS a una resolución de 640×480 con solo 4 pasos de eliminación de ruido, manteniendo la consistencia de largo alcance.

Contribuciones Clave

1. Conjunto de Datos DreamDojo-HV: Un conjunto de datos masivo y diverso de más de 44k horas de videos humanos egocéntricos, que representa el corpus más grande para el preentrenamiento de modelos de mundo, con una diversidad de habilidades y escenas significativamente mayor que los conjuntos de datos robóticos previos.
2. Modelo de Mundo Fundacional: El primer modelo de mundo de su tipo que utiliza videos humanos a gran escala y acciones latentes continuas para lograr la generalización zero-shot a objetos y entornos no vistos para la manipulación diestra.
3. Pipeline de Destilación: Un método para convertir el modelo fundacional en un predictor autorregresivo en tiempo real que mantiene la consistencia del contexto y soporta interacciones de largo alcance sin degradación visual.
4. Aplicaciones de Aval: Demostración de la utilidad del modelo en la evaluación de políticas, planificación basada en modelos y teleoperación en vivo.

Resultados Experimentales

El artículo evalúa DreamDjo en seis pruebas de referencia fuera de la distribución (OOD), incluyendo objetos, entornos y acciones contrafácticas novedosas.

• Condicionamiento de Acción: El condicionamiento de acción latente supera significativamente al preentrenamiento sin acción y se acerca al rendimiento de los entornos ideales con etiquetas de acción de verdad de campo (por ejemplo, mejoras de PSNR en EgoDex Eval).
• Diversidad de Datos: El aumento de la diversidad de datos (añadiendo In-lab, EgoDex y DreamDojo-HV) mejora consistentemente el modelado de la física y la controlabilidad de la acción en todas las pruebas.
• Generalización: El modelo de 14B de parámetros (DreamDojo-14B) supera a Cosmos-Predict2.5 base y a la variante de 2B tanto en corrección de la física como en el seguimiento de acciones en las evaluaciones de preferencia humana.
• Eficiencia de la Destilación: El modelo estudiante destilado es 4× más rápido (10.81 FPS frente a 2.72 FPS) que el profesor mientras mantiene un rendimiento comparable en ejecuciones de largo alcance (600 fotogramas). También demuestra una robustez superior a las oclusiones debido a su contexto de múltiples fotogramas.
• Aplicaciones:
  • Evaluación de Políticas: DreamDojo muestra una fuerte correlación lineal (Pearson $r=0.995$) entre las tasas de éxito simuladas y las del mundo real para tareas de empaquetado de frutas.
  • Planificación Basada en Modelos: El uso de DreamDojo para la planificación en tiempo de prueba mejoró las tasas de éxito hasta en un 17% respecto al mejor punto de control único y casi 2× en comparación con el muestreo uniforme.
  • Teleoperación en Vivo: El modelo permite la teleoperación en tiempo real de un robot G1 virtual utilizando controladores VR.

Significado y Reivindicaciones

El artículo afirma que DreamDojo representa un paso significativo hacia los modelos de mundo robóticos de propósito general. Al aprovechar videos humanos a gran escala y acciones latentes continuas, el método logra cerrar la brecha de la encarnación, permitiendo que los robots aprendan física y dinámica a partir de las interacciones humanas.

Los autores enfatizan que DreamDojo permite la evaluación de políticas escalable sin despliegue en el mundo real y facilita la planificación basada en modelos en línea y la teleoperación en vivo. El trabajo sugiere que simular tareas de mundo abierto y de contacto rico es factible mediante modelos fundacionales entrenados en datos humanos diversos, allanando el camino para agentes generalistas más capaces y adaptables.

El artículo reconoce modestamente las limitaciones, señalando que el modelo tiene dificultades con acciones rápidas y poco comunes (por ejemplo, bofetadas) y que las tasas de éxito simuladas pueden ser a veces superiores a las del mundo real, lo que indica la necesidad de un mejor matiz en la generación de fallos. Se sugiere como trabajo futuro explorar distribuciones de acción más amplias y simulación de múltiples vistas.