Resumen Técnico: La Recompensa como un Agente para Modelos de Mundo Corpóreos

Declaración del Problema

Aunque el Aprendizaje por Refuerzo (RL) ha perfeccionado con éxito los Modelos de Lenguaje Extensos (LLMs) y los Modelos de Lenguaje-Visión (VLMs) utilizando señales de recompensa fiables (por ejemplo, la ejecución de código), su aplicación a los Modelos de Mundo Corpóreos sigue siendo limitada. Los métodos existentes dependen de estrategias de despliegue (rollout) conservadoras que se mantienen cerca de la distribución de entrenamiento para evitar el hackeo de la recompensa (reward hacking).

En tareas corpóreas, las recompensas suelen basarse en indicadores (proxies) y son subjetivas. Sin una verificación robusta, la expansión de la exploración conduce a políticas que explotan los fallos de la función de recompensa (por ejemplo, oclusión visual, degradación del movimiento o invalidación física) en lugar de lograr mejoras genuinas en el realismo físico o la completitud de la tarea. El cuello de botella central identificado no es la exploración en sí, sino la falta de estrategias de verificación fiables que permitan una exploración más amplia bajo cambios de distribución.

Metodología

El artículo propone un marco unificado que combina un sistema de recompensa robusto con una estrategia de exploración consciente de la dinámica para permitir un RL escalable para modelos de mundo.

1. La Recompensa como un Agente

Para mitigar el hackeo de la recompensa, los autores rediseñan la función de recompensa, pasando de un escalar estático a un marco de evaluación agéntico. Este sistema trata la evaluación como una tarea de múltiples etapas realizada por un agente (construido sobre VLMs de escala de frontera) en lugar de depender de detectores de visión computacional superficiales o VLMs de dominio específico.

El marco opera a través de cuatro módulos clave:

• Planificación: Una evaluación global de la calidad del despliegue que inicializa dinámicamente las prioridades de las sub-recompensas antes de la puntuación detallada.
• Recompensa basada en currículo: Un orden de evaluación jerárquico (Calidad Visual $\to$ Seguimiento de Instrucciones $\to$ Completitud de la Tarea $\to$ Cumplimiento Físico). Las dimensiones de nivel inferior deben satisfacer criterios de umbral antes de que se evalúen las dimensiones de nivel superior, evitando que el modelo optimice recompensas avanzadas mientras falla en los controles de calidad básicos.
• Mecanismo de Votación: Las dimensiones complejas (por ejemplo, el cumplimiento físico) se descomponen en componentes finos (realismo de la interacción, deformación, penetración) evaluados mediante votación para penalizar fallos localizados.
• Reflexión: Una capa de fiabilidad donde el agente reevalúa las trayectorias basándose en evaluaciones previas para cotejar la consistencia y revisar conclusiones erróneas.

El sistema evalúa cuatro dimensiones principales: Calidad Visual, Seguimiento de Instrucciones, Cumplimiento Físico y Completitud de la Tarea.

2. Diversificación de Despliegue Consciente de la Dinámica (DynDiff-GRPO)

Para abordar la infra-exploración de los espacios dinámicos en el RL conservador, los autores introducen DynDiff-GRPO. A diferencia del GRPO estándar (Group Relative Policy Optimization), que suprime uniformemente la estocasticidad, este método reasigna selectivamente la estocasticidad hacia regiones dinámicamente salientes preservando la consistencia de la escena.

• Mecanismo: El método estima los residuales sensibles a la dinámica a partir de las variaciones temporales de las muestras limpias predichas para generar un mapa de intensidad dinámica ($D$) y un prior de región dinámica dispersa ($B$).
• Ruido Adaptativo: Estos mapas se combinan para crear una máscara de despliegue ($M_t$) que modula la escala de ruido ($\sigma_{noise}$). Las regiones de alta dinámica reciben una exploración más fuerte, mientras que las regiones de baja dinámica mantienen la estabilidad.
• Optimación: El enfoque utiliza una estimación de verosimilitud Gaussiana completa sensible a las características en lugar de colapsar a una varianza escalar. Emplea una regularización KL periódica libre de referencia (utilizando parámetros de distribución en caché del búfer de despliegue) para restringir la deriva de la política sin la sobrecarga de memoria de un modelo de referencia congelado.

Contribuciones Clave

1. Marco de Recompensa-como-un-Agente: Un sistema de evaluación estructurado de múltiples etapas que reemplaza las métricas estáticas con una verificación adaptativa basada en agentes. Mitiga eficazmente el hackeo de la recompensa al alinear los objetivos indirectos con los objetivos corpóreos reales mediante planificación, currículo, votación y reflexión.
2. Despliegue Consciente de la Dinámica (DynDiff-GRPO): Una estrategia de despliegue estocástico que expande la diversidad de las trayectorias en regiones dinámicas sin sacrificar la integridad estructural o la fidelidad visual, yendo más allá de las trayectorias conservadoras tipo ODE.
3. Evidencia de RL Escalable: La unificación de estos componentes demuestra que el escalado de RL en modelos de mundo puede ir más allá de los regímenes conservadores, produciendo ganancias significativas de precisión cuando se fundamenta en una verificación robusta.

Resultados Experimentales

El método fue evaluado en el subconjunto de robótica de PAI-Bench utilizando dos modelos base: Cosmos-Predict2.5 (2B) y Kairos-3.0-Robot (4B).

• Ganancias de Rendimiento: DynDiff-GRPO logró mejoras significativas en las Puntuaciones de Dominio (razonamiento y alineación de acciones) y en las Puntuaciones Generales.
  • Para Cosmos-Predict2.5, la Puntuación General mejoró en +1.33 (de 79.42 a 80.75).
  • Para Kairos-3.0-Robot, la Puntuación General mejoró en +1.53 (de 80.35 a 81.88), con una ganancia notable de +3.08 en la Puntuación de Dominio.
• Precisión del Sistema de Recompensa: Evaluado en el conjunto de datos AgiBotWorld-Beta, el sistema "Recompensa como un Agente" logró un 91.0% de alineación general con los juicios humanos. La precisión de la planificación fue la más alta con un 98%, mientras que el Cumplimiento Físico (la dimensión más difícil) alcanzó el 82%.
• Estudios de Ablación:
  • Diversidad de Despliegue: DynDiff-GRPO mantuvo una mayor diversidad de trayectorias (medida por la distancia de coseno de DINOv3) en comparación con las bases conservadoras como CPS.
  • Configuración: El estudio encontró que la regularización KL en el espacio de distribución (sobre el espacio de log-prob) y la reducción del recorte de ventaja (2.5 frente a 5) mejoraron la estabilidad. La Guía Libre de Clasificador (CFG) mejoró el rendimiento pero con un coste computacional; desactivarla en resoluciones altas mantuvo un rendimiento competitivo mientras mejoraba el throughput.

Significado y Reivindicaciones

El artículo sostiene que la limitación fundamental para aplicar RL a los modelos de mundo no es el mecanismo de exploración, sino la brecha de verificación. Al introducir un sistema de recompensa robusto y basado en agentes que pueda verificar comportamientos bajo cambios de distribución, los autores demuestran que una exploración más amplia es viable y necesaria para el avance de los modelos de mundo corpóreos.

El trabajo establece que la exploración y la verificación deben escalar en paralelo. Cuando la exploración está anclada por una verificación multidimensional fiable (Recompensa como un Agente) y guiada por un muestreo consciente de la dinámica (DynDiff-GRPO), el RL puede optimizar con éxito los modelos de mundo para dinámicas físicas complejas, yendo más allá de las trayectorias estrechas y favorecidas por la recompensa de los regímenes conservadores. Esto proporciona un camino hacia el éxito de optimización a gran escala visto en los modelos fundacionales, aplicado ahora al dominio de la IA corpórea.