💻 computer science

HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy

El artículo propone HaWMPO, un marco de optimización de políticas basado en modelos de mundo consciente de las alucinaciones que mejora las políticas robóticas generalistas mediante la estimación y supresión de alucinaciones de predicción durante los despliegues imaginados, mejorando así significativamente las tasas de éxito en tareas de manipulación complejas de largo horizonte tanto en entornos de referencia como en robots del mundo real.

Autores originales: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Publicado 2026-09-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden aprender a realizar una gran variedad de tareas, desde apilar bloques hasta doblar la ropa, han sido durante mucho tiempo un objetivo de la inteligencia artificial. Para lograr esto, los investigadores han desarrollado políticas "generalistas", que son esencialmente sistemas similares al cerebro entrenados para comprender el lenguaje y la visión para decidir cómo debe moverse un robot. Sin embargo, enseñar estos sistemas en el mundo real es lento, costoso y arriesgado. Cada vez que un robot intenta una nueva acción, podría romper algo o dañarse a sí mismo, haciendo que el proceso de ensayo y error sea peligroso. Para resolver esto, los científicos han recurrido a los "modelos de mundo", que son simuladores digitales que permiten a los robots practicar dentro de una computadora. Estos modelos predicen qué sucederá después basándose en las acciones actuales, creando un espacio seguro para el aprendizaje. No obstante, estos simuladores digitales no son perfectos; a medida que predicen más hacia el futuro, a menudo comienzan a inventar detalles que nunca ocurrieron, un fenómeno conocido como "alucinación". Si un robot aprende de estos escenarios falsos, podría aprender a realizar acciones que funcionan en la computadora pero que fallan por completo en el mundo real.

Un equipo de investigadores ha desarrollado un nuevo método para ayudar a los robots a aprender eficazmente de estas simulaciones digitales imperfectas sin ser engañados por sus errores. Llaman a su enfoque HaWMPO, un sistema diseñado para hacer que los robots sean conscientes de cuándo su campo de entrenamiento digital les está mintiendo. En lugar de tratar cada escenario imaginado como igualmente valioso, el nuevo sistema incluye un componente especial que actúa como un inspector de control de calidad. Este inspector observa la secuencia de imágenes que genera el simulador y asigna una puntuación que indica qué tan confiable es esa secuencia. Si el simulador comienza a derivar hacia la fantasía, creando imágenes que no coinciden con las leyes de la física o el resultado esperado, el inspector lo señala. El sistema utiliza entonces esta información para ajustar el proceso de aprendizaje, diciéndole efectivamente al robot que ignore las partes de la simulación que parecen demasiado poco fiables y se concentre en las partes que parecen realistas.

Los investigadores probaron este método utilizando un conjunto estándar de tareas robóticas en un entorno de computadora llamado LIBERO, que consiste en mover objetos a ubicaciones específicas. Compararon su nuevo sistema con otros métodos que utilizan modelos de mundo pero carecen de esta característica de control de calidad. Los resultados mostraron una clara ventaja para el nuevo enfoque. En la simulación, el robot que utilizaba el sistema consciente de las alucinaciones alcanzó una tasa de éxito del 63.7 por ciento, lo cual fue significativamente mayor que el siguiente mejor método. La mejora fue particularmente notable en tareas que requieren razonamiento espacial y manipulación de objetos, donde la capacidad del robot para distinguir entre escenarios reales y falsos le ayudó a aprender estrategias más robustas. Los investigadores encontraron que, al penalizar al robot cuando dependía de escenarios altamente alucinados, el sistema evitó que el robot aprendiera malos hábitos que solo funcionarían en una simulación defectuosa.

Para asegurar que este método funcionara fuera de la computadora, el equipo también lo probó en un robot físico en un entorno del mundo real. Le asignaron al robot dos desafíos específicos: colocar un pañuelo en una caja y poner unos auriculares en un soporte. Sin el nuevo sistema, el robot tenía éxito en estas tareas aproximadamente un 60 por ciento de las veces en la tarea de los auriculares. Después de aplicar el entrenamiento consciente de las alucinaciones, la tasa de éxito aumentó a un AUC de 0.8 en promedio, con el robot logrando un 85% en la tarea del pañuelo y un 75% en la tarea de los auriculares. Este salto en el rendimiento demuestra que las lecciones aprendidas en el mundo digital fueron realmente transferibles al mundo físico, porque el robot había aprendido a ignorar el ruido digital que suele confundir a estos sistemas. Los investigadores señalaron que el sistema funciona mediante la comprobación constante de la consistencia del futuro simulado, asegurando que el robot solo aprenda de trayectorias que parezcan físicamente plausibles.

El estudio destaca que la clave para un mejor aprendizaje robótico no es solo tener un simulador, sino tener una forma de confiar en él. Al construir un sistema que puede detectar cuándo una simulación está perdiendo su contacto con la realidad, los investigadores han creado un camino más estable para que los robots mejoren. Aunque las pruebas actuales se realizaron en tareas relativamente cortas, el éxito sugiere que este enfoque podría ser vital para misiones más complejas y de larga duración donde un robot debe planificar muchos pasos por adelantado. El trabajo confirma que, para que los robots sean verdaderos ayudantes de propósito general, deben aprender a distinguir entre una predicción útil y una mentira convincente, una habilidad que este nuevo método proporciona al hacer que el proceso de aprendizaje sea consciente de sus propias limitaciones.

Resumen Técnico: HaWMPO

Planteamiento del Problema

Las políticas de robots generalistas, particularmente los modelos de Visión-Lenguaje-Acción (VLA), han demostrado una fuerte capacidad de generalización multitarea, pero tienen dificultades con las tasas de éxito en escenarios complejos de largo horizonte. Si bien el aprendizaje por refuerzo (RL) en línea sobre robots físicos puede mejorar estas políticas, se ve obstaculizado por la baja eficiencia de muestreo, las costosas interacciones físicas y los significativos riesgos de seguridad.

Los modelos de mundo ofrecen una alternativa prometedora al permitir la optimización de políticas mediante ejecuciones (rollouts) "imaginadas" en un espacio virtual. Sin embargo, los modelos de mundo generativos son propensos a la acumulación de errores de predicción y a las alucinaciones durante las ejecuciones de largo horizonte. Estas alucinaciones producen transiciones de estado sesgadas y señales de aprendizaje falsas. Si una política VLA se entrena directamente sobre estas trayectorias alucinadas, puede explotar los sesgos del modelo de mundo en lugar de aprender acciones efectivas en entornos reales, lo que conduce a actualizaciones de política inestables y un rendimiento degradado.

Metodología: HaWMPO

Los autores proponen Hallucination-Aware World Model-based Policy Optimization (HaWMPO), un flujo de trabajo de RL de bucle cerrado diseñado para mitigar los efectos negativos de las alucinaciones del modelo de mundo durante el post-entrenamiento de VLA. El marco consta de tres componentes principales y un mecanismo de optimización novedoso:

1. Modelo de Conciencia de Alucinación Condicionado a la Acción (HAM)

Para abordar el problema de las ejecuciones poco fiables, HaWMPO introduce un modelo dedicado para estimar la fiabilidad de las secuencias de imágenes generadas.

Entrada: El HAM toma como entrada un fragmento de video predicho de ocho fotogramas ( $\hat{V}_c$ ), las acciones condicionantes ( $a_c$ ), la observación actual ( $I_c$ ) y una imagen de anclaje ( $I_0$ ).
Arquitectura: Utiliza un codificador DINOv3 congelado para características visuales, Proyectores de Contexto y Acción para mapear las entradas a un espacio compartido, y un Transformer de Fusión (que incorpora atención cruzada y autoatención) para agregar representaciones. Una consulta aprendible y una cabeza MLP generan una puntuación de alucinación continua ( $\hat{h}_c$ ).
Supervisión: El modelo se entrena utilizando un objetivo compuesto derivado de cuatro métricas: similitud DINOv3, consistencia de profundidad, consistencia de trayectoria basada en flujo óptico y calidad de imagen MUSIQ. Las puntuaciones más altas indican alucinaciones más severas.

2. Mecanismo Reward-Soft

En lugar de tratar todas las ejecuciones generadas por el modelo de mundo por igual, HaWMPO pondera sus contribuciones basándose en el nivel de alucinación predicho.

Mecanismo: La recompensa bruta ( $R$ ) proporcionada por un modelo de recompensa para un fragmento de acción específico es modulada por la puntuación de alucinación promedio ( $H$ ) de dicho fragmento.
Fórmula: $\hat{R} = (1 - \alpha \cdot H) \cdot R$ , donde $\alpha$ es un hiperparámetro ajustable.
Efecto: Este mecanismo impone penalizaciones en pasos de RL aparentemente exitosos si ocurren dentro de trayectorias altamente alucinadas, evitando que la política aprenda de señales sesgadas.

3. Flujo de Optimización de la Política

El sistema integra la política VLA, el modelo condicionado a la acción, el HAM y el modelo de recompensa en un marco de Optimización de Política Relativa de Grupo (GRPO).

Proceso: El agente VLA ejecuta ejecuciones en paralelo en entornos imaginarios construidos por el modelo de mundo.
Entrenamiento: Para cada fragmento de acción, el HAM predice una puntuación de alucinación y el mecanismo Reward-Soft modula la recompensa. El algoritmo GRPO actualiza entonces la política VLA utilizando estas recompensas conscientes de la alucinación, calculando ventajas normalizadas por grupo para estabilizar el aprendizaje.

Contribuciones Clave

Flujo de Trabajo de RL de Bucle Cerrado: Los autores establecen un flujo de trabajo que integra un modelo de mundo, un modelo consciente de la alucinación y un modelo de recompensa, permitiendo la optimización de la política de estilo online sin frecuentes interacciones con el robot en el mundo real.
Estimación de Fiabilidad Cuantitativa: Diseñan un HAM condicionado a la acción que produce una puntuación de alucinación continua, cuantificando explícitamente la fiabilidad de las predicciones del modelo de mundo bajo entradas de acción específicas.
Mecanismo Reward-Soft: Proponen un método novedoso para integrar las puntuaciones de alucinación en la optimización GRPO, penalizando los segmentos de acción severamente alucinados para mitigar el sesgo adverso de los modelos de mundo en las actualizaciones de la política.

Resultados Experimentales

Simulación (Benchmark LIBERO)

Evaluado en las suites de tareas LIBERO Object, Spatial y Goal:

Rendimiento: HaWMPO logró la tasa de éxito promedio más alta del 63.7%.
Comparaciones: Esto representa una mejora del 15.0% sobre el modelo base OpenVLA-OFT, una mejora del 6.9% sobre WMPO, y una mejora del 2.8% sobre el baseline más fuerte, WoVR*.
Ganancias Específicas: En la suite Spatial, HaWMPO alcanzó el 77.2% (superando a WoVR* por 8.0 puntos), y en la suite Object alcanzó el 52.2% (superando a WoVR* por 2.6 puntos).

Experimentos en el Mundo Real (Robot G1)

Los experimentos se realizaron en dos tareas de manipulación: "Tissue-to-Box" (Tejido-a-Caja) y "Headphone-on-Stand" (Auriculares-en-Soporte).

Resultados: HaWMPO logró una tasa de éxito promedio del 80.0% (85% en Tissue-to-Box, 75% en Headphone-on-Stand).
Mejora: Supera a la política base por 12.5 puntos porcentuales y al baseline WoVR por 7.5 puntos porcentuales.

Ablación y Análisis

Detección de Alucinaciones: El HAM logró un AUROC de 0.9375 en la detección de fragmentos alucinados frente a anotaciones humanas, superando a los baselines de métrica única (por ejemplo, DINO-solo con 0.9062).
Impacto de Reward-Soft: Un estudio de ablación confirmó que eliminar el HAM y el mecanismo Reward-Soft provocó caídas significativas en el rendimiento, particularmente en la suite Spatial (una caída de 8.0 a 11.6 puntos en varios pasos de entrenamiento).
Sensibilidad de Hiperparámetros: Se encontró que la fuerza de la penalización óptima ( $\alpha$ ) depende de la tarea, siendo $\alpha=0.3$ el mejor para Object y Spatial, y $\alpha=1$ para Goal.

Significación y Reivindicaciones

El artículo afirma que HaWMPO aborda un cuello de botella crítico en el RL basado en modelos de mundo: la inestabilidad causada por las alucinaciones de predicción. Al modelar explícitamente estas alucinaciones y reducir el peso de las trayectorias sintéticas no fiables, el método permite una optimización de política más robusta. Los autores sostienen que su enfoque permite a las políticas VLA aprovechar la eficiencia de los modelos de mundo mientras evitan las trampas de aprender de datos alucinados y sesgados, resultando en un rendimiento superior tanto en simulación como en tareas de manipulación física en el mundo real.

Limitaciones

Los autores reconocen varias limitaciones:

El HAM depende de señales de supervisión diseñadas manualmente (discrepancia de características, profundidad, trayectoria) que pueden no capturar todos los tipos de alucinaciones.
La evaluación se limita actualmente a tareas de horizonte relativamente corto en el benchmark LIBERO; la escalabilidad a escenarios de mundo real de largo horizonte complejo aún no ha sido explorada.
El modelo consciente de la alucinación y el modelo de mundo se entrenan por separado, lo que puede limitar la adaptabilidad del sistema durante el RL online. Se sugiere como trabajo futuro la optimización conjunta de extremo a extremo.