🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World introduce un modelo de mundo estructurado que integra memoria selectiva basada en Mamba con un espacio latente Soft-Hamiltoniano descompuesto para estabilizar la planificación de largo horizonte y mejorar significativamente la robustez frente a cambios dinámicos fuera de distribución.

Autores originales: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a jugar un juego complejo, como malabarismos o equilibrar un palo. Para hacerlo bien, el robot necesita un "modelo del mundo": una simulación interna que le permita imaginar qué sucederá si realiza una acción determinada antes de ejecutarla realmente.

El artículo presenta HaM-World, un nuevo tipo de modelo del mundo diseñado para hacer estas simulaciones mentales más estables y precisas, especialmente a lo largo de períodos prolongados o cuando las reglas del juego cambian ligeramente.

Así es como funciona, desglosado en conceptos y analogías simples:

1. El Problema: El "Sueño Despierto" se vuelve borroso

Los modelos del mundo actuales son como un estudiante que intenta memorizar una historia leyéndola una oración a la vez. Si la historia es corta, la recuerda perfectamente. Pero si intenta imaginar la historia 100 pasos hacia el futuro, los detalles se vuelven borrosos y la historia se desmorona.

El Problema: A medida que el robot planifica más adelante, sus predicciones se vuelven inestables. También le cuesta trabajo si el entorno cambia (por ejemplo, si el suelo se vuelve resbaladizo o si el brazo del robot se vuelve más pesado).
La Causa: El artículo argumenta que los modelos existentes mezclan demasiadas cosas en su "cerebro". Confunden la posición del robot (dónde está), su momento (qué tan rápido se mueve) y el contexto (cuál es el objetivo o si el suelo está mojado). Esta mezcla hace que los errores se acumulen rápidamente.

2. La Solución: Un "Cerebro" Especializado con Tres Habitaciones

HaM-World resuelve esto organizando el estado interno del robot en tres "habitaciones" o compartimentos distintos, en lugar de una sola habitación grande y desordenada:

Habitación A: El Motor de Física (q y p)
Esta habitación maneja la física pura: la posición ( $q$ ) y el momento ( $p$ ). Los autores utilizan aquí un concepto matemático llamado dinámica hamiltoniana.
- La Analogía: Piensa en esto como una mesa de billar. En una mesa de billar, la energía se conserva; las bolas rebotan entre sí de formas predecibles. HaM-World intenta hacer que la posición y el momento del robot se comporten como bolas de billar. Esto crea una "columna vertebral" estable para la simulación, evitando que el robot imagine físicas imposibles (como una bola que de repente acelera sin razón).
- El Giro "Suave": La vida real no es una mesa de billar perfecta; hay fricción y el robot tiene motores. Por lo tanto, HaM-World utiliza un enfoque "Hamiltoniano Suave". Mantiene la estructura estable de la mesa de billar, pero permite una capa "residual" que aprende las cosas desordenadas del mundo real, como la fricción y el control de los motores.
Habitación B: La Habitación del Contexto (c)
Esta habitación contiene información que no sigue las reglas de la mesa de billar.
- La Analogía: Este es el cuaderno del robot. Anota cosas como "el objetivo es girar el dedo", "el suelo está resbaladizo" o "necesito tener cuidado". Estos son detalles semánticos que no encajan en la física pura de la posición y la velocidad, pero son cruciales para saber qué hacer.
Habitación C: La Habitación de la Memoria (Mamba)
Esta es la memoria a corto plazo del robot.
- La Analogía: A veces el robot no puede ver todo (observabilidad parcial), o hay un retraso entre cuando decide moverse y cuando realmente se mueve. Un modelo estándar podría olvidar lo que sucedió hace 5 segundos. HaM-World utiliza un sistema de memoria especial llamado Mamba que actúa como un filtro selectivo. Recuerda las partes importantes del pasado necesarias para tomar una decisión en este momento, asegurando que el robot no se "pierda" en su propio sueño despierto.

3. Cómo Funciona Todo Juntos

Cuando el robot planifica un movimiento, no solo adivina. Ejecuta una simulación (un "despliegue") dentro de su cabeza:

Observa el estado actual.
Utiliza la Habitación de Memoria para rellenar cualquier detalle faltante del pasado.
Actualiza la Habitación de Física usando las reglas estables de la mesa de billar, ajustadas por los controles de los motores.
Actualiza la Habitación de Contexto con nueva información sobre el objetivo o el entorno.
Repite esto durante muchos pasos hacia el futuro para ver qué acción conduce al mejor resultado.

Debido a que la parte de la física es tan estable (como la mesa de billar) y la parte de la memoria es tan buena rellenando huecos, el "sueño despierto" del robot se mantiene claro y preciso incluso para horizontes de planificación largos.

4. Los Resultados: Mejor en Todo

Los autores probaron HaM-World en cuatro tareas estándar de robots (como un guepardo corriendo o un dedo girando un objeto).

Precisión: Comete muchos menos errores al imaginar el futuro en comparación con otros modelos de primer nivel. De hecho, sus errores de predicción a largo plazo fueron menos de la mitad que los del siguiente mejor modelo.
Robustez: Cuando los investigadores cambiaron las reglas del juego (por ejemplo, hicieron al robot más pesado, ralentizaron sus acciones o ocultaron partes de su visión), HaM-World mantuvo un buen rendimiento. Fue el único modelo que mantuvo la puntuación más alta en cada condición de prueba difícil.
Eficiencia: Aprendió a controlar a los robots más rápido y con menos intentos de entrenamiento que otros métodos.

Resumen

HaM-World es como darle a un robot un mapa interno mejor. En lugar de un boceto borroso y desordenado, le ofrece un mapa estructurado con una base física estable (la mesa de billar), un lugar para notas importantes (el contexto) y una memoria confiable (el filtro). Esto permite al robot planificar acciones complejas a largo plazo sin confundirse ni perder el rumbo, incluso cuando el mundo que lo rodea cambia.

Resumen Técnico: HaM-World

1. Enunciado del Problema

Los modelos del mundo permiten la planificación basada en modelos aprendiendo dinámicas latentes para realizar simulaciones imaginadas. Sin embargo, a medida que se extiende el horizonte de planificación o cambian las dinámicas del entorno, estas simulaciones imaginadas a menudo se vuelven inestables. Los autores argumentan que esta inestabilidad se origina en dos componentes estructurales faltantes en las representaciones latentes orientadas al planificador:

Completitud Markoviana Aproximada: La observabilidad parcial y los retrasos en las acciones hacen que las latencias de un solo cuadro sean insuficientes como estados de Markov, pero los modelos existentes a menudo carecen de memoria condicionada por el historial para abordar esto.
Organización Geométrica: Las representaciones latentes monolíticas entrelazan la configuración, el momento y la semántica de la tarea. Este entrelazamiento provoca que los errores de predicción de múltiples pasos crezcan sin restricciones estructurales, lo que lleva a una mala extrapolación de la estructura física bajo regímenes de control perturbados.

Los enfoques actuales capturan principalmente correlaciones estadísticas en lugar de la estructura generativa subyacente (por ejemplo, invariancias y leyes de conservación), lo que resulta en planificadores que luchan con la consistencia a largo plazo y la generalización fuera de la distribución (OOD).

2. Metodología: HaM-World

Los autores proponen HaM-World (HMW), un modelo del mundo estructurado que descompone el estado latente en una interfaz unificada compartida entre la predicción de dinámicas, la estimación de recompensa/valor, las simulaciones imaginadas y la búsqueda de acciones mediante el Método de Entropía Cruzada (CEM). La arquitectura consta de tres componentes principales:

A. Factorización Latente ( $q, p, c$ )

El estado latente $z_t$ se divide explícitamente en:

Subespacio Canónico $(q, p)$ : Representa la configuración y el momento. Este subespacio está gobernado por un prior Soft-Hamiltoniano.
Subespacio de Contexto $c$ : Captura factores semánticos, disipativos y no conservativos (por ejemplo, cambios de contacto, fricción, semántica de la tarea) que no obedecen estrictamente la conservación de la energía.

B. Dinámicas Soft-Hamiltonianas

En lugar de imponer una conservación estricta de la energía (que es demasiado restrictiva para sistemas controlados con fricción y contacto), HaM-World emplea una actualización "Soft-Hamiltoniana" para el par $(q, p)$ :
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ : Un campo de energía aprendible.
$\alpha$ : Un coeficiente de mezcla que equilibra las actualizaciones de la red basadas en datos con el campo vectorial hamiltoniano.
$G_t a_t$ : Una fuerza de control aprendida explícitamente añadida a la actualización del momento.
Mecanismo: Este diseño permite que el modelo mantenga una columna vertebral geométrica organizada por energía para la estabilidad, al tiempo que conserva la flexibilidad para ajustar el contacto, la fricción y los objetivos de la tarea mediante dinámicas residuales y fuerzas de control.

C. Memoria Selectiva (Mamba)

Para abordar la observabilidad parcial y los retrasos en las acciones, HaM-World integra modelos de espacio de estado selectivos Mamba como una entrada condicionada por el historial ( $h_t$ ) a las dinámicas latentes.

A diferencia de los modelos de simulación recurrente paralelos, Mamba proporciona una única entrada condicionada por el historial a las mismas dinámicas latentes utilizadas por el planificador.
Esto asegura que la interfaz del planificador permanezca unificada durante el entrenamiento, las simulaciones imaginadas y la búsqueda CEM, sin requerir un estado recurrente separado para el planificador.

D. Objetivos de Entrenamiento

El modelo se entrena con una función de pérdida compuesta que incluye:

Consistencia de Simulación de Múltiples Pasos ( $L_{roll}$ ): Restringe la acumulación de errores sobre el horizonte de planificación.
Alineación Hamiltoniana ( $L_{ham}$ ): Un sesgo direccional suave que alinea la rama de la red con el campo vectorial hamiltoniano.
Regularización de Energía Libre de Acciones ( $L_{energy}$ ): Suprime la deriva de energía en ausencia de acciones.
Objetivos Estándar: Alineación de representaciones estilo JEPA, consistencia de dinámicas de un paso y regresión de recompensa/valor (utilizando objetivos dos-hot symlog).

3. Contribuciones Clave

Dinámicas Estructuradas Orientadas al Planificador: La introducción de una factorización latente $q/p/c$ que acopla la memoria selectiva Mamba con dinámicas Soft-Hamiltonianas $(q, p)$ . Esto proporciona una única interfaz latente para la planificación CEM, la estimación de recompensas y la predicción de dinámicas.
Evaluación Consciente del Mecanismo: Un protocolo de evaluación exhaustivo que incluye el rendimiento de control estándar, la consistencia de simulaciones a largo plazo (MSE en $k \in \{3, 5, 7\}$ ) y 12 perturbaciones OOD (cambios de dinámicas, retrasos, enmascaramiento).
Ganancias Empíricas: Rendimiento superior demostrado en múltiples métricas, específicamente en estabilidad a largo plazo y robustez OOD, respaldado por diagnósticos de mecanismos que muestran una deriva de energía acotada y una transferencia de energía coherente inducida por el control.

4. Resultados Experimentales

Evaluado en cuatro tareas del DeepMind Control Suite (DMC) (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) con un presupuesto de 100k pasos de muestra:

Rendimiento de Control: HaM-World logró el mayor Área Promedio Bajo la Curva (Avg. AUC) de 117.9, superando a TD-MPC2 (+9.5%), SAC (+66.3%) y DreamerV3 (+101.2%). Logró el retorno final más alto en Finger Spin y Reacher Easy.
Estabilidad a Largo Plazo: HaM-World redujo el error de simulación a largo plazo al 45% de la línea base fuerte (TD-MPC2) y al 14.3% de DreamerV3. Ganó 11 de 12 celdas de MSE para $k \in \{3, 5, 7\}$ .
Generalización OOD: Bajo 12 perturbaciones OOD (incluyendo cambios de masa, amortiguación, fricción, retrasos de acción y enmascaramiento de observación), HaM-World logró el retorno más alto en cada condición.
- En Finger Spin, mostró una ganancia promedio de retorno OOD del 10.2% sobre TD-MPC2.
- En Reacher Easy, mostró una ganancia promedio de retorno OOD del 13.6% sobre TD-MPC2.
Diagnósticos de Mecanismo:
- Deriva de Energía: En simulaciones sin acciones, la energía hamiltoniana aprendida permaneció casi estable (aprox. 1% de deriva), confirmando la estructura Soft-Hamiltoniana.
- Acoplamiento de Control: El análisis mostró que el "empuje" de la acción (proyección del control sobre $\nabla_p H$ ) se correlacionó consistentemente con el cruce de capas de energía, validando el diseño hamiltoniano controlado.
- Ablación: Eliminar la estructura geométrica (A1) o la memoria (A2) degradó significativamente el rendimiento. Cabe destacar que la memoria fue el prerrequisito dominante para la usabilidad bajo observabilidad parcial, mientras que la estructura Soft-Hamiltoniana elevó el techo para la robustez de las simulaciones.

5. Significado y Afirmaciones

El artículo afirma que HaM-World demuestra que tratar la completitud markoviana (mediante memoria selectiva) y la consistencia geométrica (mediante estructura Soft-Hamiltoniana) como etapas acopladas de dinámicas latentes unificadas mejora significativamente el rendimiento del planificador.

Estructural vs. Estadístico: Las ganancias se atribuyen a la capacidad del modelo para incorporar regularidades físicas (organización de energía) en lugar de depender exclusivamente del ajuste de correlaciones estadísticas.
Interfaz Unificada: El trabajo muestra que un único estado latente, compartido por la predicción, la estimación de valor y la planificación, puede hacerse estable y efectivo para tareas a largo plazo si respeta la separación de dinámicas conservativas ( $q, p$ ) y contexto no conservativo ( $c$ ).
Robustez: El método proporciona una solución estructural a la inestabilidad de las simulaciones imaginadas, permitiendo una mejor extrapolación bajo cambios de distribución y perturbaciones sin requerir estados de planificador recurrentes separados.

Limitaciones: Los autores señalan que el trabajo actual se limita a observaciones basadas en estados en cuatro tareas de DMC. Escalar a entradas de píxeles, morfologías más amplias y escenarios de contacto discontinuos sigue siendo un desafío abierto. Los diagnósticos apoyan la interfaz aprendida pero no prueban que las dinámicas sean globalmente hamiltonianas.