Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

Resumen Técnico: Los despliegues imaginados son cinemáticos, no dinámicos

Planteamiento del problema
El fallo de largo horizonte en los modelos de mundo se atribuye convencionalmente al "error compuesto", un marco que describe con precisión la acumulación de errores pero que no logra distinguir el tipo de error o las dimensiones de características específicas que se deterioran. Los autores argumentan que este marco genérico oscurece una firma estructural específica: los modelos de mundo tienden a imaginar un movimiento que es cinemáticamente consistente (extrapolando trayectorias de posición, velocidad y aceleración basadas en reglas de actualización lineales) pero dinámicamente inconsistente (al no tener en cuenta las restricciones físicas, como la masa, la fricción y el contacto, que gobiernan el movimiento real). Este "retroceso cinemático" representa una capa de fallo distinta junto a las teorías existentes de ingeniería de representación y límites de composición de error.

Metodología
Para diagnosticar este déficit estructural, los autores proponen un replanteamiento de la evaluación de los modelos de mundo basado en la distinción entre movimiento cinemático y dinámico.

1. Error de consistencia cinemática imaginada (iKCE):
   Los autores definen una métrica diagnóstica por paso, el iKCE, que mide la desviación de un despliegue imaginado respecto a un nulo cinemático de forma cerrada (por ejemplo, velocidad constante o aceleración constante).

   • Definición: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • Interpretación: Contrario a la intuición, un iKCE bajo indica que el modelo está extrapolando con éxito patrones cinemáticos (imaginación cinemática). Un iKCE alto, particularmente uno que crece con el horizonte y responde a cambios de régimen físico, es la firma de la imaginación dinámica.

2. Protocolo de perturbación de condicionamiento:
   Para distinguir entre la imaginación cinemática y la dinámica, los autores impulsan el iKCE a través de una curva de dosis-respuesta perturbando parámetros de condicionamiento físicamente significativos (por ejemplo, coeficiente de fricción $\mu$, velocidad inicial, carga útil).

   • Firma 1 (Invarianza de régimen): Un imaginador cinemático produce una curva de iKCE que escala suavemente con la magnitud de la perturbación independientemente del régimen físico, ya que extrapola la misma estructura lineal. Un imaginador dinámico debería mostrar sensibilidad a los límites de régimen (por ejemplo, colapso de la marcha).
   • Firma 2 (Consistencia monotónica): El modelo debe respetar las monotonicidades físicas (por ejemplo, mayor fricción $\to$ menor distancia de frenado) solo cuando dichas relaciones se mantienen físicamente. Los modelos cinemáticos respetan las monotonicidades lineales pero fallan en las condicionales al régimen.

Configuración experimental
El diagnóstico se instanció en un checkpoint de DreamerV3 liberado, entrenado en el entorno DMC walker-walk.

• Líneas base: Se realizaron comparaciones contra despliegues de física real impulsados por la política entrenada.
• Condiciones: El estudio incluyó un barrido de fricción a través de 13 magnitudes ($\mu \in [0.1, 1.7]$), cruzando el límite empírico de colapso de la marcha en $\mu=0.20$.
• Controles: Los experimentos incluyeron ablaciones del horizonte de entrenamiento del actor y controles de aleatorización de dominio para descartar artefactos de fuera de distribución (OOD) de la política.

Resultados clave

1. Magnitud del error (Hipótesis 1): El iKCE imaginado del modelo de mundo DreamerV3 fue significativamente mayor que el de los despliegues de física real emparejados.

   • En un horizonte $T=16$, la relación fue de $\sim 180\times$ ($7.7 \times 10^{-3}$ frente a $4.2 \times 10^{-5}$).
   • En un horizonte $T=64$, la relación fue de $\sim 30\times$, una reducción atribuida a la dilución por paso en la cola suave de largo horizonte del modelo.
   • Esto confirma que la imaginación del modelo conlleva un residuo sustancial contra un nulo cinemático.

2. Invarianza de régimen (Hipótesis 2): A través del barrido de fricción, la recompensa de la política entrenada colapsó de $\sim 650$ a $\sim 200$ a medida que la fricción cayó por debajo del límite de colapso de la marcha ($\mu=0.20$). Sin embargo, el iKCE imaginado se mantuvo estadísticamente plano en todo el rango.

   • El análisis de regresión mostró que la pendiente del iKCE del modelo de mundo frente a la fricción contenía el cero ($\beta_{WM} = -0.009$, IC del 95% $[-0.096, +0.082]$), mientras que la pendiente de la física real fue significativamente negativa ($\beta_{phys} = -0.220$).
   • Esto indica que el modelo de mundo es "ciego" al cambio de régimen físico, confirmando la firma de lo cinemático sobre lo dinámico.

Significado y afirmaciones
El artículo afirma que el fallo de los modelos de mundo de largo horizonte no es simplemente un problema de varianza o de ingeniería de representación, sino un déficit estructural donde los modelos aprenden características cinemáticas ricas pero representan sistemáticamente de forma insuficiente las características dinámicas.

• Valor diagnóstico: El protocolo iKCE proporciona un diagnóstico de evaluación falsable que distingue la imaginación cinemática de la dinámica en horizontes más largos que el periodo de marcha del cuerpo.
• Implicación para el entrenamiento: Los autores sugieren que si los despliegues imaginados están estructurados cinemáticamente pero son dinámicamente infieles, los gradientes de la política propagados a través de largos horizontes optimizan al actor contra una distribución de trayectorias que diverge de la dinámica real. Esto es consistente con las observaciones de que el entrenamiento de actores de largo horizonte (por ejemplo, $h=64$) produce una convergencia inestable y políticas desplegadas más débiles en comparación con los horizontes más cortos ($h=15$).
• Modestia: Los autores declaran explícitamente que el diagnóstico es estructural, no predictivo. Un iKCE bajo identifica a un modelo como cinemático pero no certifica que sea un predictor útil; inversamente, un iKCE alto con sensibilidad a la fricción certifica un modelo como dinámico pero no necesariamente preciso. Los resultados están actualmente limitados a un solo cuerpo (DMC walker) y a una familia específica de modelos de mundo, aunque el protocolo está diseñado para ser generalizable.