Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

Resumo Técnico: Rollouts Imaginados São Cinemáticos, Não Dinâmicos

Definição do Problema
A falha de longo horizonte em modelos de mundo é convencionalmente atribuída ao "erro de composição" (compounding error), uma formulação que descreve com precisão o acúmulo de erro, mas falha em distinguir o tipo de erro ou as dimensões específicas de características que se deterioram. Os autores argumentam que essa formulação genérica obscurece uma assinatura estrutural específica: os modelos de mundo tendem a imaginar movimentos que são cinematicamente consistentes (extrapolando trajetórias de posição, velocidade e aceleração baseadas em regras de atualização linear) mas dinamicamente inconsistentes (falhando em considerar as restrições físicas, como massa, fricção e contato, que governam o movimento real). Este "retrocesso cinemático" (kinematic fallback) representa uma camada distinta de falha ao lado das teorias existentes de engenharia de representação e limites de composição de erro.

Metodologia
Para diagnosticar esse déficit estrutural, os autores propõem um novo enquadramento para a avaliação de modelos de mundo baseado na distinção entre movimento cinemático e dinâmico.

1. Erro de Consistência Cinemática Imaginada (iKCE):
   Os autores definem uma métrica diagnóstica por passo, o iKCE, que mede o desvio de um rollout imaginado em relação a um nulo cinemático de forma fechada (ex: velocidade constante ou aceleração constante).

   • Definição: $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$.
   • Interpretação: Contrariamente à intuição, um iKCE baixo indica que o modelo está extrapolando com sucesso padrões cinemáticos (imaginação cinemática). Um iKCE alto, particularmente um que cresce com o horizonte e responde a mudanças de regime físico, é a assinatura da imaginação dinâmica.

2. Protocolo de Perturbação de Condicionamento:
   Para distinguir entre imaginação cinemática e dinâmica, os autores conduzem o iKCE através de uma curva de dose-resposta, perturbando parâmetros de condicionamento fisicamente significativos (ex: coeficiente de fricção $\mu$, velocidade inicial, carga útil).

   • Assinatura 1 (Invariância de Regime): Um imaginador cinemático produz uma curva de iKCE que escala suavemente com a magnitude da perturbação, independentemente do regime físico, pois extrapola a mesma estrutura linear. Um imaginador dinâmico deve mostrar sensibilidade a fronteiras de regime (ex: colapso da marcha).
   • Assinatura 2 (Consistência Monótona): O modelo deve respeitar monotonicidades físicas (ex: maior fricção $\to$ menor distância de parada) apenas quando essas relações se sustentam fisicamente. Modelos cinemáticos respeitam monotonicidades lineares, mas falham em monotonicidades condicionais ao regime.

Configuração Experimental
O diagnóstico foi instanciado em um checkpoint do DreamerV3 treinado no ambiente DMC walker-walk.

• Baselines: Comparações foram feitas contra rollouts de física real conduzidos pela política treinada.
• Condições: O estudo incluiu um varredura de fricção através de 13 magnitudes ($\mu \in [0.1, 1.7]$), cruzando a fronteira de colapso da marcha determinada empiricamente em $\mu=0.20$.
• Controles: Experimentos incluíram ablações de horizonte de treinamento do ator e controles de randomização de domínio para descartar artefatos de fora da distribuição (OOD) da política.

Resultados Principais

1. Magnitude do Erro (Hipótese 1): O iKCE imaginado do modelo de mundo DreamerV3 foi significativamente maior do que o de rollouts de física real correspondentes.

   • No horizonte $T=16$, a razão foi de $\sim 180\times$ ($7,7 \times 10^{-3}$ vs. $4,2 \times 10^{-5}$).
   • No horizonte $T=64$, a razão foi de $\sim 30\times$, com o estreitamento atribuído à diluição por passo na cauda suave de longo horizonte do modelo.
   • Isso confirma que a imaginação do modelo carrega um resíduo substancial contra um nulo cinemático.

2. Invariância de Regime (Hipótese 2): Ao longo da varredura de fricção, a recompensa da política treinada colapsou de $\sim 650$ para $\sim 200$ conforme a fricção caiu abaixo da fronteira de colapso da marcha ($\mu=0.20$). No entanto, o iKCE imaginado permaneceu estatisticamente plano em todo o intervalo.

   • A análise de regressão mostrou que a inclinação do iKCE do modelo de mundo versus a fricção contém zero ($\beta_{WM} = -0,009$, IC 95% $[-0,096, +0,082]$), enquanto a inclinação da física real foi significativamente negativa ($\beta_{phys} = -0,220$).
   • Isso indica que o modelo de mundo é "cego" à mudança de regime físico, confirmando a assinatura de cinemático-não-dinâmico.

Significância e Alegações
O artigo afirma que a falha de longo horizonte em modelos de mundo não é meramente uma questão de variância ou engenharia de representação, mas um déficit estrutural onde os modelos aprendem características cinemáticas ricas, mas sub-representam sistematicamente características dinâmicas.

• Valor Diagnóstico: O protocolo iKCE fornece um diagnóstico de avaliação falsificável que distingue a imaginação cinemática da dinâmica em horizontes mais longos que o período de marcha da incorporação (embodiment).
• Implicação para o Treinamento: Os autores sugerem que, se os rollouts imaginados são estruturados cinematicamente, mas dinamicamente infiéis, os gradientes de política propagados através de longos horizontes otimizam o ator contra uma distribuição de trajetória que diverge das dinâmicas reais. Isso é consistente com observações de que o treinamento de ator de longo horizonte (ex: $h=64$) gera convergência instável e políticas implantadas mais fracas em comparação com horizontes mais curtos ($h=15$).
• Modéstia: Os autores declaram explicitamente que o diagnóstico é estrutural, não preditivo. Um iKCE baixo identifica um modelo como cinemático, mas não certifica sua utilidade como preditor; inversamente, um iKCE alto com sensibilidade à fricção certifica um modelo como dinâmico, mas não necessariamente preciso. Os resultados estão atualmente limitados a uma única incorporação (DMC walker) e a uma família específica de modelos de mundo, embora o protocolo seja projetado para ser generalizável.