🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World apresenta um modelo de mundo estruturado que integra memória seletiva baseada em Mamba com um espaço latente Hamiltoniano Suave decomposto para estabilizar o planejamento de longo horizonte e melhorar significativamente a robustez contra deslocamentos dinâmicos fora da distribuição.

Autores originais: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a jogar um jogo complexo, como malabarismo ou equilibrar um poste. Para fazer isso bem, o robô precisa de um "modelo de mundo"—uma simulação interna que lhe permite imaginar o que acontecerá se ele realizar uma determinada ação antes de realmente executá-la.

O artigo apresenta HaM-World, um novo tipo de modelo de mundo projetado para tornar essas simulações mentais mais estáveis e precisas, especialmente ao longo de períodos prolongados ou quando as regras do jogo mudam ligeiramente.

Veja como funciona, decomposto em conceitos e analogias simples:

1. O Problema: O "Devaneio" Fica Nevoento

Os modelos de mundo atuais são como um estudante tentando memorizar uma história lendo-a uma frase de cada vez. Se a história for curta, ele a lembra perfeitamente. Mas, se ele tentar imaginar a história 100 passos à frente, os detalhes ficam borrados e a história se desfaz.

O Problema: À medida que o robô planeja mais adiante, suas previsões tornam-se instáveis. Ele também tem dificuldade se o ambiente mudar (por exemplo, se o chão ficar escorregadio ou o braço do robô ficar mais pesado).
A Causa: O artigo argumenta que os modelos existentes misturam muitas coisas em seu "cérebro". Eles confundem a posição do robô (onde ele está), seu momento (quão rápido está se movendo) e o contexto (qual é o objetivo ou se o chão está molhado). Essa confusão faz com que os erros se acumulem rapidamente.

2. A Solução: Um "Cérebro" Especializado com Três Salas

O HaM-World resolve isso organizando o estado interno do robô em três "salas" ou compartimentos distintos, em vez de uma única sala grande e bagunçada:

Sala A: O Motor de Física (q e p)
Esta sala lida com a física pura: posição ( $q$ ) e momento ( $p$ ). Os autores utilizam aqui um conceito matemático chamado dinâmica hamiltoniana.
- A Analogia: Pense nisso como uma mesa de bilhar. Em uma mesa de bilhar, a energia é conservada; as bolas quicam umas nas outras de maneiras previsíveis. O HaM-World tenta fazer com que a posição e o momento do robô se comportem como bolas de bilhar. Isso cria uma "espinha dorsal" estável para a simulação, impedindo que o robô imagine físicas impossíveis (como uma bola acelerando repentinamente sem motivo).
- O Toque "Suave": A vida real não é uma mesa de bilhar perfeita; há atrito, e o robô possui motores. Portanto, o HaM-World utiliza uma abordagem "Hamiltoniana Suave". Mantém a estrutura estável da mesa de bilhar, mas permite uma camada "residual" que aprende as coisas bagunçadas do mundo real, como atrito e controle de motores.
Sala B: A Sala de Contexto (c)
Esta sala contém informações que não seguem as regras da mesa de bilhar.
- A Analogia: Este é o caderno do robô. Ele anota coisas como "o objetivo é girar o dedo", "o chão está escorregadio" ou "preciso ter cuidado". São detalhes semânticos que não se encaixam na física pura de posição e velocidade, mas são cruciais para saber o que fazer.
Sala C: A Sala de Memória (Mamba)
Esta é a memória de curto prazo do robô.
- A Analogia: Às vezes o robô não consegue ver tudo (observabilidade parcial), ou há um atraso entre quando ele decide se mover e quando realmente se move. Um modelo padrão pode esquecer o que aconteceu há 5 segundos. O HaM-World usa um sistema de memória especial chamado Mamba que atua como um filtro seletivo. Ele lembra das partes importantes do passado necessárias para tomar uma decisão agora, garantindo que o robô não se "perca" em seu próprio devaneio.

3. Como Funciona em Conjunto

Quando o robô planeja um movimento, ele não apenas chuta. Ele executa uma simulação (uma "simulação de rolagem") dentro de sua cabeça:

Ele observa o estado atual.
Usa a Sala de Memória para preencher quaisquer detalhes faltantes do passado.
Atualiza a Sala de Física usando as regras estáveis da mesa de bilhar, ajustadas pelos controles dos motores.
Atualiza a Sala de Contexto com novas informações sobre o objetivo ou o ambiente.
Repete isso por muitos passos no futuro para ver qual ação leva ao melhor resultado.

Como a parte da física é tão estável (como a mesa de bilhar) e a parte da memória é tão boa em preencher lacunas, o "devaneio" do robô permanece claro e preciso, mesmo para horizontes de planejamento longos.

4. Os Resultados: Melhor em Tudo

Os autores testaram o HaM-World em quatro tarefas padrão de robótica (como um guepardo correndo ou um dedo girando um objeto).

Precisão: Cometeu muito menos erros ao imaginar o futuro em comparação com outros modelos de ponta. De fato, seus erros de previsão de longo prazo foram menos da metade do próximo melhor modelo.
Robustez: Quando os pesquisadores alteraram as regras do jogo (por exemplo, tornaram o robô mais pesado, desaceleraram suas ações ou ocultaram partes de sua visão), o HaM-World manteve o bom desempenho. Foi o único modelo que manteve a pontuação mais alta em cada condição de teste difícil.
Eficiência: Aprendeu a controlar os robôs mais rápido e com menos tentativas de treinamento do que outros métodos.

Resumo

O HaM-World é como dar a um robô um mapa interno melhor. Em vez de um esboço borrado e confuso, oferece um mapa estruturado com uma fundação física estável (a mesa de bilhar), um lugar para anotações importantes (o contexto) e uma memória confiável (o filtro). Isso permite que o robô planeje ações complexas e de longo prazo sem se confundir ou se perder, mesmo quando o mundo ao seu redor muda.

Resumo Técnico: HaM-World

1. Declaração do Problema

Modelos de mundo permitem o planejamento baseado em modelo ao aprender dinâmicas latentes para realizar rolagens imaginadas. No entanto, à medida que o horizonte de planejamento se estende ou a dinâmica do ambiente muda, essas rolagens imaginadas frequentemente tornam-se instáveis. Os autores argumentam que essa instabilidade decorre de dois componentes estruturais ausentes nas representações latentes voltadas para o planejador:

Completude Markoviana Aproximada: A observabilidade parcial e os atrasos de ação tornam latentes de quadro único insuficientes como estados de Markov, ainda que modelos existentes frequentemente careçam de memória condicionada ao histórico para abordar isso.
Organização Geométrica: Representações latentes monolíticas emaranham configuração, momento e semântica da tarefa. Esse emaranhamento faz com que erros de previsão de múltiplos passos cresçam sem restrições estruturais, levando a uma pobre extrapolação de estrutura física sob regimes de controle perturbados.

Abordagens atuais capturam principalmente correlações estatísticas em vez da estrutura geradora subjacente (por exemplo, invariâncias e leis de conservação), resultando em planejadores que lutam com consistência de longo horizonte e generalização fora da distribuição (OOD).

2. Metodologia: HaM-World

Os autores propõem o HaM-World (HMW), um modelo de mundo estruturado que decompõe o estado latente em uma interface unificada compartilhada entre previsão de dinâmica, estimativa de recompensa/valor, rolagens imaginadas e busca de ação pelo Método de Entropia Cruzada (CEM). A arquitetura consiste em três componentes principais:

A. Fatorização Latente ( $q, p, c$ )

O estado latente $z_t$ é explicitamente dividido em:

Subespaço Canônico $(q, p)$ : Representa configuração e momento. Este subespaço é governado por um prior Soft-Hamiltoniano.
Subespaço de Contexto $c$ : Captura fatores semânticos, dissipativos e não conservativos (por exemplo, comutação de contato, atrito, semântica da tarefa) que não obedecem estritamente à conservação de energia.

B. Dinâmica Soft-Hamiltoniana

Em vez de impor conservação estrita de energia (que é muito restritiva para sistemas controlados com atrito e contato), o HaM-World emprega uma atualização "Soft-Hamiltoniana" para o par $(q, p)$ :
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ : Um campo de energia aprendível.
$\alpha$ : Um coeficiente de mistura que equilibra atualizações de rede baseadas em dados com o campo vetorial Hamiltoniano.
$G_t a_t$ : Um impulso de controle aprendido explicitamente adicionado à atualização do momento.
Mecanismo: Este design permite que o modelo mantenha uma espinha dorsal geométrica organizada por energia para estabilidade, enquanto retém a flexibilidade para ajustar contato, atrito e objetivos de tarefa via dinâmicas residuais e impulsos de controle.

C. Memória Seletiva (Mamba)

Para abordar a observabilidade parcial e os atrasos de ação, o HaM-World integra modelos de espaço de estado seletivos Mamba como uma entrada condicionada ao histórico ( $h_t$ ) para as dinâmicas latentes.

Diferentemente de modelos de rolagem recorrente paralelos, o Mamba fornece uma única entrada condicionada ao histórico para as mesmas dinâmicas latentes usadas pelo planejador.
Isso garante que a interface do planejador permaneça unificada durante o treinamento, rolagens imaginadas e busca CEM, sem exigir um estado recorrente separado para o planejador.

D. Objetivos de Treinamento

O modelo é treinado com uma função de perda composta que inclui:

Consistência de Rolagem de Múltiplos Passos ( $L_{roll}$ ): Restringe o acúmulo de erro ao longo do horizonte de planejamento.
Alinhamento Hamiltoniano ( $L_{ham}$ ): Um viés direcional suave alinhando o ramo da rede com o campo vetorial Hamiltoniano.
Regularização de Energia Livre de Ação ( $L_{energy}$ ): Suprime a deriva de energia na ausência de ações.
Objetivos Padrão: Alinhamento de representação estilo JEPA, consistência de dinâmica de um passo e regressão de recompensa/valor (usando alvos dois-hot symlog).

3. Contribuições Principais

Dinâmicas Estruturadas Voltadas para o Planejador: A introdução de uma fatorização latente $q/p/c$ que acopla memória seletiva Mamba com dinâmicas Soft-Hamiltonianas $(q, p)$ . Isso fornece uma única interface latente para planejamento CEM, estimativa de recompensa e previsão de dinâmica.
Avaliação Consciente de Mecanismos: Um protocolo de avaliação abrangente incluindo desempenho de controle padrão, consistência de rolagem de longo horizonte (MSE em $k \in \{3, 5, 7\}$ ) e 12 perturbações OOD (mudanças de dinâmica, atrasos, mascaramento).
Ganhos Empíricos: Desempenho superior demonstrado em múltiplas métricas, especificamente em estabilidade de longo horizonte e robustez OOD, apoiado por diagnósticos de mecanismo mostrando deriva de energia limitada e transferência de energia coerente induzida por controle.

4. Resultados Experimentais

Avaliado em quatro tarefas do DeepMind Control Suite (DMC) (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) com um orçamento de 100k passos de amostragem:

Desempenho de Controle: O HaM-World alcançou a maior Área Média Sob a Curva (Avg. AUC) de 117,9, superando o TD-MPC2 (+9,5%), SAC (+66,3%) e DreamerV3 (+101,2%). Alcançou o retorno final mais alto em Finger Spin e Reacher Easy.
Estabilidade de Longo Horizonte: O HaM-World reduziu o erro de rolagem de longo horizonte para 45% da forte linha de base (TD-MPC2) e 14,3% do DreamerV3. Venceu 11 de 12 células de MSE para $k \in \{3, 5, 7\}$ .
Generalização OOD: Sob 12 perturbações OOD (incluindo mudanças de massa, amortecimento, atrito, atrasos de ação e mascaramento de observação), o HaM-World alcançou o maior retorno em todas as condições.
- Em Finger Spin, mostrou um ganho médio de retorno OOD de 10,2% sobre o TD-MPC2.
- Em Reacher Easy, mostrou um ganho médio de retorno OOD de 13,6% sobre o TD-MPC2.
Diagnósticos de Mecanismo:
- Deriva de Energia: Em rolagens livres de ação, a energia Hamiltoniana aprendida permaneceu quase estável (aprox. 1% de deriva), confirmando a estrutura Soft-Hamiltoniana.
- Acoplamento de Controle: A análise mostrou que o "empurrão" de ação (projeção do controle sobre $\nabla_p H$ ) correlacionou-se consistentemente com a travessia de camadas de energia, validando o design Hamiltoniano controlado.
- Ablação: Remover a estrutura geométrica (A1) ou a memória (A2) degradou significativamente o desempenho. Notavelmente, a memória foi o pré-requisito dominante para usabilidade sob observabilidade parcial, enquanto a estrutura Soft-Hamiltoniana elevou o teto para robustez de rolagem.

5. Significado e Alegações

O artigo alega que o HaM-World demonstra que tratar a completude markoviana (via memória seletiva) e a consistência geométrica (via estrutura Soft-Hamiltoniana) como estágios acoplados de dinâmicas latentes unificadas melhora significativamente o desempenho do planejador.

Estrutural vs. Estatístico: Os ganhos são atribuídos à capacidade do modelo de incorporar regularidades físicas (organização de energia) em vez de depender exclusivamente do ajuste de correlações estatísticas.
Interface Unificada: O trabalho mostra que um único estado latente, compartilhado por previsão, estimativa de valor e planejamento, pode ser tornado estável e eficaz para tarefas de longo horizonte se respeitar a separação entre dinâmicas conservativas ( $q, p$ ) e contexto não conservativo ( $c$ ).
Robustez: O método fornece uma solução estrutural para a instabilidade de rolagens imaginadas, permitindo melhor extrapolação sob mudanças de distribuição e perturbações sem exigir estados de planejador recorrentes separados.

Limitações: Os autores observam que o trabalho atual é limitado a observações baseadas em estado em quatro tarefas DMC. A escalabilidade para entradas de pixel, morfologias mais amplas e cenários de contato descontínuo permanece um desafio aberto. Os diagnósticos suportam a interface aprendida, mas não provam que as dinâmicas são globalmente Hamiltonianas.