Resumo Técnico: Modelos de Mundo Latentes de Comprimento Variável para Planejamento de Longo Horizonte

1. Definição do Problema

Os modelos de mundo emergiram como um paradigma para a construção de agentes inteligentes ao aprenderem modelos preditivos da dinâmica do ambiente. Embora os modelos de mundo latentes recentes (ex: arquiteturas do tipo JEPA) ofereçam alternativas eficientes à predição no espaço de pixels ao operarem em espaços de representação compactos, eles enfrentam limitações significativas no planejamento de longo horizonte.

Os principais problemas identificados são:

• Erros Compostos: Os modelos existentes tipicamente dependem de predição de passo único ($t \to t+1$). Para tarefas de longo horizonte, esses modelos devem ser executados recursivamente, fazendo com que os erros de predição se acumulem rapidamente, levando ao desvio temporal (temporal drift) e à degradação da qualidade da trajetória.
• Desajuste entre Treinamento e Planejamento: A maioria dos modelos é treinada com um objetivo de predição de passo fixo. Isso fornece supervisão apenas em uma escala temporal local, falhando em otimizar explicitamente a consistência de longo alcance. Consequentemente, o sinal de treinamento não se alinha com a natureza dos problemas de planejamento de longo horizonte.
• Rigidez Arquitetural: Os atuais modelos de mundo latentes frequentemente incorporam ações por meio de mecanismos de condicionamento dedicados (ex: camadas FiLM ou atenção cruzada) que fundem ações nos estados ocultos. Esse design acopla rigidamente o modelo a um layout de ação fixo (geralmente uma ação por passo), tornando difícil o desmembramento das contribuições de múltiplas ações ou o tratamento natural de sequências de ações de comprimento variável.

2. Metodologia: Modelos de Mundo Latentes de Comprimento Variável (VLWM)

Os autores propõem o VLWM, um framework projetado para aprender a dinâmica do ambiente latente através de múltiplos horizontes de predição dentro de um único modelo.

2.1 Supervisão de Comprimento Variável

Em vez de restringir a supervisão ao próximo passo imediato, o VLWM treina um preditor único $g_\phi$ para prever o estado latente em um deslocamento futuro arbitrário $k \ge 1$. O objetivo de treinamento é:
$$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$$
onde $s_t$ é o estado latente atual, $a_{t:t+k-1}$ é um segmento de ação de comprimento variável de tamanho $k$, e o alvo é o estado latente no tempo $t+k$. Isso unifica a dinâmica de curto prazo e a consistência semântica de longo alcance sob um único objetivo.

2.2 Formulação de Ação-como-Token

Para suportar nativamente sequências de ações de comprimento variável, o VLWM afasta-se do condicionamento interno de camadas. Em vez disso, ele trata os embeddings de ação como tokens de primeira classe do transformer.

• Sequência de Entrada: O modelo recebe uma sequência $X$ contendo um histórico de tokens de estado seguido por um número variável de tokens de ação ($e_t, \dots, e_{t+k-1}$).
• Mecanismo: Os tokens de estado e ação são distinguidos por embeddings de tipo aditivos. O transformer é causal, e o latente predito $\hat{s}_{t+k}$ é lido diretamente da saída do último token da sequência.
• Benefício: Isso elimina a necessidade de interfaces de condicionamento de ação pré-definidas, permitindo que o modelo se condicione a um número arbitrário de ações passadas sem mudanças arquiteturais.

2.3 Estratégia de Treinamento por Currículo

Treinar diretamente com horizontes de predição amplos desde o início é instável devido a gradientes ruidosos e falha de otimização. O VLWM emprega uma estratégia de treinamento por currículo:

• O treinamento é dividido em estágios. No estágio $j$, o horizonte $k$ é amostrado uniformemente de $\{1, 2, \dots, j\}$.
• O modelo começa com $k=1$ e expande progressivamente o intervalo de horizontes amostrados até um máximo de $K_{max}$.
• Isso garante que a semântica de longo alcance seja construída sobre dinâmicas de curto horizonte bem aprendidas, estabilizando a otimização.

2.4 Planejamento com Saltos de Comprimento Variável

Durante a inferência, o horizonte de planejamento $H$ é particionado em blocos contíguos $H = k_1 + k_2 + \dots + k_M$. O planejador avalia o rollout como uma sequência de saltos latentes de comprimento variável, em vez de predições recursivas de passo único. O artigo propõe três estratégias de planejamento:

1. P1 (Fixo, mas Adaptável à Tarefa): Utiliza um tamanho de bloco constante $k^*$ selecionado por tarefa (pequeno para controle de granularidade fina, grande para objetivos de longo horizonte).
2. P2 (Amostragem de Horizonte Aleatório): Amostra tamanhos de bloco uniformemente de $\{1, \dots, K_{max}\}$ em cada fronteira.
3. P3 (Do Longo para o Curto): Começa com blocos grandes para cobrir a estrutura de longo alcance e reduz progressivamente os tamanhos dos blocos em direção ao final para refinar as dinâmicas de granularidade fina (uma busca de grosso para fino).

3. Principais Contribuições

1. Framework Unificado: Introdução do VLWM, um framework que aprende a dinâmica latente através de múltiplos horizontes e suporta naturalmente sequências de ações de comprimento variável via uma formulação de "ação-como-token".
2. Treinamento e Planejamento Estáveis: Proposta de uma estratégia de treinamento por currículo escalável para treinamento de comprimento variável estável e um conjunto de algoritmos de planejamento que aproveitam adaptativamente diferentes horizontes de predição dentro de um único modelo.
3. Validação Empírica: Demonstração de que o VLWM supera consistentemente modelos de mundo de horizonte fixo (especificamente o LeWM) em benchmarks de planejamento de longo horizonte, com análões mostrando melhor previsibilidade de longo alcance e controlabilidade downstream.

4. Resultados Experimentais

Os autores avaliaram o VLWM em três ambientes de planejamento condicionados a objetivos: PushT (manipulação 2D), OGBench-Cube (manipulação robótica 3D) e TwoRoom (navegação 2D).

• Ganhos de Desempenho: O VLWM alcançou uma melhoria média de 13% sobre o estado da arte LeWM nos datasets. Os ganhos foram mais significativos em regimes de longo horizonte (ex: no TwoRoom com um horizonte de 100 passos, a taxa de sucesso melhorou de 36% com LeWM para 68% com VLWM).
• Mitigação de Erro: Visualizações mostraram que, enquanto os rollouts recursivos do LeWM sofriam desvios e falhavam em atravessar fronteiras ambientais (ex: portas), os saltos de comprimento variável em blocos do VLWM mantiveram-se próximos às trajetórias reais (ground-truth).
• Qualidade da Representação: Avaliações de sonda linear em encoders congelados revelaram que o VLWM produziu latentes com maior correlação de Pearson para propriedades físicas (ex: ângulo do bloco) comparado ao LeWM, sugerindo uma captura melhor de mudanças de estado semântico lentas.
• Necessidade do Currículo: Estudos de ablação confirmaram que a estratégia de treinamento por currículo é essencial para o treinamento estável de comprimento variável, particularmente em tarefas que exigem planejamento estendido.

5. Significância e Alegações

O artigo afirma que o VLWM fornece um paradigma simples e eficaz para melhorar a predição e o planejamento de longo horizonte em modelos de mundo latentes.

• Além da Engenharia: Os autores argumentam que a dificuldade com o planejamento de longo horizonte não é meramente uma questão de engenharia, mas uma consequência dos objetivos de treinamento. Ao mudar de supervisão de passo fixo para comprimento variável, o VLWM alinha o sinal de treinamento com os requisitos do raciocínio de longo horizonte.
• Interface Unificada: O framework absorve uma gama de estratégias de horizonte fixo e hierárquico dentro de um único modelo treinado, eliminando a necessidade de políticas de alto e baixo nível separadas ou módulos auxiliares.
• Direção Futura: Os resultados sugerem que a supervisão de comprimento variável é um passo fundamental em direção a algoritmos de planejamento mais robustos, oferecendo uma interface flexível onde os planejadores podem adaptar a granularidade da predição às necessidades específicas da tarefa.