Resumo Técnico: ActSWM – Modelos de Mundo Sensíveis à Ação para Planejamento de Longo Horizonte

Declaração do Problema: Colapso de Contexto em Modelos de Mundo Latentes

Modelos de mundo latentes facilitam o controle preditivo baseado em modelo (MPC) eficiente ao otimizar sequências de controle dentro de um espaço latente comprimido. No entanto, os modelos preditores autoregressivos existentes frequentemente sofrem de Colapso de Contexto, um modo de falha específico, distinto do erro de predição padrão acumulado.

No Colapso de Contexto, um preditor pode manter alta similaridade com estados futuros baseando-se apenas no histórico visual, mas tornar-se insensível às sequências de ações específicas que condicionam o rollout. Consequentemente, distintas sequências de ações (por exemplo, uma trajetória registrada vs. uma sequência de ações todas zero) produzem futuros latentes quase indistinguíveis. Esse fenômeno torna o modelo ineficaz para o planejamento: se ações alternativas não induzem consequências latentes separáveis, um planejador não consegue comparar resultados subsequentes ou otimizar sequências de controle de forma confiável. Métodos existentes como o World-Action Model (WAM) incorporam a dinâmica inversa para reter informações de ação em transições locais, mas não restringem explicitamente os rollouts preditos sob sequências de ações futuras alternativas para permanecerem distinguíveis.

Metodologia: O Framework ActSWM

Os autores propõem o ActSWM (Action-Sensitive World Model), um modelo de mundo latente baseado em JEPA projetado para impor sensibilidade à ação através de um princípio de separação de transição. A hipótese central é que um modelo de dinâmica latente útil para o planejamento deve manter os futuros de ações alternativas distinguíveis e garantir que a ação associada a cada transição local seja recuperável.

Arquitetura e Componentes

O ActSWM aumenta um backbone de predição latente padrão com dois mecanismos específicos:

1. Separação ao Nível de Rollout: O modelo é treinado para garantir que trajetórias latentes futuras geradas a partir do mesmo contexto, mas condicionadas a diferentes sequências de ações (especificamente, ações registradas vs. ações todas zero), permaneçam separáveis.
2. Leitura de Ação Fixa (Fixed Action Readout): Para impor a sensibilidade ao nível de transição, o ActSWM utiliza uma leitura de ação com parâmetros congelados ($q_{\phi_0}$). Diferente de decodificadores adaptativos que podem deslocar seus limites de decisão para minimizar a perda, uma leitura fixa força as próprias representações de transição latente a se tornarem distinguíveis para permitir a recuperação precisa da ação.

Objetivo de Treinamento

O objetivo de treinamento ($\mathcal{L}$) combina quatro termos para equilibrar a fidelidade de predição com a sensibilidade à ação:

1. Perda de Predição ($\mathcal{L}_{pred}$): Perda de predição de múltiplos passos padrão, alinhando o rollout condicionado nas ações registradas com a trajetória codificada.
2. Perda Hinge ($\mathcal{L}_{hinge}$): Um termo contrastivo que penaliza a similaridade excessiva entre o rollout condicionado nas ações registradas e o rollout condicionado em ações todas zero. Isso incentiva explicitamente o modelo a preservar diferenças dependentes de ação ao longo de longos horizontes.
3. Perda de Leitura ($\mathcal{L}_{readout}$): Um termo de perda aplicado tanto às transições codificadas quanto às transições preditas pelo rollout usando a leitura congelada. Isso garante que as transições latentes contenham informação suficiente para recuperar a ação de entrada.
4. Perda SigReg ($\mathcal{L}_{sig}$): Adotada do LeWorldModel (LeWM) para estabilizar a escala e a distribuição das características do espaço de predição.

O objetivo total é:
$$\mathcal{L} = \mathcal{L}_{pred} + \lambda_{sig}\mathcal{L}_{sig} + \lambda_{hinge}\mathcal{L}_{hinge} + \lambda_{readout}\mathcal{L}_{readout}$$

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Modelo ActSWM: Introdução de um modelo de mundo latente baseado em JEPA projetado especificamente para suportar predição de longo horizonte enquanto mantém dinâmicas de rollout sensíveis à ação.
2. Validação em Tarefas de Mundo Aberto: Demonstração de melhoria no planejamento de malha fechada em tarefas do MineStudio (mineração de pedra, construção de pilares, colocação de tocha), mostrando melhorias significativas na taxa de sucesso sobre o baseline LeWM.
3. Diagnóstico de Colapso de Contexto: Um protocolo de diagnóstico comparando rollouts condicionados em ações registradas versus ações todas zero. O ActSWM alcança uma separação aproximadamente 380 vezes maior entre esses futuros em comparação ao baseline mais forte, provando que seus rollouts permanecem responsivos aos inputs de ação.
4. Recuperação de Ação Offline: Validação de que a dinâmica aprendida pode recuperar sequências de controle de vídeos de jogabilidade offline em três domínios distintos (Counter-Strike 2, GTA V, Apex Legends) usando otimização por Método de Busca por Amostragem (CEM), alcançando até 16,5× melhoria no custo em relação à busca aleatória.

Resultados Experimentais

Q1: Diagnosticando o Colapso de Contexto

Usando trajetórias offline de Minecraft, os autores avaliaram se os modelos dependem dos inputs de ação ou apenas do contexto.

• Comportamento do Baseline: Modelos com contextos mais longos ou treinamento de múltiplos passos melhoraram a qualidade da predição sob ações registradas, mas falharam em diferenciar os rollouts de ações registradas e de ações zero (pequeno $\Delta_k$).
• Desempenho do ActSWM: O ActSWM reduziu a similaridade sob condições de ação zero em mais de 80%, mantendo alta fidelidade para ações registradas, alcançando o maior gap de ação ($\Delta_k = 0,760$).

Q2: Planejamento de Malha Fechada Baseado em Modelo

No MineStudio, o ActSWM foi usado como o modelo de dinâmica para MPC.

• Ganhos de Desempenho: Comparado ao LeWM, o ActSWM melhorou as taxas de sucesso nas tarefas em:
  • 5,3% para colocar uma tocha.
  • 90,0% para minerar um bloco de pedra.
  • 54,5% para construir um pilar.
• Implicação: Os resultados indicam que rollouts sensíveis à ação são críticos para tarefas de planejamento que exigem controle sustentado e tomada de decisão sequencial.

Q3: Representações de Ação Discriminativas

O modelo foi testado em sua capacidade de inferir ações a partir de vídeos offline em CS2, GTA V e Apex Legends usando CEM.

• Gap de Ação: O ActSM melhorou o custo de recuperação de CEM sobre a busca aleatória em até 16,5× (ex: 252,38 no GTA).
• Precisão Ativa: O ActSWM melhorou significativamente a precisão de recuperação de ações quando as teclas eram realmente pressionadas (até 0,711 de melhoria absoluta), enquanto os baselines frequentemente falhavam em distinguir teclas ativas da classe dominante inativa.

Significância e Alegações

O artigo postula que a sensibilidade à ação é um requisito central para modelos de mundo latentes orientados ao planejamento, distinta e complementar à precisão de predição do estado futuro. Os autores afirmam que:

• O Colapso de Contexto é um modo de falha distinto onde rollouts precisos falham em responder a ações alternativas, tornando-os inúteis para o planejamento.
• A sensibilidade à ação conecta a comparação de rollout contrafactual, o planejamento de malha fechada confiável e a rotulagem de ação escalável a partir de vídeos de jogabilidade.
• Ao impor um princípio de separação de transição via uma leitura fixa e treinamento de rollout contrastivo, o ActSWM permite que modelos de mundo sirvam como planejadores eficazes em ambientes de mundo aberto, indo além da simples predição de estado para dinâmicas acionáveis.

O trabalho não afirma resolver todos os desafios de agentes de mundo aberto (como eficiência de amostra ou custos de implantação), mas aborda especificamente a limitação dos modelos latentes existentes em distinguir as consequências de diferentes sequências de ações ao longo de longos horizontes.