Resumo Técnico: IMWM (Modelos de Intuição Complementam Modelos de Mundo para Planejamento Latente)

1. Declaração do Problema

O artigo aborda uma limitação fundamental no aprendizado por reforço (RL) baseado em modelos para controle a partir de pixels brutos: a dependência de um modelo de mundo (WM) latente aprendido e pareado com um planejador de orçamento finito baseado em amostragem (ex: Método de Entropia Cruzada, CEM). Embora melhorar a precisão do modelo de mundo seja a abordagem padrão para aumentar o desempenho do planejamento, os autores argumentam que esse instinto é insuficiente.

O problema central identificado é que a busca, e não a predição, pode ser o fator limitante. Mesmo que um planejador possua um modelo de mundo "perfeito" (operacionalizado como um oráculo que utiliza a dinâmica real do ambiente para o rollout), ele ainda pode falhar em atingir um objetivo se o orçamento finito de busca impedir que ele proponha uma sequência de ações bem-sucedida dentro do vasto espaço de ações. O artigo postula que o gargalo reside no volume de proposta — a capacidade do planejador de encontrar candidatos que alcancem o objetivo — e não na precisão do preditor de marcha à frente (forward predictor).

2. Diagnóstico e Base Teórica

Antes de propor uma solução, os autores fornecem evidências tanto experimentais quanto teóricas de que a busca é o ponto de falha:

• Diagnóstico Experimental: Eles substituíram o preditor de marcha à frente aprendido em um planejador latente padrão por um rollout idealizado das dinâmicas reais do ambiente (Dinâmica Oráculo). Apesar de possuírem dinâmicas perfeitas, o planejador ainda falhou significativamente em tarefas como OGBench-Cube e Two-Room. A análise dos episódios de falha revelou que, na grande maioria dos casos (ex: 98,9% em Two-Room), a população do CEM continha zero candidatos que alcançavam o objetivo em qualquer etapa de replanejamento.
• Limite Teórico: Os autores provam (Teorema A.1) que, sob um orçamento finito de consultas de caixa-preta contra qualquer superfície de custo latente, a probabilidade de sucesso é limitada pelo volume do espaço de ações coberto pelas consultas. Este limite é independente de como o preditor foi treinado, confirmando que um melhor preditor não pode superar um gargalo de busca se a distribuição de proposta não cobrir o manufoldo de sucesso.

3. Metodologia: IMWM

Para abordar o gargalo de busca sem exigir um modelo de mundo melhor, os autores propõem o IMWM (Modelo de Intuição + Modelo de Mundo). Este framework pareia um modelo de mundo latente congelado com um Modelo de Intuição separado, treinado em demonstrações. O modelo de intuição atua como um guia para reconhecer ações promissoras, complementando, em vez de substituir, o modelo de mundo.

3.1 O Modelo de Intuição

O modelo de intuição ($D_{\psi}^{inv}$) é um pontuador escalar contrastivo treinado em janelas de demonstração usando um objetivo do tipo InfoNCE. Ele recebe uma tupla de (estado inicial latente, objetivo latente, bloco de ações) e produz um escore de compatibilidade.

• Condicionamento Inverso: Ao contrário do modelo de mundo (que prevê $s_{t+1}$ dado $s_t, a_t$), o modelo de intuição pontua ações dados evidências de início e objetivo.
• Espaço Latente Separado: Ele opera em um espaço latente distinto ($z_I$) desacoplado do espaço de predição de marcha à frente do modelo de mundo ($z_L$), evitando o acúmulo de erros de rollout.
• Treinamento: É treinado para distinguir blocos de ações de demonstração de amostras negativas dentro do mesmo contexto de tarefa.

3.2 Três Componentes de Colaboração Leves

O modelo de intuição interage com o planejador através de três mecanismos específicos:

1. Inicialização por Recuperação (Retrieval Initialization):

   • Antes que a função de custo avalie os candidatos, o planejador recupera um bloco de ações de um banco fixo de demonstrações.
   • A recuperação é baseada na similaridade de cosseno entre os latentes atuais (início, objetivo) e as chaves de demonstração armazenadas no codificador de intuição no espaço latente.
   • A distribuição de proposta do CEM é inicializada como uma Gaussiana isotrópica centrada neste bloco de ações recuperado, enviesando a busca para regiões apoiadas pelas demonstrações.

2. Custo Híbrido:

   • O planejador minimiza uma função de custo composta $J$ que combina o escore de intuição e o erro de rollout do modelo de mundo.
   • $J = \alpha_{inv} \cdot zS(-D_{\psi}^{inv}) + \beta_{eff} \cdot zS(\text{MSE}(\text{rollout}, \text{goal}))$.
   • Ambos os termos são normalizados (z-score) através do conjunto de candidatos para lidar com escalas inconmensuráveis. Os pesos $\alpha$ e $\beta$ determinam a dependência da intuição versus o modelo de mundo.

3. Portão de Confiabilidade (Reliability Gate):

   • Como a intuição não é universalmente útil (ex: se o banco de demonstrações carece de exemplos relevantes), um portão decide por tarefa/célula o quanto confiar no modelo de intuição.
   • O portão calcula dois diagnósticos a partir do bloco recuperado: uma margem de escore ($r_{inv}$) contra blocos neutros e uma autocorrelação de defasagem-1 ($r_{lag}$).
   • Com base em limiares congelados, o portão seleciona uma de três "receitas" pré-especificadas:
     • Híbrido Confiável (Trusted Hybrid): Alta dependência tanto da intuição quanto do modelo de mundo.
     • Dominante de Intuição (Intuition-Dominant): Alta dependência da intuição, baixa dependência do modelo de mundo.
     • Fallback Apenas de Marcha à Frente (Forward-Only Fallback): A intuição é desativada; o planejador retorna à configuração padrão apenas com o modelo de mundo.
   • Crucialmente, esta seleção é automática baseada em diagnósticos, não ajustada manualmente por tarefa.

4. Principais Contribuições

1. Diagnóstico do Planejamento Latente com CEM Finito: O artigo demonstra experimental e teoricamente que, mesmo com um modelo de mundo de dinâmica oráculo, planejadores de orçamento finito falham devido a limitações de busca (volume de proposta) e não por erros de predição.
2. O Método IMWM: Uma arquitetura inovadora que integra um modelo de intuição contrastivo com um modelo de mundo via Inicialização por Recuperação, Custo Híbrido e um Portão de Confiabilidade.
3. Ganhos Empíricos: Melhorias significativas sobre os baselines de apenas modelo de mundo em quatro tarefas de alcance de objetivo baseadas em pixels, sem necessidade de ajuste de hiperparâmetros por tarefa do algoritmo principal.

5. Resultados Experimentais

O método foi avaliado em uma grade de 48 células (4 tarefas $\times$ 12 sementes) usando a plataforma stable-worldmodel. As tarefas foram: Two-Room, Reacher, Push-T e OGbench-Cube.

• Two-Room: O IMWM alcançou 99,2% de taxa de sucesso, um aumento de 11,5 pontos percentuais (pp) sobre o baseline (87,7%).
• OGBench-Cube: O IMWM alcançou 94,7% de taxa de sucesso, um aumento massivo de 28,5 pp sobre o baseline (66,2%).
• Push-T: O IMWM alcançou 92,7%, um aumento de 2,8 pp (baseline 89,8%).
• Reacher: O IMWM alcançou 83,8%, um empate técnico com o baseline (83,2%, +0,7 pp). Neste caso, o Portão de Confiabilidade roteou corretamente para a receita de "fallback apenas de marcha à frente", pois o sinal de intuição não foi benéfico.

Estudos de Ablação:

• Inicialização por Recuperação: Ativar apenas a recuperação aumentou significativamente o desempenho em tarefas limitadas pela busca (ex: OGBench-Cube de 66,2% para 88,3%), mas prejudicou o desempenho em tarefas onde o modelo de mundo já era forte (Reacher), validando a necessidade do portão.
• Custo Híbrido: A configuração completa (ambos os custos de intuição e modelo de mundo) superou o uso de apenas um dos termos.
• Portão de Confiabilidade: Nenhuma receita fixa única funcionou melhor em todas as tarefas. O portão adaptativo selecionou com sucesso a melhor receita para cada tarefa automaticamente, igualando-se ao desempenho de um cenário de melhor caso ajustado manualmente.

6. Significância e Alegações

O artigo alega que o principal gargalo no planejamento de modelo de mundo latente é frequentemente a estratégia de busca, e não a precisão preditiva do modelo. Ao introduzir um mecanismo de "intuição" derivado de demonstrações, o IMWM efetivamente concentra o orçamento de busca em regiões promissoras do espaço de ações, contornando as limitações de volume da amostragem cega.

Os autores enfatizam que:

• As melhorias não se devem a um modelo de mundo melhor ou ao ajuste de hiperparâmetros por tarefa; a família algorítmica e os artefatos treinados são fixos; apenas a seleção da receita do portão varia com base em diagnósticos pré-computados.
• A abordagem é complementar: o modelo de intuição não substitui o modelo de mundo, mas o guia.
• Limitações: O portão de confiabilidade é projetado manualmente com limiares fixos (embora interpretáveis), os resultados são limitados a uma única família de benchmarks de tarefas baseadas em pixels, e o método atualmente requer demonstrações bem-sucedidas para construir o banco de intuição. Os autores não alegam transferência para controle de robôs reais ou benchmarks mais amplos sem trabalho adicional.

Em conclusão, o IMWM demonstra que parear um modelo de mundo com um modelo de intuição baseado em recuperação pode resolver o modo de "falha de busca" do planejamento de mundo latente, alcançando desempenho de estado da arte em tarefas específicas de alcance de objetivo onde o planejamento puro de modelo de mundo tem dificuldades.