Resumo Técnico: Aprendizado de Modelos de Mundo POMDP a partir de Observações com Priors de Modelos de Linguagem

Declaração do Problema

Agentes eficazes em ambientes parcialmente observáveis devem aprender um modelo interno de como o mundo responde às suas ações. Embora os Processos de Decisão de Markov Parcialmente Observáveis (POMDPs) forneçam um formalismo flexível para tais modelos de mundo, aprendê-los apenas a partir de trajetórias de ação-observação é notoriamente difícil. Abordagens clássicas (estimadores tabulares, métodos espectrais, modelos latentes profundos) tipicamente exigem interação extensa com o ambiente, fortes suposições estruturais ou acesso a estados ocultos verdadeiros.

Métodos existentes que utilizam Grandes Modelos de Linguagem (LLMs) para induzir modelos de mundo frequentemente dependem de uma suposição simplificadora crítica: acesso a estados ocultos privilegiados durante o treinamento. Até mesmo o precursor mais próximo, POMDP Coder, assume acesso post-hoc a estados verdadeiros após cada episódio. Essa limitação torna tais métodos inaplicáveis a cenários do mundo real onde a supervisão de estado está indisponível, como robôs operando em espaços desordenados ou agentes em jogos de informação imperfeita. A questão central abordada por este trabalho é se os priors de LLMs são suficientemente poderosos para induzir modelos POMDP executáveis usando apenas trajetórias de observação-ação-recompensa, sem qualquer acesso a rótulos de estado oculto.

Metodologia: Pinductor

Os autores apresentam o Pinductor (indutor de POMDP), um framework que induz modelos de mundo POMDP executáveis a partir de trajetórias de observação-ação-recompensa apenas. O método opera em um loop de gerar-avaliar-refinar-planejar, evitando a comparação direta entre estados previstos e estados ocultos verdadeiros.

1. Proposta de Modelo

Um LLM é instruído com uma descrição do ambiente em linguagem natural, um pequeno conjunto de dados offline de trajetórias e uma API de código que define os espaços de estado, ação e observação. O LLM gera um modelo executável candidato $m = (\rho_0^m, T^m, O^m, R^m)$, definindo a distribuição de estado inicial, a dinâmica de transição, o modelo de observação e a função de recompensa.

2. Avaliação de Modelo Baseada em Crença

Como os estados ocultos não são observados, o Pinductor avalia candidatos usando uma pontuação de verossimilhança baseada em crença.

• Filtragem de Partículas: Para um modelo candidato, um conjunto de partículas é amostrado da distribuição de estado inicial proposta e propagado através do modelo de transição $T^m$ usando as ações observadas.
• Verossimilhança Suave de Observação: O modelo de observação gerado pelo LLM $O_{LLM}^m$ é frequentemente determinístico. Para lidar com incompatibilidades e fornecer um sinal semelhante a um gradiente, o método emprega um kernel de distância. A distância $d_{obs}$ entre uma observação prevista e a observação realizada é convertida em uma verossimilhança suave:
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• Pontuação: O modelo é pontuado pela verossimilhança logarítmica esperada da trajetória observada sob a distribuição de crença induzida pela filtragem de partículas:
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  Essa pontuação avalia quão bem as próprias dinâmicas de filtragem do modelo podem explicar o fluxo de observações, sem acesso privilegiado ao estado.

3. Feedback e Refinamento

O método refina modelos iterativamente usando feedback estruturado de depuração:

• Pontuação Global: A pontuação de verossimilhança escalar indica o ajuste geral.
• Diagnósticos Locais: O sistema identifica modos de falha específicos, como erros de execução, segmentos de trajetória com alta distância de observação ou incompatibilidades de recompensa.
• Sinais de Discordância: Um "comitê" de modelos de transição previamente gerados é usado para calcular a entropia de votação. Contextos de alta entropia (onde modelos candidatos discordam sobre o próximo estado) são destacados para o LLM, orientando-o a resolver ambiguidades na dinâmica.
• Estratégia de Refinamento: O Pinductor utiliza um processo de refinamento estruturado em árvore (seleção UCB1) em vez de uma única cadeia de edições, explorando múltiplas famílias candidatas antes de selecionar um modelo próximo ao melhor.

4. Planejamento

O modelo selecionado é usado para planejamento no espaço de crenças (por exemplo, via planejadores estilo A*) durante a interação online. Novas trajetórias são adicionadas ao conjunto de dados, acionando novas rodadas de refinamento.

Contribuições Principais

1. Indução de POMDP Apenas com Observações: O artigo demonstra que priors de LLMs são suficientes para induzir modelos de mundo POMDP executáveis a partir de trajetórias de observação-ação-recompensa apenas, eliminando a necessidade de supervisão de estado latente verdadeiro no treinamento ou inferência.
2. Pontuação de Modelo Baseada em Crença: Os autores introduzem um objetivo de verossimilhança baseado em kernel que pontua programas candidatos sob suas distribuições de crença filtradas. Isso fornece um sinal de reparo por passo calculável apenas a partir de observações parciais.
3. Validação End-to-End: O método é validado em cinco tarefas parcialmente observáveis do MiniGrid. O Pinductor iguala o desempenho e a eficiência amostral de uma linha de base de LLM com estado privilegiado (POMDP Coder), enquanto supera significativamente linhas de base sem LLM (incluindo POMDPs tabulares com acesso privilegiado ao estado).

Resultados

• Desempenho: Em ambientes MiniGrid (Empty, Corners, Lava, Unlock, Four Rooms), o Pinductor alcança recompensas médias por episódio e taxas de vitória comparáveis à linha de base com estado privilegiado, apesar de usar estritamente menos informações.
• Eficiência Amostral: O Pinductor atinge desempenho forte com muito poucas trajetórias offline (tão poucas quanto 2–10), igualando a eficiência amostral de métodos com acesso ao estado.
• Qualidade da Crença: Durante o planejamento, os estados de crença do Pinductor tornam-se cada vez mais concentrados no estado oculto verdadeiro à medida que as observações se acumulam, demonstrando que os modelos aprendidos suportam atualizações posteriores informativas.
• Ablações:
  • Capacidade do LLM: O desempenho escala com a capacidade do LLM; modelos mais fracos falham em sintetizar modelos de mundo utilizáveis, enquanto modelos mais fortes (Qwen 3.6 Plus, Claude Opus 4.7) alcançam alto desempenho.
  • Informação Semântica: A retenção de descrições semânticas do ambiente degrada o desempenho, indicando que o método depende de priors de LLM fundamentados em informações textuais.
  • Estocasticidade: O método permanece eficaz em variantes estocásticas dos ambientes, embora o desempenho caia em relação a configurações determinísticas.

Significado e Limitações

O artigo posiciona os priors de modelos de linguagem como uma ferramenta prática para aprendizado de modelos de mundo com eficiência amostral sob observabilidade parcial. Ao remover a exigência de acesso a estados privilegiados, o Pinductor estende o alcance da indução de modelos guiada por LLMs para configurações características de implantações do mundo real (por exemplo, robótica, jogos de informação imperfeita).

Os autores notam modestamente várias limitações:

• Escopo: A avaliação é restrita a ambientes MiniGrid; a transferência para outros domínios ou configurações complexas do mundo real permanece não testada.
• Componentes Fixos: A função de distância de observação, o planejador e o buffer de demonstração estão atualmente fixos e não são otimizados pelo LLM.
• Variância: A dependência de chamadas de API de LLM introduz alta variância no tempo de execução e nos resultados.
• Coleta de Dados: Conjuntos de dados offline são coletados manualmente; o impacto de estratégias de coleta de dados automatizadas não é explorado.

O trabalho representa um passo em direção a agentes generalistas capazes de aprender modelos de mundo internos a partir da experiência em primeira pessoa em ambientes parcialmente observáveis.