Learning Explicit Behavioral Models with Adaptive Questions and World-Model Probes

Resumo Técnico: Aprendizado de Modelos Comportamentais Explícitos com Perguntas Adaptativas e Sondas de Modelo de Mundo

1. Definição do Problema

Agentes interativos treinados exclusivamente em retorno de tarefa (recompensas escalares) frequentemente alcançam pontuações altas ao explorar padrões temporais estreitos, atalhos locais ou peculiaridades específicas do ambiente sem desenvolver uma representação robusta dos mecanismos subjacentes. Esse comportamento de "pontuação alta, baixo entendimento" cria um ponto cego oculto: a política do agente parece bem-sucedida, mas permanece frágil quando a dinâmica do ambiente muda, levando a uma recuperação lenta e um diagnóstico difícil.

Abordagens atuais, como reflexão baseada em LLM ou reparo de código de política, tipicamente revisam o comportamento apenas após o treinamento ou dependem do sucesso na tarefa como o principal juiz de utilidade. Além disso, embora existam benchmarks de compreensão de mundo, eles são geralmente estáticos e aplicados post-hoc, raramente tornando-se parte do mecanismo que seleciona, repara ou rejeita uma política durante o processo de aprendizado. O desafio central é otimizar o "entendimento" como um objeto testável e executável dentro do loop de aprendizado da política, em vez de um subproduto retórico.

2. Metodologia: O Modelo Comportamental Simbólico Explícito (ESBM)

O artigo introduz o Modelo Comportamental Simbólico Explícito (ESBM), um modelo comportamental treinável que acopla o desempenho da tarefa com perguntas fundamentadas em evidências e previsão de mecanismos executáveis. O ESBM não é uma rede neural atuando como uma política; em vez disso, é uma estrutura simbólica explícita consistindo em:

• Predicados Tipados: Mapeiam observações brutas e memória para fatos semânticos.
• Regras Pesadas: Mapeiam fatos para ações ou chamadas de opções.
• Opções Delimitadas: Encapsulam procedimentos de múltiplos passos (ex: rotas, sequências de resgate) com contratos definidos e condições de terminação.
• Memória de Mecanismo ($K$): Um modelo de mundo abstrato que prevê eventos simbólicos, mudanças de objetos, recompensas e consequências terminais sob intervenções de ação.

O Loop Desafiador–Otimizador
O processo de aprendizado é impulsionado por um loop adversarial, porém construtivo:

1. Desafiador (Geração de Sondas): Após cada rollout, o desafiador analisa falhas, edições simbólicas recentes, erros de QA e erros de previsão de transição para gerar duas formas de pressão:
   • Perguntas Adaptativas (QA): Perguntas fundamentadas sobre entidades, perigos, recompensas e contrafatuais. As respostas devem ser suportadas pelo contexto explícito do ESBM (predicados, regras, mecanismos).
   • Sondas Ativas de Modelo de Mundo: O sistema ramifica a partir de um checkpoint correspondente em dois caminhos: o ambiente real e o modelo abstrato do ESBM. Ambos executam a mesma sequência de ações (observada, contrafactual ou mista). A memória de mecanismo do ESBM deve prever os eventos simbólicos resultantes, mudanças de pontuação e estados de objetos.
2. Otimizador (Proposta de Edição): Um LLM atua como um backend para propor edições locais e tipadas ao ESBM (ex: revisar uma condição de regra, atualizar uma entrada de mecanismo) com base no feedback do desafiador.
3. Portão do Verificador (Seleção): Uma regra de aceitação de critérios múltiplos avalia o candidato modelo. Um candidato é aceito apenas se melhorar pelo menos uma dimensão validada (Pontuação da Tarefa, Precisão de QA, Consistência de Modelo de Mundo Passiva/Ativa) enquanto permanece dentro das tolerâncias de regressão em dimensões protegidas. Isso evita que explicações sem fundamentação sejam aceitas mesmo que melhorem a pontuação.

3. Principais Contribuições

• Definição do ESBM: Os autores definem o ESBM como um objeto de otimização explícito que combina abstração de estado, seleção de ação simbólica, opções delimitadas e memória de mecanismo executável.
• Mecanismo de Treinamento Adaptativo: Eles introduzem perguntas adaptativas de política e sondas ativas de modelo de mundo fundamentadas em evidências, que convertem falhas do modelo em restrições de entendimento reutilizáveis, movendo o QA da avaliação post-hoc para o núcleo do loop de aprendizado.
• Aceitação de Critérios Múltiplos: Uma nova regra de aceitação é formulada que avalia conjuntamente o desempenho da tarefa, a precisão de QA e a consistência intervencional ativa do modelo de mundo, garantindo que as atualizações melhorem tanto o comportamento quanto o entendimento mecanístico.

4. Resultados Experimentais

A abordagem foi avaliada em três ambientes estilo Atari (JAXAtari): Kangaroo, Seaquest e Kingkong, que exigem planejamento de rota, gerenciamento de recursos e evasão de perigos.

• Desempenho da Tarefa (RQ1): O ESBM alcançou pontuações competitivas ou superiores em comparação com baselines de aprendizado sem modelo (DQN, PPO), aprendizes neuro-simbólicos (NUDGE, BlendRL) e uma referência simbólica de apenas pontuação (EvoSymbol). Notavelmente, o ESBM superou o EvoSymbol (que carece de QA e validação de modelo de mundo) em todos os três jogos.
• Entendimento Explícito (RQ2): Os ESBMs aprendidos demonstraram alta capacidade de resposta suportada por evidências em benchmarks de compreensão de jogo retidos. Os modelos puderam responder perguntas sobre a estrutura do mundo, mecânicas e contrafatuais, com a evidência de suporte (predicados, regras) explicitamente identificável.
• Previsão de Modelo de Mundo Executável (RQ3): A camada de mecanismo ($K$) previu com sucesso a dinâmica simbólica sob ramos contrafatuais ativos, superando os baselines de persistência, dinâmica constante e modelo de árvore de decisão.
• Recuperação Após Mudanças de Mecanismo (RQ4): Quando as dinâmicas do ambiente foram alteradas (ex: macacos mais rápidos, decaimento de oxigênio mais rápido, bombas mais rápidas), o ESBM recuperou uma fração significativamente maior da pontuação original em comparação ao PPO. Isso indica que o entendimento mecanístico explícito facilita a adaptação rápida a novas dinâmicas.

5. Significância e Alegações

O artigo afirma que perguntas adaptativas e sondas ativas de modelo de mundo podem servir tanto como pressão de treinamento quanto como benchmarks reutilizáveis para o aprendizado de política mecanística. Ao tornar o entendimento do mecanismo um objeto executável vinculado às atualizações de política, o framework consegue separar o comportamento de alta pontuação do conhecimento de mecanismo simbolicamente verificável.

Os autores argumentam que esta abordagem aborda a fragilidade das políticas baseadas apenas em pontuação. Em vez de depender de recompensas escalares que podem ocultar mecanismos ausentes ou incorretos, o ESBM força o agente a manter um modelo que é auditável, consultável e reparável. Os resultados sugerem que otimizar para modelos comportamentais explícitos permite que os agentes não apenas realizem tarefas, mas também entendam por que suas ações têm sucesso, levando a uma adaptação mais robusta quando as dinâmicas do ambiente mudam.

O artigo mantém-se modesto quanto ao seu escopo, observando que o cenário atual utiliza jogos estilo Atari como um banco de testes controlado e que transferir o método para robótica ou ambientes de abertura total exigiria uma abstração de estado mais rica e verificadores mais fortes. Também reconhece dependências da qualidade das sondas geradas e as limitações do vocabulário simbólico.