Resumo Técnico: OPINE-World

Declaração do Problema

Construir agentes que se adaptem a tarefas desconhecidas exige aprender como um ambiente se comporta por meio da interação. Embora modelos de mundo baseados em redes profundas ofereçam flexibilidade, eles são ávidos por dados e transferem mal para além de sua distribuição de treinamento. Por outro lado, modelos de mundo sintetizados por programas são eficientes em dados e reutilizáveis, mas historicamente limitados a ambientes de estado estruturado com um vocabulário de objetos predefinido. Uma única busca de programa não escala para ambientes renderizados em pixels, onde a própria estrutura de objetos deve ser hipotetizada de forma flexível a partir de observações brutas.

O desafio central abordado por este trabalho é aprender um modelo de mundo programático centrado em objetos online através da interação em um ambiente onde:

1. O vocabulário de objetos e a partição em tipos mecânicos são desconhecidos.
2. A semântica de metas e ações é omitida.
3. O agente deve inferir a estrutura de objetos, a dinâmica e a relevância do objetivo apenas a partir de quadros de pixels brutos e recompensas esparsas.

Metodologia: OPINE-World

O OPINE-World é um agente de LLM que aprende um modelo de mundo programático centrado em objetos através de um ciclo de hipótese e teste. Ele acopla dois agentes cooperadores e um crítico periódico, operando sobre um buffer de replay compartilhado de interações.

1. Modelo Programático Centrado em Objetos

O modelo de mundo é representado como um programa Python fatorado por tipo de objeto. Em vez de uma função de transição monolítica, o modelo detém uma regra de resposta $f_\tau$ para cada tipo mecânico $\tau$. Esta regra prevê o estado atualizado de um objeto com base em seus atributos atuais, a ação tomada e um contexto local de leitura. Esta fatoração permite que uma regra aprendida de um objeto seja transferida para todos os objetos do mesmo tipo, desde que a partição de tipos seja aproximadamente correta.

2. Dois Agentes Cooperadores

O sistema desacopla a ação da modelagem em dois agentes de LLM especializados:

• O Agente de Ação (Direcionado a Metas): Interage com o ambiente ao vivo, propõe hipóteses sobre dinâmicas e metas, e as sonda. Ele mantém um modelo de mundo em linguagem natural e seleciona ações baseadas no modelo sintetizado atual ou nas necessidades de exploração.
• O Agente Sintetizador: Lê o buffer de interação compartilhado e as hipóteses do agente de ação. Ele sintetiza código (o modelo de mundo) que generaliza transições observadas em regras. Ele submete programas candidatos a um verificador.

3. Verificação e Síntese Guiada por Contraexemplos (CEGIS)

Um programa candidato é admitido apenas se reproduzir exatamente cada transição registrada no buffer (teste de replay exato).

• Aceitação: O programa deve prever o próximo estado atributo por atributo e objeto por objeto. Ele também é executado duas vezes para garantir o determinismo (rejeitando modelos dependentes de estado oculto).
• Reparo: A síntese é disparada por contraexemplos — transições onde o modelo ao vivo prevê incorretamente o resultado observado. Uma janela de adiamento permite que os contraexemplos se acumulem antes de uma reescrita, e um guarda de estagnação evita loops infinitos em erros incorrigíveis.
• Reconhecimento de Meta: Uma vez que um nível é concluído, um predicado de meta booleano é sintetizado e verificado contra o mesmo padrão de replay exato.

4. Erro de Ontologia e Direcionamento de Exploração

Como a partição de objetos é desconhecida, o OPINE-World emprega um diagnóstico bayesiano chamado erro de ontologia ($\eta_t$) para direcionar a exploração.

• Assinaturas de Efeito: Em vez de rastrear deltas de valor exatos, o sistema rastreia assinaturas categóricas grosseiras de atributos alterados (ex: "x mudou", "pixels mudaram", "sumiu").
• Tabelas de Efeito Local: Estas tabelas contam assinaturas por linha (definida por tipo, ação e contexto local).
• Medidas de Incerteza: O sistema calcula duas entropias normalizadas:
  1. Incerteza de Tipo ($U_{type}$): O quão incerto o sistema está sobre o tipo mecânico de um objeto.
  2. Incerteza de Linha ($U_{row}$): O quão mista é a distribuição de efeitos para uma combinação específica de tipo-ação-contexto.
• Erro de Ontologia: O noisy-OR dessas incertezas ($\eta_i = 1 - (1-U_{type})(1-U_{row})$) identifica objetos e contextos que os tipos atuais ainda não conseguem explicar. O agente de ação é direcionado para explorar regiões de alto erro, induzindo o sintetizador a refinar tipos ou adicionar características de contexto.

5. Planejamento

Uma vez que um modelo é admitido e pelo menos um nível é concluído, um planejador busca no modelo verificado um caminho para a meta. O plano é executado passo a passo no jogo ao vivo. Qualquer incompatibilidade entre o estado previsto e o observado aborta o plano, registra um contraexemplo e devolve o controle ao agente de ação.

Principais Contribuições

1. Agente OPINE-World: Um agente de LLM que aprende modelos de mundo programáticos centrados em objetos online via um ciclo de hipótese e teste envolvendo dois agentes cooperadores, síntese guiada por contraexemplos e planejamento baseado em modelo.
2. Descoberta de Ontologia: Um método para descobrir a ontologia de objetos (particionando objetos em tipos mecânicos) diretamente da interação, estendendo modelos de mundo sintetizados por programa de entradas de estado estruturado para ambientes renderizados em pixels com estruturas de objetos desconhecidas.
3. Avaliação no ARC-AGI-3: Uma demonstração no benchmark ARC-AGI-3 (onde o vocabulário de objetos, metas e semântica de ações são omitidos) onde o OPINE-World resolve 20 de 25 jogos sem treinamento por jogo.

Resultados Experimentais

O sistema foi avaliado no conjunto de avaliação pública ARC-AGI-3 (25 jogos, 183 níveis).

• Desempenho: O OPINE-World resolveu 20 de 25 jogos e concluiu 160 de 183 níveis sem treinamento por jogo.
• Eficiência de Ação: Alcançou uma pontuação de eficiência de ação de 78.4 (relativa à linha de base humana), comparada a 63.8 para uma forte linha de base de codificação de agente único (baseline1) e 63.2 para um agente de visão pré-treinado no conjunto de avaliação.
• Comparação com Linhas de Base:
  • Codificação de Agente Único (baseline1): Resolveu 14 jogos. O OPINE-World resolveu todos os 14 e mais 6 jogos adicionais que derrotaram a linha de base. Nos 6 jogos em que a linha de base falhou, o OPINE-World os concluiu usando aproximadamente 25% das ações que a linha de base gastou antes de falhar.
  • Síntese de Programa (WorldCoder) & Modelos Latentes Neurais: Estas abordagens resolveram 0 jogos sob o orçamento de ações do benchmark.
  • Linha de Base Humana: Nos 20 jogos que o OPINE-World venceu, ele usou menos ações do que a referência humana em 16 casos.

Significância e Alegações

O artigo afirma que o OPINE-World demonstra que modelos de mundo programáticos podem ser aprendidos online a partir de pixels brutos sem vocabulários de objetos ou metas predefinidos. Ao separar a ação da modelagem e usar um ciclo de verificação de replay exato rigoroso guiado por um erro de ontologia bayesiano, o sistema alcança alta eficiência de amostragem e transferibilidade.

Os autores enfatizam que o sistema não depende de restrições de otimismo ou funções de recompensa sintetizadas (ao contrário de trabalhos anteriores como o WorldCoder), mas sim de consistência de replay exato e predicados de meta derivados de recompensas observadas. Os resultados sugerem que fatorar modelos por tipo de objeto e descobrir a ontologia dinamicamente permite que agentes generalizem através de layouts e resolvam tarefas complexas de aquisição de habilidades com significativamente menos interações do que modelos latentes neurais ou abordagens de codificação de agente único.

Limitações

Os autores observam várias limitações:

1. Escopo Observável-Markov: O teste de replay exato assume uma função de transição determinística sob uma representação correta. O estado oculto degrada o sinal temporal.
2. Percepção Inferida: O emparelhamento de objetos e a partição de tipos são inferidos de quadros brutos, o que é mais difícil do que usar identidades de objetos fornecidas pelo motor.
3. Escala do Planejador: O planejador usa busca progressiva limitada, o que pode falhar em jogos com altos fatores de ramificação.
4. Execução Única: Os resultados baseiam-se em uma única execução por jogo, carecendo de estimativas de variância.