Resumo Técnico: PatchWorld: Otimização Livre de Gradiente de Modelos de Mundo Executáveis

1. Declaração do Problema

Ambientes de agentes de texto são tipicamente modelados como Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), onde o agente recebe apenas observações de texto renderizadas, enquanto o estado latente do simulador e as dinâmicas de transição permanecem ocultos. Embora trabalhos recentes tenham explorado o uso de Grandes Modelos de Linguagem (LLMs) para prever observações futuras ou destilar conhecimento de planejamento, essas abordagens frequentemente falham em manter um estado de crença persistente e inspecionável, necessário para simulação e planejamento de múltiplos passos.

Um desafio central neste domínio é a indeterminação sob observabilidade parcial: logs de trajetórias finitas podem ser reproduzidos por muitos programas executáveis, variando de tabelas de consulta simples (memorização) a programas estatais compactos que inferem variáveis latentes (generalização). Modelos de mundo baseados em código existentes muitas vezes contornam isso prevendo a próxima observação diretamente ou dependendo de interação online, carecendo de um mecanismo offline para induzir um programa de estado de crença simbólico que seja ao mesmo tempo exato e generalizável. Além disso, existe uma tensão entre fidelidade de observação (reconstruir fielmente o texto de superfície) e utilidade de decisão (fornecer sinais discriminativos de ação para o planejamento), algo que trabalhos anteriores não abordaram explicitamente como uma fronteira de Pareto.

2. Metodologia: PatchWorld

O PatchWorld é um framework livre de gradiente que transforma trajetórias de agentes offline em modelos de mundo em Python executáveis através de reparo de código guiado por contraexemplos. Ele trata a indução de modelos de mundo como um problema de otimização generativa, análogo à Síntese Indutiva Guiada por Contraexemplos (CEGIS).

Fluxo de Trabalho Principal

1. Seleção de Evidências: O sistema seleciona um conjunto contrastivo de transições de trajetórias offline. Essas transições são agrupadas por assinaturas de ação (tipos de ação abstraídos) e assinaturas de resultado (ex: sucesso, falha, terminal) para garantir que o programa sintetizado cubra comportamentos diversos em vez de apenas memorizar padrões frequentes.
2. Síntese Inicial: Um LLM sintetiza um programa Python executável inicial (BaseWorldModel) implementando um estado de crença simbólico, regras de transição, lógica de correção e lógica de renderização. O programa adere a uma interface fixa: init_belief, correct_belief (atualiza o estado a partir da observação), predict_belief (atualiza o estado a partir da ação) e readout_observation (gera texto a partir do estado).
3. Reparo Guiado por Contraexemplos: O programa sintetizado é reproduzido contra as trajetórias de treinamento/validação. Falhas de previsão são convertidas em contraexemplos concretos (entrada, saída esperada, saída real).
4. Otimização Iterativa: Um LLM é solicitado com o programa atual, resumos diagnósticos de padrões de falha e os 16 principais contraexemplos priorizados para propor patches candidatos. Um patch é aceito apenas se melhorar a fidelidade de reprodução formal (ordenação lexicográfica de severidade de falha e contagem) no conjunto de validação completo. Este portão de "subida de encosta" (hill-climbing) evita regressões em falhas não vistas.

Variantes: Simple vs. Residual

O artigo introduz duas variantes para explorar o compromisso entre fidelidade e utilidade:

• PatchWorld-Simple: Depende puramente do programa simbólico induzido. Foca em aprender dinâmicas compactas e contrastivas de ação.
• PatchWorld-Residual: Aumenta o programa simbólico com um viés de memória residual especificado pelo humano. Este componente rastreia assinaturas de estado de texto recorrentes e inequívocas (ex: IDs de objetos específicos ou strings de template) via um cache de uso exclusivo de treinamento. Atua como um viés indutivo (semelhante ao decaimento de peso) para melhorar a reconstrução de superfície sem substituir a dinâmica simbólica usada para o planejamento.

3. Principais Contribuições

1. Identificação da Indeterminação: O artigo destaca que, sob observabilidade parcial, logs finitos suportam a reprodução exata sem revelar as regras de estado latente compactas necessárias para a generalização.
2. Framework de Indução Livre de Gradiente: O PatchWorld introduz um método para usar LLMs como otimizadores simbólicos que sintetizam e reparam programas de estado de crença executáveis offline, produzindo modelos que são inspecionáveis e localmente reparáveis.
3. A Fronteira Fidelidade-Utilidade: Os autores demonstram uma fronteira de Pareto entre reconstrução de observação e utilidade de planejamento. Eles mostram que melhorar a fidelidade do texto de superfície (via memória residual) pode, às vezes, enfraquecer as dinâmicas contrastivas de ação, e vice-versa.
4. Validação Empírica: Em sete ambientes AgentGym (Maze, BabyAI, TextCraft, Wordle, WebShop, AlfWorld, SciWorld), o framework atinge o estado da arte em termos de desempenho tanto em previsão baseada em código quanto em planejamento, sem exigir chamadas de LLM durante a inferência.

4. Resultados Experimentais

A avaliação compara o PatchWorld contra baselines neurais (Word2World, LLM-Direct) e outros baselines baseados em código (WorldCoder, PoE-World).

• Fidelidade de Observação: O PatchWorld-Residual alcança a maior fidelidade de código, atingindo um Macro Token F1 de 0,69–0,70 e BLEU-4 de 0,49–0,50, superando o WorldCoder e o PoE-World em aproximadamente 6 pontos. Ele lida efetivamente com ambientes baseados em templates (ex: AlfWorld, TextCraft) onde a correspondência exata de strings é crítica.
• Utilidade de Planejamento: O PatchWorld-Simple alcança a maior pontuação de planejamento de código, com uma taxa de sucesso de episódio macro de 76,4% em planejamento de lookahead de um passo ao vivo. Isso supera o PoE-World (69,3%) e o WorldCoder (64,4%), e é competitivo com planejadores baseados em LLM (ReAct em 74,4%, LLM-Direct em 75,8%). Crucialmente, o PatchWorld-Simple alcança isso com zero chamadas de LLM durante a fase de predição de lookahead.
• O Compromisso (Trade-off): Os resultados confirmam a existência de uma fronteira. O PatchWorld-Residual tem maior fidelidade, mas menor sucesso de planejamento (72,9%) comparado ao PatchWorld-Simple. A análise sugere que alta fidelidade de superfície não garante os sinais específicos contrastivos de ação necessários para o planejamento; em alguns casos, o foco da memória residual na string exata pode obscurecer as diferenças estruturais entre ações candidatas.
• Eficiência: O PatchWorld desloca o custo computacional para a indução offline (média de 17–28 chamadas de LLM por ambiente para reparo), mas elimina a necessidade de chamadas de LLM durante a inferência, reduzindo significativamente o uso de tokens em comparação com o prompting direto de LLM.

5. Significância e Alegações

O artigo afirma que LLMs podem servir como otimizadores simbólicos, capazes de buscar, reparar e melhorar sistemas simbólicos executáveis que são competitivos com modelos neurais implícitos.

• Interpretabilidade e Reparabilidade: Ao contrário de modelos de mundo neurais de caixa-preta, o PatchWorld produz programas onde as atualizações de crença e as regras de transição podem ser inspecionadas, testadas e reparadas localmente.
• Equivalência de Valor: O trabalho demonstra que, para agentes, um modelo não precisa ser o "melhor" preditor da próxima observação para ser o "melhor" planejador. Modelos podem ser equivalentes em planejamento (equivalentes em valor) enquanto divergem significativamente na verossimilhança da observação.
• Indução Offline: O framework prova que modelos de mundo de alta qualidade para agentes de texto podem ser induzidos inteiramente a partir de dados offline, evitando a necessidade de interação online ou ajuste fino supervisionado do próprio modelo de mundo durante a implantação.

Os autores mantêm a modéstia, observando que os modelos induzidos são limitados a ambientes baseados em linguagem e que as alegações de interpretabilidade dependem da inspeção do programa, não de estudos com usuários. Eles reconhecem que, embora os modelos sejam inspecionáveis, eles ainda podem codificar regras incorretas se os dados de treinamento forem insuficientes ou enviesados, necessitando de sandboxing e revisão em cenários de alto risco.