Resumo Técnico: ProPlay: Modelos de Mundo Procedurais para Agentes LLM de Autoevolução

Declaração do Problema

O artigo aborda o desafio de construir agentes LLM de autoevolução que possam melhorar através da interação sem supervisão externa ou retreinamento em larga escala. Isso é particularmente difícil em ambientes parcialmente observáveis, onde os agentes devem explorar ativamente, aprender com feedback esparso e atrasado, e decidir quando confiar na experiência prévia.

As abordagens existentes tipicamente tratam a memória (armazenamento de reflexões ou regras) e o planejamento (busca de ações futuras) como módulos separados, falhando em fechar o ciclo entre eles para refinar continuamente sua compreensão interna da dinâmica do ambiente. Além disso, os métodos atuais de modelos de mundo frequentemente dependem de restrições de nível de ação ou regras de baixo nível, o que pode perder a estrutura causal de alto nível das tarefas e ter dificuldade em equilibrar exploração e explotação. O problema central é como representar a dinâmica do ambiente em um nível de abstração que capture progressões de tarefas hierárquicas e reutilizáveis, permitindo ao mesmo tempo escolhas de ações flexíveis de baixo nível.

Metodologia: ProPlay

Os autores introduzem o ProPlay, um framework construído sobre um modelo de mundo procedural em evolução. O sistema opera em um ciclo episódico de três fases: Preplay (Pré-execução), Execution (Execução) e Refinement (Refinamento).

1. Modelo de Mundo Procedural

Em vez de representar o ambiente via ações ou entidades individuais, o ProPlay modela a dinâmica usando procedimentos como a unidade fundamental.

• Procedimentos: Abstrações de alto nível de estágios de tarefas (ex: "ferver água", "medir uma propriedade") induzidas a partir de trajetórias de interação bem-sucedidas. Eles descrevem o propósito e o template de execução de um estágio.
• Grafo de Procedimentos ($G$): Um grafo direcionado atribuído onde os nós são procedimentos ($P$) e as arestas direcionadas ($E$) codificam transições causais entre estágios de tarefas.
• Embeddings de Registro de Confiabilidade ($C$): Cada transição $(p_i, p_j)$ é associada a um embedding que quantifica a consistência com que essa transição contribuiu para tarefas bem-sucedidas com descrições semelhantes. Isso é calculado como uma soma ponderada de embeddings de descrição de tarefas de episódios passados bem-sucedidos onde a transição ocorreu. Este mecanismo ajuda a distinguir conhecimento generalizável de experiências ruidosas ou com overfitting.

2. Preplay de Nível de Procedimento

Antes de cada novo episódio, o ProPlay realiza um preplay de nível de procedimento para gerar orientação suave estruturada:

• Construção de Trajetória: O agente consulta o grafo de procedimentos atual ($G_{k-1}$) e recupera experiências de falha relevantes. Ele atribui pontuações de confiabilidade específicas da tarefa às transições existentes com base na similaridade semântica com a descrição da tarefa atual.
• Orientação Suave (Soft Guidance): O agente constró a uma trajetória de procedimento ($W^*$) raccinando sobre a descrição da tarefa, o grafo e as pontuações de confiabilidade. Esta trajetória é injetada no contexto do agente como orientação suave (um prior de alto nível), não como uma restrição rígida. Isso permite que o agente explore o conhecimento acumulado enquanto mantém a liberdade de desviar e explorar transições não vistas se as observações assim o exigirem.

3. Refinamento do Modelo de Mundo Episódico

Após a conclusão do episódio, o ProPlay refina o modelo de mundo com base no feedback do ambiente:

• Indução de Procedimento: Segmentos de trajetória bem-sucedidos são particionados e passados ao LLM para induzir novos procedimentos ou fundi-los com procedimentos existentes com base na similaridade semântica, garantindo um vocabulário procedural não redundante.
• Atualização do Grafo: Novos caminhos de procedimento são mapeados para o conjunto atualizado de procedimentos, e novas transições são adicionas ao grafo.
• Atualização de Confiabilidade: Os embeddings de registro de confiabilidade para as transições observadas são atualizados para refletir sua contribuição para a recompensa do episódio atual, consolidando o conhecimento generalizável e suprimindo transições enganosas.

Principais Contribuições

1. Perspectiva Centrada em Procedimentos: O artigo propõe modelar a dinâmica do ambiente como caminhos procedurais em vez de restrições de ação de baixo nível, capturando a estrutura hierárquica e causal das progressões de tarefas.
2. Framework ProPlay: Um mecanismo de preplay que constrói e mantém um modelo de mundo procedural, recuperando trajetórias relevantes para a tarefa como orientação suave para equilibrar exploração e explotação.
3. Avaliação Empírica: Experimentos abrangentes em três benchmarks públicos demonstrando melhorias consistentes na compreensão do ambiente e capacidades de autoevolução.

Resultados Experimentais

Os autores avaliaram o ProPlay no ScienceWorld (raciocínio científico), $\tau$-Bench (uso de ferramentas conversacionais) e PlanCraft (fabricação de múltiplas etapas).

• Desempenho: O ProPlay alcançou o melhor Ranking Médio (A.R.) em todos os benchmarks, superando fortes baselines incluindo ReAct, Reflexion, ExpeL, LATS, Wall-E e WorldCoder.
• ScienceWorld: O ProPlay superou significativamente os baselines de modelo de mundo baseados em planejamento e em nível de ação, particularmente em tarefas complexas de múltiplas etapas.
• Análise de Autoevolução:
  • Cold-Start: O ProPlay mostrou vantagens nos episódios iniciais devido à sua capacidade de alavancar conhecimento prévio para exploração.
  • Padrão de Crescimento: O grafo procedural exibiu um crescimento de duas fases: acumulação rápida de nós de conceito no início, seguida por uma proliferação de arestas relacionais, sugerindo que o aprofundamento da estrutura relacional impulsiona o desempenho nas fases tardias.
  • Generalização: O sistema generalizou bem através de tarefas heterogêneas, mostrando vantagens significativas em tarefas onde se destacou sem ficar atrás em outras.
• Estudos de Ablação:
  • Preplay: Substituir a orientação suave por restrições rígidas ou amostragem aleatória reduziu o desempenho, confirmando a necessidade de um raciocínio flexível e fundamentado.
  • Componentes do Modelo de Mundo: Remover transições de procedimento ou registros de confiabilidade degradou significamente o desempenho, destacando que as transições são o conhecimento mais valioso e que os registros de confiabilidade são cruciais para uma explotação eficaz.
  • Granularidade: Substituir o modelo procedural por um modelo de nível de ação resultou em menor desempenho, indicando que restrições de nível de ação limitam a flexibilidade do raciocínio.

Limitações e Discussão

O artigo reconhece limitações específicas:

• Escopo de Abstração: A abstração procedural é mais eficaz para tarefas com estruturas causais claras e reutilizáveis. Tarefas que exigem raciocínio quantitativo preciso (ex: medição de ponto de fusão) ou montagem de ferramentas não decomponíveis podem ser melhor atendidas por métodos de regras de granularidade fina.
• Preplay de Passo Único: O plano de preplay é gerado uma única vez no início de um episódio. Se as observações iniciais revelarem que o plano está incorreto, o agente não pode revisar o plano no meio do episódio e deve confiar em seu próprio raciocínio para se recuperar.
• Escopo do Benchmark: Continua sendo uma questão aberta se esses benefícios se generalizam para ambientes altamente abertos (ex: navegação na web, interação com GUI) onde estruturas procedurais podem não emergir naturalmente.

Significância

O artigo afirma que a abstração de nível de procedimento oferece uma base principista e eficaz para agentes de autoevolução em ambientes parcialmente observáveis. Ao fechar o ciclo entre memória e planejamento através de um modelo de mundo procedural, o ProPlay permite que os agentes internalizem a dinâmica do ambiente, distinguindo conhecimento generalizável de experiência contingente. Esta abordagem vai além da extração de regras isoladas ou planejamento estático, fornecendo um framework dinâmico onde os agentes podem ensaiar ativamente caminhos futuros e refinar sua compreensão interna do mundo através da interação.