💬 NLP

Environment-Grounded Automated Prompt Optimization for LLM Game Agents

Este artigo apresenta um framework automatizado e fundamentado no ambiente que otimiza iterativamente prompts para agentes de jogos de LLM por meio de um loop evolutivo multiagente e análise de comportamento, melhorando significativamente o desempenho nas tarefas sem exigir o ajuste fino do modelo.

Autores originais: Rean Clive Fernandes, Lukas Fehring, Theresa Eimer, Marius Lindauer, Matthias Feurer

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rean Clive Fernandes, Lukas Fehring, Theresa Eimer, Marius Lindauer, Matthias Feurer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente (um Grande Modelo de Linguagem, ou LLM) que você quer ensinar a jogar um videogame. Esse robô é incrivelmente inteligente, mas é como um gênio que nunca viu um controle de videogame antes. Se você apenas der uma instrução vaga como "Vá buscar a bola vermelha", ele pode ficar confuso, bater nas paredes ou soltar a bola no lugar errado.

Normalmente, os humanos precisam passar horas escrevendo e ajustando manualmente as instruções (chamadas de "prompts") para fazer o robô funcionar bem. Este artigo apresenta um sistema chamado RAPOA que automatiza esse processo. É como dar ao robô um treinador que observa como ele joga, entende exatamente onde ele errou e reescreve o manual de instruções para o robô sobre a hora, até que ele se torne um profissional.

Veja como o sistema funciona, dividido em conceitos simples:

1. Dividindo o Cérebro (A "Equipe de Duas Pessoas")

Em vez de pedir a um único robô para fazer tudo de uma vez (olhar para a tela, traçar o plano e apertar os botões), os autores dividiram o trabalho em dois papéis especializados:

O Descritor (Os Olhos): Esta parte do robô apenas olha para a tela do jogo e resume o que é importante para o objetivo. Ele não se preocupa com o que fazer a seguir; ele apenas diz: "Ei, há uma porta roxa dois passos à sua esquerda, e ela está trancada."
O Ator (As Mãos): Esta parte pega esse resumo e decide qual botão apertar. Ele pensa: "Ok, eu preciso ir para a esquerda, encontrar uma chave, depois abrir a porta."

Isso é como ter um navegador em um carro que apenas diz onde estão as curvas, enquanto um motorista separado foca inteiramente em dirigir e frear. Ao separar eles, o sistema torna-se menos confuso.

2. O Treinador Evolutivo (O Ciclo de "Tentativa e Erro")

O sistema não apenas adivinha novas instruções; ele usa um processo evolutivo, semelhante ao modo como a natureza evolui as espécies ao longo do tempo, mas muito mais rápido.

Jogar: O robô joga o jogo.
Observar: Um "Analisador de Comportamento" (o treinador) observa as imagens do jogo. Se o rob o falha, o treinador pergunta: "O Descritor esqueceu algo? O Ator fez uma escolha ruim?"
Reescrever: Um "Mutador" (o editor) pega o feedback do treinador e reescreve o manual de instruções para a parte específica que falhou.
Testar: O robô tenta as novas instruções. Se ele melhorar, as novas instruções são mantidas. Se ele piorar, elas são descartadas.

3. O Milagre do "PutNext"

O artigo testou isso em um jogo chamado BabyAI, que possui cinco tipos diferentes de níveis. Um nível, chamado PutNext, é notoriamente difícil. Ele exige que o robô pegue um objeto, caminhe até um ponto específico e o solte ao lado de outro objeto sem derrubá-lo.

Antes: O robô padrão (mesmo com instruções escritas por humanos) acertava isso 0% das vezes. Ele simplesmente não conseguia entender a geometria de soltar o objeto.
Depois: O sistema automatizado ajustou as instruções até que o robô acertasse 72,5% das vezes.

A descoberta fundamental aqui foi que o sistema descobriu uma regra específica que os humanos perderam: Para soltar um objeto ao lado de algo, você deve estar ao lado dele, mas voltado para o lado oposto, para que o objeto caia no espaço vazio ao lado do alvo, não em cima dele. O sistema descobriu essa regra analisando as falhas e reescrevendo o prompt para incluir essa restrição geométrica específica.

4. Por Que Isso Importa (Sem Mudar o "Cérebro")

Normalmente, para tornar uma IA melhor em uma tarefa específica, você precisa fazer o "ajuste fino" (fine-tuning) dela, o que é como retreinar todo o cérebro de um estudante — um processo lento, caro e que consome muita energia.
Este artigo mostra que você não precisa retreinar o cérebro. Você só precisa encontrar as instruções certas. Ao automatizar a busca por essas instruções, eles fizeram um modelo de IA padrão performar significativamente melhor sem mudar um único número dentro do modelo em si.

Analogia de Resumo

Pense no modelo de IA como um ator talentoso, mas inexperiente.

Jeito Antigo: Um diretor (humano) tenta escrever o roteiro, mas leva uma eternidade para acertar as falas.
Jeito Novo (RAPOA): Você contrata um diretor que tem uma equipe de filmagem. A equipe filma o ator, um editor de IA assiste às imagens, identifica exatamente onde o ator tropeçou e instantaneamente reescreve o roteiro para a próxima tomada. Após 20 tentativas, o ator está entregando uma performance perfeita, não porque aprendeu uma nova habilidade, mas porque o roteiro finalmente disse a ele exatamente o que fazer.

O artigo prova que, para tarefas interativas complexas, otimizar automaticamente as instruções é uma maneira poderosa de obter melhores resultados sem precisar mudar o modelo de IA subjacente.

Resumo Técnico: Otimização Automática de Prompts Baseada em Ambiente para Agentes de Jogos com LLM

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) em ambientes interativos são altamente sensíveis aos seus prompts, embora a engenharia de prompts permaneça um processo manual e específico para cada tarefa. Embora os LLMs sirvam como poderosos motores de raciocínio, eles frequentemente enfrentam dificuldades com interpretação espacial, planejamento de longo prazo e adaptação em cenários de informação parcial, como em jogos interativos. As soluções existentes dependem ou de arquiteturas manuais específicas de domínio que exigem adaptação manual para novos domínios, ou envolvem o ajuste fino (fine-tuning) custoso de modelos. Além disso, os métodos atuais de otimização de prompts frequentemente dependem de conjuntos de dados estáticos, o que pode levar ao overfitting e falhar em capturar a natureza não estacionária de ambientes interativos. O desafio central é derivar automaticamente prompts específicos para tarefas que maximizem o desempenho do agente sem atualizar os pesos do modelo ou exigir supervisão humana extensiva.

Metodologia: RAPOA

Os autores propõem o RAPOA (Otimização Automática de Prompts Orientada por Recompensa para sistemas Agênticos), um framework que combina uma arquitetura de agente decomposta com um loop de otimização de prompts evolutivo guiado pelos retornos do ambiente.

1. Arquitetura Agêntica: O Agente SPA

Em vez de um agente monolítico lidando com análise de estado, estratégia e seleção de ação simultaneamente, o RAPOA distribui essas tarefas entre dois subagentes:

Agente Descritor ( $A_{des}$ ): Um módulo de percepção que condiciona a observação bruta do ambiente em um resumo relevante para a tarefa. Ele extrai informações relevantes para a tarefa sem o fardo do planejamento.
Agente de Seleção de Ação ( $A_{act}$ ): Um módulo de planejamento que recebe a missão, o resumo do descritor e o estado atual do agente para selecionar a próxima ação.
Esta arquitetura de "Percepção e Ação Divididas" (Split Perception Action - SPA) mimetiza a separação entre ator e crítico encontrada no Aprendizado por Reforço (RL), permitindo uma otimização de prompt mais direcionada.

2. O Loop de Otimização

O RAPOA opera através de um processo evolutivo iterativo:

Rollout: O agente interage com o ambiente (tarefas BabyAI) para gerar trajetórias (episódios) de observações, ações e recompensas.
Analisador de Comportamento (BA): Este módulo analisa trajetórias bem-sucedidas e falhas para atribuir os resultados a componentes específicos do prompt. Ele identifica modos de falha (ex: "As ações não consideram colisões") e comportamentos bem-sucedidos, classificando-os por severidade.
Mutador: Com base na análise do BA, o Mutador propõe revisões direcionadas aos prompts dos subagentes. Ele garante que as mudanças sejam mínimas, coerentes e respeitem o limite arquitetônico (ex: o Descritor não raciocina sobre a conclusão da tarefa).
Avaliação em Dois Estágios: As mutações propostas passam por um teste de aceitação rigoroso:
1. Otimização no Loop: O candidato deve melhorar o desempenho em relação ao prompt atual em um conjunto de sementes de otimização ( $S_{opt}$ ) por um limiar $\delta$ .
2. Seleção de Conjunto Retido: O candidato também deve melhorar o desempenho em um conjunto separado e fixo de sementes de seleção ( $S_{select}$ ) para garantir a generalização e evitar o overfitting a trajetórias específicas.

3. Componentes Principais

Fundamentação no Ambiente: Diferente de métodos que utilizam o LLM como juiz, o RAPOA utiliza as recompensas reais do ambiente como o sinal de otimização, tornando o sinal não estacionário e mais difícil de sofrer overfitting.
Adaptação Ordenada por Severidade: O sistema prioriza a correção dos modos de falha mais severos primeiro, adaptando os subagentes sequencialmente com base na lista classificada do BA.

Contribuições Principais

Framework de Otimização Automática de Prompts: Um sistema que otimiza tanto agentes de LLM monolíticos quanto multiagentes (decompostos) automaticamente, eliminando a necessidade de engenharia de prompts manual.
Procedimento de Otimização de Prompt Conjunta: Um método que aproveita os retornos dos episódios e a análise de comportamento das transições de estado para refinar prompts de múltiplos subagentes simultaneamente.
Sinergia de Decomposição e Otimização: A demonstração de que dividir o agente em módulos de percepção e ação, combinado com o ajuste automático de prompts, supera significativamente os baselines monolíticos sem exigir atualizações de gradiente ou ajuste de pesos.

Resultados Experimentais

O framework foi avaliado no benchmark BALROG, especificamente em cinco famílias de tarefas BabyAI: GOTO, PICKUP, OPEN, PUTNEXT e PICKUPSEQGOTO. Os experimentos compararam o agente SPA otimizado pelo RAPOA contra o baseline RobustCoTAgent sob iniciações de prompt "Plain" (mínima) e "Guided" (específica para a tarefa).

Ganhos de Desempenho: A otimização melhorou consistentemente o desempenho em todas as tarefas e condições.
- Na tarefa PUTNEXT (uma tarefa de coordenação de múltiplos passos complexos), o baseline RobustCoTAgent alcançou 0% de sucesso. O framework RAPOA, utilizando o mesmo LLM subjacente (GPT-OSS-20B), alcançou até 72,5% de taxa de sucesso com prompts otimizados.
- Para o agente SPA com inicialização guiada, a taxa média de sucesso nas cinco tarefas aumentou de 65,5% para 79,2%.
- Mesmo com prompts "plain" (mínimos), o agente SPA igualou ou superou o desempenho do baseline guiado do BALROG, demonstrando a robustez da decomposição.
Generalização: Prompts otimizados para tarefas complexas (como PUTNEXT) mostraram forte transferibilidade para tarefas mais simples (como PICKUP), enquanto prompts otimizados para tarefas isoladas (como OPEN) não generalizaram bem, sugerindo que o otimizador aprende sub-habilidades universais para coordenação complexa.
Estudos de Ablação:
- Critérios de Aceitação: Portões de aceitação rigorosos (exigindo melhoria de desempenho) foram considerados cruciais. Sem eles (sempre-aceitar), o otimizador tendia a se desviar de estados ótimos, particularmente em tarefas de recompensa esparsa.
- Pressão de Seleção: Uma baixa pressão de seleção permitiu mais exploração em paisagens de recompensa esparsa, frequentemente gerando melhores resultados em tarefas difíceis como PUTNEXT.
- Restrições de Módulo: Quando o otimizador foi restrito a mutar apenas o agente de Seleção de Ação, ele ainda superou o baseline monolítico, embora o sistema decomposto completo tenha apresentado o melhor desempenho.

Significância e Alegações

O artigo afirma que o RAPOA oferece uma maneira nova e automatizada de adaptar agentes de LLM a novas tarefas sem o custo computacional do fine-tuning ou o trabalho de redesenho manual. Os resultados sugerem que:

A decomposição é eficaz: Separar a interpretação de estado do planejamento torna o processo de otimização mais tratável e eficaz.
A otimização fundamentada no ambiente é superior: Usar recompensas do ambiente em vez de conjuntos de dados estáticos ou juízes de LLM permite a descoberta de estratégias robustas e generalizáveis.
A otimização de prompt é uma alternativa viável ao fine-tuning: Ganhos significativos de desempenho (ex: de 0% para 72,5% em PUTNEXT) podem ser alcançados apenas refinando o prompt, mantendo os pesos do modelo fixos.

Os autores mantêm a modéstia quanto ao escopo, observando que os experimentos estão atualmente restritos a um único domínio (BabyAI) e um único LLM. Eles identificam o trabalho futuro em testar a generalização através de diversos ambientes, distribuições de tarefas e meta-LLMs maiores, bem como explorar variantes de otimização baseadas em população para reduzir a convergência prematura. Eles também destacam ambientes de jogos gerados proceduralmente como um campo promissor para evitar a contaminação do conjunto de teste em pesquisas de otimização de prompt.