Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

Título: COS-PLAY: Agentes de Decisão LLM e Banco de Habilidades Co-evolutivos para Tarefas de Longo Horizonte

1. Problema e Motivação

O artigo aborda o desafio de criar agentes autônomos capazes de operar em ambientes interativos de longo horizonte (como jogos complexos), onde o sucesso depende de raciocínio multi-etapa, encadeamento de habilidades ao longo de muitos passos e tomada de decisão robusta sob recompensas atrasadas e observabilidade parcial.

• Limitação dos LLMs Atuais: Embora os Grandes Modelos de Linguagem (LLMs) sejam promissores como agentes de jogo, eles frequentemente falham na tomada de decisão consistente de longo prazo. Isso ocorre porque carecem de um mecanismo para descobrir, reter e reutilizar habilidades estruturadas entre episódios. Eles tendem a tratar cada passo como um evento isolado, sem memória procedural persistente.
• O Dilema da Interdependência: Existe uma forte dependência entre um agente de decisão e um banco de habilidades: o banco só é útil se o agente souber selecionar e executar as habilidades corretamente, e o agente só é capaz quanto as habilidades disponíveis permitirem. A questão central é: como evoluir esses dois componentes simultaneamente para que um melhore o outro?

2. Metodologia: O Framework COS-PLAY

Os autores propõem o COS-PLAY, um framework de co-evolução multi-agente que fecha o ciclo entre a tomada de decisão e o aprendizado de habilidades. O sistema consiste em dois agentes principais que interagem em um loop fechado:

A. Agente de Decisão (LLM-based)

• Função: Interage com o ambiente, recupera habilidades do banco, atualiza sua "intenção" (sub-objetivo estratégico) e executa ações primitivas.
• Mecanismo:
  1. Recuperação de Habilidade: Seleciona uma habilidade estruturada (com protocolo, pré-condições e critérios de sucesso) do banco baseada no estado atual.
  2. Atualização de Intenção: Mantém um estado latente de intenção que guia o comportamento de curto e longo prazo.
  3. Execução: Realiza ações condicionadas à intenção e ao plano da habilidade ativa.
• Treinamento: Otimizado via GRPO (Group Relative Policy Optimization) com adaptadores LoRA específicos para recuperação de habilidades e execução de ações.

B. Agente do Banco de Habilidades (Skill Bank Agent)

• Função: Descobre e mantém um banco de habilidades reutilizáveis a partir de trajetórias de jogo não rotuladas (rollouts).
• Pipeline de 4 Estágios:
  1. Proposta de Fronteiras: Identifica pontos prováveis de transição de habilidade na trajetória (baseado em mudanças de intenção, recompensas ou predicados).
  2. Inferência de Segmentação: Classifica segmentos da trajetória como habilidades existentes ou novas.
  3. Aprendizado de Contrato (Contract Learning): Agrega efeitos de estado (predicados adicionados/removidos) para criar "contratos" verificáveis que definem o que uma habilidade garante ao ser executada.
  4. Manutenção do Banco: Realiza operações de refinamento, materialização de novas habilidades, fusão (merge) de habilidades redundantes, divisão (split) de habilidades muito amplas e aposentadoria (retire) de habilidades obsoletas.

C. Loop de Co-evolução

1. O Agente de Decisão joga e coleta trajetórias usando o banco atual.
2. O Agente do Banco analisa essas trajetórias, extrai novos padrões, refina contratos e atualiza o banco.
3. O banco atualizado é usado para melhorar a próxima rodada de decisão, criando um ciclo de auto-reforço onde políticas melhores geram dados melhores para habilidades melhores, e vice-versa.

3. Contribuições Principais

1. Framework de Co-evolução: Propõe uma das primeiras estruturas que acoplam a tomada de decisão baseada em LLM com um pipeline de descoberta de habilidades não supervisionada em um loop unificado.
2. Descoberta de Habilidades Não Supervisionada: O sistema aprende habilidades e seus contratos diretamente de trajetórias brutas, sem necessidade de anotação humana ou demonstrações pré-existentes.
3. Eficiência de Dados e Adaptabilidade: Demonstra que um modelo base pequeno (8B) pode superar modelos de ponta (frontier LLMs) em jogos complexos com poucas iterações de adaptação (few-shot), graças à estruturação do conhecimento em habilidades reutilizáveis.
4. Avaliação Abrangente: Testado em 6 ambientes variados, desde puzzles de único jogador (2048, Tetris, Super Mario) até jogos sociais de múltiplos jogadores com raciocínio estratégico complexo (Avalon, Diplomacy).

4. Resultados Experimentais

Os experimentos foram conduzidos em seis ambientes de jogo, comparando o COS-PLAY (baseado em Qwen3-8B) com LLMs de ponta como GPT-5.4, Gemini-3.1-Pro e Claude-4.6.

• Jogos de Único Jogador:

  • O COS-PLAY alcançou uma melhoria média de 25,1% na recompensa em comparação com o GPT-5.4.
  • Superou consistentemente os baselines em tarefas como 2048, Tetris, Candy Crush e Super Mario Bros.
  • O modelo atingiu desempenho forte em apenas 25 iterações de co-evolução, demonstrando alta eficiência de dados.

• Jogos Sociais Multi-jogador (Avalon e Diplomacy):

  • Nestes cenários, onde o raciocínio de longo prazo e a memória de contexto são cruciais, o COS-PLAY foi competitivo com os melhores LLMs.
  • Em Diplomacy, superou o Gemini-3.1-Pro em 8,8% no número médio de centros de suprimento controlados.
  • Em Avalon, manteve-se comparável ao Gemini e ao GPT-OSS-120B, com apenas 1% de diferença na taxa de vitória.

• Análise de Habilidades:

  • O banco de habilidades aprendeu abstrações compactas e reutilizáveis (ex: "Explorar fronteiras", "Defender território") em vez de memorizar trajetórias isoladas.
  • A análise de falhas mostrou que o COS-PLAY tende a falhar por "estagnação" (parar em um nível seguro), enquanto os LLMs base falham por "colapso" (perder centros vitais), indicando que a estrutura de habilidades fornece um "piso de segurança" para o agente.

5. Significado e Conclusão

O trabalho COS-PLAY demonstra que a organização de conhecimento procedural em um banco de habilidades evolutivo é uma estratégia superior para tarefas de longo horizonte em comparação com o ajuste fino direto de LLMs ou o uso de ferramentas pontuais.

• Indução de Viés Estruturado: O uso de habilidades fornece um viés indutivo que ajuda modelos menores a lidar com tarefas que exigem memória de longo prazo e consistência multi-turno, níveis que normalmente exigiriam modelos muito maiores.
• Ciclo de Melhoria Contínua: A co-evolução resolve o problema de "alinhamento" entre o que o agente sabe fazer e o que ele precisa fazer, permitindo que o sistema aprenda continuamente a partir de sua própria experiência não rotulada.
• Futuro: Os autores apontam que o próximo passo é estender esse framework para ambientes multimodais (visão + texto), onde as habilidades poderiam capturar tanto a dinâmica de interação quanto o raciocínio visual.

Em resumo, o COS-PLAY estabelece um novo paradigma onde a inteligência artificial não apenas "joga" o jogo, mas aprende a jogar melhor construindo e refinando seu próprio repertório de estratégias ao longo do tempo.