Resumo Técnico: SidConArena

Definição do Problema

Os benchmarks atuais para agentes de Grandes Modelos de Linguagem (LLMs) frequentemente dependem de tarefas de raciocínio estáticas ou jogos competitivos de soma zero. Esses ambientes falham em capturar a complexidade das interações econômicas do mundo real, que são tipicamente abertas, de motivação mista e envolvem oportunidades de soma positiva. Em tais cenários, os agentes devem simultaneamente negociar, criar excedente através da cooperação, competir por ativos escassos e executar planos de investimento de longo horizonte sob observabilidade parcial. As avaliações existentes fornecem insights limitados sobre como os agentes se comportam nesses cenários dinâmicos, socialmente interativos e economicamente fundamentados.

Metodologia

Os autores introduzem o SidConArena, um framework de benchmark que formaliza uma economia multi-jogador como um Jogo Estocástico Parcialmente Observável (POSG) de horizonte finito. O framework é construído sobre a estrutura econômica do jogo de tabuleiro Sidereal Confluence e consiste em três fases acopladas por turno:

1. Negociação (Jogo Cooperativo Não Estruturado): Os agentes abordam deficiências inerentes de produção engajando-se em barganhas de linguagem natural. Eles trocam recursos por meio de vetores de troca vinculativos. As trocas são executadas apenas se aumentarem a utilidade heurística para ambas as partes, modeladas como um sub-jogo cooperativo.
2. Produção (Otimização Determinística): Os agentes ativam conversores de produção para transformar recursos de entrada em saídas. Esta fase é um problema de otimização combinatória determinístico do tipo Knapsack (problema da mochila), limitado pelo inventário acumulado durante a negociação.
3. A Confluência (Jogo Competitivo de Informação Imperfeita): Os agentes competem por ativos permanentes (Colônias e Tecnologias) via um Leilão de Prioridade de Múltiplas Trilhas Simultâneas. Os agentes submetem lances selados usando uma moeda líquida ("Navios"). A alocação segue um mecanismo de "Direito de Escolha" baseado no ranking de lances e disponibilidade de ativos, introduzindo estocasticidade e informação oculta.

Arquitetura do Framework

O SidConArena emprega uma arquitetura modular projetada para separar o raciocínio do agente da execução do ambiente:

• Construção de Observação: O ambiente constrói observações estruturadas a partir de quatro canais: inventário/capacidades privadas, sinais públicos do tabuleiro, contexto de mercado (dados do leilão) e histórico de interação.
• Despacho Sensível à Fase: Um "Cérebro" central roteia tarefas para módulos de raciocínio especializados (ex: TurnPlanCaller, TradeCaller, EconomyCaller, BidCaller) com base na fase atual do jogo.
• Interface de Ação Neuro-Simbólica: Para reconciliar a linguagem natural livre com a lógica rígida do jogo, os agentes geram chamadas de função em vez de modificações diretas de estado. Esta interface valida a sintaxe e garante precisão quantitativa para trocas, lances e planos de produção.
• Execução Assíncrona: Ao contrário dos sistemas padrão baseados em turnos, a fase de negociação utiliza um pipeline orientado a eventos e não bloqueante, permitindo a interação simultânea e de alta frequência entre os agentes.

Protocolo Experimental

A avaliação utiliza dois cenários complementares:

1. Auto-jogo Homogêneo: Todos os agentes em um jogo são instanciados a partir do mesmo backbone de LLM para medir o desempenho econômico absoluto.
2. Torneios de Elo Heterogêneos: Diferentes backbones de modelos interagem na mesma economia. Os agentes são classificados usando um sistema de rating estilo Elo derivado de resultados econômicos terminais.

O estudo avalia um conjunto diversificado de modelos, incluindo agentes compactos (ex: GPT-4o-mini), modelos de chat de propósito geral (ex: Qwen-Plus, DeepSeek-V3) e modelos de fronteira de alta capacidade (ex: GPT-5, Gemini-3-Flash-Preview, Claude-Opus-4).

Principais Contribuições

• Um Novo Framework de Benchmark: O SidConArena fornece um ambiente estruturado para avaliar agentes de LLM em barganhas de soma positiva e abertas, indo além dos paradigmas estáticos ou de soma zero.
• Design de Interação Híbrido: O framework combina com sucesso a negociação em linguagem natural com mecânicas de jogo executáveis e baseadas em regras através de uma interface neuro-simbólica.
• Métricas de Avaliação Abrangentes: Introduz o valor econômico terminal como o objetivo primário, junto com ratings Elo para força competitiva e análise detalhada de trajetória para diagnósticos comportamentais.

Resultados

Os experimentos revelam padrões distintos de capacidades dos agentes:

• Diferenciação de Modelos: Modelos de fronteira mais fortes geralmente alcançam pontuações terminais e ratings Elo mais altos. No entanto, o desempenho não é apenas uma função da idade de geração do modelo; são necessárias capacidades específicas em barganha e valoração.
• Erros de Valoração: Apesar de produzirem ações sintaticamente válidas, os agentes frequentemente avaliam mal os recursos. Um modo de falha recorrente envolve a supervalorização de "Navios" (a moeda de lance), onde os agentes os tratam como ativos estratégicos intrinsecamente escassos, em vez de aderir ao seu valor marginal local definido pelo ambiente.
• Barganha Passiva: Os agentes tendem a ser socialmente cooperativos, mas estrategicamente passivos. Eles frequentemente aceitam ofertas razoáveis imediatamente, em vez de alavancar a escassez, fazer contrapropostas ou induzir a competição entre compradores para extrair excedente.
• Planejamento de Curto Horizonte: Os agentes têm dificuldade com o planejamento de investimento de longo horizonte. Embora as decisões de turnos individuais possam parecer localmente defensáveis, os agentes frequentemente falham em construir uma trajetória coerente desde o investimento inicial até a produção composta e a conversão de pontuação no final do jogo, resultando em resultados terminais fracos.

Significância

O artigo postula que o SidConArena serve como um testbed crítico para identificar a lacuna entre a competência superficial do agente (seguimento de instruções, role-playing) e o raciocínio econômico profundo. O framework demonstra que o desempenho bem-sucedido em economias de motivação mista requer uma combinação de valoração específica ao contexto, barganha estratégica e planejamento de longo horizonte sob observabilidade parcial.

Os autores concluem que os agentes de LLM atuais, embora capazes de executar as mecânicas do jogo, estão longe de serem tomadores de decisão econômicos robustos. Eles frequentemente falham em fundamentar decisões no modelo de utilidade específico da tarefa, exibem estratégias de negociação passivas e carecem da habilidade de conectar decisões locais em planos de investimento coerentes de longo prazo. O SidConArena destina-se a facilitar o desenvolvimento e a avaliação de futuros agentes capazes de coordenação de soma positiva e planejamento econômico estratégico confiáveis.