Resumo Técnico: TERMS-BENCH

Definição do Problema

A negociação serve como um mecanismo central para a troca econômica e um banco de testes canônico para agentes de linguagem baseados em LLM (Large Language Models), exigindo interação de múltiplos turnos sob preferências ocultas, comunicação estratégica e restrições vinculativas. No entanto, avaliar agentes de negociação de LLM apresenta um desafio metodológico único: ao contrário da matemática ou do código, a negociação carece de um verificador intrínseco. Os paradigmas de avaliação existentes dependem de interações LLM-contra-LLM ou métricas de resultado agregadas, como a taxa de fechamento de acordos (deal rate). Esta abordagem sofre de dois limites estruturais:

1. Opacidade de Atribuição: Como o interlocutor é uma política de caixa-preta com preferências latentes não especificadas, os resultados confundem a competência do agente com a variabilidade do interlocutor, impedindo a atribuição de falhas a erros específicos de raciocínio.
2. Perda de Granularidade Diagnóstica: Mesmo métricas validadas por preferência humana ou pontuação de múltiplos componentes colapsam o desempenho em classificações escalares, obscurecendo onde no fluxo de trabalho de negociação um agente tem sucesso ou falha (ex: inferência vs. controle).

Consequentemente, os benchmarks atuais falham em diagnosticar se a falha de um agente decorre de um raciocínio instável, sensibilidade ao prompt ou variabilidade comportamental latente, deixando as falhas opacas para os praticantes.

Metodologia: TERMS-BENCH

Os autores introduzem o TERMS-BENCH (Testbed for Economic Reasoning in Multi-turn Strategy), um framework que constrói o próprio ambiente como o verificador. Em vez de usar outro LLM como juiz, o TERMS-BENCH especifica explicitamente o tipo latente, a política e a estrutura de payoff do interlocutor, tornando o ambiente observável para o avaliador, embora permaneça oculto para o agente.

1. Formulação do Framework

O TERMS-BENCH modela a negociação como um jogo bayesiano de forma extensa e informação incompleta:

• Ambiente ($\Gamma$): Definido por um conjunto de resultados factíveis, espaços de tipos privados para o agente ($T_A$) e o interlocutor ($T_B$), funções de utilidade e uma priori sobre tipos latentes ($\mu$). Um tipo $t_i$ codifica um valor de reserva ($r_i$), opção externa ($e_i$), urgência ($\kappa_i$) e postura estratégica ($\eta_i$).
• Protocolo ($P$): Fixa a ordem dos movimentos, o espaço de ações (atos econômicos pareados com linguagem natural), as regras de revelação de informação e as condições de terminação.
• Política do Agente ($\pi$): Mapeia estados de informação (histórico, contexto privado, crenças) para ações.

2. Instanciação: Negociação de Preço Bilateral

O artigo instancia este framework em um cenário de negociação de preço bilateral onde um agente negocia um preço escalar com um interlocutor impulsionado por simulador.

• Interlocutor como Instrumento Diagnóstico: O interlocutor é governado por um kernel estocástico fixo $\pi_B$ parametrizado por um tipo latente amostrado $t_B$. O agente deve inferir $t_B$ a partir dos preços e mensagens observados.
• Famílias de Interlocutores: Para isolar capacidades específicas, os autores definem seis famílias de comportamento de interlocutor que variam ao longo de dois eixos:
  • Reatividade Econômica: O quanto o comportamento depende das ofertas recentes do agente vs. o tipo latente (ex: Tipo-Instrumental vs. Alta-Reatividade).
  • Confiabilidade de Pistas (Cues): Se as pistas linguísticas (sentimento, postura) refletem fielmente a postura latente (ex: Precisa vs. Informativa vs. Ruidosa vs. Pressurizadora).
  • As famílias principais são Candid (Sincera), Taciturn (Taciturna), Expressive (Expressiva) e Strategic (Estratégica), com testes de estresse Stochastic (Estocástica) e Adversarial (Adversária).

3. Métricas de Avaliação e Atribuição

O TERMS-BENCH vai além da taxa de fechamento para um framework diagnóstico de múltiplos eixos:

• Valor Terminal: Eficiência de excedente ($SE^+_\pi$), normalizada pela Zona de Possível Acordo (ZOPA).
• Calibração de Acordo: Taxas de acordo em episódios factíveis ($AGR^+_\pi$) e acordos falsos em episódios infactíveis ($FAGR^-_\pi$).
• Modelagem de Oponente: Erro de crença em relação ao valor de reserva, urgência e postura.
• Conformidade de Protocolo: Taxas de violações críticas (limites de preço, racionalidade individual).

Intervenções de Oráculo: Para atribuir falhas, o framework compara o desempenho do agente contra três condições:

1. Base: O agente infere o tipo do zero.
2. Oráculo-Posterior: O agente recebe a posterior bayesiana exata do tipo do interlocutor.
3. Tipo-Revelado: O agente recebe o verdadeiro tipo latente.
4. Oráculo Baseado em Modelo: Uma política de referência de programação dinâmica ($\pi^*$) que é Bayes-ótima para o ambiente especificado.

Isso permite a decomposição do gap de desempenho nos gargalos de Inferência ($\Delta_{inf}$), Incerteza ($\Delta_{unc}$) e Controle ($\Delta_{ctrl}$).

Principais Resultados

Os autores avaliaram 13 agentes de fronteira (incluindo Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro, etc.) e três baselines de concessão fixa ao longo de 1.800 episódios semeados.

1. Alta Taxa de Fechamento Mascara a Extração de Valor: Embora a maioria dos modelos de fronteira atinja taxas de fechamento próximas à saturação ($>97\%$ em episódios factíveis), eles divergem significamente na extração de excedente. Por exemplo, o Claude Opus 4.6 alcançou uma eficiência de excedente de 0,694, enquanto o Doubao-Seed-2.0-Pro alcançou 0,522, apesar de uma taxa de fechamento maior (99,9%).
2. Falha no Uso de Pistas (Cues): Os agentes consistentemente extraíram menos excedente quando pistas informativas estavam presentes em comparação a quando estavam silenciadas ($\alpha_{cue} < 0$). Isso sugere que os agentes podem conceder demais devido a pistas "quentes" ou exibir comportamento frágil sob pistas de "pressão", falhando em desacoplar sinais linguísticos de estratégia econômica.
3. Gap Informação-Ação: Modelos de fronteira falharam em converter a inferência de tipo latente em excedente.
   • Injeção de Posterior: Fornecer a posterior bayesiana exata aos agentes gerou retornos fracos ou inconsistentes, fechando apenas ~1% do gap para os principais modelos.
   • Calibração de Crença: Os erros de crença não melhoraram ao longo do tempo; em alguns casos, aumentaram, sendo a inferência de postura a principal fonte de erro.
   • Penalidade de Inferência: Os agentes frequentemente performaram pior em famílias onde a inferência de tipo latente era economicamente instrumental em comparação com famílias de alta reatividade.
4. Gargalos Distintos via Decomposição de Oráculo:
   • O GPT-4o-mini foi primariamente limitado pelo controle (98% do gap), lutando para agir sobre a informação revelada.
   • O Claude Opus 4.7 e o Grok 4.20 foram limitados pela incerteza, com grandes gaps permanecendo mesmo após a revelação do tipo.
   • O Claude Opus 4.6 mostrou um perfil misto entre inferência, incerteza e controle.
5. Impressões Digitais de Negociação Estáveis: Os agentes exibiram tipologias comportamentais estáveis (ex: "ancorar-e-manter", "médio/equilibrado") e perfis de autocontrole (taxas de violação de IR vs. disciplina de saída) que foram consistentes entre as famílias de interlocutores, sugerindo que estas são propriedades intrínsecas do modelo e não artefatos ambientais.
6. Validação Baseada em Dados: Quando testado em uma variante baseada em dados usando estatísticas de catálogo da Amazon, a ordenação de ranking dos agentes foi amplamente preservada (Spearman $\rho=0.90$), mas o efeito de "multiplicador de dificuldade" ampliou o gap de desempenho entre modelos fortes e fracos. Modelos mais fortes utilizaram âncoras de produtos públicos de forma eficaz, enquanto modelos mais fracos tiveram dificuldades com faixas de preço mais amplas.
7. Impacto Comercial: Em uma simulação de "Modo Bankroll" encadeando múltiplos episódios, pequenos erros por período acumularam-se em falhas significativas de solvência. O spread de saldo terminal entre o LLM mais forte e o mais fraco foi de ~21x, superando em muito o spread de ~14x na eficiência de excedente de episódio único.

Significância e Alegações

O artigo afirma que o TERMS-BENCH reformula a avaliação de negociação de um exercício de ranking de caixa-preta para uma ferramenta de diagnóstico atribuível ao agente. Ao tornar o ambiente o verificador, ele permite:

• Diagnóstico Escalável e Livre de Anotação Humana: Identificar modos específicos de falha (inferência, incerteza, controle) sem depender de juízes humanos subjetivos.
• Desmascarar Falhas Ocultas: Revelar que altas taxas de fechamento frequentemente mascaram deficiências críticas na extração de excedente, sensibilidade a pistas e autocontrole.
• Insights Acionáveis para Praticantes: Fornecer uma base controlada para mostrar onde os agentes quebram e o que fortalecer (ex: melhorar a calibração de crença vs. controle estratégico).

Os autores posicionam este trabalho como um passo necessário em direção a agentes de negociação implantáveis, observando que, embora a instanciação atual foque na negociação de preço bilateral, o framework é generalizável para configurações multi-partidárias e multi-produtos. Eles reconhecem que estudos humanos e configurações de múltiplos problemas mais ricos permanecem como próximos passos importantes para validar a transferência além do escopo atual.