Training Language Models for Bilateral Trade with Private Information

Título: Treinamento de Modelos de Linguagem para Comércio Bilateral com Informação Privada

1. O Problema

A negociação bilateral sob informação incompleta é um problema fundamental na economia e na pesquisa operacional, onde um comprador e um vendedor, cada um com um preço de reserva privado, devem descobrir se um acordo mutuamente benéfico é possível e, em caso afirmativo, a que preço.

O artigo identifica duas limitações principais no uso de Modelos de Linguagem de Grande Escala (LLMs) de propósito geral para essa tarefa:

1. Falhas Comportamentais Sistêmicas: Modelos de ponta frequentemente aceitam acordos que geram utilidade negativa (violando a racionalidade individual) e falham em abandonar cenários onde não há ganhos com o comércio. Isso ocorre devido à incompatibilidade entre os objetivos de pré-treinamento (fluência e concordância) e as exigências da negociação estratégica (restrições numéricas rígidas e maximização de lucro).
2. Problema de Medição: Em diálogos de livre forma, é impossível determinar automaticamente se um preço mencionado é uma oferta vinculativa, uma hipótese ou uma referência de mercado. Isso impede a avaliação automatizada de utilidade, taxas de concessão e status de acordo em larga escala.

2. Metodologia

Os autores desenvolveram um ambiente estruturado e um pipeline de treinamento para superar essas limitações.

A. Ambiente de Negociação Estruturado

• Simulador Orientado a Eventos: Os agentes negociam através de chamadas de ferramentas estruturadas (make offer, respond to offer, send message, etc.) em vez de diálogos de texto livre. Isso separa as ofertas vinculativas das mensagens de linguagem natural.
• Mecânica do Jogo: Baseado no modelo de ofertas alternadas de Rubinstein. Cada agente possui um preço de reserva privado ($b$ para comprador, $s$ para vendedor).
  • Cenários GFT (Gains from Trade): $b \geq s$ (acordo possível).
  • Cenários NGFT (No Gains from Trade): $b < s$ (nenhum acordo racional é possível).
• Avaliação Tridimensional: O desempenho é medido automaticamente em três dimensões:
  1. Racionalidade Individual (IR): Capacidade de respeitar restrições de preço (não aceitar utilidade negativa).
  2. Eficácia Estratégica: Maximização da participação no excedente (surplus share).
  3. Eficiência Alocativa: Taxa de realização de acordos (deal rate) quando ganhos existem e evitamento de acordos quando não existem.

B. Pipeline de Treinamento

O estudo utiliza um pipeline de duas etapas para modelos de peso aberto (Qwen3-8B e Qwen3-14B):

1. Ajuste Fino Supervisionado (SFT): Geração de trajetórias sintéticas via auto-jogo (self-play) de um modelo forte (DeepSeek-R1) e treinamento do modelo-alvo para imitar essas ações (clonagem comportamental).
2. Aprendizado por Reforço (RL): Uso do algoritmo GRPO (Group Relative Policy Optimization) contra um oponente fixo (GPT-4.1). A função de recompensa combina conformidade com o protocolo, consistência comportamental e captura de excedente.

3. Principais Contribuições

1. Ambiente de Benchmark Estruturado: Criação de um sistema onde ofertas e aceitações são eventos parseáveis por máquina, permitindo métricas automáticas e precisas, resolvendo o problema de medição de diálogos livres.
2. Benchmark Sistemático de Modelos de Ponta: Avaliação de cinco modelos (DeepSeek-V3, Gemini-2.5 Flash/Pro, GPT-4.1, o3) em um torneio round-robin (15.000 negociações), revelando padrões comportamentais específicos.
3. Diagnóstico da Tensão SFT-RL: Identificação de um conflito fundamental no treinamento de agentes de negociação: o SFT ensina "seletividade" (esperar por bons termos), enquanto o RL, com a estrutura de recompensa atual, ensina "fechar o negócio" (priorizar o acordo), anulando os ganhos estratégicos do SFT.

4. Resultados Chave

A. Benchmark de Modelos de Ponta

• Estratégia Dominante: A estratégia mais eficaz é o "ancoragem agressiva com concessão calibrada". O modelo de melhor desempenho (o3) inicia com uma oferta muito acima do custo (3.04x) e concede gradualmente para fechar o acordo. Isso permite discriminação de preços de primeiro grau, extraindo mais excedente sem sacrificar a taxa de acordos.
• Falha de Estratégias Acomodativas: Modelos que cedem rapidamente (como o Gemini-2.5-Flash como comprador) revelam sua disposição a pagar cedo, resultando na menor captura de excedente e, paradoxalmente, na menor taxa de conclusão de negócios.
• Consistência por Faixa de Preço: Modelos fortes mantêm desempenho consistente através de diferentes faixas de valor do item (quintis de preço). Modelos mais fracos só performam bem em itens de alto valor, onde a "zona de possível acordo" (ZOPA) é ampla o suficiente para mascarar estratégias subótimas.
• Violações de Racionalidade: Modelos mais fortes (o3) como compradores induzem violações de racionalidade em oponentes mais fracos (forçando-os a aceitar acordos ruins), mas mantêm sua própria racionalidade intacta.

B. Experimentos de Treinamento (Qwen3)

• Tensão SFT vs. RL:
  • SFT: Aumentou a participação no excedente em ~2x, mas reduziu drasticamente a taxa de acordos (o modelo tornou-se muito seletivo).
  • RL: Recuperou a taxa de acordos, mas erodiu os ganhos de excedente, retornando aos níveis do modelo base.
  • Causa: A estrutura de recompensa não distingue entre "abandonar racionalmente" (sem acordo) e "aceitar irracionalmente" (acordo com utilidade negativa), incentivando o RL a fechar qualquer negócio para obter recompensa.
• Generalização e Estratégias Proporcionais: O SFT ensinou estratégias proporcionais (ancoragem e concessão escaladas pelo valor do item) que se generalizaram para oponentes não vistos durante o treinamento (o3-mini), comprimindo a variação de excedente entre faixas de preço.

5. Significado e Conclusão

O artigo demonstra que a negociação bilateral é um teste rigoroso para a capacidade de agentes LLM de seguir instruções rígidas, otimizar objetivos e coordenar sob incerteza.

• Para Avaliação: A estrutura proposta permite diagnosticar falhas específicas (racionalidade vs. eficiência) que benchmarks agregados ocultam.
• Para Treinamento: O estudo revela que o treinamento de agentes de negociação requer um design de recompensa mais sofisticado. A simples otimização de "fechar o acordo" via RL pode destruir a racionalidade e a estratégia aprendidas no SFT.
• Direções Futuras: Os autores sugerem a implementação de penalidades explícitas para violações de racionalidade individual, o uso de oponentes diversos durante o treinamento para evitar overfitting e currículos de recompensa em etapas (primeiro garantir racionalidade, depois otimizar excedente).

Em suma, o trabalho estabelece um novo padrão para avaliar e treinar agentes autônomos em cenários econômicos complexos, destacando que a "inteligência" estratégica em negociações não é inerente apenas ao tamanho do modelo, mas depende criticamente da arquitetura de treinamento e da estrutura de incentivos.