Resumo Técnico: Os LLMs são Negociadores Eficazes?

Definição do Problema

Uma negociação bem-sucedida é um processo cognitivo complexo que requer uma síntese de compreensão de conversação, capacidades de Teoria da Mente (ToM) para inferir motivos do parceiro, raciocínio estratégico e comunicação eficaz. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um desempenho notável em diversas tarefas de PLN, suas capacidades específicas dentro do domínio da negociação automatizada permanecem inexploradas. Pesquisas anteriores que utilizam LLMs como agentes de negociação carecem de uma avaliação sistemática das diversas habilidades necessárias para uma negociação eficaz. Essa lacuna dificulta o desenvolvimento de negociadores de IA avançados e limita a aplicação de LLMs no design de sistemas de diálogo, no fornecimento de feedback pedagógico e na escala de práticas de coleta de dados.

Metodologia

Os autores propõem um framework abrangente para analisar sistematicamente as capacidades multifacetadas dos LLMs através de 35 tarefas distintas derivadas de quatro conjuntos de dados de negociação humano-humano (CRA, DND, CA e JI). Esses conjuntos de dados baseiam-se no framework de Tarefa de Barganha de Múltiplos Itens (MIBT), onde agentes negociam para dividir quantidades fixas de itens para maximizar o valor total com base em preferências predefinidas.

O framework de avaliação categoriza as tarefas ao longo de três eixos:

1. Objetividade: Distinguindo entre tarefas objetivas (baseadas em fatos, ex: contagem de itens, detalhes do acordo) e tarefas subjetivas (envolvendo percepção humana, ex: satisfação, simpatia).
2. Estágio Temporal: Avaliando capacidades no Início (apenas contexto), Durante (diálogo parcial) e Fim (diálogo completo) de uma negociação.
3. Tipo de Tarefa:
   • Compreensão: Entendimento de contexto, resultados e prioridades.
   • Anotação: Identificação de atos de fala e estratégias linguísticas.
   • Modelagem de Parceiro: Inferência das prioridades do parceiro e estados subjetivos (ToM).
   • Geração: Produção de respostas contextualmente apropriadas e estrategicamente vantajosas.

O estudo avalia uma gama de modelos proprietários (GPT-3.5, GPT-4) e de código aberto (Mistral-7B, Wizard-13B, Vicuna-13B/33B) usando prompting zero-shot. Os baselines incluem um modelo de votação por maioria de rótulos e um Flan-T5 (base) ajustado para tarefas específicas. As métricas de avaliação incluem Acurácia, Macro-F1, Coeficiente de Correlação de Pearson (PCC) para tarefas subjetivas, e BLEU/ROUGE/BERTScore juntamente com classificações de especialistas humanos para Coerência e Estratégia em tarefas de geração.

Principais Contribuições

1. Metodologia de Avaliação Inovadora: O artigo introduz uma metodologia estruturada para decompor a negociação em 35 tarefas específicas, permitendo uma análise granular das capacidades dos LLMs além do desempenho de ponta a ponta.
2. Avaliação Sistemática Zero-Shot: Os autores avaliam as capacidades "out-of-the-box" de LLMs em diversos cenários, revelando que o GPT-4 frequentemente supera até mesmo baselines ajustados (Flan-T5) em configurações zero-shot.
3. Comparação Humano-LLM: Através de anotação humana especializada, o estudo compara a geração do modelo com referências humanas, identificando áreas específicas de paridade e falha.
4. Análise de Estratégia de Prompting: O trabalho investiga a eficácia do prompting de Cadeia de Pensamento (CoT) e few-shot, bem como o impacto de variar o número de enunciados vistos no desempenho do modelo.

Resultados

Compreensão e Modelagem de Parceiro

• Tarefas Objetivas: O GPT-4 demonstra desempenho superior em tarefas de compreensão, particularmente no estágio de Início (81,7% de acurácia) e no estágio de Fim (65,3% de acurácia), superando tanto os modelos de código aberto quanto o baseline ajustado Flan-T5.
• Tarefas Subjetivas: Todos os modelos, incluindo o GPT-4, apresentam baixa correlação com julgamentos humanos em relação a avaliações subjetivas (satisfação e simpatia). O PCC do GPT-4 para classificações de satisfação é de apenas 0,3, e ele frequentemente classifica erroneamente os resultados dos acordos em direções opostas à percepção humana.
• Modelagem de Parceiro: O GPT-4 exibe fortes habilidades de ToM na inferência de prioridades do parceiro (objetivo), mas tem dificuldade em capturar o grau de positividade ou negatividade nos estados subjetivos do parceiro.

Anotação e Geração

• Anotação: O GPT-3.5 e o GPT-4 superam o Flan-T5 ajustado na anotação de atos de fala (Macro-F1 de 62,4% e 52,5% respectivamente), embora o desempenho caia na detecção de estratégia devido à sutileza das estratégias linguísticas.
• Geração:
  • Métricas Automáticas: O Flan-T5 ajustado alcança pontuações de BLEU e ROUGE mais altas devido ao treinamento específico do dataset, mas os modelos GPT mostram melhor similaridade semântica (BERTScore) em datasets diversos.
  • Avaliação Humana: O GPT-4 alcança pontuações de Coerência comparáveis às referências humanas. No entanto, em termos de Estratégia, todos os modelos subperformam significativamente em comparação aos humanos. Os modelos têm dificuldade em gerar respostas estrategicamente vantajosas, muitas vezes falhando em incorporar informações compartilhadas ou em aderir às suas próprias prioridades.

Prompting e Robustez

• Prompting CoT: Aplicar o prompting de Cadeia de Pensamento (CoT) ao GPT-4 melhora significativamente o desempenho em tarefas de raciocínio aritmético de múltiplos passos (ex: calcular o total de pontos do acordo), atingendo quase 100% de acurácia.
• Equilíbrio de Predição: O GPT-4 demonstra superior robustez e equilíbrio de predição (baixa Divergência KL) em comparação com outros modelos, particularmente em cenários de tarefas desbalanceadas.
• Sensibilidade ao Contexto: Aumentar o número de enunciados vistos pelo modelo melhora a modelagem de parceiro (inferir os outros), mas degrada a compreensão do próprio contexto do agente, sugerindo um viés de recência.

Significância e Alegações

O artigo conclui que, embora os LLMs, particularmente o GPT-4, possuam as capacidades fundamentais para auxiliar na pesquisa de negociação — como o design de sistemas de diálogo, fornecimento de feedback pedagógico e automação de práticas de coleta de dados — eles ainda não são totalmente eficazes como agentes estratégicos autônomos.

• Utilidade Atual: Os LLMs são eficazes para tarefas que exigem compreensão de contexto e fatos objetivos. Eles podem servir como ferramentas eficientes para anotar atos de fala e estratégias, potencialmente escalando as práticas de coleta de dados.
• Limitações: Lacunas significativas permanecem no raciocínio estratégico e na capacidade de capturar estados humanos subjetivos. Os modelos tendem a ser excessivamente complacentes, falham em utilizar informações compartilhadas estrategicamente e têm dificuldade com a coerência em interações complexas de múltiplos turnos.
• Direções Futuras: Os autores sugerem que o trabalho futuro deve focar na combinação de LLMs com políticas de Aprendizado por Reforço (RL) para controlar o comportamento estratégico e a personalidade. Além disso, melhorar o tratamento de contextos longos e desenvolver abordagens de raciocínio estruturado (quebrando a geração em submetas) é necessário para avançar os agentes de negociação de IA.

O estudo enfatiza que, embora modelos proprietários como o GPT-4 mostrem promessa, modelos menores de código aberto atualmente performam de forma comparável a baselines triviais em tarefas chave de negociação, destacando a necessidade de maior desenvolvimento em arquiteturas de código aberto para este domínio.