💬 NLP

Can LLMs Replace Economic Choice Prediction Labs? The Case of Language-based Persuasion Games

Este artigo demonstra que Grandes Modelos de Linguagem podem substituir efetivamente sujeitos humanos na geração de dados de treinamento para a previsão de escolhas econômicas em jogos de persuasão baseados em linguagem, frequentemente superando modelos treinados com dados humanos reais e revelando que capturar padrões de decisão dependentes de histórico é crucial para uma previsão precisa.

Autores originais: Eilam Shapira, Omer Madmon, Roi Reichart, Moshe Tennenholtz

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eilam Shapira, Omer Madmon, Roi Reichart, Moshe Tennenholtz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na economia digital, cada clique e cada rolagem é uma escolha. Quando um viajante lê uma avaliação de um hotel em um site de reservas, ele está pesando a informação contra seus próprios desejos, tentando decidir se um quarto vale o preço. Este é um enigma econômico clássico: como as pessoas decidem quando confrontadas com informações incompletas e a possibilidade de serem enganadas? Durante décadas, economistas estudaram esses momentos pedindo a humanos reais que jogassem jogos onde uma pessoa tenta persuadir outra. Esses experimentos são difíceis de realizar; exigem recrutar participantes, construir softwares personalizados e esperar que as pessoas tomem decisões, um processo que é lento, caro e frequentemente limitado em tamanho.

Recentemente, uma nova ferramenta surgiu prometendo mudar a forma como estudamos essas decisões: o modelo de linguagem de grande escala (LLM). Estes são sistemas de inteligência artificial treinados em vastas quantidades de texto, capazes de compreender e gerar linguagem humana com uma fluência notável. Pesquisadores começaram a se perguntar se essas máquinas podem fazer mais do que apenas conversar. Poderiam elas atuar como substitutos para pessoas reais em experimentos econômicos? Se um computador puder imitar o comportamento humano suficientemente bem, ele pode gerar as quantidades massivas de dados necessárias para treinar melhores modelos de previsão, resolvam o problema da escassez de dados humanos. A questão não é apenas se as máquinas conseguem falar como os humanos, mas se conseguem pensar e decidir como eles em situações de alto risco.

Uma equipe de pesquisadores do Technion, em Israel, propôs-se a responder a esta questão colocando agentes de inteligência artificial em um jogo complexo de persuasão. Em sua configuração, um jogador, atuando como um especialista, tenta convencer um segundo jogador, o tomador de decisão, a visitar um hotel específico. O especialista conhece a qualidade real do hotel, mas só pode compartilhar uma única avaliação escrita de uma lista de opções. O tomador de decisão deve então escolher se visita o hotel com base nessa avaliação e em suas experiências passadas com o especialista. Se o hotel for realmente bom, o tomador de decisão vence; se for ruim, ele perde. O especialista, no entanto, sempre vence se o tomador de decisão optar por visitar, independentemente da qualidade real do hotel. Isso cria uma tensão estratégica onde o especialista pode mentir para obter um resultado melhor, e o tomador de decisão deve aprender a detectar a decepção ao longo do tempo.

Os pesquisadores primeiro coletaram dados de centenas de jogadores humanos reais que participaram deste jogo ao longo de muitas rodadas. Eles então substituíram os tomadores de decisão humanos por vários modelos de linguagem de grande escala, instruindo as máquinas a jogar o jogo seguendo as mesmas regras e enfrentando as mesmas avaliações de hotéis. Para tornar as simulações mais realistas, os pesquisadores deram a cada máquina uma personalidade específica, como um viajante otimista que sempre vê o lado positivo, ou um comprador sensível ao preço que se preocupa profundamente com o custo. Ao executar milhares dessas partidas simuladas, a equipe criou um conjunto massivo de dados de decisões tomadas por máquinas, que usaram para treinar um programa de computador para prever como um humano se comportaria na mesma situação.

Os resultados foram surpreendentes. Quando os pesquisadores treinaram um modelo de previsão usando apenas os dados gerados pelos jogadores de inteligência artificial, o modelo tornou-se melhor em prever o comportamento humano do que um modelo treinado nos dados humanos reais, desde que o conjunto de dados das máquinas fosse grande o suficiente. Na verdade, os dados gerados pelas máquinas superaram os dados humanos em quase todos os cenários testados. Isso sugere que os agentes de inteligência artificial não estavam apenas imitando as palavras dos humanos, mas capturando os padrões estratégicos mais profundos de como as pessoas aprendem e se adaptam durante interações repetidas. As máquinas aprenderam a pesar o histórico de avaliações passadas e a confiança construída ao longo do tempo, em vez de apenas reagir às palavras imediatas na tela.

No entanto, o estudo também revelou uma falha significativa em confiar exclusivamente em máquinas. Embora os modelos treinados em dados artificiais fossem altamente precisos, eles eram mal calibrados. Em termos simples, isso significa que, quando o modelo afirmava estar confiante em uma previsão, ele frequentemente errava mais do que um modelo treinado com humanos reais seria. Os dados das máquinas eram tão abundantes que ensinaram ao modelo a resposta certa na maioria das vezes, mas falharam em ensinar o modelo a avaliar sua própria certeza. Para corrigir isso, os pesquisadores descobriram que misturar uma pequena quantidade de dados humanos reais com a vasta quantidade de dados das máquinas criava o equilíbrio perfeito. Essa abordagem híbrida produziu um modelo que era tanto altamente preciso quanto confiável em seus níveis de confiança.

Os pesquisadores investigaram mais profundamente para entender por que as máquinas foram tão bem-sucedidas. Eles descobriram que a chave para prever o comportamento humano não era o sentimento da avaliação em si, mas o histórico da interação. Quando os agentes de inteligência artificial foram permitidos lembrar de muitas rodadas passadas do jogo, eles geraram dados que correspondiam de perto aos padrões de tomada de decisão humana. Mas quando sua memória era restrita apenas às últimas uma ou duas rodadas, sua capacidade de simular o comportamento humano colapsava. Essa descoberta destaca que a tomada de decisão humana nesses jogos é fundamentalmente sobre estratégia e história, não apenas sobre ler o tom emocional de uma única mensagem. As máquinas tiveram sucesso porque aprenderam a jogar o jogo de longo prazo, assim como as pessoas fazem.

Para garantir que suas descobertas não estivessem limitadas apenas a avaliações de hotéis, a equipe testou sua abordagem em um jogo de persuasão diferente e mais abstrato, onde os jogadores podiam escrever qualquer mensagem que quisessem, em vez de escolher de uma lista fixa. Mesmo nesse ambiente mais livre, onde as regras eram menos rígidas, os dados gerados por jogadores de inteligência artificial provaram ser eficazes para treinar modelos para prever escolhas humanas. Isso sugere que a capacidade das máquinas de gerar dados de treinamento úteis é um fenômeno robusto que se estende além de um único tipo de experimento.

O estudo conclui que, embora a inteligência artificial ainda não possa substituir perfeitamente a nuance do comportamento humano, ela pode servir como um poderoso motor para gerar os dados necessários para compreendê-lo. Ao usar máquinas para simular as complexidades estratégicas da interação humana, os pesquisadores podem superar os gargalos dos experimentos econômicos tradicionais. O caminho a seguir envolve uma parceria cuidadosa: usar a escala da inteligência artificial para construir modelos amplos de comportamento, enquanto se fundamenta esses modelos com apenas o suficiente de dados humanos reais para garantir que permaneçam confiáveis e fiéis à realidade. Esta abordagem oferece uma nova maneira de estudar a intrincada dança de confiança, decepção e tomada de decisão que define o nosso mundo econômico.

Resumo Técnico: Podem os LLMs Substituir Laboratórios de Predição de Escolha Econômica? O Caso dos Jogos de Persuasão Baseados em Linguagem

1. Declaração do Problema

A predição da escolha humana em contextos econômicos é vital para aplicações em marketing, finanças e políticas públicas. No entanto, a aquisição de dados de alta qualidade sobre escolhas humanas é frequentemente limitada por altos custos, preocupações com privacidade, obstáculos legais e a ineficiência de configurações experimentais (ex: desatenção dos participantes). Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na simulação do comportamento humano em ambientes estratégicos, uma questão crítica permanece aberta: Podem os LLMs gerar dados de treinamento sintéticos que prevejam efetivamente a tomada de decisão humana em configurações econômicas complexas baseadas em linguagem?

Este artigo investiga essa questão dentro da estrutura de jogos de persuasão baseados em linguagem. Diferente dos modelos econômicos tradicionais que abstraem mensagens em sinais simples, esses jogos envolvem interações de linguagem natural onde um remetente (especialista) tenta persuadir um tomador de decisão (DM) a aceitar uma oferta (ex: um hotel) com base em informações privadas (qualidade do hotel). A complexidade surge da interação entre sinais linguísticos (resenhas textuais) e o histórico de interação estratégica (rodadas repetidas de confiança, cooperação ou punição).

2. Metodologia

Configuração Experimental

O estudo utiliza o jogo de persuasão baseado em linguagem introduzido por Apel et al. (2022) e Shapira et al. (2025).

Mecânica do Jogo: Um especialista (remetente) observa um conjunto de resenhas textuais e pontuações numéricas para um hotel. A informação privada do especialista é a verdadeira qualidade do hotel (Alta/Baixa). O especialista seleciona uma resenha para enviar a um Tomador de Decisão (DM). O DM decide se irá "Ir" (aceitar) ou "Ficar em Casa" (rejeitar).
Payoffs (Retornos): O especialista ganha utilidade se o DM aceitar, independentemente da qualidade. O DM ganha utilidade apenas se o hotel for de alta qualidade e ele aceitar.
Estratégias: O estudo emprega um conjunto representativo de estratégias de especialistas, incluindo Gananciosa (sempre envia a melhor resenha), Honesta (envia a melhor/pior baseada na qualidade real) e estratégias Adaptativas que dependem do histórico de interação.
Fontes de Dados:
- Dados Humanos: Um conjunto de dados de 71.579 decisões de 210 jogadores humanos interagindo com bots especialistas (Shapira et al., 2025).
- Dados de LLM: Conjuntos de dados sintéticos gerados substituindo os DMs humanos por vários LLMs (Qwen-2-72B, Llama-3-70B/8B, Gemini-1.5, Chat-Bison). Para diversificar o comportamento, os LLMs receberam personas (ex: Otimista, Pessimista, Sensível ao Preço) via prefixos de prompt.
- Baseline: Um "Baseline de Sentimento" onde os agentes tomam decisões baseadas apenas no sentimento da resenha atual, ignorando o histórico de interação.

Estrutura de Predição

A tarefa central é treinar um modelo de aprendizado de máquina para prever a ação do DM ( $a_t \in \{0, 1\}$ ) dado o histórico de interação e a resenha atual.

Modelos: O estudo avalia quatro arquiteturas: LSTM, Mamba, Transformer e XGBoost.
Recursos de Entrada (Features): Recursos Engenheirados (EFs) capturando aspectos tópicos, estruturais e estilísticos das resenhas, juntamente com recursos de contexto estratégico.
Avaliação: Os modelos são testados em um conjunto de controle de 100 jogadores humanos. O desempenho é medido por Acurácia e Erro de Calibração Esperado (ECE).

Estratégias de Integração Avançada

O artigo explora várias formas de integrar LLMs na pipeline de predição:

LLM como Gerador de Dados: Treinar preditores simples em dados gerados por LLM.
LLM como Preditor: Usar o LLM diretamente (zero-shot ou fine-tuned) para prever ações humanas.
Fine-Tuning: Ajustar finamente um LLM em dados humanos para melhorar suas capacidades de geração de dados.
DUAL (Double Use of human data for Augmented Learning): Fazer o fine-tuning de um LLM em dados humanos, gerar dados sintéticos e, em seguida, treinar um preditor simples em uma mistura dos dados humanos originais e dos novos dados sintéticos.

3. Contribuições Principais e Resultados

A. LLMs como Geradores de Dados Eficazes

Superioridade em Escala: Modelos de predição treinados em dados gerados por LLM (especificamente usando Qwen-2-72B) superam modelos treinados em dados humanos reais quando o tamanho da amostra sintética é suficientemente grande (ex: >1.000 jogadores de LLM).
Compreensão Estratégica: Os dados gerados por LLM superam significativamente o "Baseline de Sentimento". Isso indica que uma predição bem-sucedida requer a modelagem do comportamento estratégico (decisões dependentes de histórico) em vez de apenas análise de sentimento linguístico.
Diversificação de Personas: Atribuir personas diversas aos agentes de LLM reduz a complexidade de amostragem necessária para atingir alta acurácia, sugerindo que a diversidade comportamental nos dados sintéticos é crucial.

B. O Trade-off de Calibração

Acurácia vs. Calibração: Embora os modelos baseados apenas em LLM alcancem maior acurácia, eles sofrem de má calibração (maior ECE) em comparação com modelos treinados em dados humanos. Os níveis de confiança dos modelos treinados em LLM não se alinham tão bem com os resultados empíricos.
A Solução DUAL: A abordagem DUAL (misturando dados gerados por LLM ajustados com os dados humanos originais) alcança o melhor dos dois mundos: ela mantém a alta acurácia dos dados sintéticos enquanto melhora significativamente a calibração (quase reduzindo o ECE pela metade em comparação ao uso de dados sintéticos isolados).

C. O Papel Crítico do Histórico de Interação

Histórico vs. Sentimento: Uma análise de similaridade comportamental revela um achado contraintuitivo:
- A similaridade baseada em histórico (o quão próximos os padrões de decisão de um LLM estão dos humanos em relação a interações passadas) possui uma correlação positiva com a acurácia preditiva.
- A similaridade baseada em sentimento possui uma correlação negativa com a acurácia preditiva.
Implicação: A tomada de decisão humana nesses jogos é fundamentalmente uma tarefa estratégica e dependente de histórico. Modelos que capturam padrões de interação de longo prazo (confiança, punição) são eficazes, enquanto modelos que focam apenas no sinal linguístico imediato (sentimento) são menos eficazes, mesmo que mimetizem o sentimento humano.
Comprimento da Memória: Restringir o histórico de interação visível do LLM (ex: para 1 ou 2 turnos) degrada a qualidade dos dados gerados, confirmando que o contexto temporal de longo prazo é essencial para simular o comportamento estratégico humano.

D. Generalização

Os achados foram validados em um framework de persuasão diferente (GLEE), que envolve mensagens textuais de formato livre e parâmetros de jogo variados. Modelos treinados em dados LLM-vs-LLM no GLEE também superaram aqueles treinados em dados humanos limitados, sugerindo que a abordagem se generaliza além do cenário específico do "hotel".

4. Significância e Alegações

O artigo afirma que os LLMs podem servir como uma alternativa custo-efetiva, escalável e de alta qualidade para a coleta de dados humanos tradicionais para o treinamento de modelos de predição de escolha humana em cenários econômicos complexos.

Mudança de Paradigma: O estudo desafia a noção de que dados sintéticos são meramente uma solução temporária. Demonstra que, com volume suficiente e modelagem comportamental apropriada (personas, histórico), os dados gerados por LLM podem superar os dados humanos em poder preditivo.
Insight Metodológico: Destaca que a "semelhança humana" necessária para a predição não é sobre mimetizar o sentimento superficial, mas sobre capturar a dinâmica estratégica de interações repetidas.
Utilidade Prática: A estratégia DUAL oferece uma solução robusta para ambientes de escassez de dados, permitindo que pesquisadores aproveitem o volume de dados sintéticos enquanto ancoram a confiança do modelo com uma pequena quantidade de dados humanos reais.
Nota Ética: Os autores reconhecem que, embora esta abordagem alivie os problemas de privacidade e custo na economia experimental, a capacidade de prever o comportamento humano usando IA também acarreta riscos de uso indevido, necessitando de diretrizes éticas.

Em conclusão, o artigo postula que os LLMs podem efetivamente substituir laboratórios de predição de escolha humana para fins de treinamento, desde que o processo de geração de dados sintéticos modele explicitamente a natureza estratégica e dependente de histórico da tomada de decisão humana.