Payoff scaling shapes cooperation in LLM agents across languages

Resumo Técnico: A Escala de Payoff Molda a Cooperação de Agentes LLM Através de Diferentes Idiomas

1. Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes autônomos em tarefas de negociação e coordenação, compreender seu comportamento estratégico em ambientes multiagente tornou-se uma questão crítica para a governança da IA. Embora estudos empíricos tenham examinado a cooperação de LLMs através de lentes da teoria dos jogos, a maioria das avaliações existentes foca em resultados agregados (ex: taxas de cooperação) em vez das intenções ou estratégias comportamentais subjacentes que impulsionam essas ações. Além disso, há uma falta de comparação sistemática entre o comportamento dos LLMs e benchmarks teóricos sob condições controladas que variam tanto em magnitude de incentivo (stakes de payoff) quanto em enquadramento linguístico.

Este trabalho aborda três questões centrais:

1. Os agentes LLM alteram sistematicamente seu comportamento cooperativo conforme os stakes de payoff variam, e como isso difere entre modelos e idiomas?
2. As intenções comportamentais de LLMs podem ser classificadas de forma confiável usando aprendizado supervisionado, e quais vieses sistemáticos emergem?
3. Como as distribuições de estratégia derivadas de LLMs se comparam com baselines de Teoria dos Jogos Evolucionários (EGT) sob condições correspondentes de payoff e ruído, e esses padrões se generalizam para modelos menores de pesos abertos (open-weight)?

2. Metodologia

O estudo utiliza o FAIRGAME (Framework for AI Agents Bias Recognition using Game Theory) como infraestrutura computacional para conduzir experimentos controlados.

• Design Experimental: Os autores empregam um Dilema do Prisioneiro (PD) repetido com um horizonte finito de $N=10$ rodadas (estendido para $N=30$ para modelos de pesos abertos). A manipulação central é a escala de payoff: um parâmetro escalar $\lambda \in \{0.1, 1.0, 10.0\}$ (e até 1000 para modelos pequenos) multiplica todos os valores de penalidade enquanto preserva a estrutura estratégica do jogo. Isso isola o efeito da magnitude do stake sem alterar o equilíbrio de Nash do jogo.
• Variáveis: Os experimentos abrangem cinco idiomas (Inglês, Francês, Árabe, Chinês Mandarim, Vietnamita), três modelos proprietários de fronteira (GPT-4o, Claude 3.5 Haiku, Mistral Large) e três modelos pequenos de pesos abertos (Qwen3 8B, Gemma-3 12B, Llama-3.1 8B). Os pareamentos de agentes incluem traços de personalidade cooperativos (C) e egoístas (S).
• Pipeline de Reconhecimento de Intenção: Para ir além das contagens brutas de ações, os autores treinam classificadores supervisionados para inferir estratégias canônicas a partir de sequências de ações.
  • Dados de Treinamento: 10.000 trajetórias sintéticas geradas para quatro estratégias canônicas: Sempre Cooperar (ALLC), Sempre Desertar (ALLD), Olho por Olho (TFT) e Ganhar-Ficar/Perder-Mudar (WSLS), com ruído de execução injetado.
  • Seleção de Modelo: Um classificador baseado em LSTM foi selecionado como o melhor performer (F1 = 0.984) devido à sua capacidade de capturar dependências sequenciais no histórico de ações, superando Regressão Logística, Florestas Aleatórias e Modelos Ocultos de Markov.
  • Inferência: O LSTM treinado classifica as trajetórias geradas pelos LLMs. Predições de alta confiança ($p \geq 0.9$) são usadas para determinar as distribuições de estratégia.
• Baseline Teórico: Um modelo analítico de Teoria dos Jogos Evolucionários (EGT) é derivado para prever a distribuição estacionária de estratégias sob as mesmas estruturas de payoff e níveis de ruído. Isso serve como um benchmark "cego ao idioma" para contrastar com o comportamento do LLM.

3. Resultados Principais

A. Sensibilidade de Payoff e Mudanças Estratégicas
Contrário à intuição padrão da teoria dos jogos, onde stakes mais altos poderiam encorajar a deserção avessa ao risco ou, inversamente, onde stakes baixos encorajariam a exploração, os LLMs exibem um padrão distinto de cooperação conforme os stakes aumentam.

• À medida que $\lambda$ aumenta de 0.1 para 10, a prevalência de deserção incondicional (ALLD) declina acentuadamente, enquanto a cooperação condicional (WSLS) e a cooperação incondicional (ALLC) aumentam.
• Esta tendência é específica do modelo: o Claude 3.5 Haiku mostra uma subida íngreme na cooperação; o GPT-4o muda de uma baseline de alta deserção para um perfil equilibrado; o Mistral Large permanece relativamente insensível às mudanças de stake.
• Na replicação de pesos abertos, este efeito direcional se mantém, mas é não-monotônico em stakes extremos ($\lambda > 100$), onde alguns modelos (ex: Qwen3) mostram uma resposta em forma de U, com a cooperação caindo nos stakes mais altos.

B. Priming Linguístico
O enquadramento linguístico molda significativamente os arquétipos estratégicos, um efeito que os autores chamam de priming linguístico-cultural.

• Incondicional vs. Condicional: Prompts em Árabe e Chinês elicitam um forte viés para estratégias incondicionais (ALLC + ALLD $\approx$ 60%). Em contraste, prompts em Inglês, Francês e Vietnamita produzem distribuições mais equilibradas com maiores parcelas de reciprocidade adaptativa (TFT + WSLS).
• Interação com Stakes: Francês e Vietnamita mostram a maior sensibilidade à magnitude do stake, mudando dramaticamente para a cooperação conforme os stakes aumentam. O Árabe apresenta a resposta mais contida. Em stakes altos, o Inglês e o Francês convergem para perfis estratégicos semelhantes, sugerindo que incentivos fortes podem normalizar a variação translinguística.

C. Divergência da Teoria dos Jogos Evolucionários (EGT)
Uma descoberta crítica é o desacordo sistemático entre o comportamento do LLM e as previsões da EGT.

• Previsão da EGT: Sob altos own-stakes, a baseline da EGT prevê um "muro de Sempre Desertar" (ALLD), conforme a tentação de desertar torna-se evolutivamente dominante.
• Observação do LLM: Os LLMs movem-se na direção oposta. Conforme os stakes aumentam, os LLMs tornam-se mais cooperativos, com a prevalência de ALLD caindo de ~39% em stakes baixos para ~18% em stakes altos.
• Interpretação: Os autores argumentam que essa divergência é uma assinatura do treinamento de alinhamento (ex: RLHF, Constitutional AI) e da absorção de padrões comportamentais humanos dos dados de treinamento, onde os humanos tendem a escalar a cooperação conforme o custo do erro aumenta. A baseline da EGT, sendo cega ao idioma e puramente impulsionada pelo payoff, falha em capturar esses padrões de raciocínio "humanos" e priors culturais.

D. Generalização para Modelos Pequenos
A replicação com modelos pequenos de pesos abertos confirma que esses efeitos não são exclusivos de modelos de fronteira proprietários. Embora as estratégias específicas variem (ex: Gemma-3 atua como um "generalista estratégico", enquanto Llama-3.1 torna-se um jogador de Tit-for-Tat comprometido em stakes moderados), a sensibilidade geral ao escalonamento de payoff e ao enquadramento linguístico persiste.

4. Contribuições

O artigo apresenta quatro contribuições principais:

1. Protocolo de Escala de Payoff: Introdução de um protocolo de Dilema do Prisioneiro de horizonte finito e escala de payoff para isolar sistematicamente a sensibilidade do LLM à magnitude do incentivo.
2. Reconhecimento de Intenção Supervisionado: Desenvolvimento e aplicação de um pipeline híbrido (baseado em regras + LSTM) para inferir estratégias canônicas a partir de trajetórias de LLM, indo além das taxas de cooperação agregadas.
3. Benchmarking de EGT: Estabelecimento de uma baseline analítica de EGT sob condições correspondentes, fornecendo uma referência normativa para diagnosticar vieses específicos de LLM e desvios da racionalidade de equilíbrio.
4. Replicação de Pesos Abertos: Demonstração de que os efeitos de incentivo e linguagem se generalizam através de tamanhos e arquiteturas de modelos, incluindo modelos menores e implantáveis localmente.

5. Significância e Alegações

Os autores posicionam este trabalho como um toolkit de diagnóstico para a governança de IA. A significância reside em identificar o design de payoff e o enquadramento linguístico como alavancas poderosas e pouco exploradas para direcionar o comportamento de LLMs em sistemas multiagente.

O artigo afirma que:

• LLMs não são agentes estáticos; eles modulam compromissos estratégicos baseados na saliência do incentivo.
• O contexto linguístico introduz vieses sistemáticos que rivalizam com o impacto da arquitetura do modelo.
• A divergência entre o comportamento do LLM e as previsões da EGT não é um erro, mas uma característica do alinhamento, refletindo padrões de raciocínio humano que priorizam a cooperação sob altos stakes.
• Essas descobertas têm implicações diretas para avaliar e governar sistemas de IA implantados em ambientes multilíngues de alto risco, sugerindo que o "alinhamento" pode se manifestar como um desvio da racionalidade clássica da teoria dos jogos.

O estudo mantém-se modesto em suas alegações de equivalência comportamental com humanos, observando que, embora os padrões ecoem resultados experimentais humanos, a ausência de baselines humanas diretas neste setup específico impede alegações de equivalência. Em vez disso, o foco é usar a classificação de intenção para revelar os vieses estruturais inerentes ao comportamento estratégico atual dos LLMs.