Resumo Técnico: O Que Suprime o Jogo de Equilíbrio de Nash em Modelos de Linguagem de Grande Escala?

Declaração do Problema

Estudos empíricos estabeleceram que agentes de Modelos de Linguagem de Grande Escala (LLMs) desviam-se sistematicamente dos equilíbrios de Nash em interações estratégicas, exibindo frequentemente vieses comportamentais semelhantes aos humanos, como cooperação excessiva em cenários de Dilema do Prisioneiro. Embora o fenômeno comportamental esteja documentado, as razões mecânicas para esses desvios permanecem desconhecidas. Especificamente, não está claro se os LLMs carecem da competência estratégica para calcular equilíbrios de Nash ou se os calculam, mas suprimem a saída devido a vieses internos. Este artigo aborda essa lacuna investigando as representações internas dos LLMs durante a tomada de decisão estratégica e determinando se esses desvios são causalmente reversíveis.

Metodologia

O estudo emprega uma combinação de experimentos comportamentais e técnicas de interpretabilidade mecânica em quatro modelos de código aberto ajustados por instrução (Llama-3-8B, Llama-3-70B, Qwen2.5-32B e Qwen2.5-72B).

Experimentos Comportamentais:

• Jogos: Foram utilizados quatro jogos canônicos de dois jogadores: Dilema do Prisioneiro (PD), Batalha dos Sexos (BoS), Caça ao Cervo (SH) e Cara ou Coroa (MP).
• Protocolos: Os experimentos incluíram autojogo (modelo contra cópia) e jogo cruzado (combinações heterogêneas de todas as 12 combinações ordenadas).
• Modos de Raciocínio: Três condições de prompt foram testadas: Direto (ação apenas), Cadeia de Pensamento (CoT, raciocínio visível) e Bloco de Rascunho (raciocínio privado).
• Métrica: A "distância de Nash" ($d_{Nash}$) foi calculada como a distância euclidiana entre a estratégia mista empírica e o equilíbrio de Nash mais próximo ao longo de 50 rodadas.

Análise Mecânica (Llama-3-8B):

• Sondagem Linear: Classificadores logísticos foram treinados em estados ocultos ($h_l$) em cada uma das 32 camadas para decodificar o histórico do oponente, tendência de cooperação e a ação de Nash.
• Lente de Logit: A matriz de incorporação de saída foi aplicada a estados ocultos intermediários para rastrear a previsão de token evolutiva do modelo ao longo da passagem direta.
• Ablação de Cabeças: As cabeças de atenção com maior pontuação para rastreamento de oponentes foram zeradas para testar circuitos localizados.
• Direcionamento de Ativação: Um vetor de "direção de Nash" foi extraído do fluxo residual usando prompts contrastivos (histórias cooperativas vs. defeccionistas) e injetado no modelo para observar mudanças causais no comportamento.
• Fixação de Conceito: O componente cooperativo do estado oculto foi substituído por um escalar fixo para verificar a necessidade causal da direção identificada.

Principais Contribuições e Resultados

1. Descobertas Mecânicas: Codificação e Supressão

A descoberta mecânica central é que os LLMs possuem a competência para calcular estratégias de Nash, mas as suprimem ativamente nas camadas finais.

• Codificação do Histórico do Oponente: Informações sobre a última jogada do oponente são codificadas com fidelidade quase perfeita (96% de precisão da sonda) na primeira camada (Camada 0) e são progressivamente consumidas pelas camadas subsequentes.
• Codificação Fraca de Nash: Não há um "módulo de Nash" dedicado. A precisão da sonda linear para a ação de Nash permanece fraca em toda a rede, nunca ultrapassando 56%.
• O Circuito de Supressão: Usando a Lente de Logit, os autores observaram que, para os primeiros ~75% da rede (Camadas 0–23), as previsões internas do modelo favorecem a ação de Nash (por exemplo, Defecção no PD). No entanto, no último quarto (Camadas 24–30), surge uma "anulação pró-social", deslocando a probabilidade em direção à cooperação (atingindo um pico de 84% de probabilidade de cooperação na Camada 30). A camada final (31) corrige parcialmente isso, mas frequentemente compromete-se com a ação não-Nash.
• Natureza Distribuída: A ablação de cabeças de atenção específicas responsáveis pelo rastreamento de oponentes teve efeito zero na distribuição de ações ($\Delta P(Nash) = 0.000$). A anulação cooperativa é um efeito distribuído dentro do fluxo residual, não localizado em cabeças específicas.

2. Controle Causal via Direcionamento

O estudo demonstra que o comportamento estratégico pode ser causalmente controlado manipulando o fluxo residual.

• Extração da Direção de Nash: Uma direção linear representando o viés cooperativo foi extraída da Camada 2.
• Direcionamento Bidirecional: A injeção desse vetor permitiu controle monótono sobre o comportamento.
  • Direcionamento Negativo: Reduzir a direção cooperativa ($\alpha = -5$) aumentou a probabilidade da ação de Nash (Defecção) para 99,2%.
  • Direcionamento Positivo: Aumentar a direção ($\alpha = +10$) levou a cooperação a 88,7%.
• Fixação de Conceito: Substituir o componente cooperativo por um escalar fixo confirmou uma forte correlação ($r=0.73$) entre o valor escalar e a probabilidade de cooperação, provando que a direção é causal e não uma característica espúria.

3. Fenômenos Comportamentais e de Jogo Cruzado

• Escala e Raciocínio: O raciocínio de Cadeia de Pensamento (CoT) piora o jogo de Nash em modelos pequenos (por exemplo, Llama-8B, Qwen-32B) ao amplificar o prior cooperativo. No entanto, em modelos grandes (>70B parâmetros), o CoT permite um jogo de Nash quase perfeito, sugerindo uma capacidade dependente da escala para raciocinar além do viés.
• Bloqueio Cooperativo Universal: No modo Direto, todos os modelos assumem 100% de cooperação no PD, independentemente do tamanho.
• Dinâmicas de Jogo Cruzado:
  • Contágio de Defecção: Um modelo pequeno (Llama-8B) pode "desfazer" a cooperação de qualquer parceiro grande ao defecar cedo, induzindo o parceiro a defecar e alcançando o equilíbrio de Nash.
  • Reforço Cooperativo: Dois modelos grandes emparelhados reforçam mutuamente seus instintos cooperativos indefinidamente, falhando em alcançar o equilíbrio de Nash (defecção mútua) mesmo quando individualmente capazes de raciocinar em direção a ele.
  • Assimetria de Papel: Em jogos de coordenação (BoS), o agente designado como "Agente A" (que se move primeiro) determina para qual equilíbrio o sistema converge.

Significado e Alegações

O artigo argumenta que o foco do campo em por que os LLMs falham em jogar Nash está mal direcionado. A descoberta central é que os LLMs não carecem de competência para jogar Nash; eles a calculam e depois a suprimem.

• Diagnóstico: O desvio não é uma falta de capacidade de raciocínio estratégico, mas o resultado de uma "anulação pró-social" enraizada no pré-treinamento em texto humano e modulada por RLHF. Essa anulação está concentrada nas camadas finais da rede.
• Intervenção: Como a supressão é um mecanismo causal dentro do fluxo residual, ela pode ser revertida no momento da inferência sem retreinamento. Uma pequena intervenção (direcionamento) nas camadas iniciais pode deslocar o modelo de cooperação quase perfeita para jogo de Nash quase perfeito.
• Implicações para Implantação: Os resultados destacam que a composição da população e a atribuição de papéis aos agentes são críticas. Um único agente pequeno e defeccionista pode desestabilizar um grupo cooperativo de modelos grandes, enquanto dois modelos grandes podem permanecer presos em um bloqueio cooperativo que é subótimo para a estrutura do jogo.

Os autores concluem que entender o circuito de supressão e sua variação através da escala e arquitetura é mais produtivo do que simplesmente observar desvios comportamentais. O estudo fornece uma conta causal da falha estratégica em LLMs e demonstra um método para corrigi-la.