Resumo Técnico: Humanos são mais diversos: LLMs de fronteira exibem políticas extremas em corridas de desenvolvimento de IA idealizadas

Declaração do Problema

A competição em inteligência artificial avançada cria um dilema de segurança onde entidades enfrentam um compromisso entre o desenvolvimento rápido e inseguro versus o desenvolvimento lento e seguro. Embora experimentos humanos tenham explorado essa dinâmica, o uso de Large Language Models (LLMs) como agentes simulados introduz um "problema de medição". Um modelo pode produzir uma ação corretamente formatada sem rastrear com precisão o estado do jogo ou calcular os ganhos (payoffs). Em jogos repetidos, um único erro de rastreamento de estado altera a trajetória para todas as rodadas subsequentes. Consequentemente, observar uma sequência de ações plausível não constitui evidência de que um agente compreende o jogo, segue uma lógica estratégica ou exibe uma dinâmica de decisão semelhante à humana. Além disso, sabe-se que o comportamento dos LLMs é sensível à apresentação do prompt (ex: redação, ordem das respostas, persona), levantando questões sobre a validade de interpretar seus resultados como políticas estratégicas.

Metodologia

Os autores empregam uma estrutura de avaliação baseada primeiro em auditoria para separar a validade da tarefa da interpretação estratégica. O estudo utiliza um jogo de corrida de desenvolvimento de IA idealizado envolvendo de dois a cinco jogadores.

O Mecanismo do Jogo

• Estrutura: Um jogo repetido onde $N$ empresas escolhem simultaneamente entre Seguro (progresso mais lento, menor risco) e Inseguro (progresso mais rápido, maior risco privado).
• Progresso: Seguro adiciona 1,0 de progresso; Inseguro adiciona 1,5.
• Ganhos (Payoffs):
  • Dois jogadores: Utiliza uma matriz de ganhos por estágio fixa onde o Inseguro domina estritamente o Seguro no curto prazo.
  • N-jogadores ($N \ge 3$): Os ganhos dependem da contagem de jogadores escolhendo Seguro vs. Inseguro, generalizando a matriz de dois jogadores.
• Terminação: A corrida termina após um número oculto de rodadas (horizonte esperado $E[T]=9$). O vencedor (maior progresso) recebe um prêmio ($B=100$).
• Risco: Apenas o vencedor (ou vencedores empatados) enfrenta um "risco de revés privado" baseado em suas escolhas Inseguras acumuladas. Se o risco se concretizar, seu ganho total é zerado. Os perdedores mantêm seus ganhos de estágio independentemente do risco.

Design Experimental

O estudo é estruturado em quatro níveis de evidência:

1. Validade Mecânica: Verificando se o motor do jogo aplica as regras corretamente.
2. Validade da Tarefa: Auditando se os agentes conseguem recordar regras, reconstruir o estado, transicionar estados e calcular ganhos esperados.
3. Robustez de Representação: Testando se as escolhas permanecem estáveis sob apresentações de tarefas equivalentes (ex: mudanças de narrativas, códigos de resposta opacos ou divulgação de aritmética).
4. Comparação Comportamental: Comparando trajetórias válidas contra marcos teóricos de jogos e dados humanos publicados.

Agentes e Condições:

• Modelos: Sete endpoints de LLM de fronteira (GPT-5-nano, GPT-5.4-nano, variantes Gemini-3-Flash, Claude Opus 5, Claude Sonnet 5) e Qwen2.5-7B-Instruct para auditoria.
• Variáveis: Condições de risco (baixo, médio, alto), personas (consciente de risco, cooperativo/adversário, base) e tamanhos de grupo ($N=2$ a $5$).
• Coleta de Dados: Cada prompt, resposta, ação analisada, tentativa (retry), mudança de estado e semente aleatória é registrado.

Principais Contribuições

1. A Auditoria de Validade

O estudo estabelece que o recall de regras não garante o rastreamento de estado.

• Descobertas: Em uma auditoria de 685 sondagens com o Qwen2.5-7B-Instruct, o modelo alcançou 97,4% de precisão no recall de regras e 100% na busca de ganhos de um estágio. No entanto, a precisão caiu significativamente para reconstrução de estado (37,0%), transição de estado (22,2%) e cálculo de ganho esperado (16,7%).
• Implicação: Um agente pode responder perguntas sobre as regras corretamente enquanto falha em rastrear o estado evolutivo que essas regras governam.

2. Sensibilidade à Representação

Os resultados comportamentais são instáveis sob manipulações que não alteram a mecânica do jogo.

• Divulgação de Aritmética: Fornecer aritmética verificada para a rodada atual aumentou as taxas de Inseguro de 52,0% para 60,8%.
• Mapeamentos Opacos: Quando "Seguro/Inseguro" foram substituídos por códigos opacos ($P/Q$), o comportamento divergiu significativamente (até 34 pontos percentuais) dependendo do mapeamento, embora o jogo subjacente fosse idêntico. Crucialmente, o portão de compreensão falhou para essas condições opacas, indicando que o modelo não estava otimizando o jogo, mas reagindo a artefatos do prompt.

3. Diversidade Estratégica vs. Taxas Agregadas

O artigo argumenta que taxas agregadas de Inseguro são insuficientes para caracterizar o comportamento dos LLMs.

• Dinâmicas de Dois Jogadores: Modelos com taxas agregadas de Inseguro semelhantes (ex: GPT-5-nano em 17% vs. Humanos em 56%) exibem regras de resposta fundamentalmente diferentes.
  • Humanos: Impulsionados principalmente pela ação anterior do oponente (reciprocidade).
  • GPT-5-nano: Impulsionado principalmente pelo diferencial de progresso relativo (44% de importância preditiva), com o histórico do oponente contribuindo apenas 4%.
  • Modelos Gemini: Impulsionados principalmente pela condição de risco atribuída.
• Agrupamento (Clustering): Usando HDBSCAN em trajetórias de ação brutas, os autores identificaram 1 de 11 arquétipos comportamentais. As trajetórias humanas abrangem uma parte ampla do espaço de ação, sobrepondo múltiplas regiões específicas de modelos. Em contraste, modelos individuais são altamente concentrados (ex: GPT-5-nano era 95% em um único arquétipo de "primeiro turno seguro mútuo"), carecendo da diversidade interna observada em populações humanas.

4. Efeitos de Multiagentes e Persona

• Efeitos de Ranking: Em corridas de $N$-jogadores, a relação entre ranking (Líder/Meio/Traseiro) e o jogo Inseguro não é monotônica e varia por modelo e persona. Para o GPT-5-nano, o efeito de ranking inverteu o sinal dependendo da moldura da persona, provavelmente devido ao viés de seleção (líderes são frequentemente aqueles que jogaram Inseguro anteriormente), em vez de um efeito causal do ranking.
• Persona vs. Risco: Ao contrário da preferência de risco humana (que mostrou quase nenhuma correlação com o jogo Inseguro, $r=-0,015$), uma "persona de risco" atribuída no prompt atuou como um forte impulsionador de política, deslocando as taxas de Inseguro em 50–98 pontos percentuais entre diferentes modelos.

Resumo dos Resultados

• Validade: O forte recall de regras coexiste com um fraco rastreamento de estado. Trajetórias válidas exigem passar por um portão de compreensão; sem ele, o comportamento observado é um output sensível ao prompt, não uma otimização informada.
• Comparação Humano-LLM: Nenhum checkpoint de LLM reproduz a diversidade total das estratégias humanas. Embora alguns modelos correspondam à média humana de taxa de Inseguro, eles falham em reproduzir a distribuição de estratégias humanas (ex: humanos são diversos; modelos são frequentemente massas pontuais em arquétipos específicos).
• Impulsionadores de Comportamento: Os preditores do jogo Inseguro diferem por modelo. Humanos dependem de reciprocidade; GPT-5-nano depende de posição; modelos Gemini dependem de parâmetros de risco.
• Multiagentes: Adicionar jogadores ($N=3$ a $5$) não produz um deslocamento monotônico no comportamento. Os padrões são específicos de cada modelo e confundidos por mudanças nas estruturas de ganhos e comprimentos de prompt.

Significância e Alegações

O artigo afirma que simulações de corrida de IA multiagentes requerem verificações de validade e análise de nível de trajetória antes que seus resultados possam ser descritos como estratégicos, humanos ou conscientes de segurança.

• Escopo Modesto: As descobertas são explicitamente exploratórias e aplicam-se apenas aos modelos, prompts e configurações de decodificação testados. Os autores não afirmam que estes resultados se generalizam para todos os LLMs ou laboratórios de IA do mundo real.
• Insight Central: A "segurança" ou "estratégia" de um LLM em um jogo não é uma propriedade fixa, mas uma interação frágil entre a capacidade de rastreamento de estado interno do modelo, a representação do prompt e a configuração experimental específica.
• Mudança Metodológica: Os autores defendem a separação de evidência diagnóstica (validade, rastreamento de estado) de evidência confirmatória (comportamento estratégico). Sem a primeira, a segunda é ininterpretável.

O estudo conclui que confiar apenas em métricas agregadas (como taxas totais de Inseguro) obscurece diferenças críticas em como os modelos processam estados de jogo, respondem a oponentes e lidam com riscos, potencialmente levando a conclusões falsas sobre segurança de IA e alinhamento estratégico.