Alignment Makes Language Models Normative, Not Descriptive

Título: Alignment Makes Language Models Normative, Not Descriptive

Autores: Eilam Shapira, Moshe Tennenholtz e Roi Reichart (Technion – Israel Institute of Technology)

1. O Problema

O uso de Grandes Modelos de Linguagem (LLMs) como proxies para o comportamento humano tem crescido rapidamente em ciências sociais e economia. A premissa comum é que os modelos alinhados (otimizados via RLHF ou DPO para serem úteis, inofensivos e honestos) são melhores ou neutros para prever o comportamento humano.

No entanto, os autores argumentam que existe uma distinção fundamental entre:

• Teorias Normativas: Como as pessoas devem agir (racionalidade, cooperação, justiça).
• Contas Descritivas: Como as pessoas realmente agem (incluindo blefe, retaliação, reciprocidade e adaptação dependente de histórico).

O problema central investigado é se o processo de alinhamento, ao otimizar o modelo para preferências humanas ideais (normativas), distorce a capacidade do modelo de prever o comportamento humano real e complexo, especialmente em interações estratégicas multi-round onde a história e a reciprocidade moldam as decisões.

2. Metodologia

Os autores realizaram uma comparação sistemática e rigorosa entre pares de modelos "base" (pré-alinhamento) e "alinhados" (pós-alinhamento).

• Escala do Estudo:
  • 120 pares de modelos base vs. alinhados de 23 famílias diferentes (incluindo Llama, Qwen, Gemma, Mistral, etc.).
  • >10.000 decisões humanas reais analisadas.
• Ambientes de Avaliação (Jogos Estratégicos):
  • Jogos Multi-round (Interação Histórica):
    • Bargaining (Negociação alternada de ofertas).
    • Persuasion (Jogo de "cheap talk" repetido).
    • Negotiation (Negociação bilateral de preços com opção externa).
    • Repeated Matrix Games (Dilema do Prisioneiro e Batalha dos Sexos repetidos).
  • Condições de Fronteira (Sem História/Interacção):
    • Jogos 2x2 One-shot: Decisões únicas em estruturas de jogo clássicas.
    • Escolhas de Loteria Binária: Decisões não estratégicas sob risco.
• Método de Predição:
  • Em vez de gerar texto, o estudo extrai as probabilidades de log-likelihood dos tokens de decisão (ex: "aceitar" vs. "rejeitar") diretamente da distribuição do modelo.
  • A métrica principal é a correlação de Pearson entre a probabilidade predita pelo modelo e a taxa de escolha real dos humanos.
• Controles:
  • Uso de formatos de prompt nativos para cada tipo de modelo (texto puro para base, template de chat para alinhado).
  • Testes com 14 variações de prompt (persona, estrutura, enquadramento) para garantir que os resultados não são artefatos de formatação.

3. Contribuições Principais

1. Evidência Empírica da "Taxa de Alinhamento" Comportamental: Demonstram que o alinhamento introduz um viés normativo que degrada a fidelidade descritiva em cenários estratégicos complexos.
2. Descoberta da Condição de Fronteira: Identificam que o alinhamento é benéfico apenas quando o comportamento humano segue previsões normativas (jogos de uma rodada, loterias), mas prejudicial quando o comportamento é moldado por dinâmicas históricas (reciprocidade, retaliação).
3. Mecanismo Teórico: Conectam a perda de desempenho à "colapso de preferência" (preference collapse) inerente ao RLHF, onde a distribuição de saída do modelo é estreitada para modos de alta recompensa (comportamentos socialmente aprovados), suprimindo a "cauda" da distribuição onde reside o comportamento estratégico humano real.

4. Resultados Chave

A. Jogos Multi-Round (O Cenário Descritivo)

Nestes ambientes, onde a história da interação importa, os modelos base superaram massivamente os modelos alinhados.

• Razão Geral: Os modelos base venceram 9,7:1 (213 vitórias vs. 22 para os alinhados) em todas as famílias de jogos multi-round.
• Robustez: O resultado foi consistente em todas as 23 famílias de modelos, em todas as configurações de parâmetros e em todas as formulações de prompt.
• Dinâmica por Rodada:
  • Na Rodada 1 (antes de qualquer histórico se formar), os modelos alinhados tendem a vencer (comportamento mais normativo).
  • A partir da Rodada 2, a vantagem inverte-se drasticamente para os modelos base, à medida que a interação histórica (reciprocidade/retaliação) se desenvolve.

B. Condições de Fronteira (O Cenário Normativo)

Em cenários sem interação histórica ou estratégica complexa, o alinhamento melhora a predição.

• Jogos One-shot 2x2: Modelos alinhados venceram 4,1:1.
• Loterias Binárias: Modelos alinhados venceram 2,2:1.
• Explicação: Nestes casos, o comportamento humano tende a seguir mais de perto a teoria dos jogos normativa (Equilíbrio de Nash) ou instruções diretas, o que o alinhamento reforça.

C. Escala e Modelos

• A vantagem dos modelos base aumenta com o tamanho do modelo (escala). Modelos maiores (>14B) mostram uma diferença de correlação ainda maior em favor dos modelos base em jogos estratégicos.
• O efeito é robusto independentemente do provedor do modelo (OpenAI, Meta, Google, etc.).

5. Significado e Implicações

• Para Pesquisa em Ciências Sociais: O uso de modelos alinhados para simular participantes humanos (ex: simular eleitores, consumidores ou dinâmicas de mídia social) pode produzir resultados que refletem comportamentos idealizados/normativos em vez de comportamentos reais. Isso representa um risco metodológico grave para estudos que afirmam que "LLMs replicam o comportamento humano".
• Para Engenharia de IA: Existe um trade-off fundamental: otimizar um modelo para ser "útil" e "alinhado" (normativo) compromete sua capacidade de ser um "espelho" preciso da diversidade e complexidade do comportamento humano real (descritivo).
• Recomendação Prática:
  • Para simulações de comportamento humano em interações estratégicas complexas, devem-se preferir modelos base.
  • Para tarefas de uma rodada ou onde se deseja que o modelo siga normas sociais/éticas, os modelos alinhados são adequados.
• Futuro do Alinhamento: Sugere-se que métodos de alinhamento futuros devem tentar preservar a diversidade da distribuição de comportamento humano (incluindo a "cauda" descritiva) sem colapsar para preferências unimodais, ou desenvolver métodos que separem explicitamente a capacidade de "agir" (alinhado) da capacidade de "prever" (base).

Conclusão

O artigo conclui que o alinhamento não é uma melhoria neutra para a previsão de comportamento humano; ele altera fundamentalmente a natureza do modelo. Enquanto os modelos base capturam a descrição de como as pessoas agem (com todas as suas imperfeições e estratégias), os modelos alinhados capturam a norma de como as pessoas deveriam agir. A escolha entre base e alinhado não é apenas uma questão de formatação, mas uma suposição de modelagem substantiva que determina se o LLM serve como um modelo de comportamento humano ou um modelo para uso humano.