Evaluating Alignment of Behavioral Dispositions in LLMs

Título: Avaliando o Alinhamento de Disposições Comportamentais em Modelos de Linguagem de Grande Escala (LLMs)

1. O Problema

À medida que os LLMs se integram profundamente na vida diária e nos processos de tomada de decisão, torna-se crucial compreender seu comportamento real. A literatura atual frequentemente avalia traços de personalidade e disposições comportamentais em LLMs utilizando questionários de auto-relato (onde o modelo é perguntado diretamente sobre suas preferências, ex: "Eu sou rápido em expressar uma opinião").

O artigo identifica uma lacuna crítica: as disposições "afirmadas" por LLMs em formatos de auto-relato não garantem que essas tendências se traduzam em comportamento real em cenários abertos e realistas. Existem desafios técnicos, como a sensibilidade dos modelos à formulação do prompt, mudanças de distribuição e formatos de tarefa. O objetivo do trabalho é superar essa limitação, avaliando não o que os modelos dizem que são, mas o que eles fazem quando confrontados com dilemas sociais complexos.

2. Metodologia

Os autores propõem um framework inovador que transforma declarações de preferência de questionários psicológicos validados em Testes de Julgamento Situacional (SJTs - Situational Judgment Tests). O pipeline de dados e avaliação segue estas etapas:

• Extração e Adaptação de Afirmações:

  • Foram coletadas 332 afirmações de questionários psicológicos validados, focando em 4 traços de Inteligência Emocional: Empatia, Regulação Emocional, Assertividade e Impulsividade.
  • Após filtragem (removendo reflexos biológicos ou capacidades não volitivas) e reestruturação, restaram 260 afirmações.
  • As afirmações foram reformatadas de "Eu faço X" para "Recomendo que uma pessoa faça X", transformando-as em diretrizes de aconselhamento para um assistente de IA.

• Geração de SJTs:

  • Cada afirmação adaptada foi usada para gerar cenários realistas de interação usuário-assistente.
  • Cada cenário apresenta um dilema com duas ações possíveis: uma que suporta a afirmação de preferência e outra que a opõe.
  • Foram gerados 2.576 SJTs, dos quais 2.357 foram validados por três anotadores humanos independentes para garantir coerência lógica e que o cenário representasse um dilema genuíno.

• Coleta de Ground Truth (Verdade Terrena):

  • Para cada SJT, 10 anotadores humanos (de um pool de 550 participantes) escolheram independentemente a ação preferida. Isso estabeleceu a distribuição de preferência humana para cada cenário.

• Avaliação dos Modelos:

  • 25 LLMs (incluindo modelos frontier como GPT-5.1, Claude 4 Sonnet, Gemini 3 Pro, e modelos menores) foram testados.
  • Os modelos receberam os SJTs e geraram respostas de texto livre (não múltipla escolha).
  • Um LLM-as-a-Judge (usando o Gemini 3 Flash) mapeou as respostas abertas dos modelos para uma das duas ações de referência, permitindo a quantificação da preferência do modelo.

• Métricas de Análise:

  • Taxa de Positividade do Traço (TPR): Probabilidade de selecionar a ação que manifesta o traço alvo.
  • Desalinhamento de Traço: Diferença absoluta entre a TPR humana e a TPR do modelo.
  • Alinhamento Direcional: Verifica se o modelo e os humanos concordam sobre a direção da preferência (ex: ambos favorecem a empatia) em cenários de alto consenso.

3. Principais Contribuições

1. Framework de Avaliação Baseado em Comportamento Revelado: Substitui a dependência de auto-relatos por testes de comportamento em cenários realistas, oferecendo uma medida mais ecológica das disposições da IA.
2. Conjunto de Dados SJT: Criação de um dataset massivo de 2.357 cenários validados, cobrindo quatro traços emocionais e 25 modelos diferentes.
3. Análise de Validação Preditiva: O estudo fornece evidências empíricas sobre a validade preditiva de questionários de auto-relato em LLMs, comparando diretamente o que o modelo diz sobre si mesmo com o que ele faz.
4. Descoberta de Viéses Específicos: Identificação de padrões sistemáticos de desalinhamento entre modelos de diferentes capacidades e entre diferentes treinamentos.

4. Resultados Chave

• Desalinhamento Distribucional em Baixo Consenso Humano:

  • Quando a opinião humana é dividida (baixo consenso, ~50%), os LLMs falham em capturar essa ambiguidade. Em vez de refletir a distribuição de opiniões humanas, os modelos exibem superconfiança em uma única resposta, colapsando para um modo comportamental singular. O desalinhamento atinge valores máximos (cerca de 50%) nesses cenários.

• Falhas em Alto Consenso Humano:

  • Mesmo quando há um consenso humano forte (acima de 80-90%), o alinhamento não é perfeito.
  • Modelos Menores (<25B): Apresentam taxas de desalinhamento direcional significativas, muitas vezes escolhendo a ação oposta ao consenso humano em taxas que superam o acaso.
  • Modelos Frontier: Mesmo os modelos mais avançados falham em refletir o consenso em 15–20% dos casos de alto consenso.

• Viéses de Traço Cruzado:

  • Os modelos exibem disposições comportamentais consistentes que divergem das normas humanas. Por exemplo, em cenários onde o consenso humano favorece a compostura (ex: esconder o medo em uma crise profissional), os modelos tendem a encorajar a expressão emocional e a vulnerabilidade.

• Inconsistência entre Auto-relato e Comportamento Revelado:

  • O estudo demonstra uma grande lacuna entre os valores declarados e o comportamento revelado.
  • Exemplo Crítico: Todos os modelos se auto-relatam como tendo baixa impulsividade (pontuação baixa na escala de 1-7), mas, na prática, exibem tendências impulsivas (suporte >50% a ações arriscadas) nos SJTs.
  • Não há uma correlação confiável entre a pontuação de auto-relato de um modelo e seu desempenho comportamental real.

5. Significado e Implicações

• Validade Construtiva Questionada: O trabalho sugere que os questionários de auto-relato tradicionais têm validade preditiva limitada para LLMs. O que um modelo "afirma" não é um indicador confiável de como ele se comportará em interações sociais reais.
• Necessidade de Alinhamento Comportamental: Para que assistentes de IA sejam socialmente competentes, eles devem não apenas seguir normas sociais em cenários óbvios, mas também capturar a diversidade de opiniões humanas em cenários ambíguos, evitando a superconfiança.
• Riscos de Viés: A tendência dos modelos de adotar disposições específicas (como encorajar a vulnerabilidade excessiva ou a impulsividade) pode levar a interações indesejadas ou prejudiciais, especialmente em contextos de saúde mental ou tomada de decisão financeira.
• Direção Futura: O framework proposto oferece uma base para desenvolver modelos que equilibrem a expressão de traços desejados com o alinhamento às normas sociais humanas, essencial para a próxima geração de assistentes sociais de IA.

Em resumo, o artigo estabelece que a avaliação de LLMs deve ir além de perguntas diretas sobre personalidade, focando em como esses modelos navegam dilemas sociais complexos, revelando que, atualmente, eles frequentemente falham em espelhar a nuance e a diversidade do comportamento humano.