Resumo Técnico: Medir o que Importa: Avaliação Psicométrica de IA com Testes de Julgamento Situacional

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em domínios socialmente fundamentados (ex: aplicação da lei, saúde, educação) depende cada vez mais do condicionamento de persona para direcionar o comportamento do modelo. No entanto, existe uma lacuna crítica na medição sistemática das tendências comportamentais induzidas por essas personas. Abordagens anteriores frequentemente adaptam inventários psicomététricos humanos (ex: Big Five, HEXACO) que dependem de mecanismos de autorrelato ("O quanto você concorda fortemente?"). Os autores argumentam que estes são inadequados para a IA, pois podem capturar a memorização de dados de treinamento ou a adesão superficial ao prompt, em vez de traços comportamentais genuínos e estáveis. Além disso, os inventários tradicionais muitas vezes falham em revelar estruturas comportamentais estáveis quando comparados a benchmarks contextualizados, e trabalhos recentes sugerem que eles podem gerar perfis de personalidade enganosos devido à contaminação dos dados de treinamento.

O problema central é a falta de um framework psicométrico orientado ao comportamento e fundamentado no domínio, capaz de distinguir entre variação superficial e tendências comportamentais latentes e estáveis em LLMs condicionadas por persona.

Metodologia

Os autores propõem um novo framework combinando Testes de Julgamento Situacional (SJTs), Teoria de Resposta ao Item Multidimensional (MIRT) e personas sintéticas estruturadas.

1. Geração de Personas Sintéticas

O estudo constrói um conjunto de dados de larga escala de personas sintéticas fundamentadas em realismo demográfico e psicológico.

• Fundamentação Demográfica: As personas são instanciadas usando um modelo gráfico probabilístico (PGM) baseado em dados do Censo dos EUA e estatísticas de nomes para garantir distribuições realistas de idade, gênero, etnia e localização.
• Atribuição de Arquétipos: As personas são atribuídas a um de oito arquétipos comportamentais (ex: "O Profissional", "O Reciprocador", "O Evitador") derivados da psicologia organizacional-industrial e memórias policiais.
• Fundamentação Narrativa: Para garantir profundidade psicológica, as personas são semeadas com trechos narrativos de memórias policiais reais.
• Saída: O pipeline gera perfis detalhados incluindo aparência, comportamento, fala, humor e histórico de vida, validados tanto por especialistas humanos quanto por juízes de LLM. Um conjunto de dados secundário de personas parlamentares britânicas também foi gerado para demonstrar a extensibilidade.

2. Banco de Testes de Julgamento Situacional (SJT)

Em vez de perguntas de autorrelato, os autores desenvolveram um instrumento SJT customizado especificamente para contextos de aplicação da lei.

• Design por Especialistas: Os cenários base foram elaborados por especialistas do domínio (psicólogos e oficiais de aplicação da lei) cobrindo dilemas realistas (ex: conflitos éticos, emergências de alto risco).
• Mapeamento de Traços: Cada cenário oferece seis opções de resposta plausíveis, cada uma alinhada unicamente a um dos seis traços do HEXACO (Honestidade-Humildade, Emocionalidade, Extroversão, Amabilidade, Conscienciosidade, Abertura).
• Aumentação Controlada: Um LLM foi utilizado para variar atributos de cenário (urgência, nível de ameaça, ambiguidade, demografia) para garantir diversidade e evitar a convergência em respostas estereotipadas.
• Mitigação de Vazamento de Traço (Trait Bleed): Um processo iterativo de "LLM-como-Juiz" foi empregado para avaliar e corrigir o "vazamento de traço", garantindo que cada opção de resposta mapeie limpa e exclusivamente para um único traço, sem sobreposição.

3. Framework de Avaliação

O framework avalia o comportamento do modelo através de quatro dimensões:

• Estabilidade: Execuções de amostragem repetidas para avaliar a consistência.
• Validade: Correlação entre pontuações de traços latentes (inferidas via MIRT) e benchmarks comportamentais externos (TruthfulQA, EmoBench).
• Diversidade: Métricas léxicas e semânticas para garantir que o conjunto de dados evite regularidades superficiais.
• Rigor Psicométrico: Aplicação de MIRT para estimar a discriminação de itens e a recuperação de traços latentes.

Principais Contribuições

1. Um Novo Instrumento Psicométrico: A introdução de um framework de SJT baseado em cenários para aplicação da lei que substitui o autorrelato pelo comportamento de escolha, mapeando explicitamente as respostas para os traços HEXACO.
2. Personas Sintéticas Demograficamente Fundamentadas: Um pipeline para gerar personas psicologicamente coerentes e demograficamente realistas que servem como construtos de condicionamento estáveis para LLMs.
3. Conjuntos de Dados de Larga Escala: O lançamento de datasets contendo mais de 4.000 SJTs, mais de 2.200 personas parlamentares e milhões de respostas de modelos, permitindo a avaliação comportamental controlada.
4. Evidência Empírica de Estabilidade: Demonstração de que comportamentos condicionados por persona são estáveis entre as execuções e que pontuações de traços latentes derivados de SJTs predizem o desempenho em benchmarks externos melhor do que seus equivalentes de autorrelato.

Principais Resultados

• Validade Preditiva Superior dos SJTs: Rankings de traços derivados de SJT mostraram correlações mais fortes com benchmarks externos (ex: o SJT de Amabilidade correlacionou-se com o EmoBench em 0,70 vs. 0,51 para o autorrelato HEXACO) do que instrumentos tradicionais de autorrelato.
• Mudanças Comportamentais Sistemáticas: O condicionamento de persona induz mudanças consistentes e não aleatórias no comportamento do modelo. Modelos condicionados exibiram um trade-off: menor desempenho em calibração emocional (EmoBench), mas maior desempenho em veracidade (TruthfulQA).
• Discriminabilidade de Arquétipos: Diferentes personas produziram perfis comportamentais distintos. Por exemplo, o arquétipo "Evitador" mostrou uma supressão extrema na calibração emocional e iniciativa social, enquanto o "Reciprocador" mostrou elevação em Amabilidade e Abertura.
• Confiabilidade Psicométrica:
  • Estabilidade: Execuções repetidas mostraram estabilidade quase perfeita (divergência de Jensen-Shannon $\approx$ 0 para benchmarks; $\approx$ 0,003 para distribuições de SJT).
  • Discriminação de Itens: 76% dos itens de SJT exibiram boa a forte discriminação ($a > 1,0$) no modelo MIRT.
  • Recuperação de Traços: Traços latentes predisseram significativamente as decisões (4/6 traços, $p < 0,05$), e a confiabilidade teste-reteste (ICC) excedeu 0,86 em todas as dimensões.
  • Decomposição de Variância: O contexto do cenário explicou ~39% da variância de resposta, enquanto a identidade da persona explicou ~3,8%, com o restante atribuído à variação estruturada além dos efeitos aditivos.

Significância e Alegações

O artigo afirma que a avaliação psicométrica baseada em cenários oferece uma alternativa mais confiável às abordagens clássicas de autorrelato para avaliar o comportamento de LLMs. Ao tratar as respostas do modelo como observações de variáveis comportamentais latentes em vez de autodescrições, o framework captura tendências comportamentais estáveis expressas através de contextos.

Os autores enfatizam que interpretam esses traços não como "personalidade humana", mas como tendências comportamentais estáveis induzidas pelo condicionamento. O framework demonstra que o enquadramento de persona ativa de forma confiável modos comportamentais distintos, em vez de produzir artefatos estocásticos. Este trabalho fornece um passo fundamental para a avaliação fundamentada no domínio, oferecendo um método rigoroso para medir como os LLMs se comportam sob suposições de papéis específicos, o que é crítico para a segurança e o alinhamento em aplicações de alto risco, como a aplicação da lei.

Os autores permanecem modestos quanto às limitações, observando que o trabalho foca em interações de turno único, depende de dados sintéticos para certos domínios (parlamentar) devido à falta de anotadores humanos, e evita alegações antropomórficas sobre estados internos do modelo. Eles postulam que a consistência observada reflete regularidades comportamentais estruturadas em vez de um entendimento psicológico profundo, deixando a questão da estrutura representacional para pesquisas futuras.