Resumo Técnico: Quantificação e Mitigação da Resposta Socialmente Desejável em LLMs

1. Declaração do Problema

Grandes modelos de linguagem (LLMs) estão sendo cada vez mais avaliados por meio de questionários de autorrelato humanos (ex: inventários de personalidade Big Five) para estabelecer benchmarks de perfis comportamentais e psicológicos. No entanto, esses instrumentos assumem respostas honestas. Em contextos avaliativos, os LLMs — frequentemente ajustados para serem úteis e evitar ofensas — tendem a gravitar em direção a respostas socialmente preferidas. Este fenôça, conhecido como Resposta Socialmente Desejável (RSD), enviesa as pontuações derivadas de questionários e compromete conclusões subsequentes sobre segurança, viés e consistência de persona.

A literatura atual carece de:

1. Uma métrica padronizada para quantificar a magnitude da RSD em LLMs, comparável entre construtos e contra benchmarks humanos.
2. Formatos de medição especificamente projetados para mitigar a RSD, preservando a capacidade de recuperar os perfis latentes pretendidos.
3. Um framework que distinga entre a verdadeira distorção de resposta e artefatos de métodos de pontuação (ex: pontuações ipsativas em formatos de escolha forçada).

2. Metodologia

2.1 Design Experimental

O estudo emprega um framework psicométrico para quantificar a RSD como um deslocamento induzido por instrução nos escores latentes.

• Participantes: Nove LLMs de seguimento de instruções de três provedores (OpenAI, Google, Anthropic).
• Personas: 50 personas sintéticas com perfis-alvo do Big Five de verdade fundamental (ground-truth) conhecidos ($z_i$), geradas para mimetizar distribuições de traços humanos realistas.
• Condições: Duas condições de instrução foram aplicadas a cada persona:
  • HONEST (HONESTO): Responda o mais honestamente possível.
  • FAKE-GOOD (FINGIR SER BOM): Responda para causar a melhor impressão possível (design padrão de instrução de fingimento).
• Formatos de Resposta:
  • Likert (Estímulo Único): 60 itens avaliados em uma escala de 7 pontos.
  • Escolha Forçada Graduada (GFC - Graded Forced-Choice): 30 pares de afirmações avaliados em uma escala bipolar de 7 pontos (Muito mais preciso à Esquerda vs. Muito mais preciso à Direita).

2.2 Construção do Instrumento

O estudo utilizou um subconjunto do inventário de marcadores de fator Big-Five do IPIP de Goldberg ($J=98$ itens).

• Estimativa de Desejabilidade: Dois LLMs fortes (GPT-5, Gemini 2.5 Pro) atuaram como "avaliadores de desejabilidade" para atribuir pontuações de desejabilidade social ($s_j$) a cada item em uma escala de 9 pontos, fundamentada em enquadramentos normativos humanos.
• Construção da GFC: Um algoritmo de otimização restrita selecionou 30 pares transdomínio onde as pontuações de desejabilidade das duas afirmações eram de desejabilidade próxima (gap máximo de 0,18, média de de 0,03). Isso evita que os modelos selecionem uniformemente a opção "socialmente melhor".

2.3 Pontuação Psicométrica (IRT)

Para permitir comparações válidas entre formatos e condições, o estudo utiliza Teoria de Resposta ao Item (IRT) em vez de pontuação clássica.

• Likert: Modelado usando um Modelo de Resposta Graduada (GRM) multidimensional.
• GFC: Modelado usando um modelo de IRT Thurstoniana logístico ordinal. Esta abordagem postula utilidades latentes para cada afirmação e modela as escolhas como diferenças entre utilidades, recuperando pontuações latentes normativas ($\theta$) em uma escala comum. Isso evita o problema da ipsatividade (soma constante) inerente à pontuação padrão de escolha forçada, que confunde o posicionamento absoluto com trocas dentro do perfil.

2.4 Métricas

1. Quantificação de RSD: Definida como o tamanho do efeito padronizado com correção de direção (Cohen's $d_z$) do deslocamento nos escores latentes entre as condições FAKE-GOOD e HONEST. Os sinais são corrigidos para que valores positivos sempre indiquem um deslocamento em direção à desejabilidade social (maior A, C, E, O; menor N).
2. Recuperação da Verdade Fundamental: Medida pela correlação de Pearson entre o perfil latente estimado ($\hat{\theta}$) e o alvo da persona sintética conhecida ($z$).

3. Principais Contribuições

1. Métrica de RSD para LLMs: Um tamanho de efeito induzido por instrução em escores latentes de IRT, psicometricamente fundamentado, que permite comparação entre construtos e modelos, ancorado em benchmarks humanos de fingimento instruído.
2. Inventário GFC de Desejabilidade Correspondente: Um novo inventário Big Five construído via otimização restrita para igualar a desejabilidade dos itens entre domínios, pontuado usando IRT Thurstoniana para recuperar escores normativos.
3. Validação Empírica: Uma avaliação abrangente em nove LLMs demonstrando o compromisso (trade-off) entre mitigação de RSD e recuperação de perfil.

4. Resultados

4.1 Magnitude da RSD

• Formato Likert: Exibiu consistentemente grande RSD em todos os modelos e dimensões. Instruções de fake-good causaram deslocamentos positivos significativos em direção a perfis socialmente desejáveis (maior Amabilidade, Conscienciosidade, Extroversão, Abertura; menor Neuroticismo). Os tamanhos de efeito foram comparáveis às meta-análises de fingimento instruído humano.
• Formato GFC: A GFC com desejabilidade correspondente atenuou substancialmente a RSD. Para a maioria dos modelos, o tamanho do efeito caiu para níveis próximos de zero ou negligenciáveis. Apenas 4 de 45 células de modelo-dimensão permaneceram estatisticamente significativas sob GFC, comparado a 45/45 sob Likert.

4.2 Compromisso (Trade-off) RSD–Recuperação

• Likert: Alcançou maior recuperação da verdade fundamental (correlação com perfis alvo), mas sofreu com grande distorção de RSD, colocando os resultados na zona de "Evitar" para contextos avaliativos.
• GFC: Reduziu significativamente a RSD (movendo os resultados para as zonas "Recomendado" ou "Cautela") enquanto preservou amplamente a recuperação da verdade fundamental. A maioria dos pontos GFC manteve correlações $r \ge 0,50$, indicando validade convergente aceitável a forte.
• Variabilidade do Modelo: O compromisso variou por família de modelos. Embora variantes de maior capacidade às vezes mostrassem menor RSD sob GFC, a relação não foi uniforme; alguns modelos menores mostraram mínima RSD basal, enquanto alguns modelos maiores retiveram RSD mensurável mesmo sob GFC.

5. Significância e Alegações

O artigo alega que o benchmarking baseado em questionários de LLMs é atualmente vulnerável a um viés significativo de desejabilidade social, que distorce os perfis comportamentais inferidos. O estudo demonstra que:

• A RSD é mensurável e dependente do modelo: Ela pode ser quantificada como um deslocamento sistemático nos escores latentes, não apenas uma mudança de escore agregado.
• A GFC com desejabilidade correspondente é uma mitigação viável: Ao forçar julgamentos comparativos entre opções de desejabilidade similar, a GFC restringe o gerenciamento de impressão sem sacrificar completamente a capacidade de recuperar sinais de personalidade pretendidos.
• As Práticas de Relato Devem Evoluir: Os autores defendem "práticas de relato conscientes de RSD". Ao usar questionários para auditoria comparativa, segurança ou avaliações de equidade, os estudos devem relatar tanto os perfis inferidos quanto sua suscetibilidade à distorção de desejabilidade social.

O artigo conclui que, embora os formatos Likert possam maximizar a recuperação sob condições estritamente honestas, a GFC com desejabilidade correspondente é preferível em contextos avaliativos onde a pressão de autopresentação é propensa a distorcer os resultados. Os achados motivam trabalhos futuros para ligar as magnitudes de RSD a objetivos de treinamento específicos e políticas de segurança.