Resumo Técnico: Deriva de Avaliação na Indução de Personalidade em Modelos de Linguagem de Grande Escala (LLMs)

Declaração do Problema

O artigo investiga a confiabilidade dos Modelos de Linguagem de Grande Escala (LLMs) na expressão de personalidades estáveis e semelhantes às humanas. Embora trabalhos anteriores tenham tentado induzir traços de personalidade em LLMs para fins como coerência narrativa, confiança e controlabilidade, persiste uma lacuna crítica: a deriva de avaliação. Estudos anteriores frequentemente recorrem a métodos baseados em prompts ou avaliações de dimensão única que sofrem de alta variância estatística e imitação superficial. Os autores questionam se os LLMs possuem um perfil de personalidade subjacente estável ou se meramente imitam pistas superficiais, observando que os protocolos de avaliação existentes frequentemente movem o "alvo" ao avaliar traços individuais dos Cinco Grandes (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo) isoladamente, o que ignora a natureza multidimensional da personalidade.

Metodologia

O estudo emprega uma metodologia em duas fases para avaliar a indução de personalidade em cinco modelos distintos (variando de 2B a 175B parâmetros, incluindo Gemma, LLaMA e GPT-3.5):

1. Conjunto de Dados: Os autores utilizam o Conjunto de Dados de Ensaios (Pennebaker e King, 1999), composto por 2.467 ensaios de formato longo (aproximadamente 1,9 milhão de palavras). Este conjunto de dados foi escolhido em detrimento de textos mais curtos de redes sociais (por exemplo, Twitter, Reddit) para capturar traços de personalidade estáveis em vez de humores transitórios. Cada ensaio está associado a rótulos binários para os cinco traços OCEAN.
2. Avaliação da Estabilidade do Prompt: Para abordar a fragilidade da avaliação, os autores testaram inicialmente três variações de prompt (S1: Numérico, S2: String, S3: Alfabético) em modelos pré-treinados e ajustados. Eles mediram o desvio padrão das respostas ao questionário IPIP-NEO para determinar se o ajuste fino reduz a sensibilidade à reescrita de prompts.
3. Estratégias de Ajuste Fino:
   • Ajuste Fino Supervisionado (SFT): Os modelos foram treinados em ensaios pareados com rótulos de personalidade alvo. Duas variações foram testadas: (1) apenas ensaios, e (2) ensaios aumentados com porções do questionário IPIP-NEO para vincular explicitamente o texto às pontuações de traços.
   • Ajuste Fino Preferencial (DPO/ORPO): Os autores construíram conjuntos de dados paralelos onde as respostas "escolhidas" e "rejeitadas" foram geradas com base em perfis OCEAN incompatíveis (por exemplo, contrastando uma amostra com sua inversa ou quase inversa) para simular sinais de preferência humana.
4. Protocolo de Avaliação: A métrica principal foi a taxa de correspondência exata do vetor OCEAN completo de 5 dimensões (32 combinações binárias possíveis) em relação à verdade fundamental. Isso foi comparado a uma linha de base aleatória (3,125%). O estudo também comparou variantes de modelos censurados (alinhados à segurança) versus não censurados para avaliar o impacto do alinhamento de segurança.

Principais Contribuições e Resultados

1. Redução da Variância de Avaliação (PQ1)

O estudo demonstra que o ajuste fino (tanto métodos SFT quanto preferenciais) reduz consistentemente a variância estatística nas respostas ao questionário em todos os modelos testados.

• Descoberta: Modelos ajustados finamente exibiram uma redução de 15% a 33% no desvio padrão em comparação com modelos pré-treinados quando submetidos a reescritas de prompts.
• Implicação: Isso confirma que sinais supervisionados estabilizam a resposta do modelo a avaliações psicológicas, mitigando a "fragilidade de avaliação" relatada em modelos pré-treinados.

2. Falha na Indução de Vetor Completo (PQ2)

Apesar da estabilidade aprimorada, os modelos falharam em induzir com precisão os perfis de personalidade multidimensionais alvo a partir de ensaios não orientados.

• Descoberta: A precisão para o vetor OCEAN completo de 5 dimensões permaneceu próxima da linha de base aleatória (~3,13% a 9,38%), mesmo quando métricas de traço único pareciam melhorar. O melhor resultado alcançado foi 3/32 casos (9,38%).
• Análise: Os autores argumentam que trabalhos anteriores que relatam alta precisão em traços únicos são enganosos porque ignoram o espaço conjunto da personalidade. Um modelo pode estar correto em 4/5 traços, mas falhar no perfil holístico devido a um único erro sistemático (por exemplo, interpretar mal "sociabilidade aspiracional" como Extroversão ou afeto negativo em tarefas como baixa Conscienciosidade).
• Conclusão: Ensaios não orientados carecem das pistas necessárias para uma expressão fiel e multidimensional da personalidade.

3. Impacto do Alinhamento de Segurança (PQ3)

O estudo comparou versões não censuradas de modelos (LLaMA 3.1-8B, Gemma-2-2B, LLaMA 3.2-3B) com suas contrapartes alinhadas à segurança.

• Descoberta: Nenhum ganho de desempenho significativo foi observado em modelos não censurados quanto à precisão de indução de personalidade.
• Conclusão: O alinhamento de segurança não é um gargalo primário para a eficácia da indução de personalidade neste contexto.

Significado e Alegações

O artigo afirma que o paradigma atual de avaliar a indução de personalidade em LLMs é fundamentalmente falho se depender de métricas de dimensão única ou assumir que a imitação superficial equivale a um perfil estável.

• Reenquadramento do Objetivo: Os autores argumentam que, para que os LLMs sejam considerados como tendo uma "personalidade", devem reproduzir o vetor multidimensional completo consistente com protocolos de teste humanos (como IPIP-NEO), e não apenas traços isolados.
• Limitações dos Dados Atuais: Os resultados sugerem que texto não orientado (ensaios) é insuficiente para aprender vetores de personalidade complexos. Os autores propõem que trabalhos futuros requerem conjuntos de dados fundamentados em cenários ou métodos de eliciação interativa que acumulem evidências ao longo do tempo para avaliar a personalidade de forma confiável.
• Cautela com Métricas: O artigo alerta que sucessos relatados na indução de traço único podem ser artefatos do método de avaliação e não modelagem genuína de personalidade, já que abordagens simples de "saco de palavras" podem alcançar precisão de traço único semelhante sem verdadeira compreensão semântica.

Em resumo, embora o ajuste fino estabilize as respostas dos LLMs a questionários psicológicos, ele não permite atualmente a indução confiável de personalidades humanas coerentes e multidimensionais a partir de texto não orientado. Os autores defendem uma mudança para padrões de avaliação mais rigorosos, multidimensionais e fontes de dados mais ricas e conscientes do contexto.