Stories of Your Life as Others: A Round-Trip Evaluation of LLM-Generated Life Stories Conditioned on Rich Psychometric Profiles

1. O Problema e o Contexto

O artigo aborda limitações críticas na avaliação atual de como os Grandes Modelos de Linguagem (LLMs) simulam personalidades. A literatura existente sofre de três falhas principais:

• Avaliação Baseada em Questionários: A maioria dos estudos avalia a simulação de personalidade pedindo ao próprio modelo que responda a questionários (auto-relato), o que pode não refletir o comportamento real ou a saída comportamental.
• Dados Sintéticos ou Superficiais: Muitos estudos utilizam perfis sintéticos ou prompts curtos ("thin prompting"), em vez de dados psicométricos reais e profundos de participantes humanos.
• Falta de Validação Cruzada: Há pouca verificação de se os resultados são específicos de uma arquitetura de modelo ou se são propriedades gerais dos LLMs.

O objetivo central é determinar se as informações de personalidade codificadas em prompts imersos podem sobreviver à transformação em narrativas extensas de primeira pessoa e serem recuperadas por um modelo independente, sem recorrer a auto-relatos.

2. Metodologia: O Paradigma de "Viagem de Ida e Volta" (Round-Trip)

Os autores propõem um pipeline de três estágios utilizando o conjunto de dados PARSEL (290 participantes com perfis psicométricos completos e transcrições de conversas reais):

• Estágio 1: Geração de Prompt Imersivo:
  • Um LLM (Claude Opus 4.6) recebe o perfil psicométrico completo de um participante (60 itens do HEXACO-60, 6 domínios principais e 9 escalas além do HEXACO, como confiança e ansiedade social).
  • O modelo gera um prompt de ~1.000 palavras em segunda pessoa ("Você é alguém que..."), traduzindo pontuações numéricas em descrições comportamentais concretas, estilos interpessoais e padrões emocionais.
• Estágio 2: Geração de Narrativa (LSI):
  • Um gerador de LLM (principalmente GPT-4.1, mas testado com 10 modelos diferentes) recebe o prompt imersivo.
  • O modelo gera uma entrevista de história de vida (Life Story Interview - LSI) de 24 turnos, em primeira pessoa, simulando a vida do indivíduo descrito.
• Estágio 3: Pontuação Cega (Blind Scoring):
  • Um avaliador LLM independente (sem acesso ao perfil original ou ao prompt) lê a narrativa gerada.
  • O avaliador recupera as pontuações dos 60 itens do HEXACO e das 9 escalas adicionais, sem ver os dados originais do participante.

Controles de Validação:

• Correspondência Mascarada: Teste de forçar a escolha para ver se a narrativa pode ser vinculada ao perfil original apenas pelo conteúdo de personalidade (sem dados biográficos).
• Vazamento de Questionário: Verificação de similaridade textual para garantir que os modelos não estão apenas repetindo itens do questionário.
• Decomposição de Viés: Análise para separar o viés intrínseco do modelo (alinhamento "harmless, honest, helpful") do sinal real da personalidade condicionada.

3. Principais Contribuições

1. Paradigma de Avaliação Robusto: Introdução de uma avaliação de "ida e volta" que codifica perfis reais em narrativas e os recupera, alcançando níveis próximos à confiabilidade teste-reteste humana.
2. Generalidade Arquitetural: Validação cruzada em 10 geradores e 3 avaliadores de 6 provedores diferentes (incluindo modelos autoregressivos e de difusão), provando que a recuperação de personalidade é uma propriedade geral dos LLMs bem condicionados.
3. Validação de Conteúdo: Evidência de que o sinal recuperado reflete conteúdo comportamental e não vazamento de dados ou memorização de questionários.
4. Decomposição de Viés: Caracterização de como os modelos de pontuação combatem seus próprios "padrões de alinhamento" para recuperar a personalidade alvo.
5. Correspondência com Comportamento Real: Demonstração de que as narrativas geradas por LLMs refletem padrões de comportamento conversacional real dos participantes (incluindo variabilidade emocional).

4. Resultados Chave

• Recuperação de Personalidade (RQ1):

  • A correlação média entre os perfis reais e as pontuações recuperadas das narrativas foi r = 0,750.
  • Isso representa 85% do teto de confiabilidade teste-reteste humana (r ≈ 0,887).
  • A recuperação foi robusta em todos os 6 domínios do HEXACO (de r=0,682 para Conscienciosidade a r=0,825 para Extroversão) e em todas as 9 escalas adicionais (como Confiança e Ansiedade Social).
  • Modelos de difusão (Mercury 2) também alcançaram resultados altos (r ≈ 0,69), indicando que o fenômeno não depende apenas da geração autoregressiva.

• Validação do Sinal (RQ2):

  • Correspondência Mascarada: Modelos independentes conseguiram vincular narrativas aos perfis originais (sem dados biográficos) com 79% de precisão (acima dos 20% do acaso).
  • Sem Vazamento: Nenhuma frase nas narrativas reproduziu itens do questionário verbatim, confirmando que a personalidade é expressa através de conteúdo narrativo encarnado.
  • Viés: Os modelos de pontuação possuem um "perfil de repouso" alinhado (alta Honestidade-Humildade, alta Conscienciosidade), mas o condicionamento da personalidade puxa o resultado na direção correta, superando esse viés.

• Comparação com Comportamento Humano (RQ3):

  • Nove dos dez recursos comportamentais codificados nas narrativas (ex: vulnerabilidade, agência, valência emocional) correlacionaram-se significativamente com os mesmos recursos nas conversas reais dos participantes.
  • Padrão de Reatividade Emocional: Indivíduos com alta "Emocionalidade" (E) geraram narrativas com maior oscilação de valência emocional entre os capítulos. Esse mesmo padrão de variabilidade foi observado nos dados de conversas reais, validando a teoria de que traços são distribuições de estados, não pontos fixos.

5. Significado e Implicações

O estudo fornece evidências fortes de que a relação entre personalidade e linguagem capturada durante o pré-treinamento dos LLMs é suficientemente robusta para suportar a codificação e decodificação de diferenças individuais.

• Para Avaliação Psicométrica: Sugere que entrevistas de história de vida (LSI) geradas por IA podem ser uma alternativa naturalista e rica aos questionários tradicionais.
• Para Condicionamento de Persona: Confirma que prompts imersivos e ricos são superiores a descrições curtas para simular personalidades autênticas.
• Para Compreensão de LLMs: Indica que os LLMs não apenas memorizam traços, mas internalizam associações profundas entre linguagem e comportamento humano, capazes de replicar padrões de variabilidade emocional complexos encontrados em dados reais.

Limitações Notadas: O estudo depende de dados de populações WEIRD (Ocidental, Educada, Industrializada, Rica e Democrática) e o uso de LLMs para anotação de conteúdo traz preocupações de método compartilhado, embora a consistência entre modelos diferentes mitigue isso parcialmente. Além disso, a capacidade de gerar narrativas consistentes com perfis reais levanta questões éticas sobre impersonação e privacidade.