💻 computer science

Inferring personality from a live interaction with an LLM: Predictions are internally consistent and show convergent validity

Este estudo pré-registrado demonstra que grandes modelos de linguagem podem inferir de forma confiável traços de personalidade do Big Five a partir de conversas ao vivo com alta consistência interna e validade convergente, particularmente para neuroticismo e amabilidade, embora o desempenho varie conforme a observabilidade do traço e a estratégia de prompting.

Autores originais: Merlin Monzel, Sebastian Jung, Martin Reuter

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Merlin Monzel, Sebastian Jung, Martin Reuter

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Durante décadas, os psicólogos têm dependido de uma ferramenta simples para entender quem somos: um questionário. As pessoas sentam-se e avaliam a si mesmas em uma série de afirmações, respondendo se concordam ou discordam de ideias sobre serem extrovertidas, organizadas ou ansiosas. Este método é eficiente e nos deu um mapa padrão da personalidade humana, frequentemente chamado de "Big Five" (Os Cinco Grandes). Esses cinco traços — abertura a novas experiências, conscienciosidade, extroversão, amabilidade e neuroticismo — atuam como uma estrutura para descrever como as pessoas pensam, sentem e se comportam. No entanto, essa abordagem possui uma falha. Ela pede que as pessoas olhem para dentro e julguem a si mesmas, um processo que pode ser obscurecido por como desejamos ser vistos ou por simples erros de autorreflexão. Também perde os detalhes ricos e complexos de como realmente falamos e interagimos no mundo real.

Recentemente, um novo tipo de tecnologia surgiu e pode mudar a forma como medimos esses traços. Modelos de linguagem de grande escala são programas de computador treinados em vastas quantidades de texto, capazes de manter conversas que parecem surpreendentemente humanas. Como esses modelos leram muito sobre escrita humana, eles podem, às vezes, identificar padrões na forma como as pessoas usam as palavras que revelam seu caráter subjacente. A questão que os pesquisadores começaram a fazer era se um computador poderia ouvir uma conversa em tempo real e adivinhar com precisão a personalidade de uma pessoa, apenas ouvindo-a falar, sem que ela jamais preenchesse um formulário.

Uma equipe de pesquisadores da Universidade de Bonn estabeleceu o objetivo de testar essa ideia. Eles convidaram 117 pessoas para ter uma conversa de dez minutos com um chatbot de inteligência artificial. O chatbot recebeu uma instrução específica: fazer perguntas abertas sobre a semana anterior do participante, mantendo suas próprias respostas breves, tudo isso enquanto tentava reunir informações suficientes para compreender o caráter da pessoa. O objetivo era ver se o computador conseguiria extrair um perfil de personalidade dessa breve troca. Após o término da conversa, os pesquisadores pediram ao chatbot que avaliasse a personalidade do participante nos cinco principais traços. Para garantir que os resultados fossem sólidos, os pesquisadores também pediram aos participantes que preenchessem um questionário de personalidade padrão sobre si mesmos, fornecendo um parâmetro para comparar com os palpites do computador.

Os pesquisadores testaram duas maneiras diferentes de pedir ao computador que fizesse seu julgamento. Na primeira abordagem, eles simplesmente pediram ao modelo que avaliasse a pessoa nos cinco traços com base na conversa. Na segunda abordagem, mais complexa, eles forneceram ao computador a lista exata de perguntas do teste de personalidade padrão e pediram que ele adivinhasse como a pessoa teria respondido a cada uma delas. Os resultados mostraram que o computador foi surpreendentemente bom na tarefa. Quando os pesquisadores verificaram a consistência das avaliações do computador, descobriram que o modelo entendia a estrutura da personalidade tão bem quanto um psicólogo humano faria. As pontuações geradas pelo computador eram internamente consistentes, o que significa que ele não dava respostas contraditórias para a mesma pessoa.

Mais importante ainda, as avaliações do computador coincidiram com os autorrelatos dos participantes. As correspondências mais fortes foram encontradas para o neuroticismo, que se relaciona com a estabilidade emocional e a ansiedade, e a amabilidade, que se relaciona com a gentileza e a cooperação. O computador foi particularmente bom em detectar sinais de depressão e compaixão na forma como as pessoas falavam. No entanto, a tecnologia teve dificuldades com outros traços. Teve mais dificuldade em prever o quão extrovertida ou aberta era uma pessoa. Essa dificuldade provavelmente decorre da própria natureza da conversa. Traços como a extroversão costumam aparecer na forma como as pessoas agem em grupos ou no quão enérgicas são pessoalmente, coisas que são difíceis de capturar em um chat de texto com uma máquina. Da mesma forma, a criatividade e a abertura são frequentemente processos internos que nem sempre deixam um rastro claro em uma conversa curta.

O estudo também analisou se o computador era tendencioso. Havia a preocupação de que o modelo pudesse confiar em estereótipos, como assumir que mulheres são mais emocionais do que homens, simplesmente porque leu essas ideias em seus dados de treinamento. No entanto, como os pesquisadores esconderam o gênero dos participantes do chatbot, o computador não amplificou esses estereótipos. As diferenças que ele encontrou entre homens e mulheres foram consistentes com o que os próprios participantes disseram sobre si mesmos, sugerindo que o modelo estava reagindo às pessoas reais, em vez de uma noção preconcebida. Os pesquisadores descobriram, contudo, que o computador tendia a ser excessivamente gentil em seus julgamentos. Ele deu pontuações mais altas para traços como amabilidade e conscienciosidade, e pontuações mais baixas para o neuroticismo, talvez por ter sido programado para ser educado ou por adotar uma versão "legal" de uma pessoa por padrão.

Embora as previsões do computador não fossem perfeitas, o estudo sugere que estamos caminhando para um futuro onde a personalidade pode ser compreendida através de conversas naturais, em vez de apenas listas de verificação. Os pesquisadores descobriram que o método mais simples de pedir uma classificação geral funcionou melhor do que o método complexo de fornecer as perguntas do teste ao computador, o qual fazia o sistema falhar com mais frequência. Isso indica que o modelo possui uma compreensão intuitiva da personalidade que não precisa sempre de uma estrutura rígida para funcionar. As descobertas sugerem que, embora essas ferramentas ainda não estejam prontas para substituir psicólogos humanos ou tomar decisões que alterem a vida, elas podem extrair com sucesso sinais significativos sobre quem somos a partir das palavras que escolhemos dizer. À medida que a tecnologia melhora, e conforme as conversas se tornam mais longas e detalhadas, a capacidade de ler a personalidade através da fala pode se tornar uma nova e poderosa maneira de compreender a mente humana.

Resumo Técnico: Inferência de Personalidade a partir de Interações em Tempo Real com LLMs

Definição do Problema
A avaliação tradicional de personalidade depende fortemente de questionários psicométricos (ex: o Big Five Inventory-2, BFI-2). Embora eficientes, essas medidas de autorrelato são suscetíveis a erros de introspecção, vieses de resposta (como a desejabilidade social) e frequentemente falham em capturar a riqueza contextual do comportamento natural. Por outro outro lado, formatos de avaliação qualitativa são subutilizados devido aos desafios práticos de transcrever, codificar e quantificar dados textuais, bem como às preocupações com a confiabilidade dos avaliadores humanos. Embora o Processamento de Linguagem Natural (PLN) automatizado tenha abordado algumas limitações, ele frequentemente depende de dicionários predefinidos que carecem de flexibilidade contextual. Avanços recentes em Grandes Modelos de Linguagem (LLMs) oferecem uma alternativa potencial, mas permanece incerto se os LLMs podem inferir efetivamente traços de personalidade do Big Five a partir de interações conversacionais adaptativas e em tempo real, como diferentes estratégias de prompting afetam a validade e se vieses sistemáticos (ex: estereótipos de gênero ou leniência) comprometem a avaliação.

Metodologia
Este estudo pré-registrado investigou a validade preditiva de um LLM na avaliação dos traços de personalidade do Big Five (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo) por meio de uma interação ao vivo de 10 minutos.

Participantes: 117 participantes (principalmente estudantes de psicologia da Universidade de Bonn; 62,4% mulheres, 37,6% homens; idade 18–67) engajaram-se em uma conversa com um LLM (Meta Llama 3.3 70B/80B Instruct).
Protocolo de Interação: Os participantes foram instruídos a conversar sobre sua última semana. O LLM foi orientado via prompt a fazer perguntas abertas, manter contribuições breves e elicitar informações relevantes para a avaliação de personalidade. Os parâmetros do modelo foram padronizados (Temperatura = 0, top_p = 0.05) para garantir saídas determinísticas.
Estratégias de Avaliação: Após a conversa, duas estratégias distintas de prompting foram empregadas para gerar pontuações de personalidade:
1. Prompting Não-Contextual: O LLM foi solicitado a estimar as pontuações do Big Five do participante em uma escala de 1 a 5, sem material de referência adicional.
2. Prompting Contextual: O LLM recebeu o conteúdo integral dos 60 itens do BFI-2 e foi solicitado a estimar o quão fortemente o participante concordaria com cada afirmação com base na conversa.
Verdade Fundamental (Ground Truth): Os participantes completaram o questionário de autorrelato padrão BFI-2 como critério de referência para validade.
Controle de Viés: Para testar o viés de gênero, o gênero do participante foi ocultado do LLM durante as fases de interação e avaliação.
Análise: O estudo examinou a consistência interna (Alfa de Cronbach), validade convergente (correlações entre as pontuações do LLM e os autorrelatos) e a influência de subfacetas específicas. A estatística Bayesiana foi utilizada para avaliar evidências para a hipótese nula em relação ao viés de gênero.

Principais Contribuições e Resultados

Consistência Interna e Estrutura:
O LLM demonstrou alta consistência interna em suas avaliações, com valores de Alfa de Cronbach variando de .77 (Extroversão) a .88 (Neuroticismo), comparáveis aos dados de autorrelato. Isso sugere que o modelo "compreende" a estrutura interna dos traços do Big Five.
Validade Convergente:
As pontuações derivadas pelo LLM mostraram validade convergente significativa com os autorrelatos, embora o desempenho tenha variado conforme o traço e a estratégia de prompting.
- Prompting Não-Contextual: Todos os cinco traços foram previstos significativamente ( $p < .05$ ). O Neuroticismo ( $r = .35$ ) e a Amabilidade ( $r = .40$ ) apresentaram as correlações mais fortes, enquanto a Extroversão ( $r = .15$ ) foi a mais fraca.
- Prompting Contextual: Esta estratégia gerou maior validade de teto para Amabilidade ( $r = .52$ ) e Conscienciosidade ( $r = .50$ ), mas sofreu com altas taxas de falha técnica (70,6% das tentativas falharam em produzir saída utilizável). A Abertura e a Extroversão não foram previstas significativamente nesta condição, provavelmente devido ao pequeno tamanho da amostra efetiva ( $n=37$ ).
- Comparação: O prompting não-contextual provou ser mais robusto e estável, enquanto o prompting contextual introduziu maior variabilidade e instabilidade técnica.
Drivers de Subfacetas:
Subfacetas específicas impulsionaram a precisão da previsão. Para a Amabilidade, a subfaceta "Compaixão" foi o principal driver. Para o Neuroticismo, "Depressão" foi um preditor chave nas avaliações contextuais. Inversamente, "Imaginação Criativa" (Abertura) e "Assertividade" (Extroversão) contribuíram menos para a previsibilidade, sugerindo que esses traços são menos observáveis em dados linguísticos durante interações não guiadas.
Análise de Viés:
- Viés de Leniência: O LLM exibiu um viés de leniência consistente com a desejabilidade social, atribuindo pontuações mais altas para Amabilidade e Conscienciosidade e pontuações mais baixas para Neuroticismo em comparação aos autorrelatos. No entanto, os autores observam que isso afeta as pontuações absolutas, não o ranking relativo dos participantes.
- Viés de Gênero: Não foi encontrada evidência de viés de gênero. O LLM não amplificou estereótipos de gênero (ex: atribuindo maior Neuroticismo a mulheres) quando o gênero foi ocultado. Embora existissem efeitos principais de gênero nos dados (consistentes com as diferenças populacionais conhecidas), não houve efeito de interação indicando que o LLM avaliou os gêneros de forma diferente dos autorrelatos. A análise Bayesiana forneceu evidência anedótica para a hipótese nula de ausência de viés de gênero.

Significância e Alegações
O artigo alega que os LLMs podem extrair com sucesso sinais de personalidade estáveis e significativos de dados conversacionais breves, alcançando consistência interna comparável aos autorrelatos e validade convergente moderada. O estudo destaca que:

Viabilidade: LLMs podem inferir personalidade sem definições explícitas de traços (não-contextual), sugerindo que esse conhecimento é recuperável a partir dos dados de treinamento.
Restrições: O desempenho preditivo depende fortemente da "observabilidade linguística" de traços específicos. Traços com marcadores linguísticos fortes (ex: emoções negativas para Neuroticismo, linguagem pró-social para Amabilidade) são previstos com mais precisão do que aqueles expressos através de comportamento manifesto (ex: Extroversão) ou estados internos (ex: Imaginação Criativa).
Robustez: Embora o prompting contextual (fornecer itens do BFI-2) possa teoricamente melhorar a validade para traços específicos, ele atualmente sofre com limitações técnicas (problemas de janela de contexto) e altas taxas de falha, tornando o prompting não-contextual a abordagem mais confiável por enquanto.
Implicações Éticas: Ocultar informações de identidade (como gênero) evita efetivamente a reprodução de estereótipos de gênero. No entanto, os autores alertam que, devido às limitações atuais de validade e potenciais vieses, as previsões de personalidade baseadas em LLM não devem ainda ser tratadas como diagnósticas ou definitivas, particularmente em contextos de alto risco, como seleção de pessoal.

Os achados sugerem que, embora os LLMs ofereçam um caminho promissor para a avaliação qualitativa da personalidade, o progresso futuro requer estratégias de prompting mais direcionadas, dados de interação mais ricos e escrutínio contínuo dos vieses do modelo antes de aplicações no mundo real.

Mais como este