Resumo Técnico: Além das Personas Psicológicas Fixas: O Estado Supera o Traço, mas os Modelos de Linguagem são Cegos ao Estado

Declaração do Problema

A pesquisa atual em Processamento de Linguagem Natural (PLN) e modelagem de personas baseia-se amplamente na premissa de que os perfis psicológicos dos usuários são atributos fixos e estáveis (traços). Conjuntos de dados como PersonaChat e PANDORA capturam a variação entre pessoas (como o Usuário A difere do Usuário B), mas ignoram a variação dentro da mesma pessoa (como o Usuário A difere entre contextos). Essa abordagem contradiz décadas de teoria de Estado-Traço Latente (LST) na psicologia, que postula que o comportamento humano é uma função tanto de traços estáveis quanto de estados contextuais. Consequentemente, os sistemas de IA existentes podem caracterizar fundamentalmente mal a diversidade dos usuários ao tratar expressões psicológicas dinâmicas como traços estáticos, levando a uma geração "cega ao estado" e a avaliações inconsistentes.

Metodologia

O Conjunto de Dados Chameleon

Os autores introduzem o Chameleon, um conjunto de dados projetado para operacionalizar a teoria LST para PLN.

• Composição: 5.001 perfis psicológicos contextuais derivados de 1.667 usuários únicos do Reddit em 645 subreddits.
• Design: Cada usuário é amostrado em exatamente três subreddits distintos (contextos), permitindo a decomposição da variância em traços estáveis e estados contextuais.
• Estruturas Psicológicas: Os perfis são medidos em 26 dimensões abrangendo quatro frameworks validados:
  1. Big Five Inventory (BFI): Estrutura de personalidade (Extroversão, Amabilidade, Conscienciosidade, Neuroticismo, Abertura).
  2. Schwartz Value Survey (SVS): Valores motivacionais (ex: Poder, Conquista, Segurança).
  3. Self-Determination Theory (SDT): Motivação e necessidades básicas (Motivação Intrínseca/Extrínseca, Competência, Autonomia, Relacionamentos).
  4. DOSPERT: Atitudes de risco específicas de domínio (Investimento, Jogo, Saúde/Segurança, etc.).

Pipeline de Extração de Perfis

Para garantir robustez, os autores empregam uma abordagem Multi-Traço Multi-Método (MTMM) utilizando dois métodos de extração independentes:

1. SEANCE: Uma ferramenta baseada em regras e correspondência de léxico (código aberto) que computa mais de 250 índices para sentimento, emoção e processos cognitivos.
2. LangExtract: Uma ferramenta de extração estruturada baseada em LLM (usando GPT-4o) que identifica padrões psicológicos, evidências e raciocínio.

• Fusão: As pontuações de ambos os métodos são normalizadas-z por dimensão e médias para criar o perfil fundido final, reduzindo o ruído específico do método.

Avaliação Experimental

O artigo avalia os sistemas de IA atuais em duas frentes:

1. Geração (Consciência do Estado): Três LLMs (GPT-4o, Llama-3.1-8B, Qwen2.5-14B) foram solicitados com 127 perguntas sob seis arquétipos psicológicos distintos (ex: Angustiado-Vulnerável, Impulsionado-Assertivo) e uma linha de base. A similaridade das respostas foi medida usando embeddings semânticos para determinar se os modelos se adaptam ao estado do usuário.
2. Avaliação (Invariância ao Estado): Três modelos de recompensa (DeBERTa-RM, Skywork-RM-8B, ArmoRM-8B) foram testados em respostas idênticas geradas para diferentes perfis de usuário. O objetivo foi verificar se as pontuações de recompensa permanecem invariantes às características do usuário.

Principais Descobertas

1. O Estado Supera o Traço (Decomposição da Variância)

Usando Coeficientes de Correlação Intraclasses (ICC), os autores decomuseram a variância psicológica:

• Resultado: Aproximadamente 72–74% da variância psicológica no texto é dentro da pessoa (estado), enquanto apenas 26–28% é entre pessoas (traço).
• Implicação: O contexto molda a psicologia expressa 2 a 3 vezes mais do que as diferenças individuais estáveis. Essa descoberta se mantém em todos os quatro domínios psicológicos e em ambos os métodos de extração.
• Validação: A descoberta dominante de estado persiste mesmo após a residualização das pontuações para remover confusões estilísticas e tópicas no nível do subreddit. A concordância entre métodos (correlação no nível do perfil $r \approx 0,71$) confirma que o sinal é genuíno e não ruído.

2. LLMs são Cegos ao Estado

• Detecção Superficial de Persona: Embora os LLMs reconheçam que existe uma estrutura de persona (desviando-se da linha de base em ~20%), eles falham em diferenciar entre arquétipos psicológicos distintos.
• Resultado: Um usuário "Angustiado-Vulnerável" e um usuário "Impulsionado-Assertivo" recebem respostas essencialmente idênticas.
• Compensação: O modelo menor (Llama-3.1-8B) mostrou sensibilidade ligeiramente maior do que os modelos fortemente alinhados (GPT-4o), sugerindo que o extenso treinamento de alinhamento via RLHF pode reduzir a flexibilidade psicológica e causar colapso de modo em direção a respostas homogêneas.

3. Modelos de Recompensa são Conscientes do Contexto, mas Inconsistentes

• Violação da Invariância ao Estado: Os modelos de recompensa atribuem sistematicamente pontuações diferentes a respostas idênticas com base no perfil do usuário.
• Inconsistência: A direção do viés é arbitrária e dependente do modelo. Por exemplo, o arquétipo "Angustiado-Vulnerável" é maximamente favorecido pelo ArmoRM (+0,76 Cohen's $d$), mas maximamente penalizado pelo Skywork (-1,12 Cohen's $d$).
• Implicação: O treinamento RLHF herda cegamente esses vieses arbitrários. Dependendo do modelo de recompensa escolhido, um LLM pode ser treinado para priorizar ou despriorizar usuários vulneráveis, não por design, mas por acidente.

Contribuições

1. Conjunto de Dados Chameleon: O primeiro conjunto de dados que permite a decomposição principial de estado-traço em PLN, capturando 5.001 perfis contextuais em 26 dimensões.
2. Evidência Empírica: Demonstra que a maioria da variância psicológica no texto é contextual (estado), desafiando as premissas centradas no traço da pesquisa anterior de personas.
3. Análise Sistêmica: Revela que os sistemas de IA atuais lidam mal com a variação psicológica: os LLMs são cegos ao estado na geração, enquanto os modelos de recompensa são inconsistentemente conscientes do estado na avaliação.

Significado

O artigo argumenta que o campo do diálogo personalizado e da computação afetiva caracterizou fundamentalmente mal a diversidade dos usuários ao assumir traços fixos. Ao liberar o Chameleon, os autores visam apoiar a pesquisa em:

• Computação Afetiva: Construção de sistemas que se adaptam aos 74% da variância que é contextual.
• Diálogo Personalizado: Ir além de perfis de usuário estáticos para interações dinâmicas e conscientes do estado.
• Alinhamento RLHF: Abordar a inconsistência na modelagem de recompensa, que atualmente propaga vieses arbitrários sobre a vulnerabilidade do usuário para modelos de produção.

Os autores concluem que resolver essas questões exige modelos de recompensa que respondam ao contexto psicológico de maneiras principiais e consistentes, em vez de reagir arbitrariamente a rótulos de usuário.