Natural Language Processing Psychometrics

Resumo Técnico: Psicometria de PLN

Definição do Problema
Os modelos atuais de Processamento de Linguagem Natural (PLN) utilizados para prever resultados de saúde mental funcionam frequentemente como "caixas pretas", falhando em especificar se dependem de conhecimento contextual, conteúdo emocional ou estrutura sintática. Além disso, há uma carência de conjuntos de dados humanos em larga escala que vinculem pontuações de questionários psicométricos a explicações textuais ao nível de item, o que dificulta a validação da medição psicológica baseada em texto. O desafio central é distinguir se um modelo prevê uma pontuação porque mede o constructo psicológico pretendido ou simplesmente porque aprendeu artefatos específicos de gênero, correlações demográficas ou hábitos estilísticos.

Metodologia
Os autores introduzem a Psicometria de PLN, um framework que trata a previsão psicológica a partir de texto como um problema psicométrico, vinculando pontuações a evidências linguísticas interpretáveis. O estudo emprega uma abordagem de "sombra digital cognitiva", onde nove Grandes Modelos de Linguagem (LLMs) são condicionados a personas controladas (variando em sociodemografia, traços de personalidade do Big Five e status de saúde mental) para completar questionários psicométricos validados (SWLS, PHQ-9, DASS-21). Crucialmente, os modelos fornecem explicações em texto livre para cada pontuação de item.

A metodologia procede através de quatro estágios:

1. Geração de Dados: Os LLMs geram 2.500 instâncias de questão-explicação por escala. As personas são randomizadas entre gênero, idade, ocupação, renda, educação e níveis de personalidade/saúde mental.
2. Extração de Características:
   • Redes de Textual Forma Mentis (TFMN): Usando o toolkit EmoAtlas, os autores constroem redes sintático-semânticas onde os nós são palavras de conteúdo e as arestas representam dependências sintáticas e sinonímia. Oito características de rede são extraídas (ex: contagem de nós, contagem de arestas, coeficiente de agrupamento, assortatividade de grau).
   • Perfis Emocionais: Oito emoções básicas (modelo de Plutchik) são quantificadas via EmoLex, calculando z-scores em relação a um modelo nulo para determinar a sobre ou sub-representação.
   • Metadados: Variáveis sociodemográficas e traços de personalidade do Big Five são incluídos como conjuntos de características distintos.
3. Treinamento de Modelo (Estudo de Ablação): Regressores de Floresta Aleatória (Random Forest - RF) são treinados para prever pontuações psicométricas usando nove configurações de características: famílias de características individuais (Sociodemografia, Big Five, Rede, Emoção) e suas combinações. Este design de ablação isola a contribuição de cada família de características.
4. Interpretabilidade e Transferência:
   • Análise SHAP: SHapley Additive exPlanations são usadas para identificar quais características específicas impulsionam as previsões e sua direcionalidade.
   • Transferência Fora do Domínio: Modelos treinados em explicações estruturadas de questionários são testados sem retreinamento em: (a) diários gerados por LLM não restritos, e (b) transcrições autênticas de fala clínica de 115 participantes humanos (63 deprimidos, 52 controles).

Principais Contribuições

• Definição de Framework: Estabelece a Psicometria de PLN como uma metodologia que combina ciência de redes, IA explicável (XAI) e ciência cognitiva para tornar o mapeamento entre linguagem e constructos psicológicos explícito, mensurável e testável.
• Sombras Digitais Cognitivas: Utiliza personas de LLM controladas para auditar como diferentes arquiteturas de modelos e condições de alinhamento (ex: raciocínio vs. não-raciocínio, censurado vs. não-censurado) codificam restrições psicológicas linguisticamente.
• Previsão Interpretável: Vai além da inferência baseada em embeddings para uma abordagem de "caixa de vidro", onde a topologia de rede e a saliência emocional servem como as principais características preditivas.

Resultos

• Desempenho Preditivo: Modelos RF completos explicaram até 70,8% da variância na Satisfação com a Vida (SWLS), 55,7% na Depressão (PHQ-9) e até 76,0% na Ansiedade (DASS-21).
• Importância das Características:
  • SWLS: Impulsionado principalmente por sociodemografia (especificamente renda) e características de emoção.
  • PHQ-9 & DASS-21: A sociodemografia sozinha explicou quase nenhuma variância. A previsão foi dominada pelo neuroticismo e características de rede (especificamente assortatividade de grau e contagens de aresta/nó), com características de emoção desempenhando um papel secundário, mas significativo.
  • Insights SHAP: Para depressão, pontuações altas correlacionaram-se com estruturas de rede "estelares" (baixa assortatividade de grau) caracterizadas por alguns conceitos centrais ligados a muitos associados periféricos — uma assinatura topológica de ruminação. Inversamente, a ansiedade correlacionou-se com redes mais integradas e distribuídas.
• Transferibilidade:
  • Modelos treinados em explicações de questionários separaram com sucesso diários de LLM com baixa e alta pontuação (correlações até $r=0,91$).
  • Quando aplicados a transcrições clínicas humanas reais, os modelos separaram participantes deprimidos de controles acima do acaso. O modelo de Depressão do DASS-21 alcançou um AUC de 0,780 e 68% de acurácia, enquanto o modelo PHQ-9 alcançou um AUC de 0,695 e 62% de acurácia.
  • O desempenho variou por constructo; a transferência de ansiedade foi mais fraca, sugerindo fragilidade de gênero específico para certos marcadores.

Significância e Alegações
O artigo alega que a Psicometria de PLN demonstra a promessa e os limites dos dados sintéticos.

• Promessa: Personas de LLM podem expor vieses de modelos, recuperar padrões consistentes com fenômenos clínicos (ex: ruminação) e apoiar a previsão psicométrica a partir de texto humano, mesmo sem um questionário correspondente. O framework identifica com sucesso que a depressão é expressa mais através da estrutura linguística e do afeto do que por marcadores demográficos, espelhando a evidência humana.
• Limites: O estudo afirma explicitamente que não pode substituir a validação humana. Os modelos foram treinados em dados sintéticos e testados apenas em um pequeno corpus humano com rótulos binários, não em verdade contínua. Os autores enquadram o trabalho atual como uma ferramenta de auditoria e exploração, e não como um instrumento clínico validado.
• Conclusão: O framework torna explícitas as distinções entre o que é medido (ex: topologia de rede vs. emoção). Ele apoia a agenda da "psicometria de texto", sugerindo que a linguagem pode servir como evidência psicométrica quando o mapeamento texto-constructo é rigorosamente testado e interpretado através de contextos, mas requer supervisão humana e validação adicional em conjuntos de dados humanos antes da implementação clínica.