Repurposing Large Language Models as Instruments to Detect Transdiagnostic Speech Deviations across the Psychosis–Affective Spectrum

Resumo Técnico: Reposicionamento de Grandes Modelos de Linguagem como Instrumentos para Detectar Desvios Transdiagnósticos da Fala no Espectro Psicose–Afetivo

Problema

A psiquiatria depende fortemente da linguagem e da fala para o diagnóstico e a avaliação de sintomas, particularmente para o Transtorno do Pensamento Formal (TPF), uma marca dos transtornos do espectro da esquizofrenia (ESE). No entanto, a avaliação clínica da fala é subjetiva, sofre de heterogeneidade na confiabilidade interexaminador e é difícil de escalar. Embora abordagens anteriores de psiquiatria computacional utilizando Processamento de Linguagem Natural (PLN) tenham quantificado a incoerência semântica, elas frequentemente negligenciam a propriedade fundamental da previsibilidade da linguagem baseada no contexto precedente. Além disso, as evidências existentes para desvios de fala são amplamente limitadas a coortes pequenas de língua inglesa focadas em diagnósticos únicos (principalmente esquizofrenia), em vez de dimensões transdiagnósticas. O estudo aborda a lacuna na compreensão de se os Grandes Modelos de Linguagem (LLMs), treinados em vastos corpora de texto para prever o próximo token, podem servir como instrumentos objetivos para detectar desvios das expectativas estatísticas linguísticas (surpresa/surprisal) através de um espectro transdiagnóstico de transtornos psiquiátricos (ESE, Transtorno Bipolar [TB] e Transtorno Depressivo Maior [TDM]) em comparação com controles saudáveis (CH).

Metodologia

Participantes e Coleta de Dados:
O estudo utilizou uma amostra transversal alemã de 371 participantes: 178 Controles Saudáveis (CH), 48 com ESE, 26 com TB e 119 com TDM. Os participantes completaram o Teste de Apercepção Temática (TAT), um estímulo narrativo padronizado, no qual contaram histórias baseadas em quatro imagens. A fala foi gravada em áudio, transcrita literalmente por linguistas cegos e processada para remover palavras de preenchimento.

Computação de Surprisal por LLM:
A métrica central, "surprisal de LLM", foi definida como a mediana da perda de entropia cruzada ao nível da sentença de um LLM autorregressivo (modelo primário: Qwen2.5-32B-Instruct). O modelo foi condicionado a um prompt de persona de "falante saudável". Para cada sentença, a perda de predição do modelo foi calculada como a média negativa das probabilidades logarítmicas dos tokens. Esta métrica quantifica o quanto um segmento de fala específico desvia da expectativa estatística do modelo de uma linguagem coerente e típica.

Análise Estatística:

1. Deconfounding (Eliminação de Confundidores): O surprisal bruto estava fortemente correlacionado com o Comprimento Médio da Sentença (CAS) e variáveis demográficas. Para isolar os sinais relacionados à doença, os autores residualizaram o surprisal em relação à idade, sexo, anos de escolaridade (YoE) e CAS usando regressão de Mínimos Quadrados Ordinários (OLS).
2. Comparações de Grupo: Modelos de regressão OLS compararam o surprisal residualizado entre grupos diagnósticos (ESE, TB, TDM) e CH.
3. Correlações Clínicas: Correlações de Spearman foram computadas entre o surprisal residualizado e 18 variáveis clínicas/cognitivas (ex: SAPS, SANS, TLI, QI Verbal).
4. Valor Preditivo Incremental: Modelos de regressão logística aninhados foram avaliados usando o Critério de Informação de Akaike (AIC), Área Sob a Curva de Validação Cruzada Leave-One-Out (CV-AUC), Testes de Razão de Verossimilhança (LRT) e testes de DeLong para determinar se a adição do surprisal de LLM melhorava a classificação além de demografia e coerência semântica.
5. Testes de Robustez: As análises foram repetidas através de diferentes arquiteturas de modelos (Qwen2.5-7B, LeoMistral-Hessianai-7b), configurações de prompt (persona saudável, persona de paciente, neutra, nenhuma) e análises de sensibilidade em relação ao comprimento da sentença e QI verbal.

Resultados Principais

Diferenças de Grupo:

• ESE: Pacientes com Transtornos do Espectro da Esquizofrenia mostraram uma elevação significativa no surprisal de LLM em comparação aos CH ($\beta=0,49, P=0,002$) após o ajuste para confundidores.
• TB: Pacientes com Transtorno Bipolar mostraram uma elevação significativa, porém menor, em comparação aos CH ($\beta=0,39, P=0,04$). Este efeito tornou-se não significativo quando o QI Verbal foi adicionado como covariável.
• TDM: Pacientes com Transtorno Depressivo Maior foram indistinguíveis dos CH ($\beta=-0,02, P=0,87$).
• Gradiente: Um gradiente diagnóstico foi observado: ESE > TB > TDM $\approx$ CH.

Correlações Clínicas:

• O surprisal residualizado correlacionou-se com 8 de 18 escalas clínicas. As associações mais fortes foram com o QI Verbal ($\rho=-0,25$) e o Transtorno do Pensamento Formal Positivo ($\rho=0,23$).
• Crucialmente, quando a participação do grupo diagnóstico foi controlada, a maioria das associações de sintomas (ex: sintomas positivos, mania) perdeu significância, sugerindo que essas correlações eram impulsionadas por diferenças entre grupos, em vez de severidade de sintomas dentro do paciente.
• A associação com o QI Verbal persistiu mesmo após controlar o diagnóstico, indicando um elo dimensional entre previsibilidade de linguagem e habilidade verbal especificamente dentro da população de pacientes.

Utilidade Preditiva e Robustez:

• Valor Incremental: A adição do surpral de LLM melhorou significativamente o ajuste do modelo (LRT) sobre uma linha de base de demografia e coerência semântica para o coorte total e para o subgrupo ESE. No entanto, a melhoria na discriminação de validação cruzada (CV-AUC) foi modesta (ex: a AUC de ESE melhorou de 0,706 para 0,744; $P=0,059$ para o teste de DeLong).
• Estabilidade: O sinal foi robusto através de diferentes tamanhos de modelo e configurações de prompt. O prompt de "persona saudável" produziu resultados consistentes com personas neutras ou de pacientes.
• Comprimento da Sentença: Análises de decomposição confirmaram que o elevado surpral na ESE era um "deslocamento de nível" independente do comprimento da sentença, enquanto o TB mostrou uma interação mais complexa onde a lacuna em relação aos controles aumentava com sentenças mais longas.

Significância e Alegações

O artigo afirma que o surpral derivado de LLM fornece um marcador escalável e automatizado para alterações de linguagem em transtornos psiquiátricos, capturando especificamente desvios que não são redutíveis ao comprimento da sentença, confundidores demográficos ou simples coerência semântica.

• Utilidade Transdiagnóstica: O estudo estende a utilidade das métricas de LLM além da esquizofrenia para o espectro bipolar, observando a ausência de desvio significativo no TDM, o que apoia um efeito específico do espectro da psicose.
• Além das Avaliações Tradicionais: A métrica captura variação clinicamente relevante (especificamente o TPF) que se sobrepõe, mas não é idêntica, às escalas tradicionais avaliadas por clínicos. Ela detecta desvios em falas gramaticalmente fluentes, mas contextualmente desconexas.
• Contribuição Metodológica: Os autores demonstram que a perda de entropia cruzada pode servir como uma medida estável de organização contextual da linguagem. Eles destacam que a relação entre surpral e habilidade verbal é complexa (em forma de U nos controles, negativa nos pacientes), sugerindo que o surpral reflete um desvio de uma linha de base linguística normativa, em vez de um simples índice de declínio cognitivo.
• Limitações e Modéstia: Os autores declaram explicitamente que a métrica ainda não suporta o uso diagnóstico autônomo devido à modesta precisão de discriminação (AUC ~0,74 para ESE) e à natureza transversal dos dados. Eles enfatizam que o sinal é provavelmente uma estimativa conservadora do limite inferior devido à sua estratégia de deconfounding, e que o campo requer mais validação quanto ao tamanho ideal do modelo, estratégias de deconfounding e rastreamento longitudinal para distinguir marcadores de estado versus traço.

Em resumo, o artigo posiciona o surpral de LLM como uma ferramenta promissora e orientada por dados para caracterizar peculiaridades da fala em transtornos do espectro da psicose, oferecendo um complemento objetivo à avaliação clínica, ao mesmo tempo em que reconhece a necessidade de maior validação antes da implementação clínica.