Evaluating Large Language Models for Assessment of Psychosis Risk

Este estudo demonstra que modelos de linguagem de grande escala (LLMs) podem analisar com precisão entrevistas clínicas para identificar o risco de psicose e estimar a gravidade dos sintomas, oferecendo uma solução escalável e de baixo custo para apoiar a detecção precoce.

O essencial

🧠 O "Detetive Digital" que Ajuda a Prever a Loucura

Imagine que você tem um amigo que está passando por um momento muito difícil. Ele está ouvindo vozes que ninguém mais ouve ou achando que todos estão conspirando contra ele. Na medicina, chamamos isso de risco de psicose. Se conseguirmos identificar esse momento cedo, podemos ajudar essa pessoa antes que ela fique doente de verdade.

O problema é que, hoje em dia, para fazer esse diagnóstico, precisamos de um especialista humano (um psiquiatra treinado) para ouvir o paciente por horas e anotar tudo. É como tentar achar uma agulha num palheiro, mas o palheiro é gigante e os especialistas são poucos. Isso faz com que muitas pessoas fiquem sem ajuda.

O que os cientistas fizeram?
Eles decidiram testar se uma Inteligência Artificial (IA) muito avançada, chamada de "Modelo de Linguagem Grande" (ou LLM, como o ChatGPT, mas mais especializado), poderia fazer esse trabalho de "detetive" lendo as conversas dos pacientes.

Eles pegaram 678 entrevistas reais (transcrições de áudio) de pessoas que já foram avaliadas por especialistas humanos e pediram para 11 IAs diferentes lerem essas conversas e responderem:

1. Essa pessoa corre risco de desenvolver psicose?
2. Quão grave são os sintomas?
3. Com que frequência eles acontecem?

🏆 Os Resultados: Quem foi o melhor?

Pense nas IAs como estudantes de diferentes níveis de escolaridade:

• Os "Pequenos" (Modelos de 1 a 10 bilhões de parâmetros): São como alunos do ensino médio. Eles conseguem fazer o trabalho, mas às vezes erram mais ou precisam de mais tempo para pensar.
• Os "Gigantes" (Modelos de 70 a 80 bilhões de parâmetros): São como doutores superespecializados. Eles foram os melhores! O modelo Llama-3.3-70B acertou 80% das classificações.

O que significa 80% de acerto?
É muito bom! Significa que a IA consegue identificar quase todas as pessoas que estão em risco (o que é ótimo para não deixar ninguém passar despercebido), mas às vezes ela "grita lobo" quando não há lobo (identifica risco onde não existe). No entanto, para um sistema de triagem, é melhor errar por excesso de cautela do que deixar alguém passar.

⚖️ A Balança: Precisão vs. Custo

Aqui entra uma analogia de carros:

• Os modelos gigantes são como Fórmulas 1: Super rápidos e precisos, mas exigem uma pista especial (computadores superpotentes e caros) e consomem muita gasolina (energia).
• Os modelos médios são como carros de passeio esportivos: Conseguem chegar quase no mesmo lugar, mas são muito mais baratos de manter e cabem na garagem de qualquer clínica.

O estudo descobriu que, embora os gigantes sejam os melhores, um modelo médio (chamado gemma-3n-E4B-it) fez um trabalho tão bom que poderia ser usado em hospitais com computadores normais, sem precisar de supercomputadores caros.

🛡️ É Justo? E Ela Alucina?

Os cientistas foram muito cuidadosos e perguntaram:

• "Ela trata todos igual?" (Justiça): A IA funcionou bem para homens, mulheres, jovens, idosos e pessoas de diferentes etnias. Não houve grandes preconceitos, o que é ótimo.
• "Ela inventa coisas?" (Alucinação): Às vezes, IAs inventam fatos. Nesse estudo, a IA inventou sintomas graves em apenas 3% dos casos (muito pouco!). Geralmente, ela tendia a achar que algo era mais grave do que era, o que é um erro "seguro" (melhor prevenir do que remediar).

🚀 O Futuro: Um "Co-piloto" para Médicos

A grande conclusão não é que a IA vai substituir os médicos. É que ela pode ser um co-piloto.

Imagine um consultório onde, enquanto o médico conversa com o paciente, a IA está "ouvindo" no fundo, organizando as ideias, destacando os pontos importantes e sugerindo uma nota de risco. Isso libera o médico para focar no que realmente importa: o ser humano.

Resumo da Ópera:
Este estudo mostrou que podemos usar "cérebros digitais" para ler conversas de pacientes e ajudar a encontrar quem precisa de ajuda antes que seja tarde. É como ter um sistema de alerta precoce que funciona 24 horas por dia, ajudando a salvar vidas e a tornar a saúde mental acessível para mais pessoas.

Nota: O estudo ainda é uma pesquisa e não deve ser usado para autodiagnóstico ou substituir um médico real hoje em dia, mas abre um caminho muito promissor para o futuro.

Resumo técnico

Título: Avaliação de Grandes Modelos de Linguagem (LLMs) para a Avaliação de Risco de Psicose

1. O Problema

A prevenção da psicose depende da detecção precoce de indivíduos em risco clínico elevado para psicose (CHR-P). No entanto, a taxa de detecção atual é baixa (5-14%), limitando o alcance da prevenção.

• Barreiras Atuais: As avaliações padrão-ouro (como CAARMS, SIPS e PSYCHS) exigem entrevistas narrativas semi-estruturadas realizadas por clínicos altamente especializados.
• Desafios: O processo é demorado (até 2 horas por avaliação), subjetivo, difícil de escalar e sofre de variabilidade entre avaliadores e centros.
• Necessidade: Existe uma lacuna crítica para soluções digitais que possam automatizar a extração de informações clinicamente relevantes dessas entrevistas, padronizando a pontuação e permitindo triagem em larga escala.

2. Metodologia

Os autores desenvolveram um pipeline end-to-end para avaliar a capacidade de 11 LLMs de pesos abertos (open-weight) de extrair e pontuar sintomas psicóticos a partir de transcrições de entrevistas.

• Dados:

  • Utilizaram o conjunto de dados AMP-SCZ (Accelerating Medicines Partnership Schizophrenia).
  • Amostra: 678 transcrições parciais (primeiros 30 minutos) de entrevistas PSYCHS realizadas em inglês.
  • Participantes: 373 indivíduos (77,7% com status CHR-P).
  • Estrutura: As transcrições foram segmentadas em 15 domínios de sintomas (ex: pensamentos incomuns, alucinações auditivas/visuais, ideias de culpa, etc.).
  • Ground Truth: Pontuações de severidade e frequência atribuídas por pesquisadores treinados.

• Modelos Avaliados:

  • 11 modelos de pesos abertos com tamanhos variando de 1B a 80B parâmetros (incluindo Llama-3.3-70B, Qwen3-Next-80B, Gemma, Phi-3, etc.).
  • Todos os modelos foram implantados localmente em infraestrutura segura (HPC e servidores da Universidade de Oxford) para garantir privacidade dos dados de saúde mental.

• Pipeline de Inferência:

  • Prompting: Uso de uma biblioteca de 15 prompts específicos por domínio, alinhados com os critérios PSYCHS.
  • Estratégia de Raciocínio: Uso de Chain-of-Thought (CoT) para instruir o modelo a identificar evidências no texto antes de atribuir pontuações.
  • Saída: Os modelos deveriam gerar um objeto JSON estruturado contendo:
    1. Pontuação de Severidade (0-6).
    2. Pontuação de Frequência (0-6).
    3. Um resumo breve baseado em evidências.
  • Validação: Processos de recuperação automática para corrigir erros de formatação JSON e verificações de consistência.

• Métricas de Avaliação:

  • Classificação: Acurácia, Sensibilidade, Especificidade, F1-score e MCC para detectar o status CHR-P.
  • Regressão/Correlação: Coeficiente de correlação de Pearson ($r$) e Correlação Intraclasse (ICC) para severidade e frequência.
  • Justiça Algorítmica: Análise de disparidades por idade, etnia, idioma nativo, gênero e local (site).
  • Qualidade: Avaliação humana de subconjuntos de resumos gerados (precisão, alucinações/clínica, omissões).
  • Trade-off Computacional: Relação entre desempenho (F1) e consumo de memória GPU/velocidade de geração de tokens.

3. Principais Contribuições e Resultados

A. Desempenho de Classificação (Detecção CHR-P):

• O desempenho melhorou com o aumento da escala do modelo.
• Melhor Modelo: Llama-3.3-70B-Instruct alcançou a melhor acurácia global (0,802), com alta sensibilidade (0,934) e especificidade moderada (0,580).
• Qwen3-Next-80B teve desempenho comparável (Acurácia 0,793).
• Os modelos tendem a superestimar a severidade, resultando em alta sensibilidade (poucos falsos negativos) à custa de mais falsos positivos, o que é considerado aceitável em contextos de triagem.

B. Pontuação de Sintomas (Severidade e Frequência):

• Houve forte correlação entre as pontuações dos LLMs e as dos pesquisadores.
• Llama-3.3-70B: ICC para severidade = 0,743; ICC para frequência = 0,748.
• Qwen3-Next-80B: ICC para severidade = 0,767; ICC para frequência = 0,749.
• Modelos menores (ex: Gemma-3n-E4B-it) também apresentaram desempenho competitivo, com correlações de ICC acima de 0,67.
• O desempenho foi superior em domínios de percepção (auditiva e visual) e inferior em domínios mais contextuais ou menos frequentes (ex: ideias erotomaníacas, anomalias somáticas).

C. Justiça Algorítmica:

• As disparidades foram mínimas em relação a idade, etnia, idioma nativo e gênero.
• As maiores variações ocorreram entre locais (sites), refletindo heterogeneidade nas estratégias de recrutamento e estilos de entrevista, e não necessariamente viés do modelo.

D. Qualidade dos Resumos e Falhas:

• Fidelidade: 93,3% dos resumos representaram fielmente o conteúdo da transcrição.
• Alucinações Clínicas: Taxa baixa de 2,7% (geralmente inferência de sofrimento ou prejuízo funcional não explícito no texto).
• Padrão de Erro: A principal falha foi a sobre-patologização de experiências normais ou culturais (ex: desconfiança devido a bullying sendo classificada como suspeita patológica).
• Segurança: Nenhum caso omitiu preocupações de segurança (risco de autolesão ou dano a outros).

E. Trade-off Computacional:

• Modelos maiores exigem mais memória GPU e têm menor velocidade de geração.
• O modelo gemma-3n-E4B-it foi identificado como um candidato prático ideal, oferecendo um bom equilíbrio entre desempenho (F1 competitivo) e eficiência (requer apenas ~21 GB de GPU e alta taxa de tokens/segundo), viabilizando implantação em hardware limitado.

4. Significado e Conclusão

• Viabilidade Técnica: O estudo demonstra que LLMs de pesos abertos podem extrair e pontuar sintomatologia psicótica de entrevistas clínicas com precisão comparável a avaliadores humanos treinados.
• Escalabilidade: A abordagem permite a automação da triagem inicial, reduzindo a carga sobre clínicos e permitindo a escalabilidade da detecção precoce de psicose.
• Abordagem "Human-in-the-loop": O sistema não substitui o clínico, mas atua como uma ferramenta de suporte. Os modelos geram pontuações e resumos que podem ser revisados por especialistas, mitigando erros e garantindo segurança.
• Privacidade: O uso de modelos locais (open-weight) resolve preocupações éticas sobre o envio de dados sensíveis de saúde mental para APIs externas.
• Futuro: Embora promissor, o sistema requer calibração local para lidar com variações entre centros e supervisão clínica para corrigir a tendência de sobre-patologização. O estudo estabelece as bases para a implementação de fluxos de trabalho semi-automatizados na prevenção da psicose.

Nota Importante: O artigo enfatiza que estes resultados são de pesquisa e o sistema não deve ser usado para guiar a prática clínica direta sem validação prospectiva e supervisão adequada.