Depression Risk Assessment in Social Media via Large Language Models

1. Problema e Contexto

A depressão é uma das condições de saúde mental mais prevalentes e debilitantes globalmente, frequentemente subdiagnosticada e subtratada, especialmente entre jovens adultos. A detecção precoce é crucial para intervenções oportunas. Com a digitalização da vida cotidiana, as redes sociais (especificamente o Reddit) tornaram-se um observatório rico de sinais linguísticos naturais sobre o bem-estar psicológico.

O desafio central abordado é a criação de um sistema escalável e de baixo custo para monitorar o risco de depressão em grande escala. Métodos tradicionais de aprendizado de máquina exigem dados rotulados específicos do domínio e treinamento fine-tuned, o que aumenta custos e reduz a adaptabilidade a novas expressões linguísticas. O artigo propõe o uso de Modelos de Linguagem Grandes (LLMs) em modo zero-shot (sem treinamento específico no domínio) para superar essas limitações.

2. Metodologia

2.1. Índice de Gravidade da Depressão (Depressive Severity Index)

Os autores propõem um índice composto que quantifica a gravidade do risco de depressão com base em oito dimensões emocionais clinicamente relevantes, extraídas do conjunto de dados DepressionEmo:

1. Raiva (Anger)
2. Disfunção Cognitiva (Cognitive Dysfunction)
3. Vazio (Emptiness)
4. Desespero (Hopelessness)
5. Solidão (Loneliness)
6. Tristeza (Sadness)
7. Intenção de Suicídio (Suicide Intent)
8. Sentimento de Inutilidade (Worthlessness)

Cada emoção detectada é tratada como uma variável binária (1 = presente, 0 = ausente) e multiplicada por um peso ($w_i$) baseado na relevância clínica:

• Peso 1: Raiva, Disfunção Cognitiva, Vazio, Solidão, Tristeza (indicadores de angústia, mas não específicos isoladamente).
• Peso 2: Desespero, Sentimento de Inutilidade (sinalizam sofrimento avançado e pior prognóstico).
• Peso 3: Intenção de Suicídio (indicador de máxima criticidade, exigindo intervenção imediata).

O escore total ($S$) é calculado pela soma ponderada e mapeado em quatro níveis de gravidade:

• $S = 0-1$: Depressão mínima ou ausente.
• $S = 2-4$: Depressão leve.
• $S = 5-6$: Depressão moderada.
• $S \geq 7$: Depressão severa (alto alerta).

2.2. Engenharia de Prompt (Prompt Engineering)

O sistema utiliza prompting estruturado para guiar os LLMs a classificar múltiplas emoções simultaneamente e calcular o escore de gravidade diretamente na saída. O modelo recebe o texto do post e uma instrução para:

1. Classificar quais das oito emoções se aplicam (True/False).
2. Retornar um objeto JSON contendo as classificações e o cálculo do severity_score baseado nos pesos definidos.

2.3. Configuração Experimental

• Avaliação Controlada: Testada no conjunto de dados DepressionEmo (aprox. 6.000 posts do Reddit) em modo zero-shot.
• Análise "In-the-Wild": Aplicação a 469.692 comentários coletados de quatro subreddits de saúde mental ($r/anxiety$, $r/depression$, $r/depression\_partners$, $r/mentalhealth$) entre janeiro de 2024 e maio de 2025.
• Modelos: Nove LLMs locais de diferentes tamanhos (de 0.6B a 27B parâmetros) foram comparados contra baselines de modelos fine-tuned (como BERT, BART, SVM).

3. Contribuições Principais

1. Índice de Gravidade Ponderado: Desenvolvimento de uma métrica quantitativa baseada em escalas clínicas padronizadas (PHQ-9 e BDI-II) adaptada para análise automatizada de texto.
2. Metodologia Zero-Shot: Demonstração de que LLMs podem realizar classificação multirrótulo de emoções depressivas sem necessidade de dados rotulados específicos do domínio.
3. Avaliação Comparativa: Análise sistemática de nove LLMs locais contra modelos fine-tuned, estabelecendo benchmarks de desempenho.
4. Análise Longitudinal em Grande Escala: Estudo de tendências temporais e perfis de risco em quase meio milhão de posts ao longo de 18 meses (2024-2025).

4. Resultados

4.1. Desempenho do Modelo

• O modelo gemma3:27b foi o melhor desempenho entre os LLMs, alcançando um Micro-F1 de 0,75 e Macro-F1 de 0,70.
• Esses resultados são competitivos com modelos fine-tuned especializados (ex: BART atingiu Micro-F1 de 0,80 e Macro-F1 de 0,76), com uma diferença de apenas 0,05 pontos no F1, mas sem qualquer custo de treinamento específico.
• Modelos menores (ex: 0.6B) mostraram alta precisão, mas baixa recall, enquanto modelos adaptados psicologicamente (ex: samantha-mistral) maximizaram a recall, mas com precisão baixa.

4.2. Análise "In-the-Wild"

• Estrutura Emocional: Houve uma correlação positiva significativa entre desespero, inutilidade, tristeza e vazio, confirmando que essas emoções co-ocorrem como manifestações de um construto latente de depressão.
• Diferenciação de Comunidades: O sistema distinguiu claramente comunidades diferentes. No subreddit $r/depression$, a tristeza e o desespero apareceram em >80-90% dos posts, com um escore médio de risco de 6,97. Em contraste, em $r/anxiety$, a distribuição foi fortemente concentrada em valores baixos (mediana $\approx$ 2), com apenas 3% dos posts atingindo o limiar de risco severo.
• Estabilidade Temporal: Os escores de risco mantiveram-se estáveis ao longo do tempo (2024-2025), indicando que o sistema responde a variações linguísticas estruturais e não a ruídos episódicos. Observou-se uma leve tendência de aumento nos escores no primeiro semestre de 2025.
• Identificação de Alto Risco: Posts com escore $S > 7$ apresentaram uma convergência sistemática de indicadores críticos, especialmente "Intenção de Suicídio" e "Desespero", validando a capacidade do índice de isolar casos críticos.

5. Significado e Conclusões

O estudo demonstra a viabilidade de uma abordagem escalável e econômica para o monitoramento psicológico em larga escala.

• Vantagem Operacional: O uso de LLMs locais em zero-shot elimina a necessidade de grandes conjuntos de dados rotulados e reduz custos de desenvolvimento, mantendo desempenho competitivo.
• Ferramenta de Triagem: O sistema não substitui a avaliação clínica, mas atua como uma ferramenta eficaz de triagem e suporte para identificar postagens de alto risco em grandes volumes de dados.
• Futuro: Trabalhos futuros visam expandir para outros idiomas, integrar sinais comportamentais (frequência de postagem) e validar os limiares do índice contra diagnósticos clínicos certificados.

Em suma, o artigo valida que modelos de linguagem modernos, quando combinados com uma engenharia de prompt cuidadosa e um índice de gravidade clinicamente fundamentado, podem oferecer uma solução robusta para a detecção precoce de riscos de depressão em ambientes digitais.