CNSocialDepress: A Chinese Social Media Dataset for Depression Risk Detection and Structured Analysis

1. O Problema

A depressão é uma crise global de saúde pública, com cerca de 95 milhões de pessoas afetadas na China. Embora a detecção automática de depressão usando Processamento de Linguagem Natural (PLN) e Aprendizado de Máquina tenha avançado, existem lacunas significativas, especialmente no contexto de língua chinesa:

• Escassez de Recursos: A maioria dos conjuntos de dados disponíveis é em inglês ou focada apenas em classificação binária (deprimido/não deprimido).
• Falta de Interpretabilidade: Os dados existentes geralmente carecem de análises psicológicas estruturadas ou validação profissional, limitando sua utilidade para decisões clínicas ou intervenções.
• Limitações de Dados Clínicos: Dados clínicos tradicionais são caros, pequenos e não refletem a expressão emocional informal típica das redes sociais.
• Qualidade de Dados Gerados: Conjuntos de dados recentes que usam sumarização automática muitas vezes carecem de validação por especialistas em saúde mental, levantando preocupações sobre precisão e confiabilidade.

2. Metodologia

Os autores propõem uma abordagem em duas etapas para criar e expandir o conjunto de dados:

A. Construção do Conjunto de Dados "Gold" (CNSD Gold)

• Fonte: Os dados brutos foram extraídos do conjunto de dados SWDD (Sina Weibo Depression Dataset), contendo postagens de usuários do Weibo.
• Seleção: Foram selecionados 233 usuários (116 diagnosticados com depressão e 117 não diagnosticados), cada um com pelo menos 60 postagens.
• Anotação por Especialistas: Uma equipe de pesquisadores seniores em psicologia e escalas de depressão realizou a anotação.
  • Protocolo: Os anotadores foram "cegos" em relação às etiquetas binárias originais.
  • Critérios: Baseados no DSM-5 e no PHQ-9, divididos em critérios primários (objetivos, como sintomas clínicos e registros médicos) e secundários (subjetivos, como emoções negativas).
  • Estrutura: Cada post foi analisado em seis dimensões psicológicas estruturadas:
    1. Estado psicológico depressivo (ex: suicídio, culpa).
    2. Expressões médicas relacionadas à depressão (ex: medicação, diagnóstico).
    3. Sintomas clínicos (ex: insônia, fadiga, dor física).
    4. Emoções negativas (ex: tristeza, solidão).
    5. Causas externas potenciais (ex: conflitos familiares, divórcio).
    6. Padrões de uso da linguagem (ex: negação, perguntas de desespero).
• Resultado: O conjunto "Gold" contém 10.306 segmentos anotados por especialistas, fornecendo rótulos binários e análises multidimensionais.

B. Pipeline de Geração Automatizada (CNSD Silver)

Para superar a limitação de escala da anotação manual, os autores desenvolveram um pipeline automatizado para gerar o conjunto "Silver":

1. Modo I (Rotulagem Automática): Um modelo de linguagem de tamanho médio (Qwen2.5-14B) foi ajustado (fine-tuned) com dados do conjunto Gold para classificar postagens nas seis dimensões.
2. Modo II (Verificação e Sumarização): Um modelo de grande porte (DeepSeek-R1-671B) foi utilizado para verificar as etiquetas e evidências geradas pelo Modo I e produzir resumos estruturados alinhados com o esquema de anotação do Gold.
3. Validação: O pipeline foi testado para garantir que os dados gerados ("Silver") mantivessem alta qualidade e correspondência semântica com os dados humanos.

3. Principais Contribuições

1. CNSocialDepress (CNSD): O primeiro conjunto de dados de benchmark em chinês para detecção de risco de depressão que combina rótulos binários com análises psicológicas estruturadas e interpretáveis (seis dimensões).
2. Protocolo de Anotação "Human-in-the-Loop": Um protocolo rigoroso com validação por especialistas, garantindo relevância clínica e qualidade, superando a dependência de métricas automáticas (como ROUGE) apenas.
3. Pipeline de Geração Automatizada: Uma metodologia validada para expandir conjuntos de dados de saúde mental usando LLMs, reduzindo o esforço manual sem sacrificar significativamente a qualidade.
4. Benchmarks Abrangentes: Avaliação do conjunto de dados em múltiplas tarefas, incluindo classificação, geração de análise estruturada, sumarização e ajuste fino de LLMs para raciocínio psicológico.

4. Resultados

Os experimentos demonstraram a eficácia do dataset e do pipeline:

• Qualidade de Geração: O pipeline proposto superou significativamente as abordagens de few-shot prompting (com modelos como GPT-4o e DeepSeek-R1) em métricas automáticas (BERTScore, ROUGE-1, BLEU) e em avaliação humana (precisão, cobertura e redução de alucinações).
• Desempenho em Classificação: O modelo Qwen2.5-14B ajustado no conjunto "Silver" alcançou 94,4% de precisão e 0,941 de F1-score na detecção de risco de depressão, superando modelos maiores como GPT-4o (0,917 de precisão) e DeepSeek-R1-671B.
• Análise Estruturada: Os modelos ajustados no CNSD foram capazes de gerar resumos psicológicos detalhados e alinhados com as dimensões clínicas, oferecendo insights que vão além de uma simples classificação binária.
• Comparação com Outros Datasets: O CNSD demonstrou superioridade em tarefas de geração estruturada em comparação com modelos treinados apenas em dados brutos ou em outros datasets de depressão.

5. Significado e Impacto

• Avanço para Língua Chinesa: Preenche uma lacuna crítica de recursos de alta qualidade para saúde mental em chinês, permitindo pesquisas mais robustas em contextos culturais específicos da Ásia Oriental.
• Interpretabilidade Clínica: Ao fornecer análises estruturadas (ex: identificar se a causa é familiar ou médica), o dataset apoia a tomada de decisão clínica e o desenvolvimento de ferramentas de triagem mais precisas.
• Escalabilidade: O pipeline de geração automatizada oferece um caminho viável para criar grandes conjuntos de dados anotados por especialistas para outras condições de saúde mental, onde a anotação manual é proibitivamente cara.
• Aplicações Práticas: O dataset é projetado para suportar o desenvolvimento de ferramentas de identificação precoce de risco e intervenções de saúde mental, embora os autores enfatizem que não deve ser usado para diagnóstico clínico direto, mas sim como suporte para profissionais.

Em resumo, o CNSocialDepress representa um marco na interseção entre PLN e saúde mental, oferecendo não apenas dados, mas uma estrutura metodológica para análise psicológica profunda e escalável em redes sociais chinesas.