Cognitive-Linguistic Indicators of Depression in Online Communities: Analysed by DistilBERT and Holographic Reduced Representation

Resumo Técnico: Indicadores Cognitivo-Linguísticos de Depressão em Comunidades Online

Definição do Problema
A depressão continua sendo uma das principais causas de incapacidade global e suicídio, mas os métodos diagnósticos tradicionais (entrevistas clínicas, autorrelatos) são intensivos em recursos, difíceis de escalar e frequentemente inacessíveis devido ao estigma. Embora as redes sociais ofereçam um vasto corpus de texto autogerado para detecção precoce, as abordagens computacionais existentes enfrentam uma dicotomia: modelos de aprendizado profundo (ex: BERT) alcançam alta precisão, mas funcionam como "caixas pretas" carentes de fundamentação psicológica, enquanto métodos psicolinguísticos tradicionais (ex: LIWC) são interpretáveis, mas frequentemente falham em capturar nuances semânticas, negação e contexto. Este estudo investiga se a combinação de características linguísticas cognitivamente fundamentadas com embeddings contextuais baseados em transformers pode melhorar a detecção automatizada de depressão, mantendo a interpretabilidade.

Metodologia
O estudo utiliza um subconjunto de 1.937 postagens do conjunto de dados de Detecção de Suicídio e Depressão do Reddit no Kaggle, compreendendo 1.000 postagens da classe depressão e 937 postagens de controle (após o pré-processamento para remover URLs, HTML e textos curtos). A pesquisa compara dois pipelines de classificação:

1. Modelo de Linha de Base (TF-IDF + Naïve Bayes):

   • Características: Vetores de Frequência de Termo–Frequência Inversa de Documento (TF-IDF) com um vocabulário de 5.000 características e intervalos de bigramas.
   • Classificador: Naïve Bayes Multinomial.
   • Objetivo: Serve como um benchmark padrão de classificação de texto não contextual.

2. Modelo Híbrido (DistilBERT ⊕ HRR + Regressão Logística):

   • Embeddings Contextuais: Embeddings [CLS] de 768 dimensões do DistilBERT (pré-treinado, zero-shot, sem ajuste fino específico para depressão) para capturar nuance semântica, negação e estrutura narrativa.
   • Características Cognitivo-Linguísticas: Baseadas na Teoria Cognitiva da Depressão de Beck, quatro características específicas são extraídas: densidade de pronomes de primeira pessoa, densidade de palavras absolutistas (ex: "sempre", "inteiramente"), razão de emoção negativa e contagem total de palavras.
   • Representação Reduzida Holográfica (HRR): Estas quatro características são codificadas em vetores de 256 dimensões usando HRR. Cada característica recebe um vetor de "papel" e "preenchimento" aleatório; o valor numérico da característica escala o preenchimento. Elas são combinadas via convolução circular e superposição para criar um único vetor estruturado que representa o estado cognitivo.
   • Integração: O vetor de 768 dimensões do DistilBERT e o vetor de 256 dimensões do HRR são concatenados em uma representação híbrida de 1.024 dimensões.
   • Classificador: Regressão Logística.

Principais Resultados
O modelo híbrido DistilBERT ⊕ HRR superou significativamente a linha de base de TF-IDF em todas as métricas:

• F1 Score Macro: Melhorou de 0,80 (Linha de Base) para 0,94 (Híbrido).
• F1 de Validação Cruzada de 5 Dobras: Melhorou de 0,83 para 0,92, confirmando a estabilidade dos ganhos.
• AUC (Área Sob a Curva): Aumentou de 0,958 para 0,981, com melhorias notáveis na região superior esquerda da curva ROC, indicando melhor sensibilidade mantendo baixos falsos positivos.
• Precisão-Recall: O modelo híbrido manteve maior precisão conforme o recall se aproximava de 1,0 em comparação com a linha de base.

Descobertas Inesperadas

• Transferência Zero-Shot: Os embeddings do DistilBERT gerados sem ajuste fino específico para depressão transferiram-se efetivamente para a tarefa, sugerindo que o ajuste fino completo de ponta a ponta pode não ser necessário para esta aplicação específica, reduzendo assim os custos computacionais.
• Viés de Comprimento de Token: 12% das postagens da classe depressão excederam o limite de 512 tokens do DistilBERT, comparado a apenas 4% das postagens de controle. Isso indica que o truncamento afeta desproporcionalmente a classe alvo, podendo introduzir um viés sistemático contra postagens de depressão mais longas e narrativas.

Significância e Contribuições
O artigo postula que a principal contribuição é a integração de duas correntes de pesquisa anteriormente desconectadas: o aprendizado profundo baseado em dados e a ciência cognitiva baseada em teoria.

• Interpretabilidade: O componente HRR fornece um elo transparente entre as previsões do modelo e construtos cognitivos específicos (ex: pensamento absolutista), abordando a limitação de "caixa preta" dos modelos puramente baseados em transformers.
• Sinal Complementar: Os resultados demonstram que as características baseadas em teoria fornecem informações complementares aos embeddings contextuais, validando a hipótesa de que a fundamentação cognitiva aumenta a robustez do modelo.
• Escalabilidade: Ao utilizar embeddings leves do DistilBERT em vez do ajuste fino completo do BERT, o estudo oferece um caminho computacionalmente eficiente para triagem de saúde mental escalável.

Limitações e Direções Futuras
Os autores reconhecem que o estudo é limitado pelo tamanho do conjunto de dados e pelo problema de truncamento de 512 tokens. O trabalho futuro é motivado para abordar este viés através de estratégias de fragmentação (chunking) ou modelos de contexto longo. Além disso, os autores sugerem estender esta metodologia para conjuntos de dados maiores e longitudinais, outros idiomas e outras condições cognitivas, como ansiedade e TEPT, visando deslocar o campo em direção a uma IA explicável e cognitivamente fundamentada na saúde.