Cognitive-Linguistic Indicators of Depression in Online Communities: Analysed by DistilBERT and Holographic Reduced Representation

Resumen Técnico: Indicadores Cognitivo-Lingüísticos de la Depresión en Comunidades en Línea

Planteamiento del Problema
La depresión sigue siendo una de las principales causas de discapacidad y suicidio a nivel mundial; sin embargo, los métodos de diagnóstico tradicionales (entrevistas clínicas, autoinformes) consumen muchos recursos, son difíciles de escalar y suelen ser inaccesibles debido al estigma. Si bien las redes sociales ofrecen un vasto corpus de texto autogenerado para la detección temprana, los enfoques computacionales existentes enfrentan una dicotomía: los modelos de aprendizaje profundo (p. ej., BERT) logran una alta precisión pero funcionan como "cajas negras" que carecen de fundamentación psicológica, mientras que los métodos psicolingüísticos tradicionales (p. ej., LIWC) son interpretables pero a menudo no logran capturar el matiz semántico, la negación y el contexto. Este estudio investiga si la combinación de características lingüísticas con base cognitiva y representaciones de contexto basadas en transformers puede mejorar la detección automatizada de la depresión manteniendo la interpretabilidad.

Metodología
El estudio utiliza un subconjunto de 1,937 publicaciones del conjunto de datos de detección de suicidio y depresión en Reddit de Kaggle, que comprende 1,000 publicaciones de la clase depresión y 937 publicaciones de control (después del preprocesamiento para eliminar URLs, HTML y textos cortos). La investigación compara dos canales de clasificación:

1. Modelo Base (TF-IDF + Naïve Bayes):

   • Características: Vectores de Frecuencia de Término – Frecuencia Inversa de Documento (TF-IDF) con un vocabulario de 5,000 características y rangos de bigramas.
   • Clasificador: Naïve Bayes multinomial.
   • Propósito: Sirve como un estándar de referencia para la clasificación de texto no contextual.

2. Modelo Híbrido (DistilBERT ⊕ HRR + Regresión Logística):

   • Embeddings Contextuales: Embeddings de 768 dimensiones de [CLS] de DistilBERT (preentrenado, zero-shot, sin ajuste fino específico para la depresión) para capturar el matiz semántico, la negación y la estructura narrativa.
   • Características Cognitivo-Lingüísticas: Basadas en la Teoría Cognitiva de la Depresión de Beck, se extraen cuatro características específicas: densidad de pronombres en primera persona, densidad de palabras absolutistas (p. ej., "siempre", "enteramente"), ratio de emoción negativa y recuento total de palabras.
   • Representación Reducida Holográfica (HRR): Estas cuatro características se codifican en vectores de 256 dimensiones utilizando HRR. A cada característica se le asigna un vector de "rol" y "relleno" aleatorio; el valor numérico de la característica escala el vector de relleno. Estos se combinan mediante convolución circular y superposición para crear un único vector estructurado que representa el estado cognitivo.
   • Integración: El vector de 768 dimensiones de DistilBERT y el vector de 256 dimensiones de HRR se concatenan en una representación híbrida de 1,024 dimensiones.
   • Clasificador: Regresión Logística.

Resultados Clave
El modelo híbrido DistilBERT ⊕ HRR superó significativamente al modelo base de TF-IDF en todas las métricas:

• Puntuación F1 Macro: Mejoró de 0.80 (Base) a 0.94 (Híbrido).
• F1 de Validación Cruzada de 5 Pliegues: Mejoró de 0.83 a 0.92, confirmando la estabilidad de las mejoras.
• AUC (Área Bajo la Curva): Aumentó de 0.958 a 0.981, con mejoras notables en la región superior izquierda de la curva ROC, lo que indica una mejor sensibilidad manteniendo bajos los falsos positivos.
• Precisión-Recall: El modelo híbrido mantuvo una mayor precisión a medida que el recall se acercaba a 1.0 en comparación con el modelo base.

Hallazgos Inesperados

• Transferencia Zero-Shot: Los embeddings de DistilBERT generados sin un ajuste fino (fine-tuning) específico para la depresión se transfirieron eficazmente a la tarea, lo que sugiere que el ajuste fino completo de extremo a extremo puede no ser necesario para esta aplicación específica, reduciendo así los costos computacionales.
• Sesgo de Longitud de Tokens: El 12% de las publicaciones de la clase depresión excedieron el límite de 512 tokens de DistilBERT, en comparación con solo el 4% de las publicaciones de control. Esto indica que la truncación afecta desproporcionadamente a la clase objetivo, introduciendo potencialmente un sesgo sistemático contra las publicaciones de depresión más largas y narrativas.

Significancia y Contribuciones
El artículo plantea que la contribución principal es la integración de dos corrientes de investigación previamente desconectadas: el aprendizaje profundo basado en datos y la ciencia cognitiva basada en la teoría.

• Interpretabilidad: El componente HRR proporciona un vínculo transparente entre las predicciones del modelo y constructos cognitivos específicos (p. ej., el pensamiento absolutista), abordando la limitación de la "caja negra" de los modelos transformer puros.
• Señal Complementaria: Los resultados demuestran que las características basadas en la teoría proporcionan información complementaria a los embeddings contextuales, validando la hipótesis de que el fundamento cognitivo mejora la robustez del modelo.
• Escalabilidad: Al utilizar embeddings de DistilBERT ligeros en lugar de un ajuste fino completo de BERT, el estudio ofrece una vía computacionalmente eficiente para el tamizaje de salud mental escalable.

Limitaciones y Direcciones Futuras
Los autores reconocen que el estudio está limitado por el tamaño del conjunto de datos y el problema de truncación de 512 tokens. El trabajo futuro está motivado por abordar este sesgo mediante estrategias de fragmentación (chunking) o modelos de contexto largo. Además, los autores sugieren extender esta metodología a conjuntos de datos más grandes y longitudinales, otros idiomas y otras condiciones cognitivas como la ansiedad y el TEPT, con el objetivo de desplazar el campo hacia una IA explicable y con base cognitiva en el cuidado de la salud.