A Reliable Framework for The Safe and Interpretable Detection of Mental Health Risks from Social Media Texts

Resumen Técnico: Un Marco Fiable para la Detección Segura e Interpretable de Riesgos de Salud Mental en Textos de Redes Sociales

Planteamiento del Problema
La detección automatizada de riesgos de salud mental en textos de redes sociales enfrenta un desafío crítico: la ambigüedad inherente, el lenguaje metafórico y la superposición semántica en el contenido generado por los usuarios a menudo impiden una clasificación binaria definitiva que sea segura. Los modelos actuales frecuentemente fuerzan una decisión en cada entrada, lo que conduce a errores de alto riesgo cuando las muestras se encuentran cerca de los límites de decisión o exhiben baja fiabilidad. Además, los modelos de aprendizaje profundo estándar suelen carecer de calibración de probabilidad y no logran distinguir entre predicciones con confianza y decisiones genuinamente dignas de confianza, particularmente bajo cambios de dominio. El artículo sostiene que el diseño de decisiones orientado a la seguridad es tan crucial como el rendimiento predictivo, lo que requiere un marco que pueda identificar cuándo una decisión debe ser diferida en lugar de forzada.

Metodología: El Marco SAFER-MIND
Los autores proponen SAFER-MIND (Safe, Adaptive, Fair, Explainable, and Reliable Medical Identity Network), un marco selectivo, calibrado e interpretable diseñado para categorizar textos en tres estados: Aceptado, Ambiguo o Diferido. La arquitectura integra múltiples evaluaciones de fiabilidad antes de producir una decisión final:

1. Representación de Texto Multivista: El marco extrae características utilizando dos perspectivas complementarias: TF-IDF a nivel de palabra (que captura la semántica léxica) y TF-IDF a nivel de carácter (que preserva patrones de subpalabras, variaciones ortográficas y la escritura informal común en redes sociales).
2. Clasificación de Conjunto Calibrada: Clasificadores base independientes (Regresión Logística, SVM Lineal y Naive Bayes Polinomial) procesan estas características. Sus salidas se someten a una calibración sigmoide para alinear la confianza predicha con la corrección empírica. Un conjunto ponderado, seleccionado mediante un conjunto de validación, combina estas probabilidades calibradas.
3. Espacio de Identidad Médica Latente (VAE): Para evaluar la consistencia estructural, el marco emplea un Autoencoder Variacional (VAE) con un objetivo $\beta$-VAE. Este comprime las representaciones de texto en un espacio latente probabilístico (64 dimensiones) que modela la incertidumbre y la superposición entre clases, en lugar de imponer una separación rígida.
4. Energía de Prototipo Inspirada en DBM: Dentro del espacio latente, los prototipos de clase se calculan como vectores de media. Se calcula una puntuación de energía "inspirada en DBM" basada en la distancia de coseno al cuadrado entre la representación latente de una muestra y su prototipo de clase predicho. Una energía baja indica una fuerte concordancia estructural; una energía alta señala inestabilidad o ambigüedad.
5. Predicción Conforme: El marco utiliza la predicción conforme para generar conjuntos de predicción. Esto determina si la evidencia respalda una clase única (conjunto de elemento único), múltiples etiquetas plausibles (conjunto multiclasificación) o ninguna predicción fiable (conjunto vacío).
6. Regla de Decisión Final: Una muestra es Aceptada solo si tres condiciones convergen:
   • La fiabilidad del conjunto calibrado supera un umbral ($\tau = 0.84$).
   • El conjunto de predicción conforme es un elemento único.
   • La energía del prototipo está por debajo de un umbral ($\eta$).
     Las muestras que fallan estos criterios se clasifican como Ambiguas (evidencia conflictiva) o Diferidas (soporte insuficiente).

Contribuciones Clave
El artículo identifica cuatro contribuciones técnicas primarias:

• Decisión Selectiva de Tres Estados: Ir más allá de la clasificación forzada para producir explícitamente los estados de "Aceptado", "Ambiguo" o "Diferido", evitando así decisiones de alto riesgo en textos inciertos.
• Capas de Seguridad Integradas: La novedosa integración de la calibración de probabilidad, la predicción conforme y la energía del prototipo latente en una única regla de decisión, en lugar de utilizarlas como métricas post-hoc aisladas.
• Identidad Médica Interpretable: La construcción de un espacio latente basado en VAE específicamente para medir la estabilidad de la "identidad médica", utilizando la energía inspirada en DBM para detectar casos que son estructuralmente inconsistentes con su clase predicha.
• Validación Externa Rigurosa: Evaluación exhaustiva a través de divisiones internas y conjuntos de datos externos (Reddit, Clasificación de Texto de Salud Mental) para demostrar la robustez frente a cambios de dominio y la utilidad del mecanismo de deferencia.

Resultados
El marco fue evaluado en conjuntos de datos internos y externos con los siguientes hallazgos:

• Rendimiento Interno: El conjunto completo logró una precisión del 95.18%, un ROC-AUC de 98.84% y una Precisión Media de 99.48%.
• Rendimiento Selectivo: Tras aplicar la capa de decisión SAFER-MIND, la precisión de los casos Aceptados aumentó al 98.42% con una cobertura del 84.58%. Esto demuestra que diferir el 15.42% de los casos más inciertos mejora significamente la fiabilidad de las decisiones automatizadas.
• Validación Externa: El rendimiento varió según el conjunto de datos, resaltando los desafíos del cambio de dominio. En el conjunto de datos "Depression Reddit Cleaned", la precisión de los casos aceptados alcanzó el 99.40%. En el más desafiante "Mental Health Combined Test", la precisión total cayó al 84.88%, pero la precisión de los Casos Aceptados se mantuvo alta en un 92.33% tras la deferencia, confirmando la capacidad del marco para manejar cambios de distribución al abstenerse de realizar predicciones no fiables.
• Robustez y Equidad: Las pruebas contrafactuales mostraron una tasa de estabilidad de predicción del 99.6% bajo perturbaciones textuales menores (por ejemplo, eliminar la puntuación). Las auditorías preliminares de equidad en longitud de texto y grupos de fuentes de datos no mostraron colapsos graves de rendimiento.

Significancia y Reivindicaciones
El artículo afirma que SAFER-MIND aborda la brecha crítica entre el alto rendimiento predictivo y el despliegue clínico seguro. Al cambiar el enfoque de la evaluación de "¿puede el modelo etiquetar cada texto?" a "¿es la evidencia suficiente para una decisión automatizada segura?", el marco prioriza la fiabilidad sobre la cobertura. Los autores enfatizan que el sistema está diseñado como una herramienta de indicador de riesgo en lugar de un sistema de diagnóstico. Su significancia principal radica en su capacidad para:

1. Cuantificar la Incertidumbre: Distinguir explícitamente entre casos claros y aquellos que requieren revisión humana.
2. Mitigar el Cambio de Dominio: Utilizar mecanismos de deferencia para mantener una alta precisión incluso cuando la distribución de los datos de prueba difiere de la de entrenamiento.
3. Proporcionar Interpretabilidad: Ofrecer una explicación multifacética para las decisiones (probabilidad calibrada, conjunto conforme y energía latente) en lugar de una única puntuación de caja negra.

Los autores concluyen que, si bien el marco mejora la seguridad y la interpretabilidad, depende de conjuntos de datos secundarios que poseen sesgos inherentes y carece de datos demográficos de equidad exhaustivos. Se sugiere como trabajo futuro explorar representaciones basadas en Transformers, modelos de energía más profundos y análisis longitudinal de publicaciones de usuarios.