Resumen Técnico: Ajuste Fino de LLMs para la Estimación Pasiva de la Severidad de la Depresión a partir de Diálogos de Salud Mental con IA

Planteamiento del Problema

La depresión es la principal causa de discapacidad a nivel mundial, sin embargo, la detección temprana del empeoramiento de los síntomas sigue siendo un desafío debido a las bajas tasas de finalización de instrumentos validados como el Cuestionario de Salud del Paciente-9 (PHQ-9) en entornos del mundo real. Esto introduce un sesgo de respuesta y una ausencia sistemática de datos. Mientras que las plataformas de IA para la salud mental generan diálogos transcritos ricos que capturan las experiencias y el lenguaje emocional del usuario, las arquitecturas actuales suelen priorizar las interacciones centradas en el consejero sobre el modelado del usuario. La investigación existente sobre la predicción de las puntuaciones del PHQ-9 a partir de texto está fragmentada, dependiendo de muestras pequeñas (n=89–335), entrevistas clínicas estructuradas (p. ej., DAIC-WOZ) o tipos de texto específicos (diarios, notas clínicas). Crucialmente, ningún trabajo previo ha intentado predecir las puntuaciones completas de severidad del PHQ-9 (incluyendo la ideación suicida) a partir de diálogos de terapia con IA a gran escala y de carácter naturalista sin prompts clínicos estructurados.

Metodología

Recolección y Preprocesamiento de Datos

El estudio utilizó datos de "Ash", una plataforma de salud mental impulsada por IA. El conjunto de datos comprendió 3,953 usuarios que completaron un PHQ-9 basal antes de su primera conversación y que intercambiaron al menos 10 mensajes con la IA dentro de los primeros siete días.

• Entrada: Transcripciones de conversaciones formateadas como turnos alternos entre usuario y asistente.
• Preprocesamiento: Los mensajes se submuestrearon a un máximo de 300 tokens (espaciados uniformemente) para preservar el arco temporal de la conversación.
• Distribución: La cohorte fue de búsqueda de ayuda, con un 81.8% puntuando por encima del umbral clínico (PHQ-9 ≥10), lo que crea un desequilibrio de clases significativo hacia la depresión severa.

Arquitectura del Modelo

El modelo central emplea un núcleo Qwen3.5-27B ajustado mediante una cabeza de regresión.

• Procesamiento de Entrada: Las transcripciones se tokenizan utilizando la plantilla de chat del modelo con una longitud máxima de secuencia de 16,384 tokens.
• Mecanismo de Entrenamiento: Se entrena un adaptador LoRA durante 5 épocas utilizando la pérdida de Error Cuadrático Medio (MSE) sobre la puntuación total continua del PHQ-9. La tasa de aprendizaje sigue un esquema de coseno con una fracción de calentamiento (warm-up) de 0.1 y un tamaño de lote de 8 (vía acumulación de gradientes).

Estrategia de Pseudo-Etiquetado (Aprendizaje Semi-Supervisado)

Para abordar la escasez de datos y el desequilibrio de clases, los autores emplearon un enfoque iterativo de pseudo-etiquetado de cuatro etapas para expandir el conjunto de entrenamiento de 3,111 usuarios con etiquetas reales (ground-truth) a 6,283:

1. Pseudo-Etiquetado con Opus: Se le solicitó a Claude Opus 4.6 que estimara las puntuaciones del PHQ-9 para conversaciones sin etiquetar. Para corregir el sesgo del conjunto de datos hacia casos severos, solo se retuvieron los usuarios estimados con puntuaciones inferiores a 10 (605 usuarios).
2. Pseudo-Etiquetado de Modelo Intermedio (v1): Un modelo entrenado con etiquetas reales más las etiquetas de Opus se utilizó para generar etiquetas para otros 2,567 usuarios sin etiquetar (reteniendo todo el rango de severidad).
3. Re-etiquetado Iterativo (v2): El modelo mejorado del paso 2 se utilizó para re-etiquetar a los mismos 2,567 usuarios, obteniendo un conjunto de datos refinado.
4. Ensamble: Se entrenaron cuatro modelos con el conjunto de datos final de re-pseudo-etiquetado y se utilizaron para realizar un ensamble mediante el promedio de sus predicciones para mitigar el ruido y las señales espurias.

Resultados Clave

En un conjunto de prueba mantenido (held-out) de 842 usuarios, el modelo de ensamble final logró las siguientes métricas de rendimiento:

• Error Absoluto Medio (MAE): 2.62
• Raíz del Error Cuadrático Medio (RMSE): 4.03
• Correlación de Pearson (r): 0.803
• AUC en el Umbral Clínico (PHQ-9 ≥10): 0.908

Discriminación de Severidad Cruzada:
El modelo demostró una discriminación robusta a través de todo el espectro clínico, logrando un AUC > 0.87 en cada umbral desde PHQ-9 ≥3 hasta PHQ-9 ≥24. Esto indica que el modelo puede distinguir entre depresión leve, moderada, moderadamente severa y severa, en lugar de simplemente detectar un estado binario de caso.

Análisis de Errores:

• Recuperación (Recall) por Severidad: El modelo identificó correctamente el 70% de los casos severos, pero solo el 22% de los casos mínimos. Esto refleja el fuerte sesgo de los datos de entrenamiento hacia usuarios de alta severidad.
• Distribución de Errores: La mayoría de los errores fueron clasificaciones erróneas de bandas adyacentes (dentro de 1 banda de severidad), con una precisión dentro de la misma banda del 92%.
• Comparación: El MAE normalizado (NMAE) del modelo de 0.097 representa una mejora del 34–39% sobre los benchmarks previos en el corpus DAIC-WOZ (NMAE 0.148–0.160).

Contribuciones Clave y Significado

1. Escala y Validez Ecológica: Este es el primer estudio a gran escala (n ≈ 4,000) que predice puntuaciones del PHQ-9 a partir de diálogos de terapia con IA de carácter naturalista y no guiado, yendo más allá de los pequeños conjuntos de datos de entrevistas estructuradas (n < 300) que dominan la literatura previa.
2. Predicción de Espectro Completo: A diferencia del trabajo previo que a menudo omite el Ítem 9 (ideación suicida) o se centra en la clasificación binaria, este modelo predice la puntuación continua completa del PHQ-9 (0–27), permitiendo distinciones clínicas graduadas en todos los niveles de severidad.
3. Capacidad de Monitoreo Pasivo: El enfoque demuestra que la severidad de la depresión puede inferirse únicamente a partir del texto de la conversación sin requerir que los usuarios completen cuestionarios de autoinforme. Esto permite un monitoreo de síntomas pasivo y continuo, así como la detección temprana del deterioro en plataformas de salud mental con IA en el mundo real.
4. Avance Metodológico: El estudio valida un pipeline semi-supervisado utilizando modelos de razonamiento (Claude Opus) y auto-etiquetado iterativo para expandir eficazmente los conjuntos de datos limitados de etiquetas reales, logrando un rendimiento superior mediante el promedio de ensambles.

Limitaciones y Alcance

Los autores señalan que el conjunto de datos representa una población que busca ayuda por cuenta propia, lo que puede limitar la generalizabilidad a la población general. La menor recuperación del modelo para casos de severidad mínima es una consecuencia directa de entrenar con una cohorte donde el 81.8% de los usuarios presentaban depresión clínica. Los autores posicionan este trabajo como un paso fundacional hacia el cribado pasivo y escalable de la salud mental, reconociendo que se necesita más confirmación para la generalización a nivel poblacional.