Development and Evaluation of HopeBot: an LLM-based chatbot for structured and interactive PHQ-9 depression screening

Resumen Técnico: Factibilidad y Evaluación de Usuario de HopeBot

Planteamiento del Problema
El cribado de la depresión depende en gran medida del Cuestionario de Salud del Paciente-9 (PHQ-9). Si bien las entrevistas administradas por clínicos permiten la aclaración de respuestas ambiguas y la detección de suicidalidad, estas consumen muchos recursos y son difíciles de escalar. Por el contrario, las versiones autoadministradas son ampliamente adoptadas para el cribado digital, pero carecen de interactividad, lo que no ofrece la oportunidad de que los usuarios aclaren respuestas ambiguas o reciban orientación en tiempo real. Este formato estático puede limitar la participación del usuario y la precisión de la puntuación, particularmente para individuos con baja alfabetización sanitaria o estados emocionales fluctuantes. Los sistemas de cribado existentes basados en chatbots suelen depender de arquitecturas rígidas basadas en reglas (por ejemplo, intenciones predefinidas) que restringen la flexibilidad conversacional y la capacidad de manejar estados emocionales matizados, o carecen de un razonamiento transparente y fundamentado en evidencia.

Metodología
Los autores desarrollaron HopeBot, un agente conversacional impulsado por GPT-4o diseñado para administrar el PHQ-9 mediante texto o voz, preservando la estructura validada y la lógica de puntuación del instrumento original.

• Arquitectura del Sistema:

  • Motor Central: Utiliza GPT-4o para la comprensión y generación de lenguaje natural, soportando tanto inglés como mandarín de forma nativa sin traducción.
  • Generación Aumentada por Recuperación (RAG): Para mitigar los riesgos de alucinación y garantizar la seguridad, el sistema emplea una capa RAG fundamentada en cuatro fuentes de datos curadas: (1) 34 transcripciones anonimizadas de sesiones de Terapia Cognitivo-Conductual (TCC), (2) A Therapist's Guide to Brief CBT, (3) conjuntos de datos de diálogos emocionales (ESConv y PsyQA_example), y (4) directorios bilingües de líneas de ayuda del Reino Unido y China.
  • Lógica de Puntuación: El LLM interpreta las respuestas del usuario y las mapea a las categorías del PHQ-9 (A–D). Sin embargo, la puntuación numérica (0–3 por ítem) y la agregación total se ejecutan de forma determinista mediante una función de backend, asegurando puntuaciones reproducibles independientemente de la generación del modelo de lenguaje.
  • Protocolo de Interacción: El sistema sigue una estructura de tres fases: (1) establecimiento de rapport (máximo 20 turnos), (2) administración secuencial del PHQ-9 con aclaración dinámica para entradas ambiguas, y (3) retroalimentación personalizada y guía de seguridad.
  • Mecanismos de Seguridad: El sistema incluye detección de crisis para redirigir a los usuarios a líneas de ayuda validadas y opera dentro de un entorno de investigación seguro y seudonimizado que cumple con el RGPD del Reino Unido.

• Diseño del Estudio:

  • Se llevó a cabo un estudio de factibilidad prospectivo intra-sujeto con 132 adultos reclutados en el Reino Unido y China.
  • Procedimiento: Los participantes completaron un PHQ-9 estándar autoadministrado seguido inmediatamente por el PHQ-9 asistido por HopeBot.
  • Evaluación: El estudio midió la concordancia de puntuación entre los dos formatos y recopiló la retroalimentación de los usuarios mediante una encuesta de 25 ítems y preguntas abiertas. El PHQ-9 autoadministrado sirvió como comparador pragmático para la fidelidad de la puntuación, no como un estándar de referencia clínica para la validez diagnóstica.
  • Análisis: El análisis cuantitativo incluyó el Coeficiente de Correlación Intraclase (ICC), la correlación de rango de Spearman y diagramas de Bland–Altman. El análisis cualitativo siguió el marco temático de Braun y Clarke.

Contribuciones Clave

1. Administración Alineada con el Formato: HopeBot introduce un marco metodológico que preserva la estructura validada, la secuencia y la lógica de puntuación del PHQ-9, permitiendo al mismo tiempo una interacción conversacional natural y abierta.
2. Diseño Fundamentado en Evidencia: Al integrar RAG con fuentes psicológicas autorizadas, el sistema proporciona aclaraciones y orientación de seguridad que son trazables y fundamentadas, reduciendo el riesgo de salidas inseguras o alucinadas comunes en las interacciones de LLM de código abierto.
3. Aclaración Dinámica: A diferencia de los sistemas previos basados en reglas, HopeBot interpreta de forma adaptativa las respuestas de texto libre, emite avisos de aclaración en tiempo real para entradas ambiguas y mapea explícitamente las respuestas del usuario a las categorías de puntuación.
4. Capacidad Multimodal Bilingüe: El sistema soporta interacción fluida de texto y voz tanto en inglés como en mandarín, aprovechando las capacidades multilingües nativas de GPT-4o y el procesamiento de audio de baja latencia.

Resultados

• Concordancia de Puntuación: Las puntuaciones asistidas por HopeBot mostraron una alta concordancia con las puntuaciones autoadministradas.
  • Coeficiente de Correlación Intraclase (ICC): 0.92 (95% CI: 0.89–0.94).
  • Diferencia Absoluta Mediana: 1 punto.
  • Puntuaciones Idénticas: El 44.7% de los participantes (59/132) recibió puntuaciones idénticas en ambos formatos.
  • Sesgo: No se encontró una tendencia sistemática a inflar o reducir las calificaciones de severidad (prueba de rango con signo de Wilcoxon, p = 0.649).
  • Análisis de Subgrupos: La concordancia se mantuvo alta a través de los niveles de severidad y los países de reclutamiento, con variaciones menores y probablemente clínicamente insignificantes.
• Aceptabilidad del Usuario:
  • Confianza: Entre los participantes que compararon los dos formatos, el 71% (53/75) reportó mayor confianza en las puntuaciones asistidas por HopeBot, citando una estructura más clara, guía interpretativa y un tono de apoyo.
  • Calificaciones de Usabilidad: Las medias (0–10) fueron 8.4 para comodidad, 7.7 para claridad de voz, 7.6 para el manejo de temas sensibles y 7.4 para la utilidad de las recomendaciones.
  • Preferencia: El 69.7% de los participantes prefirió el formato asistido por chatbot sobre la autocompletación, valorando su capacidad de interacción y aclaración en tiempo real.
  • Limitaciones: Algunos usuarios señalaron respuestas genéricas, un tono robótico ocasional y preocupaciones de privacidad respecto a la divulgación de la IA. Los participantes con experiencia previa en servicios de salud mental calificaron la utilidad de las recomendaciones significativamente más bajo que aquellos sin dicha experiencia.

Significancia y Reivindicaciones
El artículo sostiene que HopeBot demuestra la factibilidad y aceptabilidad de utilizar un agente conversacional impulsado por LLM con fundamentación basada en RAG para administrar el PHQ-9. La alta concordancia de puntuación sugiere que tales sistemas pueden reproducir fielmente la precisión de puntuación de las herramientas de autoinforme, añadiendo los beneficios de la interactividad y la aclaración.

Los autores posicionan a HopeBot no como un reemplazo del juicio clínico o una herramienta de diagnóstico, sino como un complemento escalable para el cribado temprano y de baja carga de la depresión. El estudio establece un "marco de validación a nivel de formato", que sirve como puente metodológico entre la autoevaluación convencional y la evaluación guiada por un clínico. Los hallazgos sugieren que la entrega conversacional puede mejorar la participación del usuario y la percepción de la estructura sin comprometer la integridad psicométrica de los instrumentos de cribado estandarizados, extendiendo potencialmente el acceso al cribado estructurado en entornos con recursos limitados. Los autores declaran explícitamente que se requiere una validación adicional frente a evaluaciones administradas por clínicos en flujos de trabajo del mundo real para establecer la validez diagnóstica.