Blending Human and LLM Expertise to Detect Hallucinations and Omissions in Mental Health Chatbot Responses

Resumen Técnico: Detección de Alucinaciones y Omisiones en Chatbots de Salud Mental

1. Planteamiento del Problema

La implementación de modelos de lenguaje grandes (LLM) en servicios de salud mental ha ampliado el acceso a la terapia, pero introduce riesgos críticos de seguridad. Los errores en este dominio no son triviales; pueden manifestarse como:

• Alucinaciones: Declaraciones confiables pero fácticamente incorrectas (ej. medicamentos inventados o estadísticas falsas).
• Omisiones: Falta de información terapéutica crítica (ej. no proporcionar líneas de crisis en situaciones de suicidio).

Limitaciones de los enfoques actuales:

• LLM como Juez (LLM-as-a-Judge): Los métodos de vanguardia que utilizan LLMs (como GPT-4 o Llama-3) para evaluar respuestas directamente fallan en contextos de alto riesgo. El estudio demuestra que estos modelos alcanzan solo un 52% de precisión en datos de consejería en salud mental, con tasas de recuperación (recall) cercanas a cero para la detección de alucinaciones.
• Falta de matices clínicos: Los LLMs carecen de la comprensión profunda de patrones lingüísticos sutiles y estándares de comunicación terapéutica que poseen los expertos humanos.
• Falta de datos: No existían conjuntos de datos públicos con anotaciones de alta calidad específicas para la salud mental que capturaran estas complejidades.

2. Metodología Propuesta

Los autores proponen un marco híbrido que integra la experiencia humana con la capacidad de extracción de características de los LLMs, evitando la evaluación de "caja negra".

A. Nuevo Conjunto de Datos (Custom Mental Health Dataset)

• Creación: Un dataset de más de 4,000 pares de pregunta-respuesta anotados manualmente.
• Protocolo de Anotación: Enfoque de múltiples partes interesadas (clínicos, administradores, pacientes y cuidadores). Se requiere consenso unánime entre tres anotadores de grupos distintos, con un meta-experto resolviendo desacuerdos.
• Distribución: Refleja la realidad del despliegue con un desequilibrio de clases severo:
  • Tasa de alucinaciones: 1.97% (87 positivos de 4,418 muestras).
  • Tasa de omisiones: 3.68% (124 positivos de 3,368 muestras).

B. Marco de Extracción de Características Multidimensional
En lugar de pedir al LLM que juzgue directamente si hay un error, el sistema extrae 15 características interpretables basadas en cinco dimensiones definidas por expertos:

1. Consistencia Lógica: Detección de contradicciones internas y afirmaciones factuales.
2. Verificación de Entidades: Evaluación de la plausibilidad de nombres propios, medicamentos y relaciones (¿existen realmente?).
3. Consistencia Fáctica: Evaluación de la precisión de afirmaciones verificables contra el conocimiento establecido.
4. Incertidumbre Lingüística: Análisis de lenguaje de hedging (dudas), marcadores de certeza y postura epistémica.
5. Adecuación Profesional: Evaluación del tono emocional, relevancia y límites profesionales en el contexto terapéutico.

C. Arquitectura del Modelo (Ensamble)
El sistema utiliza un enfoque de dos etapas:

1. Extracción de Características: Un LLM (como GPT-4o, Llama-3.3, etc.) genera los vectores de características basados en las 5 dimensiones anteriores.
2. Clasificación Supervisada: Se entrenan modelos de aprendizaje automático tradicionales (Random Forest, XGBoost, LightGBM, CatBoost, MLP, etc.) sobre estas características (más las puntuaciones del LLM como juez) para predecir la presencia de alucinaciones u omisiones.

• Se entrena un modelo específico para cada tarea (detección de alucinaciones y detección de omisiones) para optimizar la arquitectura.

3. Contribuciones Clave

1. Evidencia Empírica de Fallos: Demostración rigurosa de que los LLMs como jueces directos fallan sistemáticamente en salud mental (precisión ~54%, recall ~9% para alucinaciones).
2. Dataset Clínico Grounded: Introducción de un dataset anotado por múltiples partes interesadas con un protocolo estricto de consenso, reflejando la realidad clínica.
3. Taxonomía de Características Clínicas: Desarrollo de un esquema de características basado en la experiencia clínica (consistencia lógica, adecuación profesional) que es inaccesible para los jueces de caja negra.
4. Evaluación de Omisiones: Atención sistemática a la detección de omisiones, un área subexplorada en la literatura previa.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset personalizado y en un dataset público de Kaggle.

• Rendimiento del Modelo Propuesto (Features + ML):

  • Detección de Alucinaciones: Logró un F1 de 0.717 en el dataset personalizado y 0.849 en el dataset de Kaggle.
  • Detección de Omisiones: Logró un F1 de 0.637 en el dataset personalizado y 0.591 en Kaggle.
  • Comparación: Esto representa una mejora de hasta un 75% sobre los métodos de línea base (como SelfCheckGPT o SAC3) y supera el rendimiento promedio de anotadores humanos individuales (F1 promedio humano = 0.536).

• Rendimiento de Línea Base (LLM-as-a-Judge):

  • Modelos como GPT-4o-mini y O3 mostraron un rendimiento catastrófico en la detección de alucinaciones (F1 < 0.17), a menudo clasificando todo como seguro (baja recuperación) o siendo demasiado conservadores.
  • La estabilidad del modelo propuesto fue superior: el rendimiento varió poco entre diferentes arquitecturas de LLMs utilizados para la extracción de características (Llama-3.3-70B alcanzó un F1 de 0.695, comparable a modelos propietarios).

• Análisis de Características:

  • Las características específicas del dominio (como la "fabricación de entidades" o la "adecuación profesional") aportaron la mayor señal discriminativa, superando a las puntuaciones directas del LLM.
  • Se observó una correlación negativa entre las puntuaciones de los jueces LLM y la calidad de la comunicación profesional, lo que explica por qué los LLMs fallan: a menudo interpretan el lenguaje terapéutico cauteloso (hedging) como incertidumbre o error.

5. Significado e Impacto

• Seguridad en Salud Mental: El estudio demuestra que la detección de errores en chatbots de salud mental no puede depender únicamente de la escala del modelo o del prompting. Se requiere una integración explícita de la experiencia humana en el proceso de evaluación.
• Viabilidad de Despliegue: El enfoque híbrido (LLM para extraer características + ML clásico para clasificación) es robusto, interpretable y funciona bien incluso con modelos de código abierto (como Llama-3.3), facilitando su implementación en entornos privados y sensibles.
• Paradigma de Evaluación: Cambia el enfoque de "juzgar" directamente la respuesta a "analizar" componentes estructurales y semánticos específicos del dominio, permitiendo una detección más fiable de riesgos críticos como crisis de suicidio o consejos médicos falsos.

En conclusión, el trabajo establece que combinar la experiencia de dominio con métodos automatizados produce evaluaciones más fiables y transparentes que los enfoques de "caja negra" en aplicaciones de alto riesgo como la salud mental.