Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses

Este estudio introduce el marco UTCO para evaluar sistemáticamente alucinaciones y omisiones en respuestas de modelos de lenguaje grande sobre salud mental, descubriendo que el contexto y el tono son los factores de riesgo más consistentes y que las omisiones de orientación de seguridad son un problema crítico, especialmente en casos de crisis.

Lo esencial

Imagina que un Modelo de Lenguaje Grande (LLM) es como un médico muy inteligente, pero que nunca ha visto a un paciente en persona. Este "médico digital" ha leído millones de libros y artículos, pero cuando alguien le cuenta un problema de salud mental, a veces comete dos tipos de errores peligrosos:

1. Alucinaciones (Inventar cosas): Es como si el médico dijera: "Toma esta pastilla que cura todo", pero esa pastilla no existe o es falsa.
2. Omisiones (Olvidar lo importante): Es como si el médico escuchara tu historia, asintiera con empatía, pero se olvidara de decirte: "Oye, si te sientes así, llama inmediatamente a un número de emergencia".

Este estudio, realizado por un equipo de expertos de la Universidad de Vanderbilt y otros, se preguntó: ¿Qué hace que este "médico digital" falle? ¿Es por quién eres tú (tu edad, tu trabajo, tu género)? ¿O es por cómo le cuentas tu problema?

Para averiguarlo, crearon un sistema llamado UTCO (Usuario, Tema, Contexto, Tono). Piensa en esto como si estuvieras construyendo una receta para una pregunta. En lugar de preguntar de la misma manera siempre, variaron los ingredientes:

• Usuario: ¿Eres tú o un familiar? ¿Eres joven o mayor?
• Tema: ¿Es depresión, ansiedad o una crisis?
• Contexto: ¿Es una historia corta y directa o una historia larga y detallada?
• Tono: ¿Estás triste, enfadado, desesperado o confuso?

Lo que descubrieron (Las analogías)

1. No es quién eres, es cómo lo cuentas.
El estudio probó miles de preguntas. Resultó que no importa si eres un padre, un estudiante o un anciano. El "médico digital" no falla más porque seas de un grupo demográfico específico.

• La analogía: Imagina que el médico es un traductor. No importa si hablas español o francés (tu identidad); lo que le cuesta entender es si hablas muy rápido, con muchas metáforas o si estás gritando de pánico.

2. Las historias largas y emocionales son una trampa.
Los errores ocurrieron mucho más a menudo cuando las preguntas eran historias largas, naturales y llenas de emociones fuertes (como desesperación o confusión).

• La analogía: Si le preguntas al médico: "¿Qué hago?", él te da una respuesta rápida y segura. Pero si le cuentas una historia de 300 palabras sobre cómo te sientes solo, con miedo y sin saber qué hacer, el médico se abruma. Se pierde en los detalles y olvida lo más importante: darte la ayuda de emergencia que necesitas.

3. Las omisiones son el "asesino silencioso".
El estudio encontró que el modelo olvidaba información vital (omisiones) el doble de veces de lo que inventaba cosas falsas (alucinaciones).

• La analogía: Una alucinación es como un médico que te receta una medicina falsa: es obvio que algo va mal. Una omisión es como un médico que te da un abrazo cálido y te dice "todo estará bien", pero se olvida de decirte que debes ir al hospital. Es más peligroso porque parece que te está ayudando, pero en realidad no te está salvando.

4. El "ruido" emocional confunde al sistema.
Cuando el tono de la pregunta era de crisis, desesperanza o pánico, el modelo tendía a ser demasiado empático y general, pero olvidaba los pasos concretos de seguridad.

• La analogía: Es como si un amigo estuviera llorando desconsoladamente. Tú, queriendo consolarlo, le dices "todo va a estar bien" y te olvidas de llamar a la policía o a un familiar. El modelo hizo lo mismo: se centró en el "consuelo" y olvidó la "seguridad".

¿Qué nos dicen esto?

Los autores concluyen que no podemos seguir probando a estos modelos con preguntas cortas y perfectas (como las que usamos en los exámenes escolares). La vida real es caótica, emocional y llena de historias largas.

La lección principal:
Para que la inteligencia artificial sea segura en temas de salud mental, no basta con que sea "inteligente". Necesitamos entrenarla para que, incluso cuando le cuenten una historia larga y llena de pánico, no olvide nunca decirte: "Esto es grave, busca ayuda profesional ahora".

En resumen: El problema no es el paciente, es la forma en que el sistema procesa el caos de las emociones humanas. Si queremos que estas herramientas sean seguras, debemos enseñarles a escuchar las historias reales, no solo las preguntas de examen.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses", estructurado según los puntos solicitados.

1. El Problema

El uso de Modelos de Lenguaje Grande (LLM) en la búsqueda de información sobre salud mental fuera de entornos clínicos está aumentando. Sin embargo, existen dos modos de fallo críticos que amenazan la seguridad del usuario:

• Alucinaciones: Declaraciones incorrectas o fabricadas sobre tratamientos, medicamentos o seguridad que pueden llevar a decisiones erróneas.
• Omisiones: Fallos en proporcionar información clínicamente necesaria o guías de seguridad críticas (como recursos de crisis), incluso cuando el usuario no las solicita explícitamente.

La evaluación actual de estos modelos a menudo se basa en conjuntos de preguntas de referencia (benchmarks) estáticos y simplificados que no capturan la complejidad de las consultas del mundo real, las cuales suelen ser narrativas, contener alto nivel de angustia y variar en contexto y tono. Esto genera una brecha entre la evaluación técnica y la realidad del uso en salud mental.

2. Metodología

Los autores introducen y utilizan un marco de trabajo llamado UTCO (User, Topic, Context, Tone) para realizar una evaluación sistemática y reproducible.

• Generación de Datos (Corpus UTCO):

  • Se construyó un corpus de 2,075 consultas de salud mental.
  • Cada consulta se descompuso en cuatro elementos controlables:
    1. User (Usuario): Antecedentes sociodemográficos y roles (ej. cuidador, edad, género).
    2. Topic (Tema): 10 dominios clínicos (ej. depresión, crisis suicida, navegación de cuidados).
    3. Context (Contexto): Narrativa situacional extraída de foros de apoyo realistas o escenarios curados.
    4. Tone (Tono): 12 etiquetas afectivas (ej. ansioso, desesperado, urgente).
  • Se utilizó GPT-4o para generar las consultas en primera persona, aplicando filtros de realismo para asegurar coherencia clínica.

• Modelo Evaluado:

  • Se evaluó Llama 3.3 (70B), un modelo de código abierto, para garantizar la transparencia y la inspección de los modos de fallo sin depender de APIs propietarias.

• Análisis y Métricas:

  • Etiquetado: Tres anotadores independientes clasificaron cada respuesta como "alucinación" (contenido clínico incorrecto/fabricado) u "omisión" (falta de guía de seguridad necesaria).
  • Estrategia Analítica de Tres Etapas:
    1. RQ1 (Asociación Global): Modelos de árboles de gradiente (Gradient Boosted Trees) con valores SHAP para identificar qué elementos del prompt predicen el riesgo.
    2. RQ2 (Análisis de Sensibilidad): Emparejamiento por puntuación de propensión (Propensity Score Matching) en un diseño "leave-one-out". Se equilibraron tres elementos del UTCO para aislar el efecto del cuarto elemento (ej. mantener constante el tema y el tono para ver si el contexto afecta el fallo).
    3. RQ3 (Análisis de Mecanismos): Emparejamiento de similitud para encontrar consultas casi idénticas con resultados diferentes. Se utilizó un juez LLM (GPT-4o) validado por humanos para clasificar desencadenantes lingüísticos (ambigüedad, carga emocional, contradicciones, etc.) en una escala de 0 a 3.

3. Contribuciones Clave

• Marco UTCO: Propone una metodología estandarizada para descomponer las consultas de salud mental en elementos controlables, permitiendo pruebas de estrés sistemáticas más allá de los benchmarks estáticos.
• Reenfoque en las Omisiones: Demuestra empíricamente que las omisiones son un modo de fallo más frecuente y peligroso en contextos de crisis que las alucinaciones, y que a menudo pasan desapercibidas porque las respuestas pueden parecer empáticas y coherentes.
• Análisis de Factores de Riesgo por Elemento: Identifica que la estructura del prompt (contexto y tono) es un predictor de fallo más fuerte que los antecedentes demográficos del usuario.
• Validación de Juez LLM: Valida el uso de un LLM como juez estructurado para analizar mecanismos de fallo en pares de consultas similares, logrando un alto acuerdo con anotadores humanos.

4. Resultados Principales

• Tasas de Fallo:
  • Alucinaciones: 6.5% (134 casos).
  • Omisiones: 13.2% (273 casos). Las omisiones se concentraron fuertemente en consultas de crisis e ideación suicida (tasa de omisión del 36.2%).
• Factores de Riesgo (RQ1 y RQ2):
  • Contexto y Tono: Fueron los elementos más consistentemente asociados con fallos. Las consultas con contextos más largos, fuentes naturalistas y tonos de alta angustia (desesperado, ansioso, confundido) aumentaron significativamente el riesgo de omisión.
  • Antecedentes del Usuario: No se encontraron diferencias sistemáticas en las tasas de fallo basadas en la demografía del usuario (edad, género, rol) una vez que se equilibraron los otros elementos.
  • Características Lingüísticas: Los casos de omisión mostraron mayor nivel de lectura (complejidad), ambigüedad de pronombres, cláusulas subordinadas y densidad de términos médicos en comparación con los controles emparejados.
• Mecanismos de Fallo (RQ3):
  • La ambigüedad y la falta de restricciones clínicas fueron los desencadenantes más severos para las alucinaciones.
  • La carga emocional fue significativamente mayor en los casos de omisión, sugiriendo que el modelo prioriza la empatía sobre la seguridad cuando detecta angustia extrema.
  • Las consultas con múltiples intenciones o "desviación de alcance" (scope creep) también contribuyeron a fallos.

5. Significado e Implicaciones

• Evaluación de Seguridad: Se debe tratar la omisión como un resultado de seguridad primario en la evaluación de LLMs de salud mental, no como un complemento secundario a las alucinaciones. Las omisiones son "fallos silenciosos" que pueden ser más dañinos en situaciones de crisis.
• Diseño de Benchmarks: Los conjuntos de preguntas cortas y concisas subestiman los riesgos. Las evaluaciones futuras deben incluir pruebas de estrés con narrativas largas, contextos naturalistas y tonos emocionales intensos.
• Estrategias de Mitigación:
  • Priorizar la prevención de omisiones en escenarios de alto riesgo.
  • Implementar pasos de suplementación estructurada de información de seguridad cuando se detecten indicadores de crisis.
  • Diseñar sistemas que hagan preguntas de aclaración cuando falten restricciones clínicas clave o haya ambigüedad, en lugar de intentar adivinar la intención.
• Enfoque en la Narrativa: Los modelos fallan más cuando la información es compleja o emocionalmente cargada. La investigación y el desarrollo deben centrarse en la "gestión de la incertidumbre" y la "completitud segura" en lugar de solo en la fluidez del texto.

En conclusión, el estudio demuestra que la forma en que se formula una consulta (su contexto narrativo y tono emocional) es un determinante crítico de la seguridad de los LLMs en salud mental, superando en importancia a los antecedentes demográficos del usuario, y aboga por un cambio de paradigma hacia evaluaciones más robustas y centradas en la seguridad.