One-shot emergency psychiatric triage across 15 frontier AI chatbots

1. Planteamiento del Problema

La creciente dependencia pública de los chatbots de Modelos de Lenguaje Grande (LLM) para obtener consejos de salud hace necesaria una evaluación rigurosa de su capacidad para realizar triaje psiquiátrico. A diferencia de la medicina general, donde la urgencia suele anclarse en datos objetivos (signos vitales, análisis de laboratorio), la urgencia psiquiátrica debe inferirse a partir de pensamientos subjetivos, comportamientos y contexto.

• El Riesgo Central: La principal preocupación es el subtriaje de emergencia, donde una IA clasifica incorrectamente una emergencia psiquiátrica que pone en peligro la vida (Nivel D) como un nivel de menor urgencia (por ejemplo, rutinario o intermedio), lo que podría retrasar la atención crítica.
• La Brecha: Si bien el triaje médico general ha sido estudiado, el triaje psiquiátrico sigue siendo poco caracterizado. Las evaluaciones existentes a menudo carecen de revelaciones realistas de un solo mensaje y no tienen en cuenta los desafíos únicos de inferir riesgo únicamente a partir de texto narrativo.

2. Metodología

El estudio empleó un enfoque de evaluación comparativa in silico para evaluar 15 chatbots de IA de vanguardia en 112 viñetas construidas clínicamente.

A. Construcción del Conjunto de Datos (112 Viñetas)

• Estructura: Las viñetas se generaron combinando 9 grupos de presentación psiquiátrica (por ejemplo, suicidio, depresión, psicosis) con 9 dimensiones de riesgo focal (por ejemplo, autolesión, riesgo de homicidio, autonegligencia).
• Niveles de Triaje: Cada viñeta recibió una etiqueta de referencia de verdad fundamental en una escala ordinal de 4 puntos:
  • A: Rutinario/Autoatención.
  • B: Evaluación dentro de 1 semana.
  • C: Evaluación urgente dentro de 24–48 horas.
  • D: Atención de emergencia inmediata.
• Simulación: Un LLM de "usuario-modelo" (Claude Opus 4.6) convirtió los resúmenes clínicos en consultas de usuario realistas de un solo mensaje (ya sea autoinformes o informes colaterales de otros), asegurando que el texto contuviera suficiente detalle clínico para el triaje sin requerir preguntas de seguimiento.

B. Protocolo de Evaluación

• Modelos Probados: 15 modelos de vanguardia de 8 proveedores (Anthropic, Google, OpenAI, xAI, DeepSeek, Meta, Mistral, Alibaba), incluyendo GPT-5.4, Gemini 3.1 Pro y Claude Opus 4.6.
• Tarea: Una tarea de predicción de un solo disparo. La IA recibía un único mensaje de usuario y se le instruía para que emitiera una etiqueta de triaje (A–D) con razonamiento.
• Prompts del Sistema:
  • Principal: Prompts directivos que enmarcaban explícitamente la tarea como triaje de salud mental con niveles de urgencia definidos.
  • Control: Prompts no directivos que enmarcaban a la IA como un "asistente de propósito general" para probar si el sobretuaje era un artefacto del prompt o un sesgo intrínseco del modelo.
• Validación de la Verdad Fundamental: Para garantizar la robustez, 50 médicos reetiquetaron independientemente las viñetas. Los casos se clasificaron como "consenso claro" (acuerdo ≥75%) o "casos límite" (acuerdo en niveles adyacentes).

C. Métricas

• Resultado Principal: Tasa de subtriaje de emergencia (Nivel D asignado como A, B o C).
• Resultados Secundarios:
  • Precisión Exacta: Porcentaje de coincidencias perfectas de etiquetas.
  • Sesgo Direccional: Error ordinal firmado (Positivo = Sobretuaje; Negativo = Subtriaje).
  • Imprecisión: Error ordinal absoluto (dispersión alrededor de la etiqueta correcta).

3. Resultados Clave

A. Subtriaje de Emergencia (Seguridad)

• Tasa: El subtriaje de emergencia fue raro, ocurriendo solo en el 5.6% (23 de 410) de los ensayos de Nivel D.
• Gravedad del Error: Crucialmente, el 100% de las emergencias subtriadas se rebajaron solo al Nivel C (24–48 horas), no a niveles rutinarios. Ningún modelo asignó una verdadera emergencia a una categoría no urgente.
• Consistencia: Esta baja tasa de subtriaje se mantuvo incluso al utilizar etiquetas de consenso clínico y prompts del sistema no directivos.

B. Precisión General y Calibración

• Rendimiento en Forma de U: La precisión siguió una curva en forma de U basada en la urgencia:
  • Más Alta: Nivel D (Emergencia) – 94.3% de precisión promedio.
  • Más Baja: Nivel B (Intermedio) – 19.7% de precisión promedio.
  • Intermedia: Los niveles A y C mostraron precisión moderada (~46–52%).
• Implicación: Los modelos son excelentes identificando emergencias claras, pero luchan significativamente para distinguir los niveles de urgencia intermedios.

C. Sesgo Direccional (Sobretuaje)

• Patrón Dominante: Cuando los modelos cometían errores, sobretajaban abrumadoramente (recomendaban una urgencia mayor de la necesaria).
  • Relación: 753 errores de sobretuaje frente a 23 errores de subtriaje.
  • Error Ordinal Medio: +0.47 niveles de triaje (indicando un desplazamiento neto hacia una mayor urgencia).
• Objetivo del Sobretuaje: El sobretuaje fue más prevalente en las viñetas de Nivel B (80.3% de los errores).
• Robustez: Este sesgo persistió incluso al utilizar etiquetas de consenso clínico y prompts no directivos, lo que sugiere que es una propiedad intrínseca del entrenamiento de seguridad de los modelos y no un artefacto del prompt.

D. Comparaciones entre Modelos

• Mejores Rendimientos: Grok-4 (71.8% de precisión general) y Gemini 3.1 Pro (68.5%).
• Compensación: Los modelos con la mayor precisión general tendían a tener tasas ligeramente más altas de subtriaje de emergencia, lo que sugiere una tensión entre la precisión general y la aversión extrema al riesgo.
• Fecha de Lanzamiento: Los modelos más nuevos mostraron una tendencia hacia un menor subtriaje, aunque no fue estadísticamente significativo en esta muestra.

4. Contribuciones Clave

1. Primera Referencia de Triaje Psiquiátrico a Gran Escala: Introducción de un nuevo conjunto de datos de 112 viñetas de un solo mensaje, clínicamente rigurosas, que abarcan diversas presentaciones psiquiátricas y dimensiones de riesgo.
2. Cuantificación de Seguridad vs. Precisión: Demostró que los modelos de IA de vanguardia han alcanzado un "suelo de seguridad" para emergencias psiquiátricas (subtriaje catastrófico cercano a cero), pero sufren un "techo de precisión" en niveles intermedios.
3. Identificación de Sesgo Sistémico: Estableció que los modelos actuales de vanguardia exhiben un sesgo de aversión al riesgo sistemático, lo que lleva a un sobretuaje generalizado. Esto es probablemente impulsado por un entrenamiento posterior orientado a la seguridad (RLHF) que penaliza la omisión de señales de alto riesgo.
4. Validación de Sesgo Intrínseco: Probó mediante experimentos de control (prompts no directivos) que el patrón de sobretuaje no es meramente un resultado del encuadre del prompt, sino que está incrustado en las capacidades de razonamiento de los modelos.

5. Significado e Implicaciones

• Seguridad Clínica: Los hallazgos son tranquilizadores en cuanto a la seguridad vital inmediata; es poco probable que los chatbots de IA actuales descarten una emergencia psiquiátrica genuina.
• Eficiencia Operativa: El sobretuaje generalizado plantea un riesgo de estrés de recursos. Si los usuarios son dirigidos consistentemente a departamentos de emergencia o atención urgente por problemas rutinarios o intermedios, podría saturar los sistemas de salud y erosionar la confianza del usuario.
• Desarrollo de Modelos: Los resultados destacan la necesidad de una mejor calibración en el "medio" del espectro de urgencia. El entrenamiento de seguridad futuro debe equilibrar la aversión al riesgo con la capacidad de distinguir entre "urgente" y "emergencia".
• Direcciones Futuras: El estudio señala limitaciones relacionadas con la naturaleza de "un solo disparo" de la prueba. Las interacciones del mundo real son multi-turno y fragmentadas. El trabajo futuro debe evaluar cómo estos modelos se desempeñan en entornos conversacionales dinámicos donde la información clínica se revela gradualmente.

Conclusión: Los chatbots de IA de vanguardia son actualmente conservadores en el triaje psiquiátrico. Identifican eficazmente las emergencias, pero carecen del matiz para triar con precisión los casos no urgentes, lo que conduce a un patrón de precaución excesiva que puede ser clínicamente y económicamente ineficiente.