PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

Resumen Técnico: PSEBench

Planteamiento del Problema
El triaje de eventos de seguridad del paciente (PSE, por sus siglas en inglés) consiste en determinar si un incidente clínico es notificable bajo políticas jurisdiccionales específicas (por ejemplo, los 29 Eventos Adversos Notificables de Minnesota, MN29). Esta es una tarea de alto riesgo que requiere que los expertos fundamenten sus decisiones en la política legal, identifiquen la falta de hechos críticos y se abstengan de tomar una decisión binaria cuando la política es ambigua. Aunque los modelos de lenguaje de gran tamaño (LLMs) ofrecen potencial para la automatización, los benchmarks existentes no logran evaluarlos adecuadamente. El trabajo previo se centra en la clasificación descriptiva aislada (por ejemplo, tipo de evento, severidad) en lugar del razonamiento complejo basado en políticas requerido para el triaje. Además, generar benchmarks fiables para este dominio es un desafío debido a la necesidad de una estricta fidelidad a la política, el requisito de búsqueda de información en múltiples turnos y la necesidad de manejar casos irreductiblemente ambiguos sin una costosa anotación humana post-hoc.

Metodología
Los autores proponen PSEBench, un benchmark controlable y verificable construido mediante una metodología basada en políticas centrada en tarjetas de cláusulas (clause cards).

1. Construcción de Tarjetas de Cláusulas:

   • La innovación central es la "tarjeta de cláusula", una especificación de decisión estructurada que factoriza el texto regulatorio en variables auditables: tipo de evento ($s$), condiciones de contorno ($B$), elementos del evento ($E$), un mapeo $\rho$ de las condiciones a los elementos, el veredicto pretendido ($y$), la base legal ($G$) y las restricciones de instanciación ($\Phi$).
   • Estas tarjetas se crean mediante un protocolo asistido por LLM con intervención humana (human-in-the-loop). Los LLMs realizan una "extracción leal" del texto de la política y un "borrador estructurado" de las tarjetas candidatas, que luego son auditadas rigurosamente por expertos humanos para asegurar que las condiciones de contorno sean necesarias y conjuntamente suficientes para el veredicto.

2. Pipeline de Generación Controlable y Verificable:

   • Instanciación Basada en Anclajes: Reportes de incidentes del mundo real desidentificados (del Japan Council for Quality Health Care) sirven como "materiales de anclaje" para inyectar realismo clínico y diversidad.
   • Fase I (Instanciación Fáctica): Un LLM instancia los elementos del evento ($E$) a partir del material de anclaje en un registro fáctico estructurado. Un verificador automatizado comprueba si estos hechos satisfacen las condiciones de contorno ($B$) y las restricciones ($\Phi$) de la tarjeta de cláusula.
   • Fase II (Verbalización Narrativa): Un segundo LLM convierte los hechos verificados en una narrativa clínica de texto libre.
   • Verificación de Ciclo Cerrado: Un Extractor analiza la narrativa generada para recuperar los hechos subyacentes, los cuales se cotejan con el registro estructurado original mediante un Verificador de Narrativa. Esto asegura que la narrativa codifique fielmente los hechos pretendidos sin "deriva silenciosa de etiquetas" (alucinaciones que cambian el veredicto).

3. Variantes del Benchmark:

   • Casos Completos: Todos los hechos críticos para la decisión están presentes.
   • Casos de Información Faltante: Se retira un subconjunto de hechos críticos para la decisión ($E'$) de la narrativa, lo que requiere que el agente solicite la información de manera proactiva. La verdad de terreno rastrea explícitamente qué campos faltan.
   • Casos de Incertidumbre (Zona Gris): Todos los hechos son conocidos, pero la política es silenciosa o contradictoria, lo que requiere que el agente escale el caso en lugar de forzar un veredicto binario.

4. Entorno de Evaluación Agéntico:

   • La evaluación simula una interacción de múltiples turnos entre un LLM evaluado ($A_{eval}$) y un Proveedor de Información automatizado ($A_{info}$).
   • $A_{info}$ actúa como un oráculo sin estado que posee los hechos canónicos, respondiendo solo a consultas alineadas con los hechos conocidos y declarando "desconocido" en caso contrario.
   • $A_{eval}$ debe decidir cuándo hacer preguntas (ASK) y cuándo comprometerse con un veredicto (ANSWER).

Contribuciones Clave

• Dataset PSEBench: Un conjunto de datos de 5,074 casos (3,455 completos, 1,362 de información faltante, 257 de incertidumbre) fundamentados en la política MN29. Cada caso incluye una verdad de terreno multidimensional (veredicto, cláusula, base legal, condiciones de contorno y campos retenidos) derivada por construcción, eliminando la necesidad de anotación manual.
• Marco Metodológico: Un pipeline de construcción escalable y basado en políticas que utiliza tarjetas de cláusulas y verificación de ciclo cerrado para generar benchmarks de alta fidelidad y auditables para el triaje regulatorio.
• Evaluación Agéntica: Un entorno de dos roles diseñado específicamente para evaluar la búsqueda proactiva de información y la abstención fundamentada bajo incertidumbre, yendo más allá de las métricas de clasificación estática.

Resultados
Los autores evaluaron 15 LLMs representativos (modelos de frontera de código cerrado, de frontera de código abierto, modelos pequeños y modelos de especialidad médica).

• Precisión del Veredicto vs. Preparación Agéntica: Mientras que los modelos de frontera de código cerrado de primer nivel (ej. GPT-5.5, Gemini 3.1 Pro) lograron una alta precisión en el veredicto (>90%) en casos completos, surgieron brechas significativas en los comportamientos interactivos.
• Búsqueda de Información: Los modelos exhibieron comportamientos divergentes. Algunos (ej. GPT-5.5) identificaron activamente los hechos faltantes y realizaron preguntas dirigidas. Otros (ej. Llama-3.1-8B) preguntaron indiscriminadamente, y los modelos de especialidad médica (ej. HuatuoGPT-o1) casi nunca preguntaron, optando por defecto por el "comprometerse sin preguntar".
• Manejo de la Incertidumbre: La capacidad de escalar correctamente los casos ambiguos fue la capacidad más polarizada. Solo los modelos más fuertes (GPT-5.5, Gemini 3.1 Pro) demostraron una conciencia de incertidumbre significativa. La mayoría de los modelos, incluidos los de especialidad médica, exhibieron un sesgo de "sobre-reporte", forzando un veredicto de "Notificable" en casos de incertidumbre (ej. MedGemma dirigió el 98.4% de los casos inciertos hacia Notificable).
• Fundamentación de Evidencia: Una alta precisión en el veredicto a menudo ocultaba fallos en la fundamentación de la evidencia; los modelos frecuentemente adivinaban el veredicto correcto por razones erróneas o alucinadas, como lo demuestran las puntuaciones más bajas en la citación de evidencia y en las tasas de acierto de las condiciones de contorno.

Significancia y Reivindicaciones
El artículo afirma que PSEBench proporciona el primer benchmark integral para el triaje de PSE basado en políticas que evalúa conjuntamente los veredictos, la fundamentación de evidencia legal, la búsqueda de información dirigida y el reconocimiento de la incertidumbre. Los resultados sugieren que los LLMs actuales, incluso los modelos de frontera, aún no están listos para el despliegue autónomo en el triaje de seguridad del paciente en el mundo real. La brecha entre el rendimiento de clasificación estática y las rigurosas demandas del razonamiento interactivo alineado con la política —particularmente en el manejo de información faltante y ambigüedad de la política— sigue siendo sustancial. Los autores posicionan a PSEBench como un banco de pruebas escalable y verificable para guiar el desarrollo de aplicaciones de LLM más seguras y alineadas con las políticas para los flujos de trabajo de seguridad clínica.

Limitaciones Reconocidas
Los autores señalan que, si bien los materiales de anclaje mejoran el realismo, las narrativas son generadas sintéticamente y pueden no capturar plenamente el desorden estructural de las notas de registros médicos electrónicos (EHR) crudos. Además, la evaluación abstrae la búsqueda de información en un protocolo conversacional, lo que no prueba la capacidad de un agente para navegar en sistemas de EHR vivos y no estructurados. Finalmente, el benchmark está actualmente basado en la política MN29, aunque se afirma que la metodología de construcción es generalizable a otros marcos regulatorios.