Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

Resumen Técnico: Evaluación Centrada en el Despliegue del Riesgo de Rechazo a Nivel de Consulta en LLMs Clínicos

Planteamiento del Problema
La integración de Modelos de Lenguaje de Gran Escala (LLMs) en los flujos de trabajo clínicos introduce una brecha de evaluación crítica. Las evaluaciones tradicionales centradas en benchmarks priorizan la "corrección" objetiva (por ejemplo, la precisión en exámenes de licencia médica) y el rendimiento agregado a través de consultas históricas. Sin embargo, estas evaluaciones estáticas no logran capturar la utilidad en el mundo real, específicamente si un clínico aceptará o "rechazará" una respuesta generada. El rechazo es un constructo ruidoso que refleja una baja utilidad percibida, lo cual puede ocurrir incluso cuando un resultado es fácticamente correcto debido a desajustes en las expectativas estilísticas, el contexto o la integración en el flujo de trabajo. Además, los benchmarks existentes dependen de conjuntos de datos densamente anotados que son costosos de construir y difíciles de actualizar, lo que crea puntos ciegos para un despliegue dinámico en el mundo real. El desafío central es predecir, antes de que se genere una respuesta, si una interacción específica con el usuario resultará en un rechazo, utilizando la retroalimentación dispersa disponible naturalmente en los sistemas desplegados.

Metodología
Los autores proponen un marco de evaluación centrado en el despliegue basado en un modelo de predicción de rechazo pre-respuesta embebido dentro de un sistema de Historia Clínica Electrónica (EHR) en un centro médico académico.

• Formalización de la Tarea: El objetivo es aprender una función de puntuación $f(\cdot)$ que prediga la probabilidad de que un usuario rechace una respuesta del LLM ($r_i = 1$) frente a que la acepte ($r_i = -1$). La entrada consiste en la consulta del usuario $q_i$ y el contexto específico del despliegue: tipo de proveedor ($p_i$), nombre del departamento ($d_i$), el modelo de LLM específico utilizado ($m_i$) y la longitud del registro del paciente ($l_i$).
• Fuente de Datos: El estudio utiliza 4.5 meses de interacciones de usuarios en vivo (septiembre de 2025 – abril de 2026). De 74,729 interacciones totales, solo 1,196 contenían retroalimentación binaria explícita ("pulgar arriba/abajo"). Tras filtrar duplicados y metadatos faltantes, el conjunto de datos anotado final comprendió 878 pares de consulta-anotación.
• Arquitectura del Modelo: Los autores emplean un modelo de regresión logística entrenado en embeddings de consultas (generados mediante text-embedding-3-large) combinados con codificaciones one-hot del contexto de despliegue.
  • Selección de Características: Se realizó una búsqueda de cuadrícula (grid search) sobre 31 combinaciones posibles de características (incluyendo subconjuntos de embeddings, proveedor, departamento, modelo y longitud de contexto) para maximizar el AUROC en un conjunto de validación.
  • Protocolo de Entrenamiento: El estudio utiliza un enfoque de análisis prospectivo. Se entrena un modelo inicial con los primeros 8 semanas de datos. Para las 19 semanas subsiguientes, el modelo se reentrena dinámicamente cada semana incorporando nuevos datos con etiquetas reales, simulando una ventana de entrenamiento rotativa para adaptarse a las tendencias cambiantes de usuario-LLM.
• Líneas Base (Baselines): El rendimiento se compara contra modelos que utilizan únicamente embeddings de la consulta, clasificadores de LLM-juez (usando GPT-4.1) con y sin contexto, y clasificadores ingenuos de "siempre aceptar/rechazar".

Contribuciones Clave

1. Predicción de Rechazo Prospectiva: Los autores demuestran la viabilidad de entrenar un modelo pre-respuesta para predecir el rechazo del usuario en futuras consultas utilizando retroalimentación dispersa del mundo real.
2. Utilidad Aguas Abajo (Downstream): La puntuación de rechazo se plantea como una herramienta de decisión desplegable. Al ajustar los umbrales operativos, el mismo modelo soporta dos casos de uso distintos:
   • Abstención: Filtrado de alta precisión (retener preventivamente respuestas con alta probabilidad de ser rechazadas) para reducir la fatiga de verificación.
   • Activación de Guardrails: Activación de alta sensibilidad (marcar posibles problemas para revisión adicional) para evitar que salidas de baja calidad lleguen al usuario.
3. Rol del Contexto Específico del Despliegue: El artículo establece que aprovechar los metadatos (tipo de proveedor, departamento, modelo) supera significativamente al depender únicamente del contenido de la consulta.

Resultos

• Rendimiento: El mejor modelo (que incorpora Embedding + Proveedor + Departamento + Modelo) alcanzó un AUROC de 0.719 (IC 95%: [0.670, 0.767]) en el conjunto de prueba prospectivo.
• Comparación: Esto superó a la línea base de solo embeddings de consulta (AUROC 0.618) y a las líneas base de LLM-juez (AUROC ~0.52–0.53).
• Importancia de las Características: El análisis cuantitativo reveló que el nombre del departamento y el tipo de proveedor fueron las características más frecuentes en las configuraciones de alto rendimiento. Eliminar los embeddings manteniendo las características de contexto resultó en una caída solo leve en el rendimiento, lo que sugiere que el contexto es altamente informativo en entornos con datos dispersos.
• Métricas Aguas Abajo:
  • En un umbral de alta precisión ($\beta = 0.12$), el modelo logró una precisión de 0.88 (3 falsos positivos), adecuado para la abstención.
  • En un umbral de alta sensibilidad ($\beta = 4.0$), el modelo logró una sensibilidad (recall) de 0.99, adecuado para la activación de guardrails.
• Perspectivas Cualitativas: El análisis de los razonamientos de rechazo mostró una variación significativa por rol y departamento. Por ejemplo, los médicos en cardiología tuvieron altas tasas de rechazo debido a demandas de detalles clínicos específicos, mientras que los enfermeros practicantes a menudo aceptaban resúmenes de alto nivel. Del mismo modo, los médicos de Cuidados Críticos rechazaron consultas que los médicos de Hospital aceptaron, indicando que los criterios de aceptación están moldeados por el flujo de trabajo departamental y las expectativas específicas del rol.

Significancia y Reivindicaciones
El artículo afirma ofrecer un punto de partida para evaluaciones específicas de despliegue que van más allá de los benchmarks estáticos hacia intervenciones accionables. Su principal significancia radica en desplazar el objetivo de la evaluación de la "corrección" hacia la "aceptación del usuario", reconociendo que en entornos clínicos, la utilidad se define por si el resultado se ajusta al contexto y flujo de trabajo específico del usuario.

Los autores señalan modestamente que sus hallazgos derivan de un único centro médico académico y están limitados por la escasez de retroalimentación pasiva (solo ~1.6% de los usuarios proporcionaron retroalimentación). Argumentan que, si bien sus resultados resaltan la viabilidad de predecir el rechazo utilizando el contexto específico del despliegue, es necesario realizar trabajos futuros para abordar el sesgo de selección y generalizar estos hallazgos a contextos de despliegue más amplios. El trabajo no pretende resolver todos los problemas de seguridad de la IA clínica, sino demostrar que quién pregunta, en qué contexto y con qué propósito importa tanto como la pregunta misma para determinar el éxito del sistema.