Conformal Prediction for Risk-Controlled Medical Entity Extraction Across Clinical Domains

Este artículo presenta un marco de predicción conforme que garantiza una cobertura segura para la extracción de entidades médicas mediante modelos de lenguaje grande, demostrando que la calibración de la confianza varía según el dominio clínico y requiriendo umbrales específicos para lograr una fiabilidad del 90% en etiquetas de la FDA y reportes de radiología.

Lo esencial

Imagina que tienes un asistente médico súper inteligente (una Inteligencia Artificial) que puede leer documentos médicos complejos y extraer información importante, como nombres de medicamentos, efectos secundarios o diagnósticos de rayos X.

El problema es que este asistente a veces se cree demasiado listo (dice que está 100% seguro cuando está equivocado) o, al contrario, es demasiado tímido (dice que no está seguro cuando en realidad tiene la respuesta correcta). Si confiamos ciegamente en él en un hospital, podríamos cometer errores graves sin darnos cuenta.

Este artículo presenta una solución llamada "Predicción Conformal", que funciona como un filtro de seguridad inteligente para este asistente. Aquí te explico cómo funciona con analogías sencillas:

1. El Problema: El Asistente "Confundido"

Imagina que el asistente es un estudiante que hace un examen.

• A veces, cuando la pregunta es fácil (como leer una etiqueta de medicina muy estructurada), el estudiante responde correctamente pero dice: "No estoy muy seguro, quizás me equivoqué". Esto es inseguridad.
• Otras veces, cuando la pregunta es difícil y confusa (como un informe de rayos X escrito a mano por un médico con jerga), el estudiante responde mal pero grita: "¡Estoy 100% seguro!". Esto es exceso de confianza.

En medicina, el exceso de confianza es peligroso porque el error pasa desapercibido.

2. La Solución: El Filtro de Seguridad (Predicción Conformal)

En lugar de confiar en lo que el estudiante dice que sabe, los autores crearon un juez externo que revisa las respuestas antes de dejarlas pasar.

Este sistema no solo mira si la respuesta es correcta, sino que ajusta el nivel de exigencia según el tipo de documento:

• Escenario A: Etiquetas de Medicamentos (FDA)

  • La analogía: Imagina que lees un manual de instrucciones de un electrodoméstico. Todo está en negrita, con listas y números. Es fácil de entender.
  • Lo que pasa: El asistente es muy cuidadoso y a veces duda de respuestas que son obvias.
  • El filtro: El sistema dice: "Bueno, como el asistente es muy tímido aquí, podemos ser más relajados y aceptar casi todo lo que diga, porque sus dudas son exageradas".
  • Resultado: Se aceptan casi todas las respuestas, pero se filtran las pocas secciones donde el asistente realmente se confunde (como la sección de "uso pediátrico", donde a veces se vuelve demasiado seguro y equivocado).

• Escenario B: Informes de Rayos X (Radiología)

  • La analogía: Imagina que lees un mensaje de texto de un médico amigo que usa abreviaturas, jerga y frases como "no se puede descartar". Es un caos de información.
  • Lo que pasa: El asistente se vuelve muy arrogante. Dice que está seguro de cosas que son ambiguas.
  • El filtro: El sistema dice: "¡Alto! Aquí el asistente es muy confiado pero a menudo se equivoca. Debemos ser muy estrictos. Solo aceptaremos las respuestas si el asistente está absolutamente brillante en su certeza".
  • Resultado: El sistema rechaza (o envía a revisión humana) la mitad de las respuestas del asistente, porque su "seguridad" no es fiable en este terreno.

3. El Hallazgo Sorprendente: "El Efecto Espejo"

Lo más interesante del estudio es que descubrieron que la confianza del asistente no es una característica fija.

• En documentos estructurados (etiquetas), es tímido.
• En documentos libres (informes), es arrogante.

Es como si tuvieras un amigo que es muy serio y dubitativo cuando habla de matemáticas, pero se vuelve un experto arrogante cuando habla de fútbol. Si usas el mismo criterio para juzgar sus respuestas en ambos temas, cometerás errores. Necesitas un criterio diferente para cada contexto.

4. ¿Por qué es importante esto?

Este sistema garantiza que, si aceptamos una respuesta del asistente, tenemos una promesa matemática de que la probabilidad de que esté mal es muy baja (por ejemplo, menos del 5% o del 10%).

• Sin este filtro: El asistente podría decir "El paciente tiene alergia a la penicilina" con un 99% de confianza, y estar equivocado.
• Con este filtro: El sistema revisa esa confianza. Si nota que en ese tipo de informe el asistente suele alucinar, el sistema dirá: "No acepto esta respuesta, llévala a un médico humano para que la verifique".

En resumen

Los autores crearon un semáforo inteligente para la Inteligencia Artificial en medicina.

• Si el asistente es tímido (en etiquetas de medicinas), el semáforo se pone en verde (acepta más).
• Si el asistente es arrogante (en informes de rayos X), el semáforo se pone en rojo (rechaza más).

El objetivo final es que, antes de que una IA ayude a un médico a tomar una decisión, este filtro asegure que no se estén cometiendo errores silenciosos, adaptándose a la "personalidad" del documento que se está leyendo.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Conformal Prediction for Risk-Controlled Medical Entity Extraction Across Clinical Domains" (Predicción Conformal para la Extracción de Entidades Médicas Controlada por Riesgo a través de Dominios Clínicos), traducido y estructurado en español.

---

Resumen Técnico: Predicción Conformal para Extracción de Entidades Médicas

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) han demostrado un alto rendimiento en la extracción de entidades estructuradas a partir de texto médico no estructurado (como registros de salud electrónicos, etiquetas de fármacos y informes de radiología). Sin embargo, su despliegue en entornos clínicos enfrenta un obstáculo crítico: la mala calibración de sus puntuaciones de confianza.

• El riesgo: Los LLMs a menudo asignan probabilidades de softmax mal calibradas, siendo sistemáticamente sobreconfidentes (asignando alta probabilidad a predicciones incorrectas) o subconfidentes.
• La consecuencia: Un modelo que confía erróneamente en una extracción incorrecta puede propagar errores silenciosos en las cadenas de decisión clínica.
• Limitaciones actuales: Las técnicas de calibración post-hoc (como el escalado de temperatura) requieren datos de validación retenidos y no ofrecen garantías formales de cobertura. Además, la calidad de la calibración varía drásticamente según la tarea, el dominio y el tipo de entidad, lo que impide establecer un umbral de fiabilidad único.

2. Metodología

Los autores proponen un marco de trabajo basado en Predicción Conformal (CP) controlada por riesgo, específicamente utilizando conjuntos de predicción que controlan la Tasa de Falsos Descubrimientos (FDR).

Enfoque General:
En lugar de depender de probabilidades bien calibradas, el marco adapta el umbral de aceptación basándose en la distribución empírica de las puntuaciones, proporcionando garantías de FDR en muestras finitas bajo la suposición de intercambiabilidad.

Paso a Paso del Pipeline:

1. Extracción con Confianza de Tokens:
   • Se utilizan dos modelos: GPT-4.1 y Llama-4-Maverick.
   • Se extraen entidades junto con las log-probabilidades por token.
   • Se calcula una confianza a nivel de fragmento (span) utilizando la media geométrica de las probabilidades de los tokens constituyentes, ya que un solo token de baja probabilidad suele indicar un error de extracción.
2. Verificación (Ground Truth):
   • Etiquetas de la FDA (Estructuradas): Se extraen 128,906 entidades de 1,000 etiquetas. La verificación se realiza mediante un enfoque "LLM como juez" (GPT-5-mini) utilizando el marco VeriFact, asignando una puntuación de hecho (0-3). Solo la puntuación 3 cuenta como correcta.
   • Informes de Radiología (Texto Libre): Se extraen entidades y relaciones de 100 informes MIMIC-CXR siguiendo el esquema RadGraph. Se evalúa contra anotaciones de oro de médicos (coincidencia exacta de texto y etiqueta).
3. Puntuación de No Conformidad:
   • Se transforma la confianza del fragmento ($\hat{p}_e$) en una puntuación de no conformidad ($s_e$) mediante la función logit: $s_e = \text{logit}(\hat{p}_e)$. Esto dispersa la región de alta confianza donde se agrupan la mayoría de las entidades.
4. Calibración Conformal Controlada por FDR:
   • Se divide el conjunto de datos en calibración (50%) y prueba (50%).
   • Se selecciona un umbral $\tau$ tal que el FDR empírico en el conjunto de calibración no exceda un nivel de riesgo $\alpha$ (ej. 0.05 o 0.10).
   • Las entidades con puntuación $s_e \ge \tau$ se aceptan; las demás se rechazan para revisión humana. Esto garantiza que la proporción esperada de extracciones aceptadas pero incorrectas esté acotada por $\alpha$.

3. Contribuciones Clave

1. Marco de Garantía de FDR: Un sistema de predicción conformal que proporciona garantías de FDR en muestras finitas para la extracción de entidades médicas en dominios heterogéneos.
2. Hallazgo de Reversión de Calibración: Descubrimiento empírico de que la dirección de la mala calibración de los LLMs se invierte según el dominio:
   • Subconfianza en etiquetas de fármacos estructuradas (FDA).
   • Sobreconfianza en informes de radiología de texto libre.
3. Análisis de Barrido (Sweep Analysis): Un análisis a través de diferentes valores de $\alpha$ que revela transiciones abruptas en el comportamiento de aceptación, exponiendo la estructura de error base de cada dominio.
4. Dependencia de la Discriminación de Confianza: Demostración de que los umbrales que controlan el FDR dependen no solo de la precisión de extracción, sino de la capacidad del modelo para discriminar entre extracciones correctas e incorrectas mediante sus puntuaciones de confianza.

4. Resultados Principales

Dominio A: Etiquetas de Fármacos de la FDA (Estructuradas)

• Comportamiento: El modelo GPT-4.1 es sistemáticamente subconfidente en la mayoría de las secciones (la curva de calibración está por encima de la diagonal).
• FDR Global: La tasa de error base global es baja (~2.3%), por lo que un umbral $\alpha = 0.05$ acepta casi todas las extracciones (rechazo 0%).
• Heterogeneidad Oculta: El análisis por sección revela que secciones con mayor error base (como Interacciones Farmacéuticas o Contraindicaciones) requieren rechazar entre el 41% y el 60% de las extracciones para cumplir con el FDR. La sección "Uso Pediátrico" es una excepción, mostrando sobreconfianza y requiriendo un rechazo del 100% (ninguna extracción es segura bajo ese umbral).

Dominio B: Informes de Radiología (RadGraph - Texto Libre)

• Comportamiento: Ambos modelos (GPT-4.1 y Llama-4-Maverick) son sobreconfidentes (curvas por debajo de la diagonal), asignando probabilidades cercanas a 1 a extracciones incorrectas.
• FDR Global: La tasa de error base es alta (15-20%).
  • Para $\alpha = 0.05$, ambos modelos deben rechazar el 100% de las extracciones (es imposible garantizar un error <5%).
  • Para $\alpha = 0.10$, se observa una divergencia crítica:
    • Llama-4-Maverick: Rechaza solo el 19.6% de las extracciones (mejor calibración).
    • GPT-4.1: Rechaza el 59.3% de las extracciones.
• Categorías Específicas: Ambas categorías de "observaciones inciertas" (OBS-U) son rechazadas al 100% por ambos modelos, confirmando que el lenguaje de duda en radiología es intrínsecamente difícil de extraer con fiabilidad.

Comparación Inter-modelo:
A pesar de tener puntuaciones F1 de extracción similares, Llama-4-Maverick requiere mucho menos rechazo que GPT-4.1 en el dominio de radiología porque sus puntuaciones de confianza discriminan mejor entre lo correcto y lo incorrecto.

5. Significado y Conclusión

El estudio demuestra que la calibración no es una propiedad global del modelo, sino que depende intrínsecamente de la estructura del documento, la categoría de extracción y la arquitectura del modelo.

• Implicación Clínica: No existe una estrategia de calibración única que funcione para todos los tipos de documentos médicos. Un enfoque de "talla única" (global threshold) oculta heterogeneidades peligrosas.
• Valor de la Predicción Conformal: Este enfoque permite un despliegue seguro al proporcionar límites de fiabilidad probables (garantías de FDR) y adaptar automáticamente la conservadurismo del sistema según la dificultad del dominio y la calidad de la calibración del modelo.
• Recomendación: Se aboga por la implementación de calibración conformal específica por dominio para garantizar la seguridad en la extracción de entidades médicas asistida por IA.

Limitaciones y Trabajo Futuro:
El marco actual requiere acceso a log-probabilidades de tokens (no disponible en todos los modelos de vanguardia) y asume intercambiabilidad dentro del dominio. Futuras líneas de trabajo incluyen extender estas garantías a modelos de caja negra, comparar con técnicas de calibración estándar y validar el impacto en flujos de trabajo clínicos reales.