Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

Resumen Técnico: ¿Posible o Definitivo? Un punto de referencia para evaluar la preservación de la incertididad diagnóstica en textos clínicos

Planteamiento del problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) se despliegan cada vez más en tareas de texto clínico como la síntesis de resúmenes y la revisión de informes, su capacidad para preservar correctamente la incertidumbre diagnóstica ha sido poco explorada. En la práctica clínica, las expresiones de incertidumbre (por ejemplo, "posible neumonía" frente a "neumonía") no son meramente un lenguaje cauteloso; comunican la fuerza de la evidencia, indican diagnósticos alternativos y guían las decisiones relativas a pruebas de seguimiento y tratamiento. Las métricas de evaluación actuales para los LLMs clínicos se centran principalmente en la fluidez, la coherencia y la consistencia fáctica, fallando a menudo al detectar cuándo los modelos alteran el grado de incertidumbre. Este artículo postula que alterar estas expresiones puede cambiar por completo el significado clínico, lo que potencialmente conduce a decisiones posteriores perjudiciales, aunque este modo de fallo específico no es capturado por los protocolos de evaluación estándar.

Metodología
El estudio aborda esta brecha mediante un enfoque de dos pasos: la construcción de un punto de referencia especializado y una evaluación de modo dual de tres LLMs.

1. Construcción del punto de referencia (Benchmark):

   • Fuente de datos: Los autores construyeron un conjunto de datos de 1.200 documentos clínicos derivados de MIMIC-IV-Note (resúmenes de alta e informes de radiología) y TCGA-Reports (informes de patología).
   • Esquema de anotación: Se definió un esquema de incertidumbre de cinco niveles, que va desde UL1 (Ausente cierto) hasta UL5 (No asentado), con niveles intermedios para Probable presente, Posible presente e Indeterminado/no resuelto.
   • Granularidad: A diferencia de la etiquetación a nivel de documento, el punto de referencia utiliza anotaciones a nivel de proposición. Cada documento se representa como un conjunto de 9.184 pares de "clave-objetivo" (cue-target), donde una "clave" es la expresión de incertidumbre (por ejemplo, "no se puede excluir") y el "objetivo" es el concepto clínico (por ejemplo, "embolia pulmonar").
   • Pipeline de extracción: Se empleó un pipeline basado en reglas (utilizando regex y herramientas de NER médico como medSpaCy y QuickUMLS) para extraer estos pares para evitar la evaluación circular. La validación humana en un subconjunto de 90 documentos arrojó una precisión promedio del 82% y un coeficiente $\kappa$ de Cohen de 0,61.

2. Marco de evaluación:
   El estudio evalúa tres LLMs (gpt-oss-120b, gemini-2.5-flash y claude-haiku-4.5) utilizando dos preguntas de investigación (RQ) complementarias:

   • RQ1 (Evaluación indirecta): Evalúa la preservación de la incertidumbre durante tareas de transformación de texto descendentes: Síntesis para traspaso clínico y Revisión para el paciente. Estas se probaron bajo dos condiciones de prompt: Línea base (instrucción estándar) y Protegida (instrucciones explícitas para preservar la incertidumbre y evitar añadir interpretaciones).
   • RQ2 (Evaluación directa): Prueba la capacidad explícita del modelo para identificar y clasificar claves de incertidumbre. Esto implicó una configuración de señal única (clasificar un par) y una configuración de múltiples señales (clasificar y clasificar en orden los grupos de 2 a 5 pares simultáneamente).

Contribuciones clave

• Creación de un punto de referencia: El artículo introduce un punto de referencia reutilizable de 1.200 documentos y 9.184 pares de clave-objetivo anotados que cubren seis tipos de texto clínico y cinco niveles distintos de incertidumbre.
• Evaluación empírica: Proporciona una evaluación sistemática de tres LLMs de última generación, demostrando que las métricas de fluidez estándar no logran capturar la distorsión de la incertidumbre.
• Identificación de modos de fallo: El estudio identifica un sesgo sistemático en los LLMs hacia la "asertividad de la certeza", donde el lenguaje matizado se colapsa en afirmaciones definitivas, un patrón invisible para la evaluación a nivel de documento.

Resultados

• Evaluación indirecta (RQ1):
  • Preservación deficiente: Bajo condiciones de línea base, los LLMs preservaron el nivel de incertidumbre original menos del 50% de las veces (la Tasa de Retención de Incertidumbre [URR] osciló entre el 33,64% y el 45,55%).
  • Modo de fallo dominante: El error principal fue la Asertividad de la Certeza (CAR). Aproximadamente el 40% de los objetivos retenidos fueron reescritos como aserciones definitivas (por ejemplo, cambiando "posible" por una declaración definitiva), mientras que los cambios parciales y el exceso de matización representaron menos del 8% de los errores.
  • Varianza de la tarea: Las tareas de revisión para el paciente resultaron en una eliminación de contenido más agresiva y una menor preservación de la incertidumbre en comparación con la síntesis para clínicos.
  • Eficacia del prompt: Aunque el prompting "Protegido" mejoró la URR entre 7 y 19 puntos porcentuales y redujo la asertividad de la certeza, no eliminó la distorsión; la mejor configuración aún logró solo un ~62,5% de URR.
• Evaluación directa (RQ2):
  • Clasificación vs. Clasificación por orden (Ranking): El modelo (gemini-2.5-flash) logró una precisión de clasificación moderada (78,4% ULA) en configuraciones de señal única. Sin embargo, la precisión exacta de clasificación por orden degradó significativamente a medida que aumentaba el número de señales (cayendo del 86% en N=2 al 48% en N=5).
  • Problemas de granularidad: El modelo funcionó bien en distinciones categóricas (por ejemplo, ausencia cierta), pero tuvo dificultades con las distinciones finas entre niveles adyacentes, particularmente entre "Probable presente" y "Posible presente".

Significancia y Reivindicaciones
El artículo sostiene que la preservación de la incertidumbre debe tratarse como una dimensión de evaluación distinta de la fluidez y la consistencia fáctica. Los autores argumentan que el modo de fallo dominante no es ruido aleatorio, sino un sesgo sistemático hacia la certeza, lo que plantea un riesgo significativo en los flujos de trabajo clínicos donde los diagnósticos tentativos requieren gestiones diferentes a los confirmados.

El estudio concluye que, si bien el prompting explícito ofrece una mitigación parcial, es insuficiente para un despliegue seguro. Los hallazgos resaltan la necesidad urgente de intervenciones más sofisticadas, como el ajuste fino (fine-tuning) sobre puntos de referencia conscientes de la incertidumbre o la optimización de preferencias, para asegurar que los LLMs no distorsionen inadvertidamente el significado clínico al colapsar la incertidumbre en una falsa certeza. Los autores enfatizan que su trabajo revela un modo de fallo no capturado por las métricas estándar, lo que requiere un cambio en la forma en que se evalúan y despliegan los sistemas de PLN clínico.