Resumen Técnico: ClinicalBench y EpiKG

1. Declaración del Problema

Las actuales pruebas de razonamiento clínico (por ejemplo, HealthBench Professional, MedQA) evalúan los Modelos de Lenguaje Grande (LLM) en "vignettes" limpias donde los hechos se proporcionan de antemano. Sin embargo, el uso real de la Historia Clínica Electrónica (EHR) requiere un paso previo: la fidelidad de recuperación de registros longitudinales desordenados.

En las EHR reales, una respuesta correcta depende de navegar:

• Negación: "El paciente niega dolor torácico".
• Temporalidad: Distinguir entre condiciones actuales, condiciones históricas resueltas y futuros hipotéticos.
• Atribución al Experimentador: Diferenciar entre la condición del paciente y el historial de un familiar (por ejemplo, "la hermana tuvo un IAM").

Los sistemas existentes de Generación Aumentada por Recuperación (RAG) y Grafos de Conocimiento (KG) a menudo aplanan este contexto. Descartan los metadatos de afirmación (por ejemplo, tratar "descartar diabetes" igual que "tiene diabetes") y no enrutan la recuperación según la intención de la pregunta. Esto crea una brecha de propagación epistémica, donde la pérdida del estado de afirmación durante la extracción y el almacenamiento conduce a un razonamiento incorrecto, incluso si el modelo subyacente es capaz.

2. Metodología

2.1 El Sistema EpiKG

Los autores proponen EpiKG, un sistema KG-RAG clínico a nivel de paciente diseñado para preservar los metadatos epistémicos de extremo a extremo. Implementa tres mecanismos centrales:

1. Esquema de Afirmación Epistémica: Una taxonomía de 7 valores ($\alpha \in \{Pres., Abs., Poss., Cond., Hypo., Fam.Hx., Hist.\}$) extiende la taxonomía i2b2 separando el Historial del Historial Familiar. Esta etiqueta se propaga a través de la extracción, la mapeo a OMOP y la materialización del KG.
2. Almacenamiento Bitemporal + Afirmado por NLP: Las aristas almacenan el tiempo de validez, el tiempo de transacción (tradición de Snodgrass) y una etiqueta de temporalidad derivada de NLP ($\tau_a \in \{Pasado, Actual, Futuro\}$).
3. Enrutamiento Consciente de la Intención: Un clasificador mapea las preguntas a estrategias específicas de recorrido del grafo:
   • Cambio: Diferenciación de conjuntos entre admisiones.
   • Estado_Actual: Filtrado de aristas con $\tau_a = Actual$ o validez abierta.
   • Histórico: Selección de aristas pasadas e inferencia del estado "resuelto" para condiciones presentes en admisiones anteriores pero ausentes en la última.
   • Predeterminado: Recorrido BFS bidireccional.

2.2 ClinicalBench: La Prueba de Evaluación

Para poner a prueba la recuperación consciente de afirmaciones, los autores introducen ClinicalBench:

• Cohorte: 43 pacientes de MIMIC-IV (muestra de conveniencia; 32 con dos admisiones, 11 con una).
• Alcance: 400 preguntas en 9 categorías sensibles a afirmaciones (negación, condicional, incertidumbre, historial_familiar, secuencia, estado_actual, duración, histórico, cambio).
• Diseño: Una prueba de estrés in-distribution donde las preguntas se redactan a partir de las mismas historias clínicas desidentificadas utilizadas para la recuperación, centrándose en la fidelidad de recuperación más que en la generalización entre sitios.
• Condiciones de Ablación:
  • C1: LLM solo.
  • C2/C2b: RAG estándar (TF-IDF / Denso/Contriever).
  • C3: KG-RAG sin afirmaciones.
  • C4: KG-RAG con afirmaciones pero sin enrutamiento de intención.
  • C4g: KG-RAG consciente de la intención (sistema completo).
  • C6: Contexto Largo (todas las notas concatenadas).
  • C7: KG Determinista (sin LLM).

2.3 Protocolo de Evaluación

• Modelos: Evaluados en seis LLM (Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B).
• Métricas:
  • Endpoint Principal: Prueba exacta de McNemar emparejada con exclusión del autor sobre $n=50$ ítems adjudicados por dos médicos externos (Hird y Nadeem) con calificaciones estrictas unánimes.
  • Endpoints de Sensibilidad: Evaluador determinista por palabras clave ($n=362$, cambio-excluido), votación mayoritaria de tres médicos ($n=100$) y clasificación de intención oráculo.
• Integridad de los Datos: Los autores reconocen una tasa de defectos del 56% en las respuestas de referencia v2 generadas automáticamente (debido a errores del clasificador NLP) y reportan resultados basados en un conjunto parcialmente corregido, con transparencia sobre las limitaciones del estándar de oro.

3. Resultados Clave

3.1 Endpoint Principal (Ciego para el Autor)

La prueba exacta de McNemar emparejada con exclusión del autor sobre la adjudicación de médicos externos ($n=50$) mostró:

• C4g vs. C1: $\Delta = +22.0$ puntos porcentuales (pp).
• Intervalo de Confianza: IC de Newcombe del 95% $[+5.1, +31.5]$.
• Significancia: $p = 0.0192$.
  Esto confirma que el KG-RAG consciente de la intención supera significativamente a las líneas base de LLM solo cuando es evaluado por médicos independientes.

3.2 Novedad Arquitectónica y Ablación

• Recuperación vs. Enrutamiento: La recuperación sola (C2b, RAG Denso) proporcionó una gran mejora sobre C1 (+29.0 pp). Sin embargo, añadir afirmaciones sin enrutamiento (C4) en realidad deterioró el rendimiento en comparación con C3 (-3.8 pp) en categorías temporales.
• El Efecto del Enrutamiento: El enrutamiento consciente de la intención (C4g) recuperó y extendió las ganancias.
  • C2b $\to$ C4g (palabras clave): +8.84 pp ($p = 1.79 \times 10^{-3}$).
  • C2b $\to$ C4g (oráculo): +12.43 pp.
• Interacciones de Categoría: Las afirmaciones por sí solas ayudaron a las categorías sensibles a afirmaciones (por ejemplo, Negación +22.7 pp) pero perjudicaron las temporales (por ejemplo, Histórico -30.0 pp). El enrutamiento invirtió estos déficits.

3.3 Convergencia Transversal de Modelos

Los seis modelos se beneficiaron de la arquitectura C4g. Sin embargo, la magnitud de la mejora se correlacionó inversamente con la fuerza de la línea base del modelo ($\beta = -1.123, r = -0.921, p = 0.009$). Los autores interpretan esto como regresión a la media en lugar de evidencia de que la recuperación estructurada sustituye al recuento de parámetros del modelo.

3.4 SliceBench (Estudio de Complejidad)

Un pequeño estudio de caso (6 pacientes, 144 preguntas) sugirió un efecto dependiente de la complejidad donde las ganancias de KG-RAG fueron mayores para pacientes con más encuentros (Nivel C: +5.0 pp vs. Nivel A: +0.6 pp), aunque esto no alcanzó significancia estadística agregada.

4. Contribuciones y Significancia

El artículo hace tres contribuciones principales:

1. ClinicalBench: Una prueba de referencia novedosa y sensible a afirmaciones diseñada para poner a prueba la fidelidad de recuperación en EHR reales, exponiendo interacciones condicionales por categoría que las puntuaciones agregadas ocultan.
2. EpiKG y la Brecha de Propagación Epistémica: Una formalización de la pérdida de metadatos de afirmación en las tuberías de NLP clínico y una implementación de sistema que preserva los metadatos de afirmación y temporalidad como propiedades de primera clase a través de la recuperación.
3. Validación Arquitectónica: Evidencia empírica de que el enrutamiento consciente de la intención es el componente crítico para realizar los beneficios de la recuperación estructurada. El artículo demuestra que llevar etiquetas de afirmación sin enrutamiento puede deteriorar el rendimiento, mientras que el enrutamiento por intención de la pregunta mejora significativamente la QA clínica entre admisiones.

Significancia:
Los autores argumentan que, mientras las pruebas de razonamiento miden el "último kilómetro" del razonamiento clínico en entradas limpias, el "primer kilómetro" es leer al paciente correcto de registros desordenados. Este trabajo postula que la representación es el prerequisito submedido para la IA clínica. Los hallazgos sugieren que, para la QA clínica, preservar los metadatos epistémicos (negación, temporalidad, atribución) y alinear las estrategias de recuperación con la intención de la pregunta son más impactantes que simplemente aumentar el tamaño del modelo o usar ventanas de contexto largo.

Limitaciones y Alcance:
El artículo es modesto en sus afirmaciones:

• Es una prueba de estrés de un solo sitio, in-distribution, no una validación de fenotipos multi-sitio.
• Las respuestas de referencia tienen defectos conocidos (tasa de error del 56% en v2), y los autores declaran explícitamente que la prueba de referencia es una "sonda" en lugar de una medida definitiva de la preparación para el despliegue clínico.
• La circularidad del autor (diseñador, constructor y evaluador interno) se mitiga mediante la adjudicación de médicos externos y la replicación transversal de modelos, pero sigue siendo una limitación estructural.
• El trabajo no reclama preparación para el despliegue clínico; identifica la gobernanza, la seguridad y la validación multi-sitio como prerequisitos para futuros despliegues.