Resumen Técnico: La profundidad del razonamiento composicional predice el fallo de la IA clínica

Declaración del Problema

Aunque los modelos de lenguaje de gran tamaño (LLM) demuestran un rendimiento creciente en exámenes médicos estandarizados, su aplicación a la resolución de preguntas (QA) en registros de salud electrónicos (EHR) del mundo real se caracteriza por fallos inconsistentes y potencialmente peligrosos. Una limitación crítica de los marcos de evaluación actuales es la dependencia de métricas de precisión agregadas, las cuales ocultan la naturaleza estructural de los fallos de los modelos. Específicamente, los investigadores y clínicos carecen de una comprensión fundamentada de cuándo y por qué los modelos fallan en tareas de EHR.

Este artículo postula que la profundidad del razonamiento composicional —definida como el número de pasos inferenciales distintos (saltos o hops) requeridos para sintetizar una respuesta a partir de un EHR— es un predictor sistemático de fallo. Esta hipótesis se fundamenta en un cuerpo convergente de literatura teórica sobre los límites de la composicionalidad de los transformers (Hahn, 2020; Merrill et al., 2022; Sanford et al., 2023; Dziri et al., 2023; Peng et al., 2024), que sugiere que los transformers de arquitectura fija tienen dificultades para representar funciones composicionales complejas en una sola pasada hacia adelante (forward pass). El estudio investiga si la precisión se degrada monótonamente con el recuento de saltos y si los mecanismos de razonamiento en tiempo de prueba (por ejemplo, Cadena de Pensamiento o Chain-of-Thought) pueden mitigar esta degradación.

Metodología

Conjunto de Datos y Taxonomía

El estudio utiliza MedAlign, un conjunto de datos de instrucciones generadas por clínicos emparejadas con registros XML de EHR y respuestas de referencia de clínicos.

• Muestra: Se evaluaron y anotaron 313 pares de pregunta-respuesta de EHR únicos generados por clínicos (301 con respuestas completas del modelo).
• Taxonomía de Recuento de Saltos: Se aplicó una taxonomía preespecificada de cuatro niveles para anotar la profundidad de razonamiento requerida para cada pregunta:
  • Salto 1 (Hop 1): Recuperación directa de un único hecho nombrado.
  • Salto 2 (Hop 2): Composición de dos hechos, aplicación de umbrales o comparación temporal binaria.
  • Salto 3 (Hop 3): Cadenas de razonamiento de tres pasos que involucran búsqueda en dominios cruzados, aritmética temporal o aplicación de guías.
  • Salto 4 (Hop 4): Síntesis de múltiples componentes que requiere la integración de $\ge$4 fuentes o periodos de tiempo de EHR.
• Fiabilidad de la Anotación: Las anotaciones fueron realizadas por LLMs y validadas por tres médicos especialistas en medicina interna. El acuerdo de la mayoría de los clínicos con el anotador principal de LLM fue sustancial ($\kappa = 0.916$).

Diseño Experimental

El estudio evaluó tres modelos a través de dos proveedores (Anthropic, OpenAI) y dos generaciones de OpenAI:

1. Claude Sonnet 4-6 (Anthropic): Evaluado en dos condiciones:
   • Zero-Shot (ZS): Respuesta directa sin instrucciones explícitas de razonamiento.
   • Extended Thinking (ET): Habilitación de cadena de pensamiento interna con un presupuesto de 3,000 tokens.
2. GPT-4o (OpenAI): Evaluado en la condición Zero-Shot.
3. GPT-5.4-2026-03-05 (OpenAI): Evaluado en la condición Zero-Shot (modelo insignia en el momento de la evaluación).

Controles y Ablaciones:

• Auditoría de Suficiencia de Contexto: Se verificó que la truncación del EHR (limitada a 8,000 caracteres) no desfavoreciera diferencialmente a las preguntas de mayor número de saltos.
• Condiciones de Razonamiento: Las ablaciones adicionales incluyeron un prompt de CoT explícito de cuatro pasos estructurados y una condición de Extended Thinking con un presupuesto 5$\times$ mayor (16,000 tokens).
• Aumento de Recuperación (Retrieval Augmentation): Se probaron líneas base de RAG léxico (BM25) y semántico denso para determinar si la recuperación por sí sola podía resolver el cuello de botella del razonamiento.
• Validación del Juez: Las respuestas fueron puntuadas por un juez automatizado (GPT-4o-mini) validado contra una estricta adjudicación clínica ($\kappa = 0.957$). La validación entre proveedores se realizó utilizando Claude Haiku para descartar el sesgo de la familia de proveedores.

Resultados Clave

1. Declive Monótono de la Precisión (Predicción P1)

Los tres modelos evaluados exhibieron un declive monótono y estadísticamente significativo en la precisión a medida que aumentaba la profundidad composicional.

• Claude Sonnet (ZS): La precisión cayó del 30.6% (Salto 1) al 17.6% (Salto 4) ($p=0.011$). Razón de momios (OR) por salto: 0.72.
• GPT-4o (ZS): La precisión cayó del 37.8% al 14.7% ($p<0.001$). OR por salto: 0.58.
• GPT-5.4 (ZS): La precisión cayó del 37.8% al 23.5% ($p=0.027$). OR por salto: 0.80.
• Robustez: Esta tendencia persistió tras ajustar por tipo de pregunta, longitud del EHR y al utilizar una ventana de contexto 4$\times$ más grande (32,000 caracteres), confirmando que la degradación se debe a la dificultad del razonamiento y no a la disponibilidad de contexto.

2. Fracaso del Razonamiento en Tiempo de Prueba para Suavizar la Curva (Predicción P2)

Contrario a la hipótesis de que el razonamiento de Cadena de Pensamiento (CoT) suavizaría la curva de precisión versus profundidad, el pensamiento extendido no mitigó significativamente el declive.

• Extended Thinking (Claude): Mostró una pendiente similar al Zero-Shot (34.2% a 19.6%), sin un efecto de interacción significativo entre el recuento de saltos y la condición de razonamiento ($p=0.72$).
• CoT Explícito y Presupuestos Mayores: Ni un prompt estructurado de cuatro pasos ni un presupuesto de pensamiento 5$\times$ mayor (16,000 tokens) suavizaron significativamente la curva.
• Mecanismo: Aunque los modelos asignaron proporcionalmente más computación a las tareas más difíciles (los tokens de pensamiento escalaron con el recuento de saltos, $r=0.31$), este aumento de computación no se tradujo en una mayor precisión. De hecho, las respuestas correctas requirieron menos tokens de pensamiento que las incorrectas en niveles de salto equivalentes, lo que sugiere que el modelo tiene dificultades para aplicar la computación de manera efectiva a composiciones difíciles.

3. Cambios en el Tipo de Error

La naturaleza de los errores cambió sistemáticamente con la profundidad:

• Omisión vs. Alucinación: A medida que el recuento de saltos aumentaba, los modelos pasaron de la alucinación a la omisión. En el Salto 4, los errores de omisión dominaron (72.5% en ZS, 71.6% en ET), mientras que las tasas de alucinación disminuyeron.
• Implicación Clínica: La descomposición estructurada (CoT Explícito) redujo aún más las alucinaciones (0.3%) pero aumentó las omisiones (76.1%). Los autores señalan que este es un intercambio de seguridad favorable, ya que la omisión activa la escalada del clínico, mientras que las alucinaciones confiadas podrían no hacerlo.

4. Límites del Aumento de Recuperación

Ambas líneas base de recuperación, tanto léxica (BM25) como semántica densa (RAG), fallaron en suavizar significativamente la pendiente de precisión-salto. Aunque la recuperación mejoró la precisión absoluta en algunos casos, el declive monótono persistió, indicando que la integración de múltiples saltos sigue siendo un cuello de botella del razonamiento más allá de la simple recuperación de hechos.

Significancia y Reivindicaciones

El artículo establece el recuento de saltos como un predictor motivado por la teoría y transversal a las arquitecturas para el fallo de los LLM en la resolución de preguntas de EHR clínico. Los hallazgos sugieren que el "techo de razonamiento composicional" es una limitación cualitativa de las arquitecturas de transformers actuales que no se resuelve simplemente aumentando las ventanas de contexto, expandiendo los presupuestos de pensamiento o aplicando un aumento de recuperación estándar.

Contribuciones Principales:

1. Taxonomía: Una taxonomía de recuento de saltos preespecificada para estratificar las tareas de QA de EHR clínico.
2. Evidencia Empírica: Validación en múltiples arquitecturas (modelos de Anthropic y OpenAI) que demuestra que la precisión se degrada monótonamente con la profundidad del razonamiento.
3. Perspectiva Mecanicista: Evidencia de que el razonamiento en tiempo de prueba (CoT) no supera actualmente los límites composicionales de los transformers en este dominio, a pesar del mayor uso de tokens.
4. Marco de Seguridad: Una propuesta para utilizar la estratificación por recuento de saltos como una herramienta de estratificación de riesgos para el despliegue de IA clínica, yendo más allá de las métricas de precisión agregada para identificar tareas de alto riesgo donde los modelos son más propensos a fallar.

Los autores concluyen que, si bien las métricas de precisión agregada pueden sugerir un alto rendimiento, estas ocultan una vulnerabilidad sistemática en el razonamiento de múltiples saltos. Esto requiere un cambio en los marcos de evaluación para tener en cuenta la profundidad composicional, particularmente para aplicaciones clínicas donde la inferencia de múltiples pasos es crítica.