Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

Resumen Técnico: Grafos de Razonamiento Clínico: La evaluación estructurada del razonamiento diagnóstico de los LLM revela competencia sin consistencia

Planteamiento del problema
Aunque los modelos de lenguaje de gran tamaño (LLM) modernos alcanzan una precisión diagnóstica del 60–70% en evaluaciones clínicas complejas, las métricas de precisión por sí solas no logran distinguir entre un razonamiento estable y clínicamente fundamentado y un emparejamiento de patrones superficial. Los trazos de razonamiento clínico (explicaciones en texto libre) son actualmente no estructurados, lo que dificulta su auditoría, comparación entre casos o evaluación más allá de la corrección de la respuesta final. La pregunta central abordada es si los LLM utilizan "esquemas diagnósticos" —representaciones mentales reutilizables que vinculan presentaciones clínicas con hipótesis y características discriminatorias, de forma similar a los médicos expertos— o si siguen rutas de razonamiento no relacionadas que simplemente convergen en respuestas finales similares.

Metodología
El estudio introduce los Grafos de Razonamiento Clínico, una representación estructurada del razonamiento diagnóstico, y aplica un riguroso flujo de evaluación a 750 trazos diagnósticos generados por cinco LLM contemporáneos (GPT-5.4, GPT-5.2, Claude Opus 4.5, Claude Sonnet 4.5 y Gemini 3 Pro) a través de 50 casos de la Conferencia de Casos Clínico-Patológicos (CPC) del New England Journal of Medicine (NEJM).

1. Ontología y estructura del grafo: Una ontología fundamentada en el dominio define el esquema del grafo con 5 tipos de nodos (características clínicas, diagnósticos, calificadores semánticos, características discriminatorias, referencias de evidencia) y 7 tipos de aristas (soporte evidencial, evidencia en contra, discriminación, reflexión disparada y actualizaciones post-reflexión: promovido, demotado, sin cambios).
2. Pipeline de extracción: Un pipeline automatizado convierte los trazos de texto libre no estructurados en grafos dirigidos validados. La extracción alcanzó una tasa de éxito del 100% (750/750 trazos), con una media de 47.0 nodos y 58.7 aristas por grafo. La fidelidad fue verificada mediante revisión médica (precisión de aristas del 98.4%, recall del 94.8%) y controles de robustez de los extractores cruzados.
3. Diseño experimental: Los casos se agruparon en 20 grupos clínicos basados en sistemas orgánicos y embeddings semánticos. Se probaron tres condiciones de prompting: base, adversarial (argumentar en contra del diagnóstico principal) y reflexión estructurada (representación de problemas por fases y pruebas de estrés).
4. Métricas de similitud: Se utilizó una métrica de similitud compuesta de 5 componentes para comparar los grafos:
   • Solapamiento de características (Jaccard)
   • Solapamiento de diagnósticos (Jaccard)
   • Similitud de motivos (distribución de tripletas de tipo de arista)
   • Solapamiento de calificadores (Jaccard)
   • Profundidad de razonamiento (ratio de aristas discriminatorias)
   • Hipótesis: Los grafos de casos clínicamente similares (dentro del cluster) deberían exhibir una mayor similitud que los de casos disímiles (entre clusters), indicando la reutilización de esquemas.

Resultados clave

1. Ausencia de consistencia a escala de esquema: En 15 comparaciones de modelo-condición, las similitudes compuestas dentro del cluster y entre clusters fueron estadísticamente indistinguibles (agrupadas: 0.475 vs. 0.472). Ninguna comparación sobrevivió a la corrección de Bonferroni. La similitud observada dentro del cluster bajo reflexión estructurada (0.456) no superó el umbral de ruido (0.466), lo que sugiere que la similitud entre casos está impulsada por la forma compartida del grafo más que por el contenido clínico compartido.
2. Disociación entre precisión y estructura: La similitud de los grafos fue casi idéntica para pares de modelos que fueron tanto correctos (0.488) como incorrectos (0.484). Esto indica que la precisión diagnóstica y la estructura de razonamiento capturan dimensiones ortogonales del comportamiento del modelo; una alta precisión no implica una estructura de razonamiento subyacente consistente.
3. Análisis de componentes: Se encontró que la métrica compuesta estaba dominada por la estructura (los componentes de motivo y profundidad representaron ~89% del valor). Al aislar el "canal de contenido" (solapamiento de características, diagnósticos y calificadores), la similitud dentro del cluster fue marginalmente superior a la de entre clusters (0.0021 vs. 0.0006). Aunque es estadísticamente detectable, esta señal se sitúa en el umbral de ruido y representa solo ~0.5% del techo de test-retest del canal de contenido, confirmando que no es una señal a escala de esquema.
4. Efecto de la reflexión estructurada: El prompting de reflexión estructurada aumentó la cantidad de estructura discriminatoria dentro de los trazos individuales (más aristas de razonamiento de Fase 2), pero no logró aumentar la consistencia entre casos. Diversificó las estructuras de los grafos en lugar de estandarizarlas.

Significancia y Reivindicaciones
El artículo sostiene que se aporta evidencia de que la competencia diagnóstica y la consistencia de la estructura de razonamiento son disociables en los LLM actuales.

• Implicaciones de evaluación: La precisión de la respuesta final es insuficiente para evaluar la IA clínica. Los modelos pueden alcanzar diagnósticos correctos sin emplear plantillas de razonamiento reutilizables y expertas. El estudio aboga por una "evaluación a nivel de proceso" que evalúe cómo se generan y revisan las conclusiones, no solo las conclusiones en sí mismas.
• Confianza y fiabilidad: La aparente coherencia de los trazos de razonamiento de los LLM no debe equipararse con la fiabilidad. La similitud en los grafos de razonamiento entre casos está gobernada a menudo por la forma del grafo y las convenciones de puntuación, más que por el contenido clínico. Por lo tanto, "el razonamiento parece consistente" no es, por sí solo, evidencia de un razonamiento clínico reutilizable.
• Contribución metodológica: Los autores liberan la ontología, el pipeline de extracción, el protocolo de validación y los grafos de razonamiento extraídos como recursos para permitir la evaluación estructurada del razonamiento clínico de los LLM, convirtiendo artefactos opacos de texto libre en objetos inspeccionables y comparables.

Los autores mantienen la modestia en sus afirmaciones, enmarcando los resultados como evidencia contra una consistencia de esquema diagnóstico detectable bajo la métrica específica utilizada, en lugar de una prueba de que no existe una estructura organizadora latente. Señalan que establecer esto último requeriría representaciones de mayor fiabilidad y bases de consenso de clínicos humanos.