Linking Knowledge to Care: Knowledge Graph-Augmented Medical Follow-Up Question Generation

Resumen Técnico: KG-Followup

1. El Problema

El diagnóstico clínico es un proceso que consume mucho tiempo y requiere interacciones intensas entre pacientes y profesionales médicos. Una parte significativa de los errores diagnósticos se origina en la recopilación incompleta de información y en la historia clínica deficiente.

• Limitaciones actuales: Aunque los Grandes Modelos de Lenguaje (LLM) tienen el potencial de aliviar la carga de trabajo pre-diagnóstico, carecen de conocimiento de dominio profundo y específico, lo que les impide identificar brechas de información críticas entre síntomas diversos.
• Barrera: La generación manual de preguntas de seguimiento es ineficiente y limita la eficiencia diagnóstica. Los LLMs existentes a menudo fallan en generar preguntas relevantes y clínicamente fundamentadas sin ayuda externa.

2. Metodología: KG-Followup

Los autores proponen KG-Followup, un marco de trabajo que integra un Grafo de Conocimiento (KG) médico estructurado con un LLM que utiliza aprendizaje en contexto activo (Active In-Context Learning). El objetivo es generar preguntas de seguimiento relevantes y exhaustivas en una sola pasada.

El proceso se divide en los siguientes módulos:

• A. Formulación del Tarea: Dada una conversación paciente-médico ($C$), el sistema debe generar un conjunto de preguntas de seguimiento ($\hat{Q}$).
• B. Clarificación Preliminar: El LLM genera un conjunto inicial de preguntas basándose únicamente en su conocimiento interno para simular una consulta inicial.
• C. Preguntas Guiadas por EHR a través de KG (Síntomas):
  1. Se extraen entidades médicas clave de la conversación (actuando como una historia clínica electrónica simulada).
  2. Estas entidades se vinculan a nodos del Grafo de Conocimiento.
  3. Se realiza una búsqueda de subgrafos específicos y se intersectan para encontrar conceptos clínicos compartidos.
  4. Se seleccionan las entidades más relevantes (top-k) y se generan preguntas basadas en estos conceptos enriquecidos.
• D. Preguntas Guiadas por Diagnóstico Diferencial (DDX) a través de KG:
  1. El LLM realiza un diagnóstico diferencial para proponer posibles diagnósticos (peores y mejores casos).
  2. Se buscan rutas de razonamiento en el KG que conecten las entidades del paciente con los diagnósticos candidatos.
  3. Se seleccionan las rutas más relevantes según el contexto del paciente para generar preguntas que ayuden a descartar o confirmar diagnósticos específicos.
• E. Aprendizaje en Contexto Activo (Active ICL):
  • Se identifican "casos difíciles" (consultas donde el KG no puede ser recorrido fácilmente o faltan síntomas fuente).
  • Estos casos difíciles se utilizan como ejemplos de in-context learning (ICL) para guiar al LLM, mejorando su capacidad para manejar casos límite y cubrir un espectro más amplio de preguntas.
• F. Consolidación de Preguntas: Para reducir la redundancia, se utilizan embeddings médicos y clustering (K-means) para agrupar preguntas similares, seguido de un refinamiento por LLM para fusionar solapamientos y eliminar duplicados.

3. Contribuciones Clave

1. KG-Followup: Un marco innovador que utiliza grafos de conocimiento estructurados para guiar a los LLMs en la generación de preguntas de seguimiento clínicamente relevantes y exhaustivas, superando las limitaciones del conocimiento interno de los modelos.
2. ClinicalInquiryBench: La creación de un nuevo benchmark (punto de referencia) diseñado específicamente para evaluar la capacidad de los sistemas de IA para generar preguntas de seguimiento clínicamente apropiadas. Se deriva de 5,000 conversaciones clínicas anotadas por médicos (HealthBench), filtradas y reformuladas con pesos de importancia diagnóstica.
3. Evaluación Exhaustiva: Demostración de que la combinación de búsqueda en KG y Active ICL supera a los métodos actuales (SOTA) con un número controlado de preguntas, mejorando la eficiencia de la interacción médico-paciente.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos: ClinicalInquiryBench (nuevo) y FollowupBench. Se utilizaron modelos base como Claude Haiku y Claude Sonnet.

• Rendimiento General: KG-Followup superó a los métodos más avanzados (SOTA) en un 5% al 8% en métricas de recall (tasa de recuperación) en los benchmarks.
  • En ClinicalInquiryBench, alcanzó un recall del 70-75% (dependiendo del modelo base) con 20 preguntas.
  • En FollowupBench, alcanzó un recall del 77-82% con 40 preguntas.
• Impacto del ICL Activo: El uso de ejemplos de aprendizaje en contexto seleccionados activamente mediante el KG (casos difíciles) superó significativamente al ICL aleatorio, mejorando el rendimiento en un 3% adicional.
• Eficiencia: Aunque generar más preguntas mejora el rendimiento, KG-Followup logra resultados comparables a otros métodos que generan muchas más preguntas, pero con un número mucho menor (ej. 20-40 preguntas), lo que reduce la carga cognitiva para el clínico.
• Análisis de Ablación:
  • El módulo guiado por DDX (Diagnóstico Diferencial) aportó mayores ganancias que el guiado solo por EHR.
  • La consolidación mediante clustering mantuvo la calidad mientras reducía el conjunto de preguntas de ~51 a ~40.

5. Significado e Implicaciones

• Mejora en la Eficiencia Clínica: Al automatizar la generación de preguntas de seguimiento, el sistema reduce la carga de trabajo de los médicos, minimiza visitas repetidas y mejora la satisfacción del paciente al asegurar una recopilación de datos más completa.
• Reducción de Errores Diagnósticos: Al forzar al modelo a razonar sobre rutas estructuradas en un grafo de conocimiento médico, se mitiga el riesgo de alucinaciones y se asegura que se pregunten síntomas ocultos o críticos que un LLM puro podría omitir.
• Nueva Línea Base: La introducción de ClinicalInquiryBench establece un estándar más riguroso para evaluar la capacidad de razonamiento interactivo de los LLMs en medicina, yendo más allá de las respuestas estáticas.
• Limitaciones y Futuro: El trabajo depende de la calidad y actualización del Grafo de Conocimiento subyacente. Su generalización a entornos con recursos limitados o dominios médicos en rápida evolución podría ser un desafío. Además, se requiere supervisión humana para garantizar la seguridad y ética en la implementación clínica real.

En conclusión, el artículo demuestra que integrar conocimiento médico estructurado (KG) con la flexibilidad de los LLMs es una estrategia superior para la generación de preguntas clínicas, acercando la IA a una asistencia real en el proceso de diagnóstico médico.