Domain-Specific Knowledge Graphs in RAG-Enhanced Healthcare LLMs

Resumen Técnico: Grafos de Conocimiento Específicos de Dominio en LLMs de Atención Médica Mejorados con RAG

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLMs) sobresalen en la generación de texto fluido, pero frecuentemente tienen dificultades con el razonamiento confiable y específico de un dominio en el ámbito de la atención médica, alucinando hechos o fabricando citas con frecuencia. Si bien la Generación Aumentada por Recuperación (RAG) es una solución estándar para fundamentar a los LLMs en conocimiento externo, los sistemas RAG convencionales que recuperan pasajes de texto libre pueden introducir información irrelevante o contradictoria, degradando el rendimiento en preguntas biomédicas complejas de múltiples saltos (multi-hop). Esta investigación investiga si los Grafos de Conocimiento (KGs) estructurados y específicos de un dominio, derivados de la literatura biomédica, pueden mejorar el rendimiento de RAG de manera más efectiva que el texto no estructurado o las uniones de grafos más amplias e indiscriminadas. Específicamente, el estudio aborda la tensión entre la construcción de grafos estrechos centrados en una enfermedad frente a grafos más amplios y transdominios, y cómo estas elecciones de diseño interactúan con los parámetros del modelo y las temperaturas de decodificación.

Metodología
Los autores construyeron un flujo de trabajo para evaluar el impacto del alcance del KG en los LLMs de atención médica mejorados con RAG, utilizando la enfermedad de Alzheimer (AD) y la Diabetes Mellitus Tipo 2 (T2DM) como banco de pruebas.

1. Construcción del Grafo de Conocimiento:

   • Fuente de Datos: Los resúmenes de PubMed fueron filtrados y clasificados según su relevancia causal, fenotípica y de biomarcadores.
   • Flujo de Trabajo: Los autores utilizaron y mejoraron el flujo de trabajo CoDe-KG, reemplazando su núcleo de correferencia por Qwen 32B para mejorar la extracción de relaciones. Esto mejoró la resolución de la correferencia (el F1 aumentó del 58% al 61%), asegurando nodos más limpios y enlaces causales más utilizables.
   • Grafos Creadios: Se construyeron tres KGs distintos:
     • G1: Centrado en T2DM.
     • G2: Centrado en AD.
     • G3: Combinado AD+T2DM.
   • Procesamiento: Las ternas (triples) fueron limpiadas, normalizadas (canonicalizando los nombres de las entidades) y filtradas para retener solo las relaciones causales claras.

2. Diseño de las Sondas (Probes):
   Se crearon dos conjuntos de sondas para probar diferentes capacidades de razonamiento:

   • Sonda 1: 100 preguntas de opción múltiple derivadas de G3 (el dominio fusionado), probando el razonamiento de un solo salto, de múltiples saltos y de completar espacios en blanco (FITB) en la intersección AD-T2DM.
   • Sonda 2: Preguntas derivadas de la intersección de G1 y G2 ($G1 \cap G2$), apuntando específicamente a hechos donde existe evidencia en ambos dominios de enfermedades (por ejemplo, mecanismos compartidos como la señalización de insulina y la neuroinflamación).

3. Configuración Experimental:

   • Modelos: Se probaron siete LLMs ajustados por instrucciones de diversos tamaños, que van desde modelos pequeños (Mistral-7B, Mixtral-8x7B) hasta grandes (Llama-3.3-70B, Qwen-2.5-32B, GPT-OSS-20B y Anthropic Claude-3-Haiku).
   • Configuraciones de Recuperación: Se compararon seis fuentes de recuperación: No-RAG, G1, G2, G1+G2, G3 y G1+G2+G3.
   • Hiperparámetros: Los experimentos se ejecutaron a través de tres temperaturas de decodificación (0, 0.2, 0.5) para evaluar la estabilidad.
   • Métricas: El rendimiento se midió utilizando Macro-F1, Micro-F1 y Exactitud (Accuracy), con pruebas de significancia estadística mediante las pruebas t de Welch y la corrección de Holm-Bonferroni.

Contribuciones Clave

• Evaluación Empírica del Alcance del KG: El estudio proporciona una comparación sistemática de los KGs estrechos y específicos de una enfermedad frente a los KGs amplios y fusionados en un entorno RAG de atención médica.
• Mejora del Flujo de Trabajo: Los autores demostraron que la actualización del componente de resolución de correferencia del flujo de trabajo CoDe-KG (usando Qwen 32B) produce una extracción de grafos de mayor calidad.
• Generación de Sondas: La creación de sondas especializadas (fusionadas vs. intersección) permite un análisis granular de cómo el alcance de la recuperación se alinea con los requisitos de la tarea.
• Interacción con el Tamaño del Modelo: La investigación destaca comportamientos distintos entre modelos pequeños y grandes cuando se exponen a la recuperación estructurada, desafiando la suposición de que RAG siempre beneficia a todos los tamaños de modelo por igual.

Resultados

1. La Alineación del Alcance es Decisiva: El hallazgo más significativo es que el alcance de la recuperación debe coincidir con el alcance de la consulta.

   • Sonda 1 (Dominio Fusionado): Las uniones indiscriminadas (G1+G2+G3) a menudo introdujeron distractores, reduciendo la exactitud. Para modelos grandes (p. ej., Llama-3.3-70B), añadir KGs externos a menudo degradó el rendimiento en comparación con la línea base de No-RAG, lo que sugiere que los fuertes sesgos paramétricos son perturbados por el contexto ruidoso.
   • Sonda 2 (Intersección): La recuperación precisa y con el alcance adecuado (notablemente G2, el grafo centrado en AD) produjo las ganancias más consistentes. Para modelos más pequeños (Mistral-7B, Mixtral-8x7B), G2 mejoró significamente las puntuaciones F1 (por ejemplo, Mixtral-8x7B mejoró de 0.80 a 0.89 en la Sonda 1 con G2).
   • Impacto Negativo de la Amplitud: Las uniones amplias (G1+G2+G3) frecuentemente introdujeron "distractores"—hechos relevantes para una enfermedad pero no para la consulta específica—lo que llevó a una menor precisión y exactitud, particularmente para modelos de tamaño medio.

2. La Capacidad del Modelo Importa:

   • Modelos Grandes: A menudo igualaron o superaron el rendimiento de KG-RAG con una línea base de No-RAG, indicando que ya poseen suficiente conocimiento paramétrico para estas tareas. También fueron más susceptibles a los distractores de "casi acierto" en grafos amplios.
   • Modelos Pequeños/Medianos: Se beneficiaron más de la recuperación limpia y bien delimitada (específicamente G2), utilizando el conocimiento estructurado para llenar las brechas en sus datos de entrenamiento internos.

3. Sensibilidad de la Temperatura: La temperatura de decodificación jugó un papel secundario. Aumentar la temperatura de 0 a 0.5 rara vez mejoró el rendimiento y a menudo redujo el macro-F1, particularmente para la Sonda 1 y los grafos que no eran G1. Se identificó una temperatura de 0 como la más segura por defecto para la estabilidad.

4. Frontera vs. Línea Base: Los modelos de frontera (Gemini 2.5 Pro, ChatGPT 5) alcanzaron un rendimiento cercano al techo en la Sonda 1 (98-99%), pero mostraron una notable caída en la más compleja Sonda 2, resaltando la capacidad de la sonda para discriminar la profundidad del razonamiento.

Significancia y Reivindicaciones
El artículo concluye que un KG-RAG de precisión primero y con el alcance coincidente es preferible a las uniones de amplitud primero en aplicaciones de atención médica. Los autores argumentan que simplemente agregar más grafos de conocimiento no garantiza mejores respuestas; en cambio, a menudo introduce ruido que confunde al LLM.

• Directrices Prácticas: El estudio establece que los equipos deben seleccionar grafos que coincidan con su distribución de preguntas (por ejemplo, usar G2 para consultas de intersección) y desplegar clasificadores/filtros para demover pasajes fuera de tema.
• Tamaño del Modelo: La rigurosidad de la recuperación debe adaptarse al tamaño del modelo; los modelos más pequeños necesitan pasajes limpios y altamente relevantes, mientras que los modelos más grandes requieren un filtrado más estricto para evitar ser inducidos a error por distractores plausibles pero irrelevantes.
• Limitaciones: Los autores señalan modestamente que sus hallazgos son específicos para T2DM y AD, dependen de resúmenes de PubMed, y que el proceso de construcción del KG (normalización de entidades, filtrado de relaciones) dicta directamente la calidad de los resultados. También reconocen que el estudio no exploró estrategias de recuperación avanzadas como la recuperación híbrida léxico-neuronal o el reordenamiento dinámico, que podrían mitigar aún más los problemas de los distractores en los grafos de unión.

En última instancia, la investigación demuestra que para los LLMs de atención médica, la calidad y la relevancia del contexto recuperado son más críticas que la cantidad de hechos recuperados.