VeriLLMed: Interactive Visual Debugging of Medical Large Language Models with Knowledge Graphs

Resumen Técnico: VeriLLMed: Depuración Visual Interactiva de Modelos de Lenguaje Médicos Grandes con Grafos de Conocimiento

1. El Problema

A pesar del potencial de los Modelos de Lenguaje Grandes (LLMs) en el diagnóstico médico, su despliegue clínico es arriesgado debido a la falta de fiabilidad en su razonamiento. El proceso de depuración (debugging) de estos modelos enfrenta tres desafíos críticos:

• Falta de experiencia médica: Los desarrolladores de IA a menudo no poseen el conocimiento clínico necesario para interpretar por qué un error de razonamiento es médicamente incorrecto.
• Dificultad de priorización: Los modelos fallan en una vasta diversidad de casos, lo que hace imposible inspeccionar cada error individualmente para identificar cuáles son los más críticos.
• Análisis centrado en instancias: Las prácticas actuales se enfocan en errores aislados (texto libre), lo que impide identificar patrones de error recurrentes que revelen debilidades estructurales del modelo.

2. Metodología

Los autores proponen VeriLLMed, un sistema de analítica visual que transforma el razonamiento no estructurado del LLM en un espacio de conceptos biomédicos estructurados utilizando Grafos de Conocimiento Biomédicos (Bio-KGs). El flujo de trabajo técnico se divide en:

• Construcción de Rutas de Razonamiento:
  • Rutas del Modelo ($P_g$): Se extraen entidades y relaciones médicas del razonamiento generado por el LLM y se alinean con el Bio-KG mediante una estrategia de tres etapas (coincidencia exacta, similitud de embeddings con MedEmbed y refinamiento mediante LLM).
  • Rutas de Referencia ($P_r$): Se construyen rutas "correctas" buscando los caminos más cortos en el grafo de conocimiento que conectan las entidades de la pregunta con el diagnóstico correcto.
• Taxonomía de Errores Basada en el Grafo: El sistema compara las rutas del modelo con las de referencia para detectar tres tipos de errores estructurales:
  1. Errores de Relación (Relation errors): El modelo conecta dos entidades mediante una transición que no es válida según el conocimiento médico.
  2. Errores de Rama (Branch errors): El modelo sigue una ruta válida desde la entidad actual, pero esa ruta diverge hacia conceptos que no conducen al diagnóstico correcto.
  3. Errores de Omisión (Missing errors): El modelo ignora entidades clave presentes en la ruta de referencia que son esenciales para el diagnóstico.
• Interfaz de Visualización Multinivel: El sistema utiliza una arquitectura coordinada que incluye:
  • Dataset Overview (estadísticas globales).
  • Projection View (localización de regiones de error en un espacio de embeddings 2D).
  • Path View (glifos que resumen la participación de entidades en rutas correctas/incorrectas).
  • Error View (diagramas de Sankey para comparar patrones de error recurrentes frente a la referencia).

3. Contribuciones Clave

• Marco de Depuración Basado en Conocimiento: Un método para convertir el razonamiento textual en estructuras de grafos comparables.
• Taxonomía Estructural de Errores: Una clasificación de errores de razonamiento basada en la topología del grafo de conocimiento, no solo en la precisión de la respuesta final.
• Sistema VeriLLMed: Una herramienta de visualización interactiva que permite pasar de métricas globales a la validación de casos individuales y la identificación de patrones semánticos.

4. Resultados y Evaluación

El sistema fue evaluado mediante estudios de caso con expertos y entrevistas:

• Casos de Estudio: Se demostró que VeriLLMed permite identificar sesgos específicos (ej. un sesgo de relación donde el modelo asocia erróneamente síntomas dermatológicos con enfermedades infecciosas en lugar de sistémicas).
• Eficacia en la Mejora del Modelo: Los expertos utilizaron los insights generados por el sistema para diseñar intervenciones mediante prompt engineering (ejemplos few-shot basados en los patrones de error descubiertos), logrando aumentar la precisión del modelo en los casos analizados (de un 81.5% a un 85.5% en uno de los casos).
• Validación de Expertos: Los usuarios confirmaron que el sistema reduce la carga de inspección manual y facilita la traducción de errores complejos en hipótesis de mejora accionables.

5. Significado e Impacto

VeriLLMed representa un cambio de paradigma en la evaluación de la IA médica: de la evaluación basada en respuestas (¿es correcta la respuesta?) a la evaluación basada en el proceso de razonamiento (¿es el camino lógico médicamente válido?). Su importancia radica en que proporciona un "puente" semántico entre los desarrolladores de software y el conocimiento clínico, permitiendo una depuración más sistemática, escalable y fundamentada en la ciencia para asegurar la seguridad de los LLMs en entornos de salud.