From Guidelines to Guarantees: A Graph-Based Evaluation Harness for Domain-Specific Evaluation of LLMs

1. El Problema: La Brecha de Evaluación en Dominios Específicos

El artículo identifica un desafío crítico en la evaluación rigurosa de Modelos de Lenguaje (LLM) aplicados a dominios especializados, como la medicina:

• Brecha de Distribución: Existe una desconexión entre el texto específico del dominio (ej. directrices clínicas locales) y los conjuntos de datos de referencia (benchmarks) existentes.
• Limitaciones de los Benchmarks Estáticos: Los conjuntos de datos actuales dependen de la curación manual, lo que resulta en:
  • Cobertura incompleta: No cubren exhaustivamente todas las relaciones y matices de las guías clínicas específicas.
  • Contaminación: Las preguntas estáticas pueden aparecer en los datos de entrenamiento de los modelos, inflando artificialmente su rendimiento.
  • Falta de mantenibilidad: Son difíciles de actualizar cuando las guías clínicas evolucionan.
• Necesidad: Se requiere un sistema que sea exhaustivo, resistente a la contaminación y mantenible para evaluar correctamente la capacidad de razonamiento clínico de los modelos, especialmente en contextos de países de ingresos bajos y medios (LMIC) donde las directrices pueden variar por país.

2. Metodología: Un Entorno de Evaluación Basado en Grafos

Los autores proponen un marco de trabajo que transforma las directrices clínicas estructuradas en un grafo de conocimiento consultable, permitiendo la generación dinámica de preguntas de evaluación.

A. Construcción del Grafo (Fuente de Verdad)

• Fuente de Datos: Se utilizaron las directrices WHO IMCI (Iniciativa de Atención Integrada a las Enfermedades Prevalentes de la Infancia) de la OMS.
• Estructura del Grafo:
  • Nodos (200+): Clasificados en 5 tipos: Condición (con rangos de edad), Síntoma, Tratamiento, Seguimiento y Gravedad.
  • Aristas (300+): Cuatro tipos de relaciones dirigidas: INDICATES (Síntoma → Condición), TREAT (Condición → Tratamiento), FOLLOW (Condición → Seguimiento) y TRIAGE (Condición → Gravedad).
• Curación Humana: Debido a que los parsers de PDF y los LLM fallaron al capturar la lógica condicional visual de los flujogramas (caminos de triaje codificados por colores), el grafo fue curado manualmente por un experto clínico (médico certificado con 15+ años de experiencia). Esto garantiza la validez clínica desde la fuente, no como una revisión posterior.

B. Instanciación Dinámica de Consultas

En lugar de un conjunto de datos fijo, el sistema genera preguntas de opción múltiple (MCQA) bajo demanda mediante la exploración del grafo:

• Plantillas: Se utilizan 4 plantillas para cada uno de los 5 tipos de relaciones, asegurando variabilidad en la redacción.
• Generación de Distractores: El algoritmo selecciona opciones incorrectas (distractores) que son clínicamente plausibles pero incorrectas para el rango de edad específico de la pregunta, manteniendo la validez clínica.
• Variabilidad: Se generan instancias únicas variando la edad del paciente, los distractores y las plantillas, creando un espacio combinatorio masivo de preguntas posibles.

C. Resistencia a la Contaminación

El enfoque aborda dos tipos de contaminación:

1. Contaminación de Forma Superficial: Al generar preguntas aleatoriamente en tiempo de evaluación, es improbable que el modelo haya visto la formulación exacta durante el entrenamiento.
2. Contaminación a Nivel de Relación: Al poder regenerar preguntas basadas en versiones actualizadas de las directrices (post-entrenamiento del modelo), se puede evaluar si el modelo ha aprendido el razonamiento clínico general o simplemente ha memorizado relaciones de una versión específica de la guía.

3. Contribuciones Clave

1. Entorno de Evaluación con Garantías: Un sistema que ofrece garantías explícitas de cobertura completa, resistencia a la contaminación y validez heredada de la estructura del grafo.
2. Transformación de Directrices a Grafos: Un método para convertir guías clínicas estructuradas en grafos de conocimiento que soportan una evaluación sistemática.
3. Evaluación Dinámica: Sustitución de conjuntos de datos estáticos por la instanciación de consultas bajo demanda.
4. Detección de Debilidades Sistemáticas: Demostración empírica de que este marco revela debilidades en el razonamiento clínico que los benchmarks agregados ocultan.

4. Resultados Experimentales

El marco se aplicó a cinco modelos de lenguaje (incluyendo modelos cerrados de vanguardia como Claude Sonnet 4.6, GPT-5.2, y modelos de código abierto como MedGemma-4B).

• Rendimiento General: Los modelos de vanguardia cerrados alcanzaron una precisión global del 66-68%, superando a los modelos de código abierto (GPT-OSS-20B: ~57%) y al modelo fine-tuned específico de dominio (MedGemma-4B: ~50%).
• Análisis por Tipo de Pregunta:
  • Reconocimiento de Síntomas: Los modelos tuvieron un rendimiento alto (64-82%) en preguntas de Síntoma → Condición.
  • Protocolos de Tratamiento: Hubo una caída significativa en la precisión para preguntas de Condición → Tratamiento y decisiones de gestión clínica.
  • Conclusión: Los modelos reconocen síntomas mejor de lo que prescriben tratamientos o protocolos complejos.
• Impacto de las Plantillas: Se observó una gran varianza en el rendimiento dependiendo de cómo se redactaba la pregunta (plantilla), lo que subraya la necesidad de usar múltiples plantillas para obtener estimaciones robustas de la capacidad del modelo.
• Escala vs. Especialización: El modelo fine-tuned (MedGemma-4B) rindió peor que los modelos más grandes, sugiriendo que la escala y la capacidad de razonamiento general pueden dominar sobre el ajuste fino específico en este contexto.

5. Significado e Implicaciones

• Infraestructura de Evaluación Escalable: El enfoque cambia el costo de la curación de "escribir cada pregunta" a "construir el grafo una vez". Una vez construido el grafo, se pueden generar miles de instancias de evaluación sin esfuerzo humano adicional, facilitando la actualización continua a medida que evolucionan las guías médicas.
• Separación de Roles y Responsabilidad: El marco define roles claros:
  • Constructores del Grafo: Expertos de dominio (médicos) responsables de la precisión clínica.
  • Operadores del Entorno: Expertos técnicos responsables de la generación y ejecución.
  • Desarrolladores de Modelos: Consumidores de los resultados.
    Esto mejora la rendición de cuentas (accountability) al permitir rastrear errores a la fuente (grafo, código o modelo).
• Generalización: Aunque probado en IMCI, el enfoque es aplicable a cualquier directiva con lógica de decisión estructurada (ej. malaria, tuberculosis, cumplimiento legal, estándares técnicos).
• Limitaciones: La calidad depende totalmente de la precisión manual del grafo inicial. Actualmente, no captura la complejidad del diagnóstico diferencial con información incompleta ni elementos visuales de los flujogramas originales.

En resumen, el artículo propone un cambio de paradigma desde la evaluación estática hacia una evaluación dinámica, basada en grafos y generativa, que ofrece garantías de validez y cobertura necesarias para desplegar sistemas de IA confiables en entornos clínicos críticos.