T2D-Bench: Evidence-Gated Evaluation of LLM Outputs for Type 2 Diabetes Using a Multi-Layer Clinical-Lifestyle Knowledge Graph

Resumen Técnico de T2D-Bench: Evaluación con Puerta de Evidencia de los Resultados de LLM para la Diabetes Tipo 2

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) demuestran la capacidad de generar recomendaciones clínicamente fluidas para la Diabetes Tipo 2 (DT2), con frecuencia fallan en satisfacer las restricciones deterministas de las guías o en justificar explícitamente las afirmaciones glucémicas relacionadas con el estilo de vida. Los métodos de evaluación actuales suelen depender de la similitud léxica, el juicio subjetivo de expertos o la plausibilidad superficial, lo que puede no detectar errores críticos como la omisión de umbrales, la falta de contraindicaciones o las afirmaciones mecanísticas sin fundamento. En entornos sanitarios de alta criticidad, estos resultados "plausibles pero sin base" plantean riesgos significativos. Específicamente, existe una falta de marcos que puedan probar si los resultados de los LLM están respaldados explícitamente por evidencia autorizada y que puedan manejar escenarios de pacientes complejos y multifactoriales sin inventar silenciosamente pasos mecánicos faltantes.

Metodología
Los autores presentan T2D-Bench, un benchmark reproducible y un marco de evaluación con puerta de evidencia diseñado para probar si los resultados de los LLM enfocados en la diabetes satisfacen los requisitos de evidencia clínica y mecanística computables. La metodología consta de tres componentes principales:

1. Grafo de Conocimiento (KG) Clínico-Estilo de Vida Multicapa:
   El marco se construye sobre un grafo de propiedades dirigido y tipado ($G$) con 2.1 millones de nodos y 495,000 aristas, estructurado en tres capas:

   • Capa 1 (Espina Dorsal Biomédica): Derivada de UMLS, DrugBank y SIDER, proporcionando identificadores normalizados, tipado semántico y estructuras de farmacovigilancia (p. ej., interacciones fármaco-fármaco, efectos adversos).
   • Capa 2 (Lógica de Guías Computables): Codifica declaraciones seleccionadas de los Estándares de Atención de la Asociación Americana de Diabetes (ADA, 2026) como primitivas verificables por máquina. Esto incluye nodos de Regla vinculados a nodos de Umbral (operador, valor, unidad) para soportar la verificación determinista de criterios diagnósticos (p. ej., HbA1c) y restricciones dependientes de la condición (p. ej., contraindicaciones de la metformina basadas en la eGFR).
   • Capa 3 (Contexto de Estilo de Vida y Puente Mecanístico): Integra datos de estilo de vida (USDA, FooDB, Compendio de Actividades Físicas, Ontología del Dominio del Sueño) y los vincula con la fisiología glucémica mediante un "puente mecanístico" explícito. Este puente mapea perfiles de estilo de vida (p. ej., sueño corto) con mecanismos (p. ej., elevación del cortisol) y, posteriormente, con efectos de laboratorio (p. ej., aumento de la glucosa en ayunas), utilizando aristas tipadas (p. ej., CAUSALLY_INCREASES) con metadatos de procedencia.

2. Viñetas Estructuradas de Benchmark:
   El benchmark comprende 100 viñetas estructuradas en formato JSONL que cubren cuatro familias de escenarios: cumplimiento de umbrales diagnósticos, seguridad de medicamentos bajo restricciones de comorbilidad, efectos de estilo de vida de un solo factor y conflictos de estilo de vida multifactoriales. Cada viñeta está emparejada con una especificación "gold" que define los identificadores de activación obligatoria (must-trigger identifiers):

   • IDs de Regla (Capa 2) para el cumplimiento de las guías.
   • Tokens de Puente/Mecanismo (Capa 3) para la atribución mecanística.
     Se extrae un "segmento de benchmark" ($G_{bench}$) compacto que contiene 15,792 nodos para una verificación rápida y determinista.

3. Puerta de Evidencia y Revisión Constreñida:
   El flujo de trabajo de evaluación involucra un verificador determinista que comprueba si el resultado de un LLM contiene todos los identificadores "gold" requeridos para una viñeta específica.

   • Línea Base (Baseline): El modelo genera una respuesta sin verificación.
   • Con Puerta de Evidencia (Evidence-Gated): Si el resultado carece de los identificadores requeridos, el sistema activa un bucle de revisión constreñida. Se le solicita al modelo que revise su respuesta para incorporar explícitamente los identificadores de evidencia faltantes como un "Rastro de Evidencia" (Evidence Trace). Este bucle continúa hasta que el resultado pasa la verificación o se agota el presupuesto de revisión.

Contribuciones Clave

1. Grafo de Conocimiento Multicapa: Desarrollo de un grafo de conocimiento de DT2 con conciencia de procedencia que conecta conceptos biomédicos, lógica de guías computables y contexto de estilo de vida a través de un puente mecanístico explícito.
2. Benchmark T2D-Bench: Introducción de un benchmark de 100 viñetas emparejadas con identificadores de evidencia predefinidos para probar si los resultados de los LLM satisfacen requisitos clínicos y mecanísticos computables, yendo más allá de la plausibilidad superficial.
3. Marco de Evaluación con Puerta de Evidencia: Un sistema que detecta omisiones no sustentadas y utiliza la revisión constreñida para lograr el cumplimiento del nivel del verificador con las rutas de evidencia definidas por el benchmark.

Resultados
El marco fue evaluado en GPT-4o-mini y GPT-4o utilizando decodificación determinista (temperatura=0):

• Rendimiento de la Línea Base: Sin la puerta de evidencia, GPT-4o-mini cumplió con todos los identificadores requeridos en el 65% de los casos, y GPT-4o en el 67%.
• Estratificación de Escenarios:
  • Guías Deterministas: Ambos modelos lograron un cumplimiento del 100% en los umbrales diagnósticos y en las viñetas de seguridad de medicamentos renales.
  • Estilo de Vida y Mecanismos: El rendimiento disminuyó significativamente en los escenarios de estilo de vida. En los casos de estilo de vida de un solo factor, el cumplimiento fue del 35–39%. Crucialmente, en los conflictos de estilo de vida multifactoriales (escenarios adversariales), el cumplimiento de la línea base fue del 0% para ambos modelos; produjeron narrativas clínicamente plausibles que omitieron los identificadores del puente mecanístico requeridos.
• Impacto de la Puerta de Evidencia: Tras aplicar la Puerta de Evidencia y la revisión constreñida, ambos modelos lograron un 100% de cumplimiento de la ruta de evidencia en las 100 viñetas. La tasa de intervención fue del 35% en total, concentrada enteramente en los escenarios de estilo de vida y conflicto.

Significancia y Reivindicaciones
El artículo sostiene que T2D-Bench demuestra que un resultado clínicamente plausible no debe equipararse con un resultado basado en evidencia. La significancia principal radica en hacer que las omisiones ocultas —específicamente las atribuciones mecanísticas no sustentadas en entornos multifactoriales— sean explícitas, medibles y corregibles.

Los autores enfatizan que la Puerta de Evidencia funciona como una capa de verificación en lugar de un sustituto del razonamiento clínico. Su función es imponer rastros de evidencia explícitos alineados con el grafo cuando los resultados de la línea base son vulnerables a afirmaciones no sustentadas. El estudio concluye que las restricciones de evidencia computables pueden interceptar y corregir eficazmente los resultados de los LLM enfocados en la diabetes, proporcionando una plantilla reproducible para evaluar si los resultados de los LLM clínicamente plausibles están explícitamente respaldados por rutas de evidencia computables. Los autores señalan modestamente que el cumplimiento de la ruta de evidencia es una métrica operativa ligada al benchmark y no reemplaza la validación clínica prospectiva.