T2D-Bench: Evidence-Gated Evaluation of LLM Outputs for Type 2 Diabetes Using a Multi-Layer Clinical-Lifestyle Knowledge Graph

Resumo Técnico do T2D-Bench: Avaliação de Saídas de LLM para Diabetes Tipo 2 Mediante Portão de Evidência

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) demonstrem a capacidade de gerar recomendações clinicamente fluentes para o Diabetes Tipo 2 (DT2), eles frequentemente falham em satisfazer restrições determinísticas de diretrizes ou em justificar explicitamente alegações glicêmicas relacionadas ao estilo de vida. Os métodos de avaliação atuais frequentemente dependem de similaridade lexical, julgamento subjetivo de especialistas ou plausibilidade superficial, o que pode falhar em detectar erros críticos, como omissões de limiares, contraindicações perdidas ou alegações mecanísticas não fundamentadas. Em ambientes de saúde de alta criticidade, essas saídas "plausíveis, mas não fundamentadas" representam riscos significativos. Especificamente, há uma carência de frameworks que possam testar se as saídas dos LLMs são explicitamente suportadas por evidências autoritativas e que consigam lidar com cenários de pacientes complexos e multifatoriais sem inventar silenciosamente etapas mecanísticas ausentes.

Metodologia
Os autores introduzem o T2D-Bench, um benchmark reproduzível e um framework de avaliação com portão de evidência projetado para testar se as saídas de LLMs focadas em diabetes satisfazem requisitos de evidência clínica e mecanística computáveis. A metodologia consiste em três componentes principais:

1. Grafo de Conhecimento (KG) Clínico-Estilo de Vida Multicamadas:
   O framework é construído sobre um grafo de propriedades direcionado e tipado ($G$) com 2,1 milhões de nós e 495.000 arestas, estruturado em três camadas:

   • Camada 1 (Espinha Biomédica): Derivada do UMLS, DrugBank e SIDER, fornecendo identificadores normalizados, tipagem semântica e estruturas de farmacovigilância (ex: interações fármaco-fármaco, efeitos adversos).
   • Camada 2 (Lógica de Diretriz Computável): Codifica declarações selecionadas dos Padrões de Cuidado da American Diabetes Association (ADA 2026) como primitivos verificáveis por máquina. Isso inclui nós de Regra vinculados a nós de Limiar (operador, valor, unidade) para suportar a verificação determinística de critérios diagnósticos (ex: HbA1c) e restrições dependentes de condição (ex: contraindicações de metformina baseadas em eGFR).
   • Camada 3 (Contexto de Estilo de Vida e Ponte Mecanística): Integra dados de estilo de vida (USDA, FooDB, Compendium of Physical Activities, Sleep Domain Ontology) e os vincula à fisiologia glicêmica através de uma "ponte mecanística" explícita. Esta ponte mapeia perfis de estilo de vida (ex: sono curto) para mecanismos (ex: elevação de cortisol) e, subsequentemente, para efeitos laboratoriais (ex: aumento da glicose em jejum), utilizando arestas tipadas (ex: CAUSALLY_INCREASES) com metadados de proveniência.

2. Vinhetas Estruturadas de Benchmark:
   O benchmark compreende 100 vinhetas estruturadas em JSONL cobrindo quatro famílias de cenários: conformidade de limiar diagnóstico, segurança de medicação sob restrições de comorbidade, efeitos de estilo de vida de fator único e conflitos de estilo de vida de múltiplos fatores. Cada vinheta é pareada com uma especificação "gold" definindo os identificadores obrigatoriamente acionados (must-trigger identifiers):

   • IDs de Regra (Camada 2) para conformidade de diretriz.
   • Tokens de Ponte/Mecanismo (Camada 3) para atribuição mecanística.
     Um "recorte de benchmark" compacto ($G_{bench}$) contendo 15.792 nós é extraído para verificação rápida e determinística.

3. Portão de Evidência e Revisão Constrita:
   O fluxo de avaliação envolve um verificador determinístico que checa se a saída de um LLM contém todos os identificadores "gold" necessários para uma vinheta específica.

   • Baseline: O modelo gera uma resposta sem verificação.
   • Com Portão de Evidência: Se a saída carecer dos identificadores necessários, o sistema aciona um loop de revisão constrita. O modelo é instruído a revisar sua resposta para incorporar explicitamente os identificadores de evidência ausentes como um "Rastro de Evidência" (Evidence Trace). Este loop continua até que a saída passe na verificação ou que o orçamento de revisão seja esgotado.

Principais Contribuições

1. Grafo de Conhecimento Multicamadas: Desenvolvimento de um grafo de conhecimento de DT2 com consciência de proveniência que conecta conceitos biomédicos, lógica de diretriz computável e contexto de estilo de vida através de uma ponte mecanística explícita.
2. Benchmark T2D-Bench: Introdução de um benchmark de 100 vinhetas pareado com identificadores de evidência predefinidos para testar se as saídas de LLM satisfazem requisitos clínicos e mecanísticos computáveis, indo além da plausibilidade superficial.
3. Framework de Avaliação com Portão de Evidência: Um sistema que detecta omissões não fundamentadas e utiliza revisão constrita para alcançar a conformidade com o nível do verificador em relação aos caminhos de evidência definidos pelo benchmark.

Resultados
O framework foi avaliado no GPT-4o-mini e GPT-4o usando decodificação determinística (temperatura=0):

• Desempenho Baseline: Sem o portão de evidência, o GPT-4o-mini satisfez todos os identificadores necessários em 65% dos casos, e o GPT-4o em 67%.
• Estratificação de Cenários:
  • Diretrizes Determinísticas: Ambos os modelos atingiram 100% de conformidade em vinhetas de limiares diagnósticos e segurança de medicação renal.
  • Estilo de Vida e Mecanismos: O desempenho caiu significativamente em cenários de estilo de vida. Em casos de estilo de vida de fator único, a conformidade foi de 35–39%. Crucialmente, em conflitos de estilo de vida multifatoriais (cenários adversariais), a conformidade baseline foi de 0% para ambos os modelos; eles produziram narrativas clinicamente plausíveis que omitiram os identificadores da ponte mecanística necessários.
• Impacto do Portão de Evidência: Após aplicar o Portão de Evidência e a revisão constrita, ambos os modelos atingiram 100% de conformidade de caminho de evidência em todas as 100 vinhetas. A taxa de intervenção foi de 35% no total, concentrada inteiramente nos cenários de estilo de vida e conflito.

Significância e Alegações
O artigo afirma que o T2D-Bench demonstra que uma saída clinicamente plausível não deve ser equacionada com uma saída fundamentada em evidências. A principal significância reside em tornar as omissões ocultas — especificamente as atribuições mecanísticas não suportadas em configurações multifatoriais — explícitas, mensuráveis e corrigíveis.

Os autores enfatizam que o Portão de Evidência funciona como uma camada de verificação e não como um substituto para o raciocínio clínico. Seu papel é impor rastros de evidência explícitos alinhados ao grafo quando as saídas basais estão vulneráveis a alegações não fundamentadas. O estudo conclui que restrições de evidência computáveis podem efetivamente interceptar e corrigir saídas de LLM focadas em diabetes, fornecendo um template reproduzível para avaliar se saídas de LLM clinicamente plausíveis são explicitamente suportadas por caminhos de evidência computáveis. Os autores observam modestamente que a conformidade do caminho de evidência é uma métrica operacional atrelada ao benchmark e não substitui a validação clínica prospectiva.