T2D-Bench: Evidence-Gated Evaluation of LLM Outputs for Type 2 Diabetes Using a Multi-Layer Clinical-Lifestyle Knowledge Graph

T2D-Bench 기술 요약: 제2형 당뇨병에 대한 LLM 출력의 증거 기반 검증(Evidence-Gated Evaluation)

문제 정의
대규모 언어 모델(LLM)은 제2형 당뇨병(T2D)에 대해 임상적으로 유창한 권고안을 생성하는 능력을 보여주지만, 결정론적인 가이드라인 제약 조건을 충족하거나 생활 습관 관련 혈당 관련성을 명시적으로 정당화하는 데는 자주 실패한다. 현재의 평가 방법은 종종 어휘적 유사성, 주관적인 전문가 판단, 또는 표면적인 타당성에 의존하며, 이는 누락된 임계값, 놓친 금기 사항, 또는 근거 없는 기전적 주장과 같은 치명적인 오류를 감지하지 못할 수 있다. 안전이 중요한 의료 환경에서 이러한 "그럴듯하지만 근거가 없는(plausible but ungrounded)" 출력은 상당한 위험을 초래한다. 구체적으로, LLM 출력이 권위 있는 증거에 의해 명시적으로 뒷받침되는지 테스트하고, 누락된 기전적 단계를 암묵적으로 지어내지 않으면서 복잡한 다요인 환자 시나리오를 처리할 수 있는 프레임워크가 부족한 실정이다.

방법론
저자들은 당뇨병 중심의 LLM 출력이 계산 가능한 임상 및 기전적 증거 요구 사항을 충족하는지 테스트하기 위해 설계된 재현 가능한 벤치마크이자 증거 기반 검증(evidence-gated evaluation) 프레임워크인 T2D-Bench를 소개한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 다층 임상-생활 습관 지식 그래프 (KG):
   본 프레임워크는 210만 개의 노드와 495,000개의 엣지로 구성된 타입 지정 방향 속성 그래프($G$)를 기반으로 하며, 세 개의 층으로 구조화되어 있다:

   • 레이어 1 (생물 의학 스파인): UMLS, DrugBank, SIDER에서 유도되었으며, 정규화된 식별자, 의미론적 타이핑, 약물 감시 구조(예: 약물-약물 상호작용, 부작용)를 제공한다.
   • 레이어 2 (계산 가능한 가이드라인 로직): 미국 당뇨병 학회(ADA)의 표준 진료 지침(2026)에서 선택된 진술들을 기계 검증 가능한 원자 단위(primitives)로 인코딩한다. 여기에는 진단 기준(예: HbA1c)의 결정론적 검증을 지원하기 위해 Threshold 노드(연산자, 값, 단위)와 연결된 Rule 노드가 포함된다. 또한 조건부 제약 사항(예: eGFR에 따른 메트포르민 금기 사항)도 포함한다.
   • 레이어 3 (생활 습관 맥락 및 기전 브릿지): 생활 습관 데이터(USDA, FooDB, 신체 활동 컴펜디엄, 수면 도메인 온톨로지)를 통합하고, 이를 명시적인 "기전 브릿지(mechanistic bridge)"를 통해 혈당 생리학과 연결한다. 이 브릿지는 유형이 지정된 엣지(예: CAUSALLY_INCREASES)와 프로비넌스(provenance) 메타데이터를 사용하여 생활 습관 프로필(예: 짧은 수면)을 기전(예: 코르티솔 상승)에 매핑하고, 다시 실험실 효과(예: 공복 혈당 증가)로 매핑한다.

2. 구조화된 벤치마크 비넷(Vignettes):
   벤치마크는 진단 임계값 준수, 동반 질환 제약 하의 약물 안전성, 단일 요인 생활 습방 효과, 다요인 생활 습관 갈등의 네 가지 시나리오 패밀리를 다루는 100개의 구조화된 JSONL 비넷으로 구성된다. 각 비넷은 필수적인 **필수 트리거 식별자(must-trigger identifiers)**를 정의하는 "골드(gold)" 명세와 쌍을 이룬다:

   • Rule ID (레이어 2): 가이드라인 준수를 위함.
   • Bridge/Mechanism 토큰 (레이어 3): 기전적 귀속을 위함.
     빠르고 결정론적인 검증을 위해 15,792개의 노드를 포함하는 압축된 "벤치마크 슬라이스"($G_{bench}$)가 추출된다.

3. 증거 게이트 및 제약적 수정 (Evidence Gate and Constrained Revision):
   평가 워크플フロー는 LLM 출력이 특정 비넷에 필요한 모든 골드 식별자를 포함하는지 확인하는 결정론적 검증기(verifier)를 포함한다.

   • 베이스라인: 모델은 검증 없이 응답을 생성한다.
   • 증거 기반 검증(Evidence-Gated): 출력이 필수 식별자를 결여한 경우, 시스템은 제약적 수정 루프를 트리거한다. 모델은 누락된 증거 식별자를 "증거 추적(Evidence Trace)"으로서 명시적으로 포함하도록 유도하는 프롬프트와 함께 답변을 수정하도록 요청받는다. 이 루프는 출력이 검증을 통과하거나 수정 예산이 소진될 때까지 지속된다.

주요 기여

1. 다층 지식 그래프: 생물 의학 개념, 계산 가능한 가이드라인 로직, 그리고 명시적인 기전 브릿지를 통해 생활 습관 맥락을 연결하는 프로비넌스 인식 T2D 지식 그래프 개발.
2. T2D-Bench 벤치마크: 표면적인 타당성을 넘어, LLM 출력이 계산 가능한 임상 및 기전적 요구 사항을 충족하는지 테스트하기 위해 사전 정의된 증거 식별자와 결합된 100개의 비넷 벤치마크 도입.
3. 증거 기반 검증 프레 framework: 지원되지 않는 누락을 감지하고, 제약적 수정을 적용하여 벤치마크에 정의된 증거 경로에 대한 검증기 수준의 준수를 달性하는 시스템.

결과
프레임워크는 결정론적 디코딩(temperature=0)을 사용하여 GPT-4o-mini와 GPT-4o를 대상으로 평가되었다:

• 베이스라인 성능: 증거 게이트 없이, GPT-4o-mini는 사례의 65%에서, GPT-4o는 67%에서 필수 식별자를 충족했다.
• 시나리오 계층화:
  • 결정론적 가이드라인: 두 모델 모두 진단 임계값 및 신장 약물 안전성 비넷에서 100% 준수율을 달성했다.
  • 생활 습관 및 기전: 생활 습관 시나리오에서 성능이 크게 하락했다. 단일 요인 생활 습관 사례에서 준수율은 35~39%였다. 결정적으로, 다요인 생활 습관 갈등(적대적 시나리오)에서 두 모델 모두 베이스라인 준수율이 **0%**였다. 모델들은 임상적으로 그럴듯한 서사를 생성했으나 필수적인 기전 브릿지 식별자를 누락했다.
• 증거 게이트의 영향: 증거 게이트와 제약적 수정을 적용한 후, 두 모델 모두 100개의 비넷 전체에서 100% 증거 경로 준수율을 달성했다. 전체 개입률은 35%였으며, 이는 전적으로 생활 습관 및 갈등 시나리오에 집중되었다.

의의 및 주장
본 논문은 T2D-Bench가 임상적으로 그럴듯한 출력이 반드시 증거에 기반한 출력과 동일한 것은 아님을 입증한다고 주장한다. 주요 의의는 숨겨진 누락(특히 다요인 설정에서의 지원되지 않는 기전적 귀속)을 명시적이고, 측정 가능하며, 교정 가능하게 만드는 데 있다.

저자들은 증거 게이트가 임상적 추론의 대체재가 아니라 검증 레이어로서 기능한다는 점을 강조한다. 그 역할은 베이스라인 출력이 지원되지 않는 주장에 취약할 때, 그래프와 정렬된 명시적인 증거 추적을 강제하는 것이다. 연구는 계산 가능한 증거 제약이 당뇨병 중심의 LLM 출력을 효과적으로 차단하고 교정할 수 있으며, 임상적으로 그럴듯한 LLM 출력이 명시적으로 계산 가능한 증거 경로에 의해 뒷받침되는지 평가하기 위한 재현 가능한 템플릿을 제공한다고 결론짓는다. 저자들은 증거 경로 준수가 벤치마크에 종속된 운영 지표이며, 향후의 임상적 검증을 대체하는 것은 아니라고 겸허히 언급하였다.