기술 요약: EpiGraph

문제 정의

간질 진단 및 치료는 생체신호 패턴 (EEG), 유전적 기전, 약물유전체학, 치료 전략을 포함한 이질적인 임상 지식을 통합하는 증거 중심의 추론이 필요합니다. 현재의 과제는 다음과 같습니다:

1. 지식 단편화: 기존 생의학 지식 그래프 (KG) 는 종종 질병에 구애받지 않거나 간질에 특화된 복잡한 다중 홉 임상 추론보다는 의미적 주석을 위해 설계되었습니다.
2. 추론 격차: 대규모 언어 모델 (LLM) 은 현실적인 간질 환경에서 전문가 수준의 증거 선별 및 추론에 어려움을 겪으며, 특히 유전 변이와 치료 금기 사항을 통합하거나 증후군별 지식을 바탕으로 EEG 보고서를 해석하는 작업에서 한계를 보입니다.
3. 평가 부족: 기존 벤치마크는 심층 연구 계획이나 EEG 데이터와 약물유전체학 규칙의 통합과 같은 간질 임상 실무의 전체 스펙트럼을 반영하지 않는 좁고 인위적인 작업에 초점을 맞추고 있습니다.

방법론

저자들은 EPIGRAPH를 제안하며, 이는 EPIKG(전문 지식 그래프) 와 EPIBENCH(다중 작업 평가 벤치마크) 라는 두 가지 핵심 구성 요소로 구성된 통합 프레임워크입니다.

1. EPIKG: 간질 지식 그래프

EPIKG 는 구조화된 증거-그래프 파이프라인을 통해 구축되었습니다:

• 스키마 정의: 이 그래프는 (1) 증후군, (2) 진단 (EEG/생체표지자), (3) 유전자, (4) 치료, (5) 결과라는 다섯 가지 임상 계층으로 엔티티를 조직화합니다. caused_by_gene(유전자에 의해 유발됨), treated_with(치료제 사용), contraindicated_with(금기됨) 과 같은 1,370 가지의 계층 간 관계 유형을 정의합니다.
• 데이터 소스: 스키마는 ILAE 2022, MeSH, OMIM, ChEBI, HPO, AES 2024, UMLS 등 7 가지 권위 있는 자원을 기반으로 합니다.
• 증거 추출: 저자들은 120,000 건 이상의 PubMed/PMC 논문을 처리했습니다. 2 단계 선별 과정 (LLM 지원 필터링 후 분야 전문가 판정) 을 거쳐 추출을 위해 48,166 편의 동료 검토 논문을 선정했습니다.
• 구축: 하이브리드 추출 파이프라인이 사용되었습니다:
  • 규칙 기반: 고신뢰도 관계를 위한 온톨로지 기반 패턴 매칭.
  • LLM 기반: MiniMax-Text-01 을 사용하여 전체 텍스트 논문에서 새로운 연관성을 추출.
• 통계: 결과적으로 생성된 그래프는 24,324 개의 고유 엔티티와 32,009 개의 증거 기반 3 중항 (triplets) 을 포함하며, 14,576 개의 계층 간 연결이 다중 홉 추론을 가능하게 합니다.

2. EPIBENCH: 평가 벤치마크

EPIBENCH 는 Graph-RAG(검색 증강 생성) 방식을 활용하여 LLM 을 5 가지 임상적으로 동기 부여된 작업에서 평가합니다. 여기서 그래프 검색기는 EPIKG 에서 관련 하위 그래프를 추출하여 LLM 입력을 보강합니다:

• 작업 1: 임상 의사결정 정확도 (CDA): 증후군 진단, EEG 해석, 치료 선택에 관한 1,000 개의 객관식 및 5,199 개의 주관식 질문.
• 작업 2: 임상 보고서 생성 (CRG): 원시 EEG 설명과 환자 병력을 기반으로 증거 기반 EEG 소견 보고서를 생성.
• 작업 3: 생체표지자 기반 정밀 의학 (BPM): 유전 변이와 표현형을 기반으로 항경련제를 선택 (약물유전체학).
• 작업 4: 치료 권장 (TR): 환자별 제약 조건 (예: 임신, 동반 질환) 하에서 가이드라인과 일치하는 치료법을 권장.
• 작업 5: 심층 연구 계획 (DRP): 현재 간질 문헌의 공백을 바탕으로 실현 가능한 연구 방향과 연구 설계를 제안.

3. 실험 설정

이 프레임워크는 6 개의 LLM(GPT-4o, Claude Sonnet 4, Gemini 2.0 Flash, Llama-3.3-70B, Qwen2.5-72B, Mistral Small 3.1) 에서 평가되었습니다. 성능은 표준 프롬프팅과 Graph-RAG 설정 간에 비교되었습니다. 베이스라인으로는 MedRAG, DR.KNOWS, AMG-RAG 가 포함되었습니다.

주요 결과

EPIGRAPH 를 통합한 결과 모든 작업과 모델에서 일관되게 성능이 향상되었습니다:

• 전체적 향상: Graph-RAG 는 객관식 정답률에서 평균 상대적 향상 +11.3%, 약물유전체학 추론 (작업 3) 에서 **+34.8%**의 평균 상대적 향상을 제공했습니다.
• 약물유전체학 (작업 3): 이 작업에서 가장 큰 향상이 나타났습니다. 예를 들어, Claude Sonnet 4 는 정답률이 66% 에서 82% 로 향상되었습니다. 오픈소스 모델은 극적인 개선을 보였으며 (예: Qwen +42%, Llama +36%), 약물유전체학 지식이 사전 훈련된 LLM 파라미터에 거의 존재하지 않으며 외부 검색이 필요함을 시사합니다.
• 임상 추론 품질: 추론 품질에 대한 LLM-as-Judge 점수가 평균 +31.9% 향상되어 ROUGE-L 과 같은 표면적 지표의 향상보다 훨씬 두드러졌으며, 이는 Graph-RAG 가 임상 논증의 논리적 구조를 강화함을 나타냅니다.
• 안전성 및 가이드라인: 치료 권장 (작업 4) 에서 Graph-RAG 는 약물 안전 점수를 +12.4% 향상시키고 가이드라인 일치도를 +14.1% 향상시켜 금기 약물의 회피를 개선함을 입증했습니다.
• EEG 보고서 생성 (작업 2): Harvard EEG 데이터셋에서 EPIKG 를 통합한 결과 METEOR 점수가 향상되었으며, MedGemma-4B 는 **+30.8%**의 상대적 향상을 보였습니다. 생성된 보고서는 파형 이상을 더 정확하게 설명하고 신경과 의사가 작성한 소견과 일치했습니다.
• 절대 실험 (Ablation Studies): 민감도 분석은 최적의 성능을 위해서는 그래프에서 3~4 홉을 탐색해야 함을 확인하여 약물유전체학 작업에 다중 홉 추론의 필요성을 검증했습니다. 그래프 기반 검색 (PPR-PCST) 은 정밀 의학 작업에서 평면 의미 검색보다 최대 8.4 퍼센트 포인트 더 높은 정밀도를 보였습니다.

중요성 및 주장

이 논문은 EPIGRAPH 가 임상 신경학 분야에서 지식 증강 LLM 을 평가하는 새로운 기준을 수립한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 최초 대규모 간질 KG: 이는 유전 기전, 표현형, 치료 간의 격차를 해소하는 간질학에 전념하는 최초의 오픈소스 다중 홉 관계 지식 그래프를 제공합니다.
2. 모듈형 벤치마킹: EPIBENCH 는 단순한 질문 응답을 넘어 보고서 생성과 연구 계획을 포함하는 다양한 임상 추론 작업에 걸쳐 LLM 을 평가하는 포괄적이고 플러그 앤 플레이 방식의 프레임워크를 제공합니다.
3. 실질적 임상 영향: LLM 출력을 구조화된 증거 기반 지식에 근거시킴으로써, 이 프레임워크는 AI 가 금기 사항 회피, 복잡한 EEG 데이터 해석, 임상 가이드라인 준수를 위해 임상가를 의미 있게 지원할 수 있음을 입증합니다.
4. 의학 지식의 "블랙박스" 해소: 결과는 간질과 같은 복잡하고 증거 집약적인 영역에서는 가장 큰 LLM 의 파라미터 지식에만 의존하는 것보다 선별된 KG 에서 구조화된 지식을 검색하는 것이 더 효과적임을 시사합니다.

저자들은 EPIGRAPH 를 최종 해결책이 아닌, 임상 AI 를 위한 검색 증강 파인튜닝 및 메모리 접근법의 미래 발전을 이끄는 기초 자원으로 위치시킵니다.