Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG

1. 연구 배경 및 문제 정의 (Problem)

생물의학 분야와 같은 전문 영역에서 언어 모델 (LM) 을 적응시키기 위해서는 도메인 특화 지식이 필수적입니다. 그러나 기존 접근법에는 다음과 같은 한계가 존재합니다.

• 비구조화 텍스트 의존: 대부분의 기존 방법 (BioBERT 등) 은 PubMed 나 PMC 와 같은 비구조화된 텍스트 코퍼스만 사용하여 학습합니다. 이는 동의어, 계층적 유형, 다중 홉 (multi-hop) 관계와 같은 구조화된 의미 관계를 암묵적으로만 학습하게 하여, 복잡한 추론을 어렵게 만듭니다.
• 지식 갱신 및 설명 가능성 부족: LLM 은 정적 데이터 스냅샷으로 학습되므로 최신 사실을 반영하기 어렵고, 환각 (hallucination) 문제가 발생하며, 답변의 출처를 추적하거나 검증하기 어렵습니다.
• 비효율성: 지식을 업데이트하려면 모델을 재학습 (Retraining) 해야 하므로 비용이 많이 듭니다.

이 연구는 UMLS Metathesaurus에서 추출한 대규모 구조화된 지식 그래프를 기반으로, 지식을 모델 파라미터에 주입하는 방법과 추론 시 외부 그래프를 참조하는 방법의 효과를 비교하고자 합니다.

2. 방법론 (Methodology)

연구팀은 UMLS-2024AA 버전을 기반으로 340 만 개의 개념과 3,420 만 개의 관계를 포함하는 대규모 지식 그래프를 구축하고, 이를 Neo4j 데이터베이스에 저장했습니다. 이를 바탕으로 두 가지 전략을 실행했습니다.

A. 지식 그래프 구축 (Knowledge Graph Construction)

• 소스: UMLS 의 MRCONSO, MRDEF, MRSTY, MRREL 테이블을 활용.
• 처리: 영어 개념만 필터링하고, 정의 (Definition) 를 통합하며, 1,005 가지의 고유한 관계 유형을 추출하여 339 만 개의 개념과 3,420 만 개의 관계로 구성된 그래프를 생성했습니다.

B. 전략 1: 연속적 사전 학습 (Continual Pretraining)

• 방식: 지식 그래프를 텍스트로 변환 (Textualization) 하여 1 억 토큰 규모의 코퍼스를 생성했습니다.
  • 각 개념에 대해 이름, 동의어, 의미 유형, 그리고 (h, r, t) 형태의 관계 문장을 자연어 형태로 구성.
• 모델: 일반 도메인 모델인 BERT와 생물의학 특화 모델인 BioBERT를 각각 UMLS 코퍼스로 추가 학습하여 BERTUMLS 와 BioBERTUMLS 를 개발했습니다.
• 목적: 지식 정보를 모델의 가중치 (파라미터) 내부에 영구적으로 주입하여 추론 시 항상 접근 가능하게 만듭니다.

C. 전략 2: 그래프 검색 증강 생성 (GraphRAG)

• 방식: 모델의 가중치는 변경하지 않고, 추론 시 외부 지식 그래프를 참조합니다.
  • 프로세스: 사용자 질문 → 벡터 유사도 검색 (model2vec) 으로 관련 텍스트 검색 → 검색된 텍스트를 기반으로 Neo4j 에서 관련 서브그래프 추출 → 서브그래프를 텍스트 삼중체 (triples) 로 변환하여 LLM 프롬프트에 컨텍스트로 추가.
• 모델: LLaMA 3-8B를 베이스로 사용했습니다.
• 목적: 설명 가능성 (검증 가능한 경로), 다중 홉 추론, 그리고 그래프만 업데이트하면 되는 빠른 지식 갱신을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 UMLS 지식 그래프 공개: 340 만 개 개념과 3,420 만 개 관계를 포함하는 Neo4j 기반의 생물의학 지식 그래프를 공개하여 재현성을 보장했습니다.
2. 비교 연구 설계: 동일한 지식 소스 (UMLS) 를 사용하여 파라미터 내 주입 (Pretraining) 과 추론 시 검색 (GraphRAG) 의 효과를 직접적으로 비교했습니다.
3. 효율적인 지식 주입 전략 제시: 일반 모델에 구조화된 지식을 주입하는 것이 도메인 특화 모델보다 더 큰 효과를 낼 수 있음을 실증했습니다.

4. 실험 결과 (Results)

연구팀은 BLURB 벤치마크 (6 개 데이터셋, 5 가지 태스크) 를 사용하여 모델을 평가했습니다.

A. 연속적 사전 학습 결과

• BERTUMLS (일반 모델 기반): BERT 대비 5/6 의 태스크에서 성능이 향상되었습니다. 특히 지식 집약적 질문 응답 (QA) 태스크 (PubMedQA, BioASQ) 에서 가장 큰 개선 (각각 약 4.5%, 7.6% 상승) 을 보였습니다.
• BioBERTUMLS (특화 모델 기반): BioBERT 는 이미 방대한 생물의학 텍스트로 학습되었기 때문에 추가적인 UMLS 지식 주입의 효과가 미미하거나 일부 태스크 (BioASQ, DDI) 에서 오히려 성능이 하락하는 경향을 보였습니다. 이는 한계 체감 (diminishing returns) 현상을 시사합니다.
• 결론: 일반 모델에 구조화된 지식을 주입하면 도메인 특화 모델의 성능에 근접하거나 일부에서는 능가할 수 있어, 계산 효율적인 대안이 됩니다.

B. GraphRAG 결과

• 성능: 재학습 없이 LLaMA 3-8B 에 GraphRAG 를 적용했을 때, PubMedQA 에서 6.25%, BioASQ 에서 6.67% 의 정확도 향상을 보였습니다.
• 비교: GraphRAG 는 파라미터 주입 방식 (BERTUMLS, BioBERTUMLS) 보다 QA 태스크에서 더 우수한 성능을 기록했습니다.
  • 예: BioASQ 에서 BioBERTUMLS 대비 5.86% 더 높은 정확도.
• 장점:
  • 설명 가능성: 모델이 답변을 도출한 그래프 경로 (예: ibudilast → CTRP Terminology → multiple sclerosis) 를 직접 확인할 수 있습니다.
  • 다중 홉 추론: 명시적인 관계 추적을 통해 복잡한 질문을 해결합니다.
  • 유지보수: 모델 재학습 없이 그래프만 업데이트하면 최신 지식을 반영할 수 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 생물의학 NLP 에서 구조화된 지식을 활용하는 두 가지 주요 접근법의 장단점을 명확히 규명했습니다.

1. 전략적 분업 (Division of Labor):
   • 일반 모델의 도메인 역량 강화: 계산 자원이 제한적이거나 일반 모델을 기반으로 할 때는 연속적 사전 학습을 통해 UMLS 지식을 모델 내부에 주입하는 것이 효과적입니다.
   • 정확성, 설명 가능성, 최신성 요구 시: 질문 응답 (QA) 과 같이 정확한 근거와 최신 정보가 필수적인 경우, GraphRAG가 더 우월한 성능과 투명성을 제공합니다.
2. 실용적 가치: GraphRAG 는 모델 재학습 없이도 높은 성능 향상을 제공하며, 의료 시스템과 같이 지식이 빠르게 진화하는 분야에서 매우 중요한 '검증 가능한 근거'와 '빠른 업데이트' 기능을 제공합니다.

결론적으로, 이 논문은 단순한 텍스트 학습을 넘어 구조화된 지식 그래프를 언어 모델에 통합하는 것이 생물의학 분야의 신뢰성과 성능을 높이는 핵심 열쇠임을 입증했습니다.