RiTeK: A Dataset for Large Language Models Complex Reasoning over Textual Knowledge Graphs in Medicine

이 논문은 의료 텍스트 지식 그래프 (TKG) 에 대한 대규모 언어 모델 (LLM) 의 복잡한 추론 능력을 평가하기 위해 다양한 위상 구조와 관계 정보를 포함한 새로운 데이터셋 'RiTeK'을 구축하고, 이를 통해 기존 검색 방법론의 한계를 규명하여 의료 분야용 더 효과적인 검색 시스템의 필요성을 강조합니다.

핵심

🏥 1. 문제: "의사님, 이 약이 왜 이런 부작용을 일으킬까요?"

상상해 보세요. 환자가 의사를 찾아와서 이렇게 묻습니다.

"어제 먹은 항생제 때문에 피부가 가려운데, 이게 왜 생기는 거죠? 그리고 이 가려움증이 우리 몸의 어떤 면역 반응과 연결되어 있나요?"

이 질문은 단순히 '약 이름'을 찾는 게 아니라, 약 → 부작용 → 면역 반응이라는 복잡한 연결 고리를 이해해야 합니다.

기존의 AI(대형 언어 모델) 는 책이나 인터넷에 있는 지식을 많이 읽었지만, **의학적 지식 간의 복잡한 연결고리 (관계)**를 찾아내는 데는 약했습니다. 마치 도서관에서 책만 많이 읽은 학생이, 책과 책 사이의 숨겨진 연관성을 찾아내지 못하는 것과 비슷합니다.

🗺️ 2. 해결책: "리텍 (RiTeK)"이라는 새로운 지도 만들기

연구팀은 AI 가 이 복잡한 질문을 잘 답할 수 있도록 **새로운 훈련용 데이터셋 (리텍, RiTeK)**을 만들었습니다.

• 기존 지도의 한계: 기존 데이터는 "A 는 B 를 만든다"처럼 아주 단순한 연결만 있었습니다. (예: "비행기 → 날다")
• 리텍의 특징: 리텍은 **의학적 지식 그래프 (TKG)**라는 거대한 지도를 만들었습니다.
  • 텍스트 + 연결: 단순히 'A 와 B 가 연결됐다'는 사실뿐만 아니라, **A 와 B 에 대한 자세한 설명 (텍스트)**도 함께 담았습니다.
  • 복잡한 미로: 질문의 형태도 다양합니다. "A 가 B 를 일으키고, 그 B 가 C 와 관련이 있을 때, D 는 무엇인가?"처럼 **여러 단계 (Hop)**를 거쳐야 답이 나오는 복잡한 미로 같은 질문들을 포함합니다.

비유하자면:
기존 데이터가 **"서울역에서 부산역까지 가는 법"**만 알려줬다면, 리텍은 **"서울역에서 부산역까지 가는데, 중간에 '맛있는 커피'를 마시고, '비행기 지연' 상황을 고려하며, '가족의 건강 상태'도 체크하는 복잡한 여행 계획"**을 세우는 법을 가르치는 것입니다.

🧪 3. 검증: "의사 선생님들이 직접 채점하다"

이렇게 만든 데이터가 진짜 의료 현장에서 쓸모 있는지 확인하기 위해 현직 의사 4 명을 모셨습니다.

• "이 질문은 환자가 실제로 할 법한 질문인가?"
• "논리가 자연스러운가?"
• "실제 진료에 도움이 되는가?"

의사들의 엄격한 검증을 통과한 데이터만 최종적으로 사용되었습니다. 이는 마치 새로운 시험 문제를 만들 때, 실제 선생님들이 "이건 너무 어렵다", "이건 현실과 동떨어졌다"고 검토하는 과정과 같습니다.

📉 4. 실험 결과: "AI 들도 아직 갈 길이 멀다"

연구팀은 최신 AI 모델 11 가지를 이 새로운 데이터셋 (리텍) 으로 시험을 치렀습니다. 결과는 어땠을까요?

• 현실: 대부분의 AI 는 복잡한 질문에서 혼란을 겪었습니다.
  • 단순히 지식을 외운 AI 는 연결 고리를 놓쳤고,
  • 추론을 시도한 AI 는 엉뚱한 길로 빠지거나 (할루시네이션),
  • 중요한 텍스트 정보를 놓쳐서 틀린 답을 내놓았습니다.
• 발견: 현재 AI 기술은 의사처럼 복잡한 의학 지식을 연결하고, 텍스트 설명을 읽어내며 답을 찾는 능력이 아직 부족하다는 것을 드러냈습니다.

비유하자면:
수능 시험에서 단순 암기형 문제는 잘 풀지만, 여러 지문을 종합해서 논리적으로 추론해야 하는 고난도 문제를 풀 때는 점수가 매우 낮게 나왔다는 뜻입니다.

🚀 5. 결론: 더 똑똑한 의료 AI 를 위한 첫걸음

이 논문은 **"복잡한 의학 질문을 잘 답할 수 있는 AI 를 만들기 위해서는, 단순한 지식 나열이 아니라 '연결'과 '설명'이 풍부한 새로운 데이터와 훈련 방식이 필요하다"**고 말합니다.

리텍 (RiTeK) 은 앞으로 개발될 더 똑똑한 의료 AI 들이 **환자의 복잡한 증상을 분석하고, 정확한 치료법을 제안할 수 있도록 돕는 '최고의 연습장'**이 될 것입니다.

한 줄 요약:

"의사처럼 복잡한 의학 지식을 연결해서 답할 수 있는 AI 를 만들기 위해, **의사들이 직접 검증한 '복잡한 미로' 같은 새로운 훈련 데이터 (리텍)**를 만들었고, 현재 AI 들은 이 미로를 빠져나가는 데 여전히 고전하고 있다는 사실을 발견했습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 의료 분야에서는 복잡한 현실 세계의 질문 (예: "태아 고통이 모체와 태아의 혈액 순환에 영향을 미치는 장기나 조직 기능 중 어떤 것에 영향을 주는가?") 을 답변하기 위해 **의료 텍스트 지식 그래프 (Medical Textual Knowledge Graphs, TKGs)**로부터 정확한 정보를 검색하고 추론하는 것이 필수적입니다. TKG 는 구조화된 관계 정보와 비구조화된 텍스트 설명 (노드의 정의 등) 을 통합하여 LLM 의 추론 능력을 향상시킬 수 있습니다.
• 기존 데이터셋의 한계:
  • 단순성: 기존 데이터셋 (STaRK 등) 은 주로 1~2 홉 (hop) 의 단순한 추론 경로에 국한되어 있습니다.
  • 구조적 다양성 부족: 다양한 위상 구조 (topological structures) 와 풍부한 관계 유형을 포함하지 못합니다.
  • 텍스트 속성 부재: 노드에 대한 상세한 텍스트 설명이 부족하여 복잡한 제약 조건을 포함한 쿼리를 처리하는 데 한계가 있습니다.
  • 평가 부재: 의료 TKG 를 위한 검색 시스템에 대한 포괄적인 평가 벤치마크가 부재합니다.
• 핵심 문제: 의료 도메인에서 복잡한 위상 구조, 다중 홉 추론, 그리고 텍스트와 관계 정보의 통합을 동시에 처리할 수 있는 고품질 데이터셋과 평가 기준이 부족합니다.

2. 제안 방법론: RiTeK 데이터셋 구축 (Methodology)

저자들은 의료 TKG 에 대한 복잡한 추론을 위한 대규모 데이터셋 RiTeK를 제안했습니다.

가. 의료 텍스트 지식 그래프 (Medical TKG) 구축

• 기반 데이터: PharmKG 및 ADint 데이터를 기반으로 구축되었습니다.
• 특징:
  • Ensembl, UMLS, Mondo Disease Ontology 등 다양한 데이터베이스에서 텍스트 정보를 추출하여 노드 설명을 풍부하게 했습니다.
  • 기존 데이터셋 (STaRK) 에 비해 더 많은 엔티티 유형 (102 개) 과 관계 유형 (15 개 이상) 을 포함하며, 노드의 텍스트 커버리지가 높습니다 (PharmKG 기준 95.61%).

나. 질문 답변 (QA) 데이터셋 구성 파이프라인

RiTeK 는 5 단계의 파이프라인을 통해 구축되었습니다 (Figure 1 참조):

1. 관계 템플릿 구성: 의료 전문가가 설계한 6 가지 위상 구조 (다중 홉, 제약 조건付き 다중 홉 등) 를 기반으로 관계 템플릿을 생성합니다.
2. 텍스트 속성 추출: 관계 조건을 만족하는 k 개의 후보 엔티티 중 정답 (Gold Answer) 을 선정하고, GPT-4 를 활용하여 해당 엔티티의 문서에서 관련 텍스트 속성을 추출합니다.
3. 정보 결합: 추출된 관계 정보와 텍스트 속성을 결합하여 자연스러운 사용자 쿼리를 생성합니다. (환자, 의사, 의학 과학자 등 3 가지 페르소나 시뮬레이션 포함)
4. 추가 답변 필터링: 정답 외의 다른 후보 엔티티가 쿼리의 텍스트 요구 사항을 만족하는지 여러 LLM 을 통해 검증하여 최종 정답 집합을 확정합니다.
5. 전문가 평가: 4 명의 의료 전문가가 생성된 1,000 개의 쿼리에 대해 자연스러움 (Naturalness), 다양성 (Diversity), 실용성 (Practicality) 을 5 점 척도로 평가하여 데이터 품질을 검증했습니다.

다. 데이터셋 통계

• RiTeK-PharmKG: 10,235 개 쿼리, 6 가지 위상 구조, 68 개 관계 템플릿.
• RiTeK-ADint: 5,322 개 쿼리, 6 가지 위상 구조, 58 개 관계 템플릿.
• 다양성: 기존 STaRK 데이터셋보다 높은 인스턴스 비율 (Instance rate) 과 Shannon Entropy, Type-Token Ratio (TTR) 를 보여줍니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 의료 TKG 복잡 추론 데이터셋: 위상 구조, 관계 유형, 엔티티 유형이 다양하고, 관계 정보와 텍스트 정보를 통합한 복잡한 쿼리를 포함하는 최초의 대규모 벤치마크입니다.
2. 의료 전문가 검증: 생성된 쿼리의 신뢰성과 실용성을 보장하기 위해 엄격한 의료 전문가 평가 과정을 거쳤습니다.
3. 포괄적인 벤치마크: 11 가지 대표적인 검색/추론 모델 (Zero-shot, Few-shot, Supervised) 을 평가하여 현재 LLM 기반 검색 시스템의 한계를 규명했습니다.
4. 새로운 표준 제시: 의료 도메인의 반구조화된 데이터 (Semi-structured data) 를 위한 효과적인 검색 시스템 개발의 필요성을 강조하고 방향성을 제시했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

저자들은 11 가지 모델을 RiTeK 및 기존 STaRK-Prime 에서 평가했습니다.

• Zero-shot 및 Few-shot 성능:
  • 기초 모델의 부진: GPT-4 와 COT(Chain-of-Thought) 기반 모델은 그래프의 추론 정보를 효과적으로 활용하지 못해 낮은 성능을 보였습니다.
  • 구조적 프롬핑의 한계: Tree-of-Thought (ToT) 와 Graph-of-Thought (GoT) 는 복잡한 TKG 쿼리에서 외부 지식 없이 내부 추론만으로는 정밀한 사실 기반 답변을 도출하는 데 실패했습니다.
  • 검색 증강 방법의 우위:
    • KAR (Knowledge-Aware Retrieval): 텍스트 의미와 구조화된 KG 관계를 결합하여 가장 강력한 성능을 보였습니다 (Zero-shot F1: RiTeK-PharmKG 기준 25.18%).
    • TOG (Think-on-Graph): Few-shot 설정에서 뛰어난 성능을 발휘하여 복잡한 생물의학 작업에서 지식 그래프 추론 능력을 입증했습니다.
    • G-retriever: 해석 가능한 서브그래프 선택 (PCST 알고리즘) 을 제공하지만, 복잡한 관계 제약 조건 처리에는 KAR 나 TOG 보다 다소 낮은 성능을 보였습니다.
• Supervised Fine-tuning (SFT) 성능:
  • GCR (Knowledge-aware Query Expansion): 모든 벤치마크에서 가장 높은 성능을 기록했습니다 (RiTeK-ADint 기준 ROUGE-1 F1: 57.28%).
  • GNN-RAG: RiTeK 데이터셋에서 GNN 을 활용한 경로 검색으로 좋은 성능을 보였으나, 복잡한 간접 구조의 추론 정보를 놓칠 수 있는 한계가 있었습니다.
• LLM 백본 영향: Llama 3.1, Llama 2, Biomixtral 등 다양한 백본 모델에서 검색 증강 (Retrieval) 을 적용한 경우 (특히 G-retriever) 가 검색 없이 사용하는 경우보다 전반적으로 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현재 기술의 한계 규명: 기존 LLM 기반 검색 및 추론 방법론이 의료 도메인의 복잡한 위상 구조와 텍스트 제약 조건을 동시에 처리하는 데 심각한 어려움을 겪고 있음을 실증했습니다.
• 향후 연구 방향 제시: 단순한 관계 검색을 넘어, 답변 속성 제약 조건 하에서 복잡한 추론 경로를 효과적으로 검색할 수 있는 시스템 개발의 필요성을 강조합니다.
• 한계점 및 향후 과제: 현재는 단일 주제 엔티티와 텍스트/구조 정보에 국한되어 있으며, 향후 다중 엔티티 처리 및 이미지 등 멀티모달 정보 통합, 더 많은 의료 전문가를 통한 편향성 검토 등이 필요하다고 언급했습니다.

요약하자면, RiTeK 는 의료 지식 그래프 기반의 복잡한 추론 능력을 평가하기 위한 표준 벤치마크를 제시하며, 현재 LLM 과 검색 시스템이 직면한 과제를 명확히 하고 향후 연구의 방향을 제시하는 중요한 작업입니다.