기술 요약: 임상 텍스트에 대한 LLM의 관계 추출(Relation Extraction) 능력

문제 정의

임상 정보 추출(CIE), 특히 관계 추출(RE)은 의료 지식 그래프를 구축하고 임상 의사 결정을 지원하는 데 매우 중요합니다. 그러나 비영어권 언어를 위한 RE 시스템 개발은 주석이 달린 데이터셋의 부족으로 인해 심각한 저해를 받고 있습니다. 영어는 2010 i2b2/VA 코퍼스와 같은 자원의 혜택을 받는 반면, 터키어와 같은 저자원 언어는 전용 임상 RE 데이터셋과 강력한 사전 학습된 생물 의학 모델이 부족한 실정입니다. 또한, 병렬 이중 언어 데이터셋의 부재는 엄격한 교차 언어 평가와 글로벌 차원의 견고한 임상 AI 시스템 개발을 가로막고 있습니다. 기존 연구들은 종종 무작위 인컨텍스트 예시 선택이나 일반적인 검색 방법론에 의존하며, 이는 임상 관계 분류에 필요한 특정 의미론적 뉘앙스를 포착하지 못할 수 있습니다.

방법론

본 연구는 영어와 터키어에 대한 임상 관계 추출(RE)을 위한 대규모 언어 모델(LLM)의 첫 번째 종합적인 이중 언어 평가를 제시합니다. 본 연구는 데이터셋 구축, 새로운 검색 메커니즘, 다양한 프롬프팅 전략을 포함하는 체계적인 접근 방식을 채택합니다.

1. 데이터셋 구축

저자들은 2010 i2b2/VA 관계 분류 코퍼스에서 유도된 최초의 영어-터키어 병렬 임상 RE 데이터셋을 구축했습니다.

• 출처: 원본 코퍼스는 개념 추출, 단언 분류(assertion classification), 관계 분류를 위해 주석이 달린 퇴원 요약서 및 경과 보고서를 포함합니다.
• 번역 과정: Ege 대학교와 Dokuz Eylül 대학교의 계산 언어학자와 의료 전문가가 참여한 협력적 노력을 통해 데이터셋을 번슬역했습니다. 이 과정에는 초기 기계 번역(DeepL), 시니어 의사의 전문가 검증, 그리고 용어의 정밀도를 보장하기 위한 은퇴한 의사의 최종 사후 편집 단계가 포함되었습니다.
• 서브셋: 관계 유형(예: Treatment-Improves, Test-Reveals, Problem-Indicates)의 비례적 표현을 유지하면서 선별된 1,500개의 훈련 샘플과 500개의 테스트 샘플을 선정했습니다.

2. 제안된 방법: 관계 인식 검색 (Relation-Aware Retrieval, RAR)

예시 선택 시 일반적인 의미적 유사성의 한계를 해결하기 위해, 저자들은 **관계 인식 검색(RAR)**을 제안합니다.

• 메커니즘: RAR은 타겟 RE 태스크에 맞춰 처음부터 미세 조정된 SimCSE(대조 학습 프레임워크)를 활용합니다.
• 학습 목표: 표준 문장 임베딩과 달리, RAR은 학습 예시에 엔티티 및 관계 레이블 정보를 통합합니다. 이는 문장 수준, 주체 엔티티, 객체 엔티티, 그리고 관계 유형 임베딩을 결합한 가중치 유사도 점수를 구성합니다.
• 목표: 단순히 언어적으로 유사한 것이 아니라, 특정 관계 구조(예: "Treatment improves Problem"을 유사한 관계 유형과 매칭) 측면에서 의미론적으로 정렬된 인컨텍스트 예시를 검색하는 것입니다.

3. 프롬프팅 전략

연구는 여러 LLM(Gemini 1.5/2.0 Flash, DeepSeek-V3, GPT-4o mini)에 대해 다양한 프롬프팅 구성을 평가합니다:

• 인컨텍스트 학습(ICL) 선택: Random 샘플링, KATE (KNN-Augmented), Fine-Tuned Relation Representation (FT-RR, PURE 기반), 그리고 제안된 RAR을 비교합니다.
• 사고 사슬(Chain-of-Thought, CoT) 통합:
  • 정적 CoT (Static CoT): 고정된 추론 템플릿 (Zero-shot 및 Few-shot).
  • 동적 CoT (Dynamic CoT): 검색된 예시에 대해 실시간으로 생성되는 추론:
    • 골드 레이블 유도 추론 (Gold Label-Induced Reasoning): 모델에게 골드 레이블에 대한 근거를 설명하도록 유도.
    • 자기 질문 프롬프팅 (Self-Questioning Prompting, SQP): 관계의 미묘한 차이를 밝혀내기 위한 진단적 질문 생성.
    • 출력 형식 기반 CoT (Output Format-Based CoT): 관계와 짧은 정당성을 명시적으로 기술하는 구조화된 출력 형식 (PromptNER에서 채택).

4. 베이스라인 및 모델

• 미세 조정된 베이스라인: BERT와 PURE(엔티티를 위한 특수 마커를 사용하는 경량 아키텍처)를 이중 언어 데이터셋으로 미세 조정했습니다.
• LLM: 효율성과 추론 능력을 평가하기 위해 MMLU 벤치마크, 지연 시간(latency), 비용을 기준으로 모델을 선정했습니다.

주요 결과

1. 미세 조정 대비 프롬프팅의 우월성

프롬프팅 기반 LLM 접근 방식은 미세 조정된 모델(BERT 및 PURE)이 영어 데이터의 훨씬 더 큰 서브셋으로 학습되었음에도 불구하고 일관되적으로 더 높은 성능을 보였습니다.

• 미세 조정 성능: PURE는 1,500개 샘플 서브셋에 대해 영어에서 0.740, 터키어에서 0.632의 Micro-F1을 달성했습니다.
• 프롬프팅 성능: RAR을 사용한 LLM은 더 적은 학습 예시를 사용했음에도 불구하고 Gemini 1.5 Flash에서 영어 0.906, 터키어 0.870의 Micro-F1 점수를 기록하여 미세 조정된 베이스라인을 능가했습니다.

2. 검색 전략의 영향

**관계 인식 검색(RAR)**은 모든 언어와 모델에 걸쳐 다른 모든 선택 방법(Random, KATE, FT-RR)보다 일관되게 우수한 성능을 보였습니다.

• 영어에서 RAR과 Gemini 1.5 Flash 조합은 0.906의 Micro-F1에 도달했습니다.
• 터키어에서 RAR과 Gemini 1.5 Flash 조합은 0.870의 Micro-F1에 도달했습니다.
• RAR은 높은 효율성을 입증하였으며, 다른 방법들이 유사한 성능에 도달하기 위해 더 많은 예시를 필요로 하거나 수익 체감(diminishing returns)을 보이는 것과 달리, 단 5-shot 예시만으로도 정점에 도달했습니다.

3. CoT 전략의 효과성

CoT 방법 중 출력 형식 기반 CoT가 특히 RAR과 결합되었을 때 가장 높은 성능을 나타냈습니다.

• 최고 종합 결과: RAR 및 출력 형식 CoT와 결합된 DeepSeek-V3는 영어에서 0.918의 Micro-F1을 달성하였으며, 이는 UMLS 온톨로지 보강을 활용한 i2b2-2010 데이터셋의 최첨단(SOTA) 결과와 일치합니다.
• 언어 간 격차: 모든 모델과 기법에서 영어 평가가 터키어 평가보다 일반적으로 높게 나타났습니다. 그러나 고급 검색 및 프롬프팅 전략을 사용함에 따라 그 격차가 크게 줄어들었습니다.
• 모델 특이성: Gemini 1.5 Flash가 두 언어 모두에서 가장 일관된 성능을 보였습니다. GPT-4o mini는 터키어에서 크게 고전했습니다. DeepSeek-V3는 구조화된 추론을 사용할 때 영어에서 Gemini 1.5와 대등한 성능을 보이며 강한 적응력을 보여주었습니다.

4. 오류 분석

혼동 행렬(Confusion matrix) 분석 결과, 모델은 데이터가 제한적인 클래스(예: "Treatment Not Administered")나 의미론적 중첩이 있는 클래스(예: "Test Reveals"와 "Test Conducted to Investigate"의 구분)에서 가장 어려움을 겪었습니다. 터키어 모델은 터키어의 교착어적 특성과 덜 성숙한 언어 특화 임베딩으로 인해 영어 모델보다 높은 혼동률을 보였습니다.

의의 및 주장

본 논문은 저자원이 핵심인 의료 NLP 분야의 공백을 메우며, 터키어 임상 텍스트에 대한 관계 추출의 첫 번째 평가를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 데이터셋 구축: 2010 i2b2/VA 코퍼스에서 유도되고 의료 전문가에 의해 검증된 고품질의 병렬 영어-터키어 임상 RE 데이터셋을 도입했습니다.
2. 방법론적 혁신: 인컨텍스트 예시 선택을 개선하기 위해 대조 학습을 엔티티 및 관계 특화 의미론과 통합한 **관계 인식 검색(RAR)**을 제안했습니다. 저자들은 RAR이 기존의 검색 방법들을 일관되게 능가함을 입증했습니다.
3. 경험적 증거: 프롬프팅 기반 LLM이 저자원 이중 언어 환경에서도 미세 조정된 소규모 언어 모델보다 임상 RE 작업에서 더 뛰어난 성능을 발휘할 수 있음을 입증했습니다. 이는 고품질의 관계 인식 데몬스트레이션 검색이 모델 크기나 복잡한 추론 자체보다 성능에 더 중요하다는 것을 강조합니다.
4. 최첨단 성능: RAR과 구조화된 출력 형식 CoT를 결합함으로써, 본 연구는 외부 온톨로지(UMLS 등)에 의존하지 않고도 i2b2-2010 태스크의 SOTA와 일치하는 0.918의 영어 Micro-F1을 달성하였으며, 이는 다국어 임상 AI를 위한 실행 가능한 경로를 제시합니다.

저자들은 태스크 특화 검색과 구조화된 프롬프팅을 통합하는 것이 임상 NLP의 자원 격차를 해소하여, 다양한 언어에 걸쳐 더욱 공평하고 접근 가능한 임상 AI 시스템을 가능하게 하는 실질적인 경로를 제공한다고 결론짓습니다.