논문 요약: Team MKC 의 MEDIQA-SYNUR 2026 참여 및 RAG 기반 간호사 관찰 추출

1. 문제 정의 (Problem)

• 배경: 대형 언어 모델 (LLM) 의 발전은 의료 분야로 확장되고 있으나, 고품질의 주석 데이터 (annotated data) 확보는 프라이버시 문제와 전문가 주석의 높은 비용으로 인해 여전히 병목 현상입니다.
• 핵심 과제: 간호사의 구두 기록 (dictation) 에서 임상 관찰 사항 (Clinical Observations) 을 자동으로 추출하여 의료 문서화 부담을 줄이는 것입니다.
• 어려움: 간호사의 기록은 비정형적이며, 복잡한 의학적 용어와 문맥을 포함하고 있어 기존 파인튜닝 (Fine-tuning) 방식은 데이터 부족과 계산 비용 측면에서 한계가 있습니다.

2. 제안 방법론 (Methodology)

이 논문은 추가적인 모델 학습 (Training-free) 없이, **검색 증강 생성 (Retrieval-Augmented Generation, RAG)**을 기반으로 한 자동 파이프라인을 제안합니다. 전체 프로세스는 Figure 1 에 시각화되어 있으며, 주요 단계는 다음과 같습니다.

• 1 단계: 간호사 기록 분할 (Segmentation)

  • 긴 간호사 기록을 LLM 을 사용하여 임상 사실 (Clinical Facts) 이 포함된 독립적인 단위로 분할합니다.
  • 분할 규칙: 원본 텍스트 순서 유지, 문맥 변화 시 분할, 구어체 포함 등 (Figure 2 프롬프트 참조).

• 2 단계: 이중 검색 메커니즘 (Dual-Retrieval Mechanism)
  제안된 파이프라인은 두 가지 검색 소스를 활용하여 LLM 에 컨텍스트를 제공합니다.

  • A. 온톨로지 기반 검색 (Ontology-based Retrieval):
    • 현재 발화 (Utterance) 와 관련된 가장 관련성 높은 의학적 스키마 (Schema) 를 온톨로지 데이터베이스에서 검색합니다.
    • 검색 시 BlueBERT와 TF-IDF를 혼용하여 정확도를 높입니다.
    • 검색된 스키마는 이름, 설명 (layperson 이 이해하기 쉬운 설명), 값의 범주 (Options) 로 포맷팅되어 LLM 에 입력됩니다.
  • B. 메모리 뱅크 기반 Few-shot 검색 (Memory Bank Retrieval):
    • 훈련 데이터셋에서 입력 세그먼트와 의미적으로 유사한 세그먼트와 해당 골드 스탠다드 (Ground-truth) 관찰 쌍을 검색합니다.
    • BlueBERT와 BM25를 혼용하여 상위 15 개의 예시를 Few-shot 컨텍스트로 제공합니다.
    • 이는 LLM 이 인-컨텍스트 학습 (In-context Learning) 을 통해 추출 패턴을 학습하도록 돕습니다.

• 3 단계: 관찰 생성 (Observation Generation)

  • 검색된 온톨로지 스키마와 Few-shot 예시를 프롬프트에 포함시켜 LLM 에게 현재 세그먼트에 해당하는 관찰 값을 추출하도록 지시합니다.
  • 출력은 JSON 형식으로, 스키마에 정의된 값 범주 내에서만 값을 선택하도록 제한합니다 (Figure 6 프롬프트 참조).

3. 주요 기여 (Key Contributions)

• 학습 없는 (Training-free) 고효율 파이프라인: 방대한 양의 주석 데이터로 모델을 파인튜닝하지 않고도, RAG 와 인-컨텍스트 학습을 통해 높은 성능을 달성했습니다.
• 이중 검색 전략의 효과성: 단순한 Few-shot 학습뿐만 아니라, 의학적 온톨로지를 통한 명시적 지식 (Explicit Medical Context) 제공이 추출 정확도에 결정적인 역할을 함을 입증했습니다.
• 데이터 전처리 및 정제: 훈련 데이터셋의 일관성을 높이기 위해 LLM 을 활용한 세그먼트 - 관찰 매핑 자동화 과정을 도입했습니다.

4. 실험 결과 (Results)

• 평가 데이터셋: MEDIQA-SYNUR 테스트 데이터셋.
• 성능 지표:
  • 제안된 방법 (Few-shot + Schema) 은 F1-score 0.796을 달성했습니다.
  • Ablation Study: 온톨로지 스키마를 Few-shot 예시와 함께 제공할 때 (F1 0.829, 개발셋 기준) Few-shot 단독 (F1 0.739) 보다 성능이 크게 향상됨을 확인했습니다.
  • 검색 모델: 스키마 및 예시 검색에 BlueBERT가 ClinicalBERT, PubMedBert 대비 가장 우수한 성능을 보였습니다.
  • 모델 구성: 생성기 (Generator) 로 GPT-5.1, 분할기 (Segmenter) 로 GPT-5-mini 를 사용한 조합이 최적의 성능을 보였습니다. 특히 분할기와 메모리 뱅크 구축 시 동일한 모델을 사용하여 일관성을 유지하는 것이 중요함을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상 문서화 부담 경감: 간호사의 구두 기록을 자동으로 구조화된 임상 관찰 데이터로 변환하여 의료진의 업무 부담을 획기적으로 줄일 수 있는 가능성을 제시했습니다.
• 신뢰성 있는 자동화: 고도의 정확도 (F1 0.796) 를 보여주며, 민감한 의료 분야에서 LLM 기반 자동화의 실용성을 입증했습니다.
• 향후 과제: 불필요한 세그먼트에 대한 LLM 호출을 줄이기 위해 관찰 유무를 먼저 판단하는 분류기를 도입하여 파이프라인 효율성을 높이는 방안을 논의했습니다. 또한, 데이터 내 단위 및 값 형식의 불일치 문제를 해결하기 위한 표준화 필요성을 지적했습니다.

결론적으로, 이 연구는 의료 도메인 특화 데이터의 부족 문제를 RAG 기술로 우회하여, 간호사 기록의 자동 구조화라는 중요한 과제를 해결하는 효과적인 프레임워크를 제시했습니다.