Llettuce: An Open Source Natural Language Processing Tool for the Translation of Medical Terms into Uniform Clinical Encoding

1. 문제 정의 (Problem)

의료 데이터의 표준화, 특히 **OMOP 공통 데이터 모델 (CDM)**로의 변환은 연구의 투명성과 재현성을 높이는 핵심 과정이지만, 다음과 같은 어려움이 존재합니다.

• 기존 도구의 한계: OHDSI 의 Athena 데이터베이스 검색이나 Usagi 같은 기존 도구는 단순 문자열 매칭 (lexical search) 에 의존합니다. 이는 의학적 용어의 뉘앙스 (semantic nuances) 를 이해하지 못하며, 환자가 보고한 비공식적인 약물 이름 (예: "Now Foods omega-3") 과 표준 용어 (예: "Fish oil") 간의 매칭을 실패하게 만듭니다.
• 수동 작업의 부담: 자동화 도구가 있더라도 여전히 상당한 수동 검토와 개입이 필요하여 시간이 많이 소요되고 인간 오류의 위험이 있습니다.
• 데이터 보호 및 규정 준수: OpenAI ChatGPT 와 같은 상용 LLM 을 사용하면 의료 데이터의 개인정보 보호 (GDPR 준수) 및 데이터 유출 우려가 발생하여 클라우드 기반 솔루션의 적용에 제약이 따릅니다.

2. 방법론 (Methodology)

이 논문은 이러한 문제를 해결하기 위해 Lettuce라는 오픈 소스 NLP 도구를 개발했습니다. Lettuce 는 로컬 환경에서 실행 가능하여 데이터 프라이버시를 보장하면서도 고급 자연어 처리 기술을 활용합니다.

• 아키텍처 및 검색 경로:

  1. 텍스트 검색 (Text Search): 키워드 매칭 (BM25 알고리즘 기반) 을 수행합니다. 입력어를 어근 (root form) 으로 변환하여 사전에 저장된 어휘와 비교합니다.
  2. 벡터 기반 의미 검색 (Vector-Based Semantic Search): BGE-small, PubMedBERT 와 같은 임베딩 모델을 사용하여 텍스트를 수치 벡터로 변환합니다. 단어의 표면적 유사성이 아닌 의미적 유사성을 기반으로 개념을 검색합니다 (예: 'paracetamol'과 'acetaminophen'은 다른 문자열이지만 의미적으로 가깝게 매핑됨).
  3. 검색 증강 생성 (RAG, Retrieval-Augmented Generation): 의미 검색으로 높은 신뢰도의 매칭이 나오지 않을 경우, 검색된 상위 개념들을 컨텍스트로 LLM 에 제공하여 최종 추천을 생성합니다. LLM 이 생성한 답변은 다시 OMOP 어휘와 일치하는지 검증합니다.

• 실험 설계:

  • 데이터셋: 영국 노팅엄 대학교 병원 (NUH) 의 임상 시험 데이터 (218 개 약물) 와 싱가포르의 HELIOS 연구 (자가 보고된 10,004 명 이상의 약물 데이터) 를 사용했습니다.
  • 비교 대상: 기존 도구인 Usagi(BM25 기반), 상용 LLM(OpenAI), 그리고 다양한 오픈 소스 LLM(Qwen, Phi-3, Llama, Gemma) 을 비교했습니다.
  • 평가 지표: 목표 개념이 상위 10 개 결과 (Top-10) 내에 포함되는지 여부 (Accuracy@10) 를 측정했습니다.

3. 주요 기여 (Key Contributions)

• 오픈 소스 및 로컬 배포 가능성: Lettuce 는 MIT 라이선스로 공개되었으며, 로컬 서버에서 실행되어 GDPR 및 의료 데이터 보호 규정을 완벽하게 준수합니다.
• 유연한 파이프라인: 텍스트 검색, 의미 검색, RAG 기반 LLM 검색을 구성 가능한 파이프라인으로 제공합니다.
• Lettuce Inspector: 다양한 파이프라인 설정과 모델 성능을 체계적으로 평가하고 벤치마킹할 수 있는 독립적인 실험 프레임워크를 함께 개발했습니다.
• 비공식 용어 처리 능력: 브랜드명, 약어, 오타, 비공식 표현이 포함된 환자 보고 데이터를 OMOP 표준 개념으로 정확하게 변환하는 능력을 입증했습니다.

4. 결과 (Results)

• 검색 성능: 의미 기반 검색 (Semantic Search) 은 기존 키워드 매칭 (BM25) 보다 항상 우수한 성능을 보였습니다. 특히 HELIOS 연구 (비공식 데이터) 에서 BM25 는 목표 개념을 Top-10 에서 10.25% 만 찾은 반면, 의미 검색 (BGE-small) 은 **22.25%**까지 향상시켰습니다. NUH 데이터셋 (더 표준화된 용어) 에서는 의미 검색이 79.8% 의 정확도를 보였습니다.
• LLM 및 RAG 효과:
  • RAG(검색 증강 생성) 를 적용한 경우, LLM 의 정답 확률이 RAG 미적용 대비 62% 증가 (Odds Ratio 1.62) 했습니다.
  • 모델 크기가 반드시 정확도와 비례하지는 않았습니다 (예: HELIOS 데이터셋에서 Phi-4 는 성능이 낮았음).
  • Gemma 3 (12B) 모델이 RAG 와 결합되었을 때 가장 좋은 성능을 보였습니다. 특히 검색된 개념의 속성 (도메인, 분류 등) 을 프롬프트에 포함시키는 것이 단순 이름 제공보다 더 효과적이었습니다.
• 비교: Lettuce 의 성능은 OpenAI 모델과 유사하거나 더 좋으며, 데이터 보호 측면에서 훨씬 유리합니다.

5. 의의 및 결론 (Significance)

• 의료 데이터 표준화의 혁신: Lettuce 는 복잡한 의료 용어를 OMOP 표준으로 변환하는 과정을 자동화하고 정확도를 높여, 대규모 의료 데이터 연구 (FAIR 원칙 준수) 를 가속화합니다.
• 규제 준수와 성능의 균형: 클라우드 기반 LLM 의 데이터 유출 위험 없이, 로컬 환경에서 고성능 NLP 를 구현하여 의료 기관의 데이터 거버넌스 요구사항을 충족시킵니다.
• 확장성: 모듈식 아키텍처를 통해 향후 다른 의료 도메인 (약물 외의 영역) 이나 새로운 LLM 모델, 에이전트 기반 도구 통합 (MCP 등) 으로 쉽게 확장할 수 있습니다.

요약하자면, Lettuce는 의료 데이터의 표준화 과정에서 발생하는 의미적 불일치와 데이터 프라이버시 문제를 동시에 해결하기 위해 개발된 차세대 오픈 소스 도구로, 의미 기반 검색과 RAG 기술을 결합하여 기존 방법론보다 월등히 높은 정확도를 제공합니다.