Leveraging Open-Source Large Language Models for Clinical Information Extraction in Resource-Constrained Settings

이 논문은 데이터 프라이버시와 투명성 문제를 해결하기 위해 오픈소스 대규모 언어 모델과 \texttt{llm\_extractinator} 프레임워크를 활용하여 네덜란드어 의료 보고서에서 임상 정보를 추출하는 데 있어 번역 없이 원어 처리를 수행하는 것이 저자원 환경에서 효과적이고 확장 가능한 솔루션임을 입증했습니다.

핵심

🏥 배경: 병원 기록의 '해석 불가' 문제

병원에는 매일 수많은 환자 기록 (진단서, 검사 결과 등) 이 쌓입니다. 이 기록들은 보물처럼 많은 정보를 담고 있지만, 문장 구조가 제각각이고 전문 용어가 가득해서 컴퓨터가 읽기 어렵습니다. 마치 손으로 쓴 요리 레시피를 컴퓨터가 읽으려다 난감해하는 상황과 비슷합니다.

과거에는 이 문제를 해결하기 위해 **비싼 상용 AI (GPT-4 같은 것)**를 썼습니다. 하지만 이 AI 들은:

1. 비싸고 (구독료 필요)
2. 데이터를 외부로 보내야 해서 (환자 정보 유출 위험)
3. 어떻게 작동하는지 알 수 없어서 (블랙박스)
   병원에서 쓰기엔 위험하고 부담스러웠습니다.

🛠️ 해결책: "오픈소스 AI"와 "llm extractinator"라는 도구

연구팀은 **"누구나 무료로 쓸 수 있는 오픈소스 AI"**를 이용해 이 문제를 해결했습니다. 그리고 이를 쉽게 쓸 수 있도록 **'llm extractinator'**라는 **만능 요리 도구 (프레임워크)**를 만들었습니다.

이 도구의 역할은 다음과 같습니다:

• 요리사 (AI) 가 원하는 대로 재료를 다듬어 줍니다: 병원 기록을 AI 가 이해하기 쉽게 정리해 줍니다.
• 접시 (출력 형식) 를 정해줍니다: AI 가 요리 (결과) 를 낼 때, 정해진 모양 (JSON 형식) 대로만 나오게 해서 컴퓨터가 바로 처리할 수 있게 합니다.
• 언어 장벽을 넘게 합니다: 네덜란드어 (네덜란드 병원 기록) 를 그대로 이해하게 해줍니다.

🧪 실험: 어떤 AI 가 가장 잘할까? (네덜란드어 기준)

연구팀은 9 가지 다른 오픈소스 AI 모델을 네덜란드어 병원 기록으로 시험해 보았습니다.

1. 성공한 모델들:

   • Phi-4, Qwen-2.5, DeepSeek-R1 (약 140 억 개의 '뇌세포'를 가진 모델들) 가 가장 잘했습니다.
   • Llama-3.3 (700 억 개의 뇌세포) 이 가장 정확했지만, 컴퓨터가 너무 무거워서 모든 병원에서 쓰기엔 비쌌습니다.
   • 결론: 너무 크지 않은 140 억 모델들도 충분히 훌륭하게 일했습니다.

2. 실패한 모델들:

   • Llama-3.2 (30 억), Gemma-2 (20 억) 같은 작은 모델들은 아예 엉뚱한 소리를 하거나 제대로 된 답을 못 냈습니다. (너무 작은 요리사에게 복잡한 요리를 시킨 꼴입니다.)

3. 중요한 발견: "번역"은 해롭다!

   • 많은 사람이 "네덜란드어를 영어로 번역해서 AI 에게 주면 더 잘할 거야"라고 생각했습니다.
   • 하지만 결과는 정반대였습니다. 번역을 하면 의미가 왜곡되어 AI 성능이 뚝 떨어졌습니다.
   • 비유: "한국어 메뉴판을 영어로 번역해서 한국 요리사에게 주면, 요리사가 한국 요리를 망친다"는 것과 같습니다. 원어 (네덜란드어) 로 직접 처리하는 것이 가장 좋습니다.

📊 결과 요약

• 비용 절감: 비싼 상용 AI 대신, 무료로 쓸 수 있는 오픈소스 AI 를 쓰면 환자 데이터는 병원 내부에 안전하게 보관하면서도 훌륭한 결과를 얻을 수 있습니다.
• 작은 모델도 OK: 거대하고 무거운 AI 가 아니더라도, 적당한 크기의 모델만 있으면 병원 업무에 충분히 쓸 수 있습니다.
• 번역 금지: 의료 기록은 원어로 처리해야 정확합니다.

🌟 결론

이 연구는 **"돈이 부족한 병원이나 작은 의료 기관도, 고급스러운 AI 기술을 안전하고 저렴하게 쓸 수 있다"**는 것을 증명했습니다. 마치 비싼 외식 대신, 누구나 쓸 수 있는 좋은 주방 도구와 레시피를 제공해서 집에서도 맛있는 요리를 할 수 있게 해준 것과 같습니다.

이제 병원들은 AI 를 도입할 때, 데이터 보안 걱정 없이 그리고 높은 비용 없이 환자 기록을 자동으로 분석할 수 있는 길이 열렸습니다.

기술 요약

논문 요약: 자원 제약 환경에서의 오픈소스 대규모 언어 모델을 활용한 임상 정보 추출

1. 연구 배경 및 문제 제기 (Problem)

• 임상 보고서의 가치와 한계: 의료 보고서는 진단, 시술, 약물, 임상 관찰 등 풍부한 정보를 포함하고 있으나, 비정형 텍스트 (unstructured text) 로 작성되고 전문 용어가 많아 정보 추출 (Information Extraction, IE) 이 어렵습니다.
• 기존 방법의 한계: 전통적인 규칙 기반 시스템은 비정형 텍스트 처리에 취약하며, BERT 와 같은 도메인 특화 모델은 대규모 레이블 데이터가 필요하여 확장성과 새로운 작업 적응에 한계가 있습니다.
• 상용 LLM 의 문제: GPT-4 와 같은 상용 생성형 LLM 은 성능이 우수하지만, 데이터 프라이버시 (병원 외부 서버 전송), 투명성 부족, 윤리적 문제 (데이터 소스 불명확) 로 인해 의료 환경, 특히 의료 데이터 보호 규정이 엄격한 환경에서 활용이 제한됩니다.
• 저자원 언어의 격차: 오픈소스 LLM 은 주로 영어, 중국어 등 고자원 언어에 집중되어 훈련되어 있어, 네덜란드어와 같은 중저자원 언어 및 전문 의학 용어가 포함된 텍스트 처리 시 성능이 떨어질 수 있다는 우려가 있었습니다.

2. 연구 방법론 (Methodology)

• 평가 벤치마크 (DRAGON Challenge): 네덜란드어 임상 보고서 28,824 건을 기반으로 한 DRAGON 벤치마크를 사용했습니다. 이는 5 개 의료 센터의 데이터를 포함하며, 분류 (Classification), 회귀 (Regression), 개체명 인식 (NER) 등 28 가지 임상 정보 추출 작업으로 구성됩니다.
• 개발 프레임워크 (llm extractinator):
  • 오픈소스 생성형 LLM 을 임상 정보 추출 작업에 자동화하여 적용하기 위해 **llm extractinator**라는 공개 프레임워크를 개발했습니다.
  • 입력: 사용자 정의 Taskfile(JSON 형식의 작업 설명 및 출력 형식) 과 입력 데이터.
  • 프로세스: LangChain 을 활용한 프롬프트 생성 (Zero-shot Chain-of-Thought), Ollama 를 통한 로컬 모델 추론, JSON 출력 파싱 및 유효성 검사.
  • 특징: 언어 중립적이며, 문서 토큰 수에 따라 컨텍스트 길이를 동적으로 조정하고, 비준수 출력 시 재시도 로직을 포함합니다.
• 평가 모델: 9 가지 오픈소스 생성형 LLM 을 평가했습니다.
  • 모델 목록: Llama-3.3-70B, Llama-3.1-8B, Llama-3.2-3B, Gemma-2-9B, Gemma-2-2B, Phi-4-14B, Qwen-2.5-14B, DeepSeek-R1-14B, Mistral-Nemo-12B.
  • 설정: 모든 모델은 Zero-shot 설정 (학습 데이터나 예시 없이 프롬프트만으로 추론) 으로 평가되었으며, 4-bit 양자화 (Quantization) 를 적용하여 소비자급 GPU 에서 실행 가능하도록 최적화했습니다.
• 비교 실험: 네덜란드어 입력을 LLM 을 통해 영어로 번역한 후 추론하는 경우 (In-context translation) 와 원어 (네덜란드어) 로 직접 추론하는 경우를 비교했습니다.

3. 주요 기여 (Key Contributions)

1. llm extractinator 프레임워크 공개: 확장 가능하고 언어 중립적인 오픈소스 프레임워크를 개발하여 공개했습니다. 이는 복잡한 도메인 특화 맥락에서 LLM 배포의 진입 장벽을 낮추고 표준화된 JSON 출력을 보장합니다.
2. 포괄적인 오픈소스 LLM 평가: 네덜란드어 임상 보고서 28 개 작업에 대해 9 가지 오픈소스 LLM 을 Zero-shot 설정에서 체계적으로 평가했습니다. 이는 저자원 언어 환경에서 생성형 LLM 의 실용성을 입증하는 중요한 벤치마크입니다.
3. 실용적 통찰 제공: 작은 규모의 오픈소스 모델이 고비용의 상용 모델이나 파인튜닝된 BERT 모델과 경쟁할 수 있음을 보여주며, 의료 AI 의 실용적 적용 가능성을 제시했습니다.

4. 주요 결과 (Results)

• 모델 성능 계층화:
  • 최상위 그룹: Phi-4-14B, Qwen-2.5-14B, DeepSeek-R1-14B(약 14B 파라미터) 는 28 개 작업 중 상당 부분에서 'Excellent' 또는 'Good' 등급을 기록하며 경쟁력 있는 성능 (SDRAGON 점수 약 0.74~0.75) 을 보였습니다.
  • 최고 성능 모델: Llama-3.3-70B가 SDRAGON 점수 0.760으로 가장 높은 성능을 보였으나, 이는 계산 비용이 매우 높습니다.
  • 중간 그룹: Gemma2-9B 와 Mistral-Nemo-12B 는 SDRAGON 0.688 로 양호한 성능을 보였습니다.
  • 하위 그룹: Llama-3.1-8B(0.588) 는 중간 성능, Llama-3.2-3B(0.271) 와 Gemma-2-2B 는 대부분의 작업에서 실패하거나 유효한 JSON 출력을 생성하지 못했습니다. 이는 Zero-shot 임상 NLP 에는 최소 14B 이상의 파라미터가 필요할 수 있음을 시사합니다.
• 작업 유형별 성능:
  • 회귀 (Regression): 모든 모델이 높은 성능 (평균 RSMAPES 0.971) 을 보였습니다. 생성형 모델이 수치 값을 복사하고 추론하는 데 강점이 있음을 확인했습니다.
  • 분류 (Classification): 성능은 작업에 따라 다양했으나, 상위 모델들은 많은 작업에서 파인튜닝된 RoBERTa 기반 모델과 유사하거나 더 나은 성능을 보였습니다.
  • 개체명 인식 (NER): 모든 모델이 낮은 성능 (F1 < 0.47) 을 보였습니다. 이는 생성형 모델이 토큰 수준의 희소 목록을 생성하는 데 적합하지 않고, DRAGON 벤치마크의 평가 형식 (구조화된 JSON) 과의 불일치 때문으로 분석됩니다.
• 번역의 영향: 네덜란드어 텍스트를 영어로 번역하여 추론하는 것은 일관되게 성능을 저하시켰습니다 (예: Phi-4-14B 는 0.751 → 0.533 감소). 이는 번역 과정에서 임상적 뉘앙스가 손실되거나 노이즈가 발생하기 때문이며, 원어 (Native-language) 추론의 중요성을 강조합니다.
• 파인튜닝 모델 (RoBERTa) 과의 비교:
  • 전체 평균 점수에서는 파인튜닝된 RoBERTa(0.819) 가 Llama-3.3(0.760) 보다 높았습니다.
  • 그러나 NER 과 특정 분류 작업 (Task 04) 을 제외하면, Llama-3.3 의 평균 점수 (0.858) 가 RoBERTa(0.814) 를 상회했습니다. 이는 생성형 LLM 이 구조화된 추론과 회귀 작업에 강점이 있고, 인코더 기반 모델은 토큰 분류에 강점이 있음을 보여줍니다.
  • 중요한 점: Llama-3.3 은 Zero-shot으로 평가된 반면, RoBERTa 는 모든 작업에 대해 파인튜닝된 상태였습니다. 레이블 데이터가 부족한 환경에서 Zero-shot 생성형 LLM 이 파인튜닝된 모델과 경쟁할 수 있다는 것은 큰 의미입니다.

5. 의의 및 결론 (Significance)

• 프라이버시와 접근성: 오픈소스 LLM 을 로컬 인프라에서 실행함으로써 의료 데이터의 외부 유출 없이 프라이버시를 보호하면서도 고품질의 정보 추출이 가능합니다.
• 자원 제약 환경의 해결책: 14B 파라미터급 모델은 소비자급 GPU(12GB VRAM) 에서 4-bit 양자화로 실행 가능하여, 고사양 하드웨어가 없는 병원에서도 확장 가능한 솔루션을 제공합니다.
• 언어적 다양성: 영어 중심의 훈련 데이터에도 불구하고, 네덜란드어와 같은 중저자원 언어에서 오픈소스 LLM 이 효과적으로 작동할 수 있음을 입증했습니다.
• 미래 방향: 번역을 통한 우회 전략보다는 원어 처리의 중요성을 강조하며, 향후 Few-shot 학습, 경량 인스트럭션 튜닝, 검색 증강 생성 (RAG) 등을 통해 성능을 더욱 향상시킬 수 있는 가능성을 제시합니다.

결론적으로, 이 연구는 오픈소스 생성형 LLM 과 llm extractinator 프레임워크를 결합하면, 레이블 데이터가 부족하고 계산 자원이 제한된 환경에서도 효과적이고 프라이버시를 고려한 임상 정보 추출이 가능함을 입증했습니다.