Performance Evaluation of Open-Source Large Language Models for Assisting Pathology Report Writing in Japanese

이 논문은 7 가지 오픈소스 대규모 언어 모델 (LLM) 을 평가하여, 추론과 오타 수정 작업에서는 특정 모델이 우수했으나 설명 텍스트에 대한 선호도는 평가자에 따라 크게 달라, 일본어 병리 보고서 작성 보조를 위해 오픈소스 LLM 이 제한적이지만 임상적으로 의미 있는 시나리오에서 유용할 수 있음을 시사합니다.

핵심

🏥 배경: 병원의 '서기'가 필요한 이유

병원에는 환자들의 조직을 현미경으로 보고 진단하는 **'병리과 의사'**들이 있습니다. 이들은 매일 수많은 환자에 대해 긴 보고서 (진단서) 를 써야 하는데, 이 작업은 매우 바쁘고 지루합니다.

최근 ChatGPT 같은 AI 가 등장하면서, "이 AI 가 서기 역할을 대신해 줄 수 있을까?"라는 질문이 생겼습니다. 하지만 병원에는 **환자 정보 (개인정보)**가 들어있기 때문에, 외부 클라우드에 데이터를 보내는 상용 AI 를 쓰기엔 보안상 위험할 수 있습니다. 그래서 연구진들은 **"내 컴퓨터 안에서만 돌아가는 오픈소스 AI"**들을 시험해 보기로 했습니다.

🧪 실험: 7 명의 '서기' 지원자를 뽑다

연구진은 2026 년 1 월 기준, 일본어에 특화된 7 개의 오픈소스 AI 모델을 뽑아 세 가지 시험을 치렀습니다.

1. 시험 A: "양식 맞추기 및 정보 추출" (정형화된 보고서 작성)

• 상황: AI 에게는 "환자 A 는 유방암 1 기, 크기는 2cm" 같은 **데이터 (JSON)**만 주어졌습니다.
• 미션: 이 데이터를 보고, 병원이 정해둔 **정해진 양식 (템플릿)**에 맞춰서 보고서를 작성하거나, 반대로 보고서에서 데이터를 다시 찾아내야 했습니다.
• 결과:
  • 논리적 사고가 필요한 문제 (예: 암의 단계를 계산하는 것): '생각하는 AI (Thinking Model)'들이 압도적으로 잘했습니다. 마치 수학 문제를 풀 때 단계별로 꼼꼼히 계산하는 똑똑한 학생처럼, 단순히 글자를 맞추는 게 아니라 논리를 따져서 정답을 냈습니다.
  • 단순 복사/붙여넣기: 대부분의 AI 가 잘했지만, '생각하는 AI'는 너무 꼼꼼하게 계산하느라 시간이 좀 더 걸렸습니다.

2. 시험 B: "오타 수정" (실수 고치기)

• 상황: 실제 병원에서 만든 보고서에 인위적인 오타를 섞어 넣었습니다. (예: 한자를 틀리게 쓰거나, 글자를 빼먹는 등)
• 미션: AI 가 이 오타를 찾아서 고쳐야 합니다.
• 결과:
  • 의학적 지식이 많은 AI가 가장 잘 고쳤습니다. 일반 AI 는 "글자"만 보고 고치려다 오히려 내용을 망가뜨리는 경우가 많았는데, 의학 전문 지식을 가진 AI는 "아, 이 단어는 병원에서 이렇게 쓰는구나"라고 이해하고 정확하게 고쳤습니다.
  • 반면, 어떤 AI 는 오타를 고치려다 문장 전체를 지워버리는 실수를 하기도 했습니다.

3. 시험 C: "설명글 평가" (사람들이 좋아하는 글쓰기)

• 상황: AI 가 만든 "환자용 설명글"을 실제 의사들과 임상 전문가들이 읽게 했습니다.
• 미션: "이 글이 환자에게 설명하기 좋은가?"를 1 점부터 5 점까지 매겨주었습니다.
• 결과: 가장 흥미로운 부분입니다.
  • 사람마다 취향이 달랐습니다. 어떤 의사는 "A AI 가 쓴 글이 최고야!"라고 5 점을 줬는데, 다른 의사는 "이건 너무 어렵네"라고 2 점을 주기도 했습니다.
  • 마치 요리사가 만든 요리를 평가할 때, "매운 걸 좋아하는 사람"과 "매운 걸 싫어하는 사람"이 서로 다른 점수를 주는 것과 같습니다. AI 가 쓴 글이 완벽해도, 누가 읽느냐에 따라 평가가 천차만별이었습니다.

---

💡 결론: AI 는 만능이 아니지만, '특정 업무'에는 훌륭하다

이 연구의 핵심 메시지는 다음과 같습니다.

1. AI 는 '만능 서기'가 아닙니다.

   • 단순히 데이터를 양식에 맞춰 옮기는 일 (A) 은 기존 컴퓨터 프로그램이 더 빠르고 정확합니다.
   • 하지만 **논리적 추론이 필요하거나 (암 단계 계산), 의학 용어 오타를 고치는 일 (B)**에서는 AI 가 매우 유용합니다.

2. 의사별 취향 (개인화) 이 중요합니다.

   • AI 가 쓴 설명글을 모든 의사가 좋아하지는 않습니다. 병원마다, 의사마다 보고서를 쓰는 스타일이 다르기 때문에, AI 를 한 번에 다 쓰는 게 아니라 각 상황에 맞게 골라쓰거나, 병원 스타일에 맞춰 가르쳐야 (개인화) 합니다.

3. 보안과 실용성.

   • 외부 클라우드를 쓰지 않고 병원 내부 컴퓨터에서 돌아가는 오픈소스 AI 는 개인정보 보호에 훨씬 안전합니다. 하드웨어가 좀 필요하지만, 기술이 발전하면 점점 더 쓸모있어질 것입니다.

🎯 한 줄 요약

"이 연구는 오픈소스 AI 가 병리 보고서의 '오타 수정'과 '논리적 계산'에는 훌륭하지만, '사람들이 좋아하는 글쓰기'는 여전히 사람마다 취향이 달라서 신중하게 골라 써야 한다"는 것을 증명했습니다.

미래에는 병원에서 AI 가 서기 역할을 도와주되, 어떤 업무에는 어떤 AI 를 쓸지를 잘 골라 사용하는 '맞춤형 시스템'이 등장할 것으로 보입니다.

기술 요약

논문 개요

본 연구는 일본어 병리 보고서 작성을 지원하기 위해 오픈소스 대규모 언어 모델 (LLM) 의 성능을 평가한 것입니다. 상용 클라우드 기반 모델은 환자 정보 보호 및 거버넌스 문제로 인해 임상 현장에 직접 적용하기 어렵다는 한계가 있어, 로컬 환경에서 실행 가능한 오픈소스 LLM 의 실용성을 검증하는 것이 주된 목적입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 2022 년 이후 LLM 이 의료 분야로 빠르게 확산되고 있으며, 병리 보고서의 형식화, 오류 수정, 설명 문구 작성 등에 활용 가능성이 제기됨.
• 문제점:
  • 상용 모델 (ChatGPT, Gemini 등) 은 성능이 우수하지만, 환자 정보가 포함된 실제 병리 보고서 처리 시 보안 및 거버넌스 이슈로 인해 임상 배포가 어려움.
  • 기존 연구는 주로 영어 기반 자료에 집중되어 있으며, 평가 방법론이 이질적이고 일본어 병리 보고서에 대한 체계적인 벤치마크가 부족함.
  • 로컬 배포 가능한 오픈소스 모델의 일본어 병리 업무 지원 능력에 대한 구체적인 데이터가 부재함.

2. 연구 방법론 (Methodology)

연구진은 2026 년 1 월 기준 Hugging Face 에서 제공되는 7 개의 오픈소스 LLM 을 선정하여 로컬 환경 (Mac Studio M2 Ultra, 196GB RAM, llama.cpp) 에서 실행하고, 세 가지 주요 관점에서 벤치마크를 수행했습니다.

• 평가 대상 모델 (7 개):

  • Gemma 3-27b-it, MedGemma-27b-text-it (의료 특화), SIP-jmed-llm-3-8x13b (의료 특화), Qwen3-Next-80B (Instruct 및 Thinking 버전), gpt-oss-20b 및 120b.
  • 모든 모델은 Q4 또는 Q8 양자화 (Quantization) 버전을 사용.

• 평가 과제 (3 가지 벤치마크):

  • A) 형식화 및 정보 추출 (Structured Reporting): 일본 유방암학회 보고서 규칙 (Breast Kiyaku) 에 기반하여 4 가지 태스크 수행.
    • JSON 을 병원 전용 템플릿으로 변환 (A1).
    • pT 분류 및 점수 계산이 필요한 정보 추출 및 추론 (A2).
    • 가이드라인 템플릿 준수 여부 확인 (A3).
    • 보고서 텍스트에서 JSON 항목 복원 (A4).
  • B) 오타 수정 (Typo Correction): 실제 병리 보고서 31 건을 대상으로 MeCab 을 활용한 형태소 분석 후, 인위적으로 오타 (삭제, 삽입, 전치, 한자 변환 오류 등) 를 주입하여 모델의 수정 능력을 평가 (정밀도, 재현율, F1 점수).
  • C) 주관적 평가 (Subjective Evaluation): 23 건의 병리 사례에 대해 모델이 생성한 설명 문구 (신입 레지던트 대상) 를 5 명의 병리학과 3 명의 임상 의사가 1~5 점 척도로 평가. (5 점: 수정 없이 사용 가능, 1 점: 기능 불가).

3. 주요 결과 (Key Results)

A. 구조적 보고 및 정보 추출

• 단순 변환 (A1, A4): 대부분의 모델이 높은 정확도 (F1 점수 0.99 이상) 를 보였으나, Gemma 3-27b-it과 MedGemma-27b가 가장 빠르고 정확하게 참조 텍스트를 재현함.
• 추론 및 계산 (A2):
  • 일반 모델 (Thinking 기능 없음) 은 문자열 겹침은 높았으나, pT 분류 및 등급 계산과 같은 논리적 추론에서는 우연 수준 (Chance level) 의 낮은 정확도를 보임.
  • Qwen3-Next-80B-Thinking과 gpt-oss 모델들은 '사고 (Thinking)' 기능을 통해 pT, 핵등급 (NG), 조직학적 등급 (HG) 에서 **거의 완벽한 정확도 (1.00)**를 달성.
• 가이드라인 준수 (A3): SIP-jmed 를 제외한 대부분의 모델이 양호했으나, 지방 조직 침습 등 복잡한 분기 결정에서 오류 발생. Thinking 모델이 가장 높은 일치를 보임.

B. 오타 수정

• Qwen3-Next-80B-Instruct가 가장 균형 잡힌 성능 (Macro F1 0.697) 을 보임.
• MedGemma-27b와 Qwen3-Next-80B-Thinking도 경쟁력 있는 성능을 보였으며, 의료 특화 모델 (SIP-jmed) 은 다른 모델이 놓친 전문 용어 오류를 수정하기도 했으나, 대문자 삭제 (Large Deletion) 오류가 가장 많음.
• gpt-oss-20b는 이 태스크에서 전반적으로 가장 낮은 성능을 보임.

C. 주관적 평가 (설명 문구)

• 평가자 간 편차: 병리학과 임상 의사의 평가 점수 분포는 모델마다 상이했으나, 평가자 간 일치도 (ICC) 가 전반적으로 낮음 (단일 평가자 기준 최대 ICC 0.226).
• 선호도 차이:
  • MedGemma-27b는 병리학과 임상 의사 모두로부터 높은 점수 (4~5 점) 를 많이 받음.
  • Qwen3-Next-80B-Thinking은 병리학자에게 더 호의적으로 평가되었으나, 임상 의사에게는 상대적으로 낮은 점수를 받음.
  • 이는 모델 생성 텍스트에 대한 인간의 선호도가 모델 자체의 성능뿐만 아니라 평가자의 스타일과 의료적 판단에 따라 크게 달라짐을 시사.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 일본어 병리 특화 오픈소스 LLM 벤치마크: 일본어 병리 보고서 작성이라는 구체적인 임상 시나리오에 대한 최초의 체계적인 오픈소스 모델 평가 수행.
2. 태스크별 최적 모델 식별:
   • 추론이 필요한 태스크: 'Thinking' 기능이 있는 모델 (Qwen3-Next-Thinking, gpt-oss) 이 압도적 우위.
   • 오타 수정 및 설명 작성: 의료 특화 모델 (MedGemma, SIP-jmed) 이 일반 모델보다 유리함.
   • 단순 형식 변환: 기존 프로그램이 LLM 보다 빠르고 안정적이지만, LLM 은 예시 기반 변환에 유용함.
3. 임상 배포 전략 제안: 단일 모델이 모든 태스크를 지배하지 않으므로, 업무 유형 (추론 vs 수정 vs 설명) 에 따라 모델을 선택하고, 기관별/개인별 선호도에 맞춰 커스터마이징해야 함을 강조.
4. 보안 및 프라이버시: 상용 모델의 데이터 유출 우려를 해결할 수 있는 로컬 배포 가능한 오픈소스 솔루션의 실용성을 입증.

5. 결론 (Conclusion)

오픈소스 LLM 은 일본어 병리 보고서 작성 지원에 있어 제한적이지만 의미 있는 유용성을 가집니다. 특히 사고 (Thinking) 기능이 있는 모델은 복잡한 추론이 필요한 경우에 강점이 있고, 의료 특화 모델은 오타 수정과 환자/의사 간 소통을 위한 설명 문구 생성에 유리합니다. 그러나 평가자 간 선호도 편차가 크므로, 실제 임상 도입 시에는 특정 태스크에 맞는 모델 선정, 로컬 검증, 그리고 개인화된 조정이 필수적입니다.