A Semi-Automated Annotation Workflow for Paediatric Histopathology Reports Using Small Language Models

1. 문제 정의 (Problem Statement)

• 비정형 데이터의 한계: 전자 환자 기록 (EPR) 시스템에는 귀중한 임상 정보가 포함되어 있지만, 대부분 비정형 텍스트 (자유 형식의 서술) 로 저장되어 있어 정량적 분석이나 연구, 의사결정에 활용하기 어렵습니다.
• 병리 보고서의 복잡성: 조직병리 보고서에는 전문 용어, 약어, 비공식적 표현, 부정 (negation), 불확실성 (uncertainty) 등이 혼재되어 있어 기존 NLP(자연어 처리) 모델이 처리하기 어렵습니다.
• 기존 모델의 제약:
  • 대형 언어 모델 (LLM): 높은 성능을 보이지만, 민감한 환자 데이터를 처리해야 하는 의료 환경 (특히 소아 데이터) 에서는 로컬 인프라 (CPU 만 지원) 에서 실행하기엔 계산 자원이 너무 많이 필요하고, 외부 API 사용은 보안상 불가능합니다.
  • 전통적 NER(개체명 인식) 모델: spaCy, BioBERT 등은 명확한 개체에는 강하지만, 문맥에 의존하거나 비연속적인 텍스트 스팬, 복잡한 관계 추출에는 한계가 있습니다.
• 목표: 제한된 컴퓨팅 자원 (16GB RAM 노트북, CPU 만) 과 민감한 데이터를 보호해야 하는 제약 조건 하에서, 임상 전문가의 개입을 최소화하면서도 신뢰할 수 있는 구조화된 정보 추출이 가능한 워크플로우 개발.

2. 방법론 (Methodology)

A. 데이터 및 전처리

• 데이터셋: 영국 그레이트 오몬드 스트리트 병원 (GOSH) 에서 2018 년 1 월부터 2023 년 12 월까지 수집된 2,111 건의 소아 신장 생검 (Renal Biopsy) 병리 보고서.
• 전처리: 보고서의 '현미경 (microscopy)' 및 '결론 (conclusion)' 섹션을 추출하여 분석 대상으로 삼았습니다.
• 평가셋: 총 400 건의 보고서를 임상 전문가와 함께 수동으로 주석 (Ground Truth) 을 달아 평가 기준으로 사용했습니다.

B. 워크플로우 설계 (Semi-Automated Workflow)

연구팀은 질문 - 답변 (QA, Question-Answering) 프레임워크를 사용하여 정보 추출을 수행했습니다.

1. 개체 가이드라인 (Entity Guidelines): Banff 분류 체계를 기반으로 신장 생검 (이식 및 비이식) 에 특화된 개체 스키마를 개발했습니다. (예: 코르텍스 존재 여부, 사구체 수, 경화 정도, 최종 진단 등 9 가지 개체).
2. 프롬프트 엔지니어링:
   • Zero-shot: 가이드라인만 제공.
   • Few-shot: 가이드라인과 함께 예시 (Synthetic exemplars) 를 제공.
   • 그룹화: 관련 개체들을 하나의 프롬프트 질문으로 묶어 처리.
3. 모델 선택: 1B~5B 파라미터 규모의 소형 언어 모델 (SLM) 5 종을 로컬에서 실행했습니다.
   • Qwen-2.5 1.5B, Gemma 2 2B, Llama 3.2 3B, Phi-3.5 Mini 3.8B (Q4, Q8 양자화 버전).
4. 불일치 모델링 (Disagreement Modelling): 두 개의 서로 다른 SLM 모델이 생성한 결과를 비교하고, Ground Truth 와의 불일치를 분석하여 임상 검토가 필요한 보고서를 우선순위화했습니다.

C. 평가 지표 및 도구

• 정확도 (Accuracy): 추출된 개체의 정확성을 측정. 이진/범주형/수치형은 문자열 매칭, 복잡한 문자열 (Final Diagnosis 등) 은 LM-as-a-Judge (LAAJ) 기법 (또 다른 소형 LLM 을 판사로 활용) 으로 평가.
• 소프트웨어: Streamlit 기반의 주석 인터페이스와 모듈화된 Python 코드 (preprocessor, qa, annotation app) 를 개발하여 오픈소스로 공개했습니다.

3. 주요 결과 (Key Results)

A. 모델 성능 비교

• 최고 성능: Gemma 2 2B (FP16) 모델이 **84.3%**의 정확도를 기록하여 가장 우수했습니다.
  • 가이드라인 (Guidelines) 과 Few-shot 예시를 모두 적용했을 때 성능이 극대화되었습니다.
• 기타 모델: Llama 3.2 3B (83.4%), Phi-3.5 Q8 (82.3%) 도 80% 이상의 임상 활용 임계값을 달성했습니다.
• 기존 모델 대비 우위:
  • spaCy (74.3%), BioBERT-SQuAD (62.3%), RoBERTa-SQuAD (59.7%), GLiNER (60.2%) 보다 모든 SLM 이 높은 정확도를 보였습니다.
  • 특히 복잡한 문자열 개체 (Final Diagnosis) 추출에서 SLM 이 압도적인 우위를 보였습니다 (SLM: 88.591.8% vs 전통적 방법: 0.260.5%).
• 처리 속도: 보고서당 26.2 초 ~ 72.0 초 소요. CPU 만 있는 표준 노트북 (16GB RAM) 에서 전체 데이터셋 (2,111 건) 을 2 일 이내에 처리 가능했습니다.

B. 프롬프트 및 가이드라인의 영향

• 가이드라인 효과: 모든 모델에서 가이드라인 제공 시 정확도가 7.4%~18.6% 상승했습니다.
• Few-shot 효과: 가이드라인이 없는 환경에서 예시 제공 시 5.7%~37.9% 향상되었습니다.
• 결론: 가이드라인과 Few-shot 을 동시에 사용하는 것이 반드시 더 좋은 것은 아니며, 각각이 독립적으로 강력한 효과를 발휘했습니다.

C. 불일치 모델링 (Disagreement Modelling)

• 두 모델과 Ground Truth 간의 일치는 64.0% 였으며, 나머지 36.0% 는 임상 검토가 필요한 사례로 분류되었습니다.
• 임상 우선순위: '최종 진단', '이식 여부', '사구체 수' 등 진단적 중요도가 높은 개체에서 불일치가 발생하면 높은 우선순위로 임상 검토를 요청하도록 설계되었습니다.
• 한계: 복잡한 문자열 개체의 경우, LAAJ(판사 모델) 의 한계로 인해 실제 모델 간 불일치보다 과대평가된 불일치율이 관찰되기도 했으나, 이는 임상적 안전성을 위해 보수적인 접근으로 판단되었습니다.

4. 주요 기여 (Key Contributions)

1. 자원 효율적인 의료 AI 워크플로우: 고사양 GPU 없이도 CPU 만으로 작동하며, 민감한 환자 데이터를 로컬에서 안전하게 처리할 수 있는 실용적인 SLM 기반 워크플로우를 제시했습니다.
2. 임상 전문가와의 협업 프로세스: 데이터 과학자와 임상 전문가가 3 회 회의만으로 가이드라인을 정립하고, 불일치 모델링을 통해 전문가의 시간을 최적화하는 '반자동 (Semi-automated)' 방식을 입증했습니다.
3. 소아 병리 특화 데이터셋 및 스키마: 소아 신장 생검에 특화된 개체 스키마 (Banff 분류 기반) 와 가이드라인을 개발하여, 소아 의학의 높은 변이성을 해결하는 방법을 제시했습니다.
4. 오픈소스 도구: 전처리, 주석, 평가에 이르는 전체 파이프라인을 GitHub 를 통해 공개하여 다른 연구 기관의 재현과 확장을 가능하게 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상 적용 가능성: 이 연구는 대형 언어 모델의 계산 비용 문제와 데이터 프라이버시 문제를 해결하면서도, 전문 의료 분야 (소아 병리) 에서 높은 정확도의 구조화된 정보 추출이 가능함을 입증했습니다.
• 확장성: 신장 생검이라는 비교적 제한된 도메인에서 성공을 거두었으므로, 다른 병리 분야나 성인 환자 데이터로 확장 가능성이 높습니다.
• 미래 방향: spaCy 와 같은 전통적 방법과 SLM 을 혼용하는 하이브리드 접근법, 더 정교한 개체 스키마 개발, 그리고 다양한 임상 환경에서의 검증이 향후 과제로 제시되었습니다.

요약하자면, 이 논문은 제한된 컴퓨팅 환경과 데이터 보안 제약 하에서도 소형 언어 모델 (SLM) 과 임상 가이드라인을 결합하여 병리 보고서에서 고품질의 구조화 데이터를 추출할 수 있는 실용적이고 확장 가능한 반자동 워크플로우를 성공적으로 구현했습니다.