1. 문제 정의 (Problem Statement)

• 의료 코딩의 어려움: 미국 의료 시스템에서 청구 및 보상을 위해 ICD-10-CM (진단) 과 CPT (시술) 코드를 임상 기록에서 할당하는 과정은 매우 복잡하고 오류가 발생하기 쉽습니다. 기록의 이질성, 미묘한 코딩 가이드라인, 그리고 긴 꼬리 (long-tail) 분포로 인해 자동화가 어렵습니다.
• 기존 LLM 의 한계: 기존 기초 모델 (Foundation Models) 은 의료 코딩을 위해 명시적으로 학습되지 않았으며, 제로샷 (zero-shot) 프롬프팅만으로는 정확도가 낮습니다 (정확한 코드 매칭 시 F1 점수 약 0.18). 또한, 실제 환자 데이터 (PHI) 를 직접 학습에 사용할 경우 개인정보 보호 (Privacy) 문제가 발생합니다.
• 연구 목표: 개인정보 보호를 유지하면서 현대적인 오픈 가중치 기초 모델 (Llama 3-70B) 을 전문가 수준의 의료 코딩 작업에 적응시킬 수 있는지, 그리고 이를 위해 합성 데이터가 효과적인지 검증하는 것입니다.

2. 방법론 (Methodology)

2.1 모델 및 학습 설정

• 모델: Llama-3-70B-Instruct 모델을 사용했습니다.
• 학습 방식: 감독된 미세 조정 (Supervised Fine-tuning, SFT) 을 적용했습니다.
• 입출력 형식: 임상 노트와 목표 의료 코드를 쌍으로 구성하여 구조화된 텍스트 생성 (JSON 스키마 제약) 으로 문제를 정의했습니다.
  • ICD-10-CM: 예측 코드, 임상적 근거 (rationale), 증거 및 위치 정보 포함.
  • CPT: 예측 코드 및 임상적 근거 포함.
• 학습 환경: 8 개의 H200 GPU 에서 4 에포크 학습, Adam 옵티마이저 (학습률 1e-5), FP16 정밀도, ZeRO-3 최적화 사용.

2.2 개인정보 보호형 합성 데이터 생성 (Synthetic Data Generation)

실제 환자 데이터를 사용하지 않고, PHI 를 포함하지 않으면서도 임상적으로 현실적인 데이터를 생성하는 파이프라인을 구축했습니다.

• ICD-10-CM 생성:
  1. 1 단계 (합성 차트 생성): 실제 문서를 기반으로 환자 정보를 제거한 추상적 메타 설명 (구조 및 작성 스타일) 을 추출하고, 임의의 시드 코드를 기반으로 임상 노트를 생성합니다.
  2. 2 단계 (레이블링): 생성된 노트를 세그먼트화하고, 임베딩된 코드 데이터베이스에서 의미론적 검색을 통해 후보 코드를 찾은 후, 언어 모델이 가장 적합한 코드와 증거를 할당합니다.
• CPT 생성:
  • 시술 코드의 특성상 직접적인 코드 생성 대신, 시술 설명을 생성한 후 CPT 카탈로그와 매칭하여 유효한 코드를 추출하는 방식을 사용했습니다.
• 데이터 증강 (Augmentation):
  • 난이도 기반 증강: 30% 의 데이터를 여러 임상 노트를 연결하여 단일 컨텍스트에서 다중 사례 추론을 요구하도록 구성했습니다.
  • 시퀀스 패킹 (Sequence Packing): 8,192 토큰 제한 내에서 여러 샘플을 하나의 시퀀스로 패킹하여 학습 효율성을 높였습니다.

2.3 평가 방법

• 데이터: 학습/평가 분할 (95/5) 을 고정하고, 평가용 합성 차트와 전문가가 검증한 골드 스탠다드 레이블을 사용했습니다.
• 지표:
  • 정확한 코드 매칭 (Exact Match): 코드와 증거 위치가 모두 일치해야 함.
  • 계층적 평가: 카테고리 (Level 0) → 서브카테고리 (Level 1) → 세밀한 진단 (Level 2) → 정확한 코드 (Level 3) → 증거 포함 정확한 코드 (Level 4) 로 세분화하여 평가.
  • 인간 전문가 평가: 100 개의 합성 차트에 대해 임상 전문가가 코드의 적절성을 검증했습니다.

3. 주요 결과 (Key Results)

3.1 전반적인 성능 향상

• ICD-10-CM: 제로샷 베이스라인 (F1=0.180) 대비 미세 조정 모델의 성능이 F1 0.704로 크게 향상되었습니다 (절대적 증가 0.524).
• CPT: 베이스라인 (F1=0.193) 대비 미세 조정 모델이 F1 0.736을 기록했습니다.
• 계층적 안정성: 진단의 세밀함이 증가함에 따라 성능이 서서히 감소했으나, 급격한 하락은 없었습니다. 가장 엄격한 작업 (Level 4, 증거 포함 정확한 코드) 에서도 F1 0.629 를 달성했습니다.

3.2 복잡한 임상 도메인별 성능

• 고성능 영역: '노쇠 (Frailty, F1=0.873)'와 '중증 질환 (Advanced Illness, F1=0.863)' 영역에서 높은 정확도를 보였습니다. 이는 임상 기록이 명확하고 진단 패턴이 잘 정의되어 있기 때문입니다.
• 상대적 저성능 영역: '사회적 결정 요인 (SDoH, F1=0.767)' 영역은 다른 영역보다 약 10% 포인트 낮았으나, 여전히 베이스라인보다 훨씬 우수했습니다. 이는 암시적이고 불일치하게 기록되는 정보의 특성 때문입니다.

3.3 일반 의료 지식 보존

• 미세 조정 후 MedMCQA, MMLU 등 표준 의료 질문 답변 및 추론 벤치마크에서 성능이 소폭 감소 (-0.03 ~ -0.07) 했으나, 치명적인 성능 저하 (Catastrophic Degradation) 는 발생하지 않았습니다. 이는 의료 코딩 특화 학습이 일반적인 의료 이해 능력을 유지한다는 것을 의미합니다.

3.4 인간 전문가 평가

• 전문가 검증 데이터셋에서 모델은 **높은 재현율 (Recall: Level 0 기준 0.93)**을 보였으나, 정밀도 (Precision: 0.32~0.40) 는 상대적으로 낮았습니다.
• 이는 모델이 임상적으로 관련 있는 개념을 잘 포착하지만, 때로는 전문가가 승인하지 않는 추가 코드를 생성하는 경향이 있음을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 개인정보 보호형 학습 프레임워크: 실제 환자 데이터 (PHI) 를 노출하지 않고도, 정책 인식 (Policy-aware) 합성 데이터를 통해 대규모 언어 모델을 의료 코딩 작업에 성공적으로 적응시켰습니다. 이는 의료 AI 학습의 프라이버시 장벽을 해결하는 실용적인 대안을 제시합니다.
2. 합성 데이터의 유효성 증명: 합성 데이터가 실제 임상 데이터의 복잡성을 모방하여 모델이 고난도 코딩 작업 (다단계 추론, 희귀 코드 등) 을 학습하는 데 효과적임을 입증했습니다.
3. 실무 적용 가능성 (Human-in-the-Loop): 현재 수준의 모델은 완전 자동화보다는 AI 보조 코딩 (AI-augmented coding) 패러다임에 적합합니다. 높은 재현율을 바탕으로 후보 코드를 제안하고, 인간 전문가가 최종 검수 및 예외 처리를 수행하는 워크플로우에서 큰 가치를 발휘할 수 있습니다.
4. 계층적 이해 능력: 모델이 진단의 세밀함에 따라 정확도가 떨어지기는 하지만, 상위 카테고리 수준에서는 높은 정확도를 유지하여 임상적 추론의 초기 단계를 지원할 수 있음을 보여주었습니다.

5. 결론

이 연구는 개인정보 보호 제약 하에서 합성 데이터를 활용하여 오픈 소스 LLM 을 의료 코딩 전문가 수준으로 고도화할 수 있음을 입증했습니다. 비록 사회적 결정 요인 (SDoH) 과 같은 암시적 정보나 희귀 코드에서 여전히 개선의 여지가 있지만, 이 접근법은 의료 코딩 자동화의 실용적인 길을 열었으며, 향후 인간과 AI 의 협업 워크플로우 구축을 위한 강력한 기반이 됩니다.