Evaluation and LLM-Guided Learning of ICD Coding Rationales

이 논문은 ICD 코딩 모델의 설명 가능성을 평가하기 위해 새로운 다중 세분화 데이터셋을 구축하고, LLM 이 생성한 합리적인 근거의 신뢰성을 검증한 후 이를 원격 지도 신호로 활용하여 근거 생성 모델의 성능을 향상시키는 방법을 제시합니다.

핵심

🏥 배경: 의료 기록의 '번역' 작업

병원에는 환자의 상태를 설명하는 긴 글 (진료 기록) 이 있습니다. 하지만 보험 청구나 통계 분석을 위해서는 이 긴 글을 **'ICD 코드'**라는 짧은 숫자나 기호로 바꿔야 합니다.

• 예시: "환자가 당뇨병으로 인해 발에 궤양이 생겼습니다" → E11.621 (당뇨병성 발 궤양)

과거에는 전문 코더가 이 작업을 했지만, 비용이 많이 들고 실수할 수도 있어서 **AI(인공지능)**가 이 일을 대신하게 되었습니다.

🤔 문제점: AI 는 '정답'만 알려줄 뿐 '이유'는 안 알려줌

AI 는 "이 환자는 당뇨병 코드가 맞습니다"라고 정답을 말해주지만, **"왜?"**라고 물으면 대답을 못 합니다.

• 비유: 시험에서 100 점 맞은 학생이 "정답은 A 입니다"라고만 말하고, "어떤 공부를 해서 맞혔는지"는 알려주지 않는 것과 같습니다.
• 위험: 의사나 환자가 AI 의 판단을 믿지 못하게 됩니다. "이 AI 가 왜 그렇게 생각하지? 혹시 착각한 건 아닐까?"라는 의문이 생기기 때문입니다.

🔍 연구의 핵심: AI 의 '이유'를 평가하고 개선하다

연구팀은 AI 가 내세우는 이유 (rationale) 가 얼마나 **신뢰할 만한지 (Faithfulness)**와 **사람들이 납득할 만한지 (Plausibility)**를 두 가지 기준으로 평가했습니다.

1. 기존 방법들의 한계

기존에는 AI 가 "여기가 중요해!"라고 강조한 부분 (주목도) 을 이유로 들었습니다. 하지만 이는 마치 나침반이 북쪽을 가리킨다고 해서, 그 방향이 진짜 목적지인지는 모른다는 것과 비슷합니다. AI 가 엉뚱한 단어를 강조할 수도 있기 때문입니다.

2. 새로운 도구: 'LLM(거대 언어 모델)'을 활용한 이유 생성

연구팀은 최신 AI(예: Gemini, LLaMA 등) 를 이용해 **"이 진단 코드를 선택한 구체적인 근거를 글에서 찾아줘"**라고 시켰습니다.

• 비유: 마치 유능한 수석 코디네이터에게 "환자 기록을 보고 당뇨병 코드를 붙일 만한 구체적인 문장들을 찾아와"라고 시킨 것입니다.
• 결과: 이 AI 코디네이터가 찾아낸 이유들이 인간 전문가가 찾은 이유와 매우 비슷했습니다. 즉, AI 가 만든 이유가 인간이 납득할 만하다는 것이 증명되었습니다.

🚀 혁신적인 방법: AI 가 가르친 AI (LLM-Guided Learning)

이제 연구팀은 이 '유능한 AI 코디네이터'가 찾아낸 이유들을 이용해, 원래의 의료 코딩 AI 를 더 똑똑하게 훈련시켰습니다.

• 방법 1: 다목적 학습
  • AI 에게 "정답을 맞추는 것"과 "이유를 잘 찾는 것"을 동시에 시켰습니다.
• 방법 2: NER(개체 인식) 방식
  • 비유: 마치 수색견 훈련과 같습니다. AI 에게 "이 문장 속의 '당뇨병'이라는 단어는 중요해 (이유), '감기'라는 단어는 중요하지 않아"라고 가르치는 방식입니다.
  • 이 방식이 특히 효과적이어서, AI 가 찾아낸 이유의 정확도가 인간이 직접 쓴 이유보다 더 높아지기도 했습니다.

💡 핵심 성과: "작은 예시"가 큰 도움을 줍니다

연구팀은 AI 에게 **"사람이 직접 쓴 좋은 예시 5 개만 보여줄게, 이걸 참고해서 나머지 문장을 분석해"**라고 시켰습니다 (Few-shot prompting).

• 결과: AI 의 이유 찾기가 훨씬 더 정교해졌습니다. 마치 새로운 직원이 선배의 업무 예시 5 개만 보고도 일을 잘 배우는 것과 같습니다.

📝 결론: 이 연구가 왜 중요한가요?

1. 새로운 기준 마련: 의료 AI 의 설명을 평가할 수 있는 새로운 데이터셋과 기준을 만들었습니다.
2. 신뢰도 향상: AI 가 왜 그 진단을 내렸는지, 인간이 이해할 수 있는 명확한 이유를 제시할 수 있게 되었습니다.
3. 미래 지향: AI 가 스스로 이유를 찾고, 그 이유를 바탕으로 더 똑똑해지는 선순환 구조를 만들었습니다.

한 줄 요약:

"이 연구는 의료 AI 가 '정답'만 외우는 기계가 아니라, '이유'를 설명할 줄 아는 똑똑한 파트너가 되도록 돕는 방법을 찾아냈습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

의료 기록 (EHR) 의 비정형 텍스트를 국제 질병 분류 (ICD) 코드로 매핑하는 ICD 코딩은 의료 청구 및 감시에 필수적이지만, 수동 작업의 비용과 오류 가능성을 줄이기 위해 자동화 모델이 활발히 연구되고 있습니다. 그러나 기존 딥러닝 기반 모델은 높은 정확도를 보이지만 **설명 가능성 (Explainability)**이 부족하여 의료 전문가의 신뢰를 얻기 어렵습니다.

기존 연구의 주요 한계점은 다음과 같습니다:

• 평가 기준의 부재: 주의 메커니즘 (Attention) 기반의 근거 (Rationale) 에만 의존하며, 다양한 유형의 근거를 일관된 기준으로 체계적으로 평가한 연구가 부족합니다.
• 데이터셋의 한계: 기존 유일한 근거 주석 데이터셋인 MDACE 는 구식 ICD-9 시스템을 사용하며, MIMIC-III 데이터를 기반으로 하여 최신 ICD-10 시스템 (MIMIC-IV) 과의 분포 불일치 (Distribution Shift) 문제가 심각합니다. 또한 근거 주석이 매우 희소합니다.
• 학습 방법의 부재: 대규모 감독 학습 데이터가 부족하여 근거 생성을 명시적으로 학습하는 전용 방법이 드뭅니다.

2. 제안 방법론 (Methodology)

이 연구는 **신뢰성 (Faithfulness)**과 **타당성 (Plausibility)**이라는 두 가지 차원에서 ICD 코딩 근거를 평가하고, 이를 개선하기 위해 LLM 을 활용한 학습 방법을 제안합니다.

A. 새로운 근거 데이터셋 구축 (RD-IV-10)

• MIMIC-IV 데이터베이스와 최신 ICD-10 코딩 시스템을 기반으로 의료 전문가가 주석을 다는 새로운 데이터셋 RD-IV-10을 구축했습니다.
• 기존 MDACE 와 비교하여 코드 분포 일치도가 높고 (Full: 93.15%, Top-50: 83.88%), 문서당 평균 35.94 개의 근거 스팬을 포함하여 더 풍부하고 다중 세분화 (단어, 구, 문장) 된 근거를 제공합니다.

B. 근거 유형별 평가 (Evaluation)

세 가지 유형의 근거에 대한 포괄적인 평가를 수행했습니다:

1. 모델 생성 근거 (Model-generated): CAML, LAAT, PLM-ICD 등 주의 메커니즘을 기반으로 추출된 근거.
2. 단순 엔티티 기반 근거 (Naive Entity-level): SNOMED CT 엔티티 링크 데이터를 기반으로 한 직접적인 엔티티 매핑.
3. LLM 생성 근거 (Strong LLM-generated): Gemini 2-Flash 등 대규모 언어 모델을 프롬프팅하여 생성한 근거.

• 평가 지표:
  • Faithfulness (신뢰성): 근거를 유지하거나 제거했을 때 모델 예측이 얼마나 변하는지 (Sufficiency, Comprehensiveness) 측정.
  • Plausibility (타당성): 인간 주석자와의 매칭 정확도 (Exact/Position-independent Token & Span Match) 측정.

C. LLM 기반 근거 학습 (LLM-Guided Rationale Learning)

LLM 이 생성한 근거가 인간 주석과 높은 일치도를 보임을 확인하고, 이를 **약한 감독 신호 (Distant Supervision)**로 활용하여 근거 학습 모델을 개발했습니다.

1. 다목적 학습 (Multi-objective Learning): ICD 코딩 분류 손실과 LLM 생성 근거 마스크를 맞추는 손실을 결합하여 학습.
2. NER 기반 학습 (NER Formulation): 근거를 개체 (Entity) 로 간주하고, ICD 코드를 클래스 레이블로 하는 Named Entity Recognition (NER) 문제로 변환하여 학습.
3. Few-shot 프롬프팅: 구축된 RD-IV-10 데이터셋의 인간 주석 예시를 LLM 프롬프트에 포함시켜 생성된 근거의 품질을 향상시키고, 이를 다시 학습 데이터로 활용했습니다.

3. 주요 기여 (Key Contributions)

1. RD-IV-10 데이터셋 공개: 최신 MIMIC-IV/ICD-10 기반의 고품질 근거 주석 데이터셋을 공개하여 타당성 평가의 표준을 제시했습니다.
2. 근거 유형 비교 평가: 엔티티 링크, LLM 생성, 모델 생성 근거의 타당성을 체계적으로 비교하여, LLM 생성 근거가 인간 주석과 가장 유사함을 입증했습니다.
3. 새로운 학습 프레임워크: LLM 생성 약한 레이블을 활용한 다목적 학습 및 NER 기반 학습 방법을 제안했습니다. 특히 NER 접근법은 코딩 성능과 근거 추출을 하나의 프레임워크로 통합했습니다.
4. Few-shot 학습의 효과: 소량의 인간 주석 예시를 LLM 프롬프트에 추가함으로써, LLM 의 근거 생성 품질과 이를 기반으로 학습된 모델의 성능을 모두 크게 향상시켰음을 증명했습니다.

4. 실험 결과 (Results)

• Faithfulness (신뢰성):
  • PLM-ICD(Transformer 기반) 가 CAML, LAAT 보다 상대적으로 높은 신뢰성을 보였으나, 모든 모델에서 근거를 제거하거나 유지할 때 예측 성능이 크게 변하지 않아 (Faithfulness 낮음), 현재 주의 메커니즘 기반 근거는 모델의 실제 추론 과정을 정확히 반영하지 못함을 시사했습니다.
• Plausibility (타당성):
  • **LLM (Gemini 2-Flash)**이 생성한 근거가 인간 주석과 가장 높은 일치도 (F1 점수) 를 보였습니다.
  • 단순 엔티티 링크는 중간 수준의 성능을 보였으나, 코딩 체계의 차이로 인해 실제 매칭 품질이 과소평가될 수 있음이 지적되었습니다.
  • **모델 생성 근거 (CAML, LAAT, PLM-ICD)**는 인간 주석과 거의 일치하지 않아 (F1 < 1%), 설명 가능성 측면에서 한계가 명확했습니다.
• Few-shot 프롬프팅 효과:
  • LLM 프롬프트에 5 개의 인간 주석 예시를 추가한 결과, 모든 코드와 지표에서 평균 39~50% 이상의 F1 점수 향상을 기록했습니다.
• LLM 기반 학습 성과:
  • NER 기반 접근법은 PLM-ICD 보다 코딩 정확도는 다소 낮았으나, 근거의 타당성 (Span-level Plausibility) 은 LLM (Teacher) 보다 더 높은 수준을 달성했습니다. 이는 NER 모델이 엔티티 인식 패턴에 집중하여 더 정확한 근거를 추출했기 때문입니다.
  • Few-shot 예시를 활용한 학습 데이터로 훈련된 NER 모델은 추가적인 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 ICD 자동 코딩 시스템의 설명 가능성 문제를 해결하기 위한 중요한 이정표를 제시합니다.

1. 데이터 표준화: 구식 데이터셋의 한계를 극복하고 최신 ICD-10 표준에 맞는 근거 평가 데이터셋을 제공함으로써, 향후 연구의 신뢰성을 높였습니다.
2. LLM 의 역할 재정의: LLM 이 단순히 코드를 생성하는 것을 넘어, 고품질의 근거 (Rationale) 를 생성하는 '교사' 모델로서 기능할 수 있음을 입증했습니다.
3. 실용적 솔루션: 소량의 인간 주석 데이터로 LLM 을 미세 조정하거나 프롬프팅하여, 대규모 데이터가 부족한 의료 분야에서 고품질의 설명 가능한 AI 모델을 구축할 수 있는 비용 효율적인 방법론을 제시했습니다.

결론적으로, 본 연구는 LLM 이 생성한 고품질 근거를 약한 감독 신호로 활용하고, Few-shot 학습을 통해 이를 강화하는 방식이 ICD 코딩 모델의 투명성과 신뢰성을 동시에 높일 수 있는 유효한 전략임을 입증했습니다.