💬 NLP

Bridging the Version Gap: Multi-version Training Improves ICD Code Prediction, Especially for Rare Codes

본 논문은 ICD-9 및 ICD-10 데이터를 결합하여 수정된 라벨별 주의 메커니즘 모델을 학습시키는 것이 버전 간 격차를 효과적으로 해소하고 적은 매개변수로 긴 꼬리 문제를 해결함으로써, 특히 희귀 코드에 대해 ICD-10 코드 예측 성능을 크게 향상시킨다는 것을 보여준다.

원저자: Jinghui Liu, Anthony Nguyen

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinghui Liu, Anthony Nguyen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

큰 문제: 움직이는 표적과 긴 꼬리

당신이 방대한 의료 기록 도서관을 정리하려고 한다고 상상해 보세요. 이를 위해 모든 환자에게 그들의 질병을 설명하는 특정 '태그'(ICD 코드) 를 할당해야 합니다. 이 작업에는 두 가지 거대한 골치가 있습니다:

사전이 계속 변합니다: 의료 태그의 공식 사전 (ICD 라고 함) 은 끊임없이 업데이트됩니다. 때로는 구형 사전 (ICD-9) 의 태그가 신형 사전 (ICD-10) 의 태그와 완벽하게 일치하지 않습니다. 마치 책장에 여전히 놓인 구형 교과서를 가지고 있으면서 새로운 언어를 배우려는 것과 같습니다. 대부분의 컴퓨터 프로그램은 언어의 '한 버전'만 말하도록 훈련받기 때문에, 규칙이 바뀌면 혼란을 겪습니다.
'긴 꼬리' 문제: 대부분의 환자는 독감이나 고혈압과 같은 흔한 질환을 앓고 있어 태그를 붙이기 쉽습니다. 하지만 소수의 사람만 앓는 수천 가지의 희귀 질환이 있습니다. 데이터 세계에서는 이것들을 '긴 꼬리'라고 부릅니다. 이러한 희귀 질환의 예시가 너무 적기 때문에 컴퓨터 모델은 이를 학습하는 데 어려움을 겪으며, 종종 완전히 무시해 버립니다.

해결책: 구형과 신형 책을 섞기

연구자들은 다음과 같은 간단한 질문을 던졌습니다: 만약 컴퓨터를 구형 의료 기록 (ICD-9) 과 신형 기록 (ICD-10) 을 동시에 사용하여 가르친다면 어떨까요?

보통 사람들은 이 두 가지를 섞으면 태그가 완벽하게 일치하지 않기 때문에 (구형 태그의 약 24% 만 신형 시스템에서 직접적인 매칭을 가짐) 재앙이 될 것이라고 생각합니다. 마치 프랑스어 단어를 섞어서 학생에게 영어를 가르치려는 것과 같아서, 혼란을 겪을 것이라고 예상합니다.

하지만 연구자들은 DUALLAAT라는 특수 모델을 구축하고 정확히 이 방법을 시도했습니다. 그들은 다음과 같은 '스무디'를 모델에 공급했습니다:

MIMIC-III 의 구형 기록 (ICD-9)
MIMIC-IV 의 최신 기록 (ICD-9)
MIMIC-IV 의 최신 기록 (ICD-10)

무슨 일이 일어났을까요? (결과)

결과는 놀라울 정도로 좋았으며, 컴퓨터 모델에 '비밀 소스' 역할을 했습니다:

희귀 질환 부스트: 가장 큰 성과는 희귀 질환 ('긴 꼬리') 에 있었습니다. 구형 데이터를 추가함으로써 모델이 희귀 ICD-10 코드를 식별하는 능력이 27% 급증했습니다. 마치 특정 태그 이름이 달랐더라도 구형 기록에 질병의 개념에 대한 숨겨진 단서가 들어있는 것과 같습니다. 모델은 단순히 라벨이 아니라 질병의 의미를 학습했습니다.
흔한 질환 부스트: 모델은 또한 흔한 질환을 처리하는 데도 더 나아졌으며, 복잡도를 높일 필요 없이 전체 정확도가 향상되었습니다.
효율성: 각 데이터셋 버전마다 세 가지 다른 모델이 필요한 대신, 모든 것을 처리할 수 있는 하나의 모델만 필요했습니다. 이는 막대한 양의 컴퓨터 메모리와 학습 시간을 절약했습니다. 마치 방문하는 나라마다 다른 사전이 필요한 대신 하나의 범용 번역기를 가진 것과 같습니다.

'왜' (비밀 재료)

이 논문은 성공이 태그가 완벽하게 일치하는 데서 온 것이 아니라 공유된 임상적 의미에서 왔다고 제안합니다.

이렇게 생각해 보세요: '심장마비'라는 단어가 구형 책에서는 'Myocardial Infarction'에서 신형 책에서는 'Acute Myocardial Infarction'으로 바뀌었을지라도, 메모에 기록된 환자의 증상 설명은 유사하게 유지되었습니다. 구형과 신형 메모를 모두 읽음으로써 모델은 질병의 이야기를 인식하는 법을 배우게 되었고, 이는 새로운 메모만 읽은 모델보다 훨씬 더 똑똑해졌습니다.

요약

이 논문은 시스템이 업데이트될 때 구형 의료 데이터를 폐기할 필요가 없다는 것을 증명합니다. 구형과 신형 기록을 섞음으로써 희귀 질환을 더 잘 식별하고 코딩 시스템이 변경되어도 무너지지 않는 단일하고 더 똑똑한 컴퓨터 모델을 훈련시킬 수 있습니다. 이는 '구식' 데이터를 가치 있는 학습 도구로 바꿉니다.

"버전 간극 해소: 다중 버전 학습이 ICD 코드 예측, 특히 희귀 코드의 성능을 향상시킨다"는 제목의 논문에 대한 상세한 기술적 요약입니다.

문제 제기

이 논문은 자동화된 국제질병분류 (ICD) 코딩에서 두 가지 중요한 과제를 다룹니다:

버전 진화: ICD 시스템은 지속적인 업데이트 (예: ICD-9 에서 ICD-10 으로, 그리고 향후 ICD-11 로) 를 거칩니다. 고정된 레이블 공간으로 특정 버전에 훈련된 모델은 이러한 변화를 처리하는 데 어려움을 겪으며, 새로운 버전이 도입될 때 데이터 분포 불일치를 초래합니다.
긴 꼬리 분포: ICD 코드 분포는 심하게 편향되어 있습니다. MIMIC-IV 와 같은 데이터셋에서 희귀 코드 (10 회 미만 등장) 는 전체 코드 세트의 약 70% 를 차지합니다 (26,000 개 코드 중 18,000 개). 현재 모델들은 훈련 샘플 부족으로 인해 이러한 희귀 코드에서 성능이 저하되어 견고하고 구현 가능한 시스템의 병목 현상을 초래합니다.

여전히 탐구되지 않은 핵심 질문이 남아 있습니다: 서로 다른 ICD 버전 (예: ICD-9 와 ICD-10 혼합) 으로 주석된 데이터를 결합하여 단일 버전 독립 모델을 훈련하는 것이 가능한지, 아니면 용어 불일치가 성능을 해치는 노이즈를 유발하는지 여부입니다.

방법론

저자들은 수정된 레이블별 주의 (Label-Wise Attention, LWA) 모델인 DUALLAAT(Dual Label-wise Attention) 를 사용한 다중 버전 훈련 접근법을 제안합니다.

모델 아키텍처:
- 이중 인코더: 임상 노트만 인코딩하는 표준 LWA 모델과 달리, DUALLAAT 는 임상 노트용과 ICD 코드 설명용의 두 가지 텍스트 인코더를 사용합니다.
- 코드 임베딩: 코드를 위한 고정된 임베딩을 사용하는 대신, 모델은 ICD 코드의 텍스트 설명에서 동적으로 코드 임베딩을 생성합니다. 이는 ICD-9 또는 ICD-10 과 같이 다른 버전의 코드가 텍스트 문자열로 제공되는 한 모델이 이를 처리할 수 있게 합니다.
- 주의 메커니즘: 모델은 임상 노트의 관련 토큰을 특정 코드 설명과 정렬하기 위해 레이블별 주의를 사용하여 $N$ 개의 노트와 $C$ 개의 코드에 대한 확률 행렬을 출력합니다.
- 변형: 저자들은 두 가지 인코더 구성을 테스트했습니다: DUALLAATcnn(기본 CNN 사용) 과 DUALLAAT(RNN/GRU 사용).
데이터 전략:
- 데이터셋: 연구는 세 가지 MIMIC 파생 데이터셋을 활용했습니다: MIMIC-III(ICD-9), MIMIC-IV(ICD-9), 그리고 MIMIC-IV(ICD-10).
- 레이블 공간 확장: 저자들은 희귀 코드 (빈도 < 10) 를 포함하도록 MIMIC 의 모든 코드를 재추출하여 ICD-10 레이블 공간을 8,000 개 (자주 등장하는 코드) 에서 26,000 개 (전체 세트) 로 확장했습니다.
- 훈련 절차: 세 가지 데이터셋의 훈련 세트가 집계되었습니다. 혼합된 버전으로 배치 훈련을 처리하기 위해 저자들은 각 배치에 ICD-9 또는 ICD-10 중 하나의 버전만 포함되도록 하면서 훈련 과정에서 서로 다른 버전의 배치를 섞는 샘플러를 구현했습니다. 이는 모델이 다중 버전 데이터에 노출되도록 하면서 레이블 공간 크기를 안정화시킵니다.
베이스라인:
- PLM-ICD: 슬라이딩 윈도우와 LWA 를 사용하는 도메인 내 BERT 를 활용한 강력한 베이스라인.
- CoRelation: 코드 간의 관계를 모델링하기 위해 이분 그래프를 활용하는 모델.
- CAML 및 LAAT: 이전의 CNN 및 RNN 기반 LWA 모델.

주요 결과

실험은 ICD-9 데이터를 ICD-10 훈련에 혼합하는 것이 특히 희귀 코드의 경우 상당한 개선을 가져온다는 것을 입증했습니다.

희귀 코드 성능 (ICD-10):
- 훈련 세트에 ICD-9 데이터를 추가한 결과, ICD-10 데이터만으로 훈련했을 때에 비해 18,000 개의 희귀 ICD-10 코드에서 마이크로 F1 이 27.4% 상대적으로 증가했습니다 (8.4 에서 10.7 로 개선).
- 이 개선은 훨씬 작은 모델 (DUALLAAT 는 37M 파라미터, PLM-ICD 는 137M 파라미터) 로 달성되었습니다.
자주 등장하는 코드 성능:
- 8,000 개의 자주 등장하는 ICD-10 코드의 경우, 다중 버전 훈련은 매크로 F1 점수를 약 7% 향상시켰습니다 (27.9 에서 29.9 로).
- 혼합 훈련된 DUALLAAT 는 전체 코드 세트에서 PLM-ICD 및 CoRelation 과 비교해 동등하거나 더 우수한 성능을 달성했으며, 특히 더 높은 매크로 F1 점수 (CoRelation 의 6.3 대비 11.2) 를 보여 긴 꼬리 전반에 걸쳐 더 나은 견고성을 나타냈습니다.
효율성:
- 파라미터 효율성: 혼합 데이터로 훈련된 단일 DUALLAAT 모델은 여러 ICD 버전을 처리할 수 있는 반면, 각 버전마다 별도의 PLM-ICD 모델이 필요합니다.
- 훈련 시간: 혼합 데이터 DUALLAAT 는 약 18 시간 (전체 혼합 데이터셋의 경우 57 시간) 에 수렴하여, 세 가지 벤치마크에 대해 세 개의 별도 PLM-ICD 모델을 훈련하는 데 필요한 95 시간보다 훨씬 빠릅니다.

중요성과 주장

이 논문은 다중 버전 데이터셋을 결합하는 것이 ICD 코딩에 시너지 효과를 창출한다고 주장하며, 버전 불일치가 필연적으로 해로운 노이즈를 도입한다는 가정에 도전합니다.

직접적 중복보다 공유된 의미: 저자들은 ICD-9 코드의 약 24.3% 만 ICD-10 에서 정확한 매칭을 가진다고 지적합니다. 관찰된 성능 향상은 직접적인 레이블 중복보다는 버전 간 공유된 임상 의미를 학습함으로써 비롯된 것임을 시사합니다.
레거시 데이터 활용: 이 연구는 레거시 환자 기록 (예: ICD-9) 을 현재 시스템 (ICD-10) 을 위한 더 견고한 모델을 훈련하는 데 효과적으로 활용할 수 있음을 보여주며, 향후 버전 (ICD-11) 의 콜드 스타트 문제를 잠재적으로 해결할 수 있습니다.
데이터 대 아키텍처: 최근 문헌의 주요 초점이었던 아키텍처 개선만큼이나 훈련 데이터 다양성 향상 (다중 버전 혼합을 통해) 이 영향을 미칠 수 있음을 시사합니다.
실용적 배포: 이 접근법은 다양한 ICD 버전 전반에 걸쳐 높은 성능을 유지하면서 필요한 모델 파라미터 수와 훈련 시간을 줄여 저자원 환경에 더 효율적인 솔루션을 제공합니다.

저자들은 연구가 MIMIC 데이터셋과 영어 ICD-CM 으로 제한되지만, 다중 버전 훈련의 원칙은 ICD 코딩 연구의 확장 및 지속적인 시스템 변경 처리를 위한 유망한 방향을 제시한다고 결론지었습니다.