A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models

기술 요약: 대규모 언어 모델의 순위 지정된 ICD-10 코드 제안을 집계하기 위한 다기준 의사결정 프레임워크

문제 정의
국제 질병 분류 제10차 개정판(ICD-10)을 이용한 자동 임상 코딩은 분류 체계의 계층적 특성과 의학 용어의 가변성으로 인해 여전히 복잡한 과제로 남아 있다. 대규모 언어 모델(LLM)은 비정형 임상 텍스트로부터 후보 ICD-10 코드의 순위 목록을 생성하는 능력을 입증해 왔으나, 개별 모델을 단독으로 사용할 경우 불안정성과 제한된 신뢰성을 보일 수 있다. 서로 다른 모델은 훈련 데이터와 아키텍처의 차이로 인해 동일한 임상 노트에 대해 상충하는 순위를 생성할 수 있다.

본 연구는 이러한 이질적인 순위 출력들을 하나의 신뢰할 수 있는 합의안으로 집계하는 의사결정 문제를 다룬다. 저자들은 ICD-10 코드 할당을 다기준 의사결정 분석(MCDA) 문제로 정식화하며, 여기서 각 LLM은 후보 코드에 대한 선호 순위를 제공하는 독립적인 의사결정 에이전트 역할을 한다. 핵심 과제는 실무적인 의사결정 지원 맥락에서 정밀도(precision)와 재현율(recall) 사이의 균창을 맞추기 위해 최적의 집계 전략과 선택할 상위 순위 코드의 개수($k$)를 결정하는 것이다.

방법론
본 연구는 브라질 포르투갈어로 작성된 1,117개의 산과 임상 노트를 활용하며, 각 노트는 정답(ground-truth) ICD-10 코드가 주석 처리되어 있다. 본 연구는 다섯 가지 서로 다른 LLM(GPT-4o, DeepSeek-V3, Maritalk Sabiá-3.1, Gemini 1.5 Flash, GPT-4o-Mini)을 의사결정 에이전트로 사용한다. 이 모델들은 각 문서에 대한 후보 코드의 순위 목록을 생성한다.

본 연구는 투표 이론 및 MCDA의 세 가지 고전적인 순위 집계 방법을 평가한다:

1. 다수결 투표(Plurality Voting): 특정 순위 위치에 관계없이 코드가 모델의 상위-$k$ 범위 내에 나타나면 표를 받는 "단순 다수 득표제(first-past-the-post)" 방식이다.
2. 보르다 카운트(Borda Count): $n$개의 후보 중 $r$번째 순위에 있는 코드가 $(n - r + 1)$ 점을 받는 위치 기반 점수 부여 규칙이다. 이 방법은 단순히 상위-$k$ 존재 여부만을 따지는 것이 아니라 전체 순위 구조를 활용한다.
3. 역순위 결합(Reciprocal Rank Fusion, RRF): 순위 위치의 역수($1 / (k_0 + r)$)를 기반으로 가중치를 할당하여, 상위 순위 항목을 우선시하면서도 하위 순위 항목의 기여도를 부드럽게 조절하는 방식이다.

성능은 3자리 범주 수준과 전체 "리프(leaf)" 코드 수준의 두 가지 세분화 단계에서 Micro-Precision, Micro-Recall, Micro-F1 점수를 사용하여 평가된다. 강건성(robustness)은 95% 신뢰 구간을 포함한 부트스트랩 리샘플링을 통해 평가된다. 본 연구는 특히 $k$(선택된 코드의 수)를 1에서 10까지 변화시킬 때의 영향을 분석한다.

주요 기여
본 논문은 세 가지 주요 기여를 한다:

1. 정식화: 여러 예측 모델로부터의 ICD-10 코드 할당을 순위 지정된 대안에 기반한 다기준 의사결정 문제로 정식화하였다.
2. 실증적 평가: 비영어권(브라질 포르투갈어) 임상 환경에서 고전적인 순위 집계 방법(Plurality, Borda, RRF)을 포괄적으로 평가하였다.
3. 실무적 시사점: 모델 재학습이나 독점적인 모델 내부 구조에 대한 접근 없이도 단순하고 해석 가능한 집계 전략이 의사결정 일관성을 향상할 수 있음을 입증하였다.

결과
실증적 결과에 따르면 순위 기반 집계 방법이 가장 우수한 개별 모델보다 일관되게 높은 성능을 보인다. 주요 결과는 다음과 같다:

• 최적의 $k$: 성능은 $k$에 따라 비단조적(non-monotonic)인 거동을 보인다. $k$가 증가함에 따라 초기에는 재현율이 개선되지만, 결국 정밀도가 저하된다. 모든 방법에서 최적의 균형점은 $k=3$에서 발견되었다.
• 보르다 카운트의 우수성: Borda Count 방법이 두 평가 수준 모두에서 가장 높은 성능을 달ato했다. $k=3$일 때, 3자리 범주 수준에서 Micro-F1 점수 0.4807(최고 개별 모델인 GPT-4o-Mini 대비 20.4% 상대적 이득)을 기록했으며, 전체 코드 수준에서는 0.2112(DeepSeek-V3 대비 19.0% 이득)를 기록했다.
• 방법 간 비교: 전체 순위 정보를 포함하는 방법(Borda 및 RRF)이 단순 투표 방식(Plurality)보다 일관되게 우수한 성능을 보였다. 그러나 이 특정 맥락에서 가중 집계 전략이 비가중 방식에 비해 통계적으로 유의미한 개선을 가져오지는 않았다.
• 강건성: 집계를 통해 관찰된 개선 효과는 부트스트랩 신뢰 구간 전반에서 일관되게 나타났으며, 이는 통계적 강건성을 나타낸다.

의의 및 주장
저자들은 본 연구가 불완전한 다수의 의사결정 에이전트를 결합하기 위한 원칙적이고 효과적인 접근법으로서 순위 집계가 유효함을 보여준다고 주장한다. 연구 결과는 다음을 시사한다:

• 앙상블 신뢰성: 여러 LLM의 출력을 집계함으로써, 특히 복잡한 다중 레이블 시나리오에서 단일 모델에 의존하는 것보다 더 강력한 의사결정 지원 시스템을 구축할 수 있다.
• 해석 가능성: Borda Count와 같은 단순한 집계 전략은 모델의 미세 조정(fine-tuning)이나 내부 파라미터 접근에 드는 계산 비용이나 복잡성 없이도 의사결정 품질을 크게 향상할 수 있다.
• Human-in-the-loop 적합성: 도출된 합의 순위는 전문가가 짧고 고품질인 후보 코드 목록(예: 상위 3개)을 효율적으로 검토하고 검증할 수 있는 'Human-in-the-loop' 워크플로우에 적합하며, 이를 통해 의료 행정의 정확성과 효율성을 모두 높일 수 있다.

본 연구는 단일 임상 환경(산과) 사용과 제로샷 프롬프팅(zero-shot prompting)에 집중했다는 한계를 인정하며, 향후 연구에서 적응형 집계, 신뢰도 인지 가중치 부여, 그리고 더 넓은 임상 영역에 대한 탐구가 필요함을 제언한다.