기술 요약: 자동 임상 코딩에서의 오류와 스타일 분해

1. 문제 정의

임상 기록을 청구 및 환급을 위한 알파벳-숫자 조합의 코드(ICD-10-CM 및 CPT)로 변환하는 작업인 자동 임상 코딩은 일반적으로 극단적 다중 레이블 분류(extreme multi-label classification) 문제로 프레임화됩니다. 현재의 평가 표준은 단일 '골드(gold)' 주석에 의존하며, 이 단일 세트로부터의 모든 편차를 모델의 오류로 간략히 취급합니다.

그러나 저자들은 이러한 가정에 근본적인 결함이 있음을 지적합니다. 동일한 기록과 가이드라인을 바탕으로 작업하더라도 전문가인 인간 코더들 사이에서도 일상적으로 불일치가 발생하기 때문입니다. 110개의 ACI-Bench 인카운터(encounters)에 대한 분석 결과, 두 독립적인 주석 팀은 코드의 73%(Jaccard 유사도)에서만 일치했습니다. 독립적인 임상 감사를 통해 방어 불가능한 코드를 제거한 후에도 일치도는 77%에 그쳤습니다.

본 논문은 이 격차가 순수하게 줄일 수 없는(irreducible) 주석자 간 오류나 노이즈라는 지배적인 가설에 도전합니다. 대신, 저자들은 이 불일치의 상당 부분이 코딩 스타일($\psi$)에서 기인하는 체계적인(systematic) 현상이라는 두 번째 가설을 제안합니다. 코딩 스타일은 무엇을 코딩할 것인지와 어느 정도의 문서화가 필요한지에 대한 코더 또는 사이트별 정책으로 정의됩니다. 저자들은 단일 골드 세트에 대해 모델이 범한 오류라고 여겨지는 것 중 상당수가 사실은 모델링되지 않은 '스타일'이라고 주장합니다.

2. 방법론

2.1. 이론적 프레임워크

저자들은 임상 코딩을 다음과 같은 조건부 확률로 재구성합니다:
$$p(\text{code} \mid \text{note}, \psi)$$
이 프레임워크에서:

• **가이드라인(Guidelines)**은 $p$의 지지 집합(support)을 제한합니다 (어떤 코드가 허용 가능한지를 결정).
• **스타일($\psi$)**은 허용 가능한 코드 중에서 하나를 선택합니다.
• 단일 골드 세트에 대한 "틀린" 예측은 실제로는 다른 $\psi$로부터 도출된 유효한 추출일 수 있습니다.

반대로, **스타일 프로파일러(style profiler)**는 관찰된 쌍으로부터 스타일을 추론합니다: $p(\psi' \mid \text{note}, \text{code})$.

2.2. 루브릭(Rubric)

$\psi$를 측정 가능하고 제어 가능하게 만들기 위해, 저자들은 10개 차원의 루브릭(ICD-10-CM 범위에 6개, CPT 증거에 4개)을 정의합니다. 각 차원은 1~5점의 리커트 척도로 점수가 매겨집니다. 차원은 다음과 같습니다:

• ICD 차원: 문제 범위(Problem Scope), 추론 공격성(Inferential Aggressiveness), 행정적 완전성(Administrative Completeness, Z-codes), 구체성 선호도(Specificity Preference), 능동적 관리 임계값(Active Management Threshold), 동반 질환 포함(Comorbidity Inclusion).
• CPT 차원: 절차적 증거 임계값(Procedural Evidence Threshold), E/M 레벨 철학(E/M Level Philosophy), 수정자 적용(Modifier Application), ICD–CPT 연결 범위(ICD–CPT Linkage Scope).

2.3. 실험 설정

• 데이터: CONV, EHR, ACI-Y, ACI-M 네 가지 외래 환자 분포와 MIMIC-IV 한 가지 입원 환자 분포를 포함한 5개의 데이터셋을 사용했습니다. ACI-Y와 ACI-M은 특히 중요한데, 이는 동일한 110개의 노트를 독립적으로 주석 처리하여 스타일과 노트 내용을 분리했기 때문입니다.
• 스타일 프로파일링: "스타일 프로파일러"(LLM)가 데이터셋의 주석 처리된 인카운터를 50~150개까지 점수화합니다. 활용된 차원들을 평균하여 데이터셋 수준의 스타일 프로필($\psi'$)을 생성합니다.
• 조건화(Conditioning): 추론 시점에 추정된 프로필 $\psi'$를 자연어 <coding style> 블록으로 렌더링하여 사용자 프롬프트 앞에 붙입니다. 이 과정은 모델의 파인튜닝 없이 수행됩니다.
• 베이스라인: 제로샷(Zero-shot), 최적화된 ZS(Optimized ZS), Two-Step (Boyle et al., 2023), Yuan-Verify (Yuan et al., 2025)를 평가합니다. 또한 비교를 위해 지도 학습 베이스라인(CAML, PLM-ICD)을 포함합니다.

2.4. 제어 조건

스타일이 노이즈가 아니라 제어 가능한 변수임을 증명하기 위해 다음을 테스트했습니다:

• 매칭된 스타일(Matched Style): 데이터셋의 평균 프로필을 사용합니다.
• 오라클 스타일(Oracle Style): 특정 인카운터의 골드 코드로부터 도출된 프로필을 사용합니다 (상한선).
• 극단적 스타일(Extreme Styles): "모두 1" (보수적) 및 "모두 5" (공격적) 프로필. 만약 스타일이 노이즈라면 이것들이 성능에 영향을 미치지 않아야 하지만, 신호라면 F1 점수를 크게 변화시켜야 합니다.

3. 주요 결과

3.1. 분리 가능성(Separability)

인카운터별 스타일 벡터의 UMAP 투영 결과, 스타일 벡터가 데이터 소스별로 클러스터링됨을 보여줍니다 (그림 2). 이는 스타일이 무작위적인 개별 노트의 노이즈가 아니라 데이터 소스(코더/사이트)의 속성임을 나타냅니다.

3.2. 조종 가능성(Steerability - ICD 성능)

스타일 프로필에 따라 모델을 조건화하면 성능이 크게 변화합니다:

• 매칭된 스타일: 모든 외래 데이터셋에서 ICD F1을 향상시킵니다. 가장 큰 이득은 좁은 범위의 EHR 데이터셋에서 나타났습니다 (+26.4 포인트).
• 오라클 스타일: 성능을 더욱 향상시키며, 이는 평균 프로필조차 회복 가능한 스타일의 하한선임을 시사합니다.
• 극단적 스타일: 성능을 급격히 떨어뜨립니다. "모두 5" (과도하게 공격적인) 프로필은 외래 데이터셋 전반에서 F1을 14~21 포인트 낮췄습니다. "모두 1" (과도하게 보수적인) 프로필은 좁은 범위의 데이터셋에서는 도움이 되었으나 넓은 범위의 데이터셋에서는 성능을 저하시켰습니다.
• MIMIC-IV 예외: 입원 환자 데이터인 MIMIC-IV 데이터셋에서는 매칭된 스타일이 F1을 향상시키지 못했습니다 (루브릭이 외래 환자 데이터에서 유도되었고 입원 환자의 복잡성에 대해 척도가 포화되었을 가능성이 큼). 그러나 극단적 스타일은 여전히 F1을 변화시켰으며, 이는 모델이 주입된 지침을 따른다는 것을 확인시켜 줍니다.

3.3. 일반화 가능성

스타일 조건화의 효과는 코딩 방식과 독립적입니다.

• 원래 3949 F1 범위를 가졌던 네 가지 서로 다른 코딩 방식(Zero-shot, Optimized ZS, Two-Step, Yuan-Verify)은 매칭된 스타일이 제공되었을 때 **5256 F1**으로 수렴했습니다.
• "Zero-shot + Matched Style" 구성은 60.0의 F1을 달성하여 "Optimized ZS + Matched Style"(59.8)과 구별할 수 없을 정도였습니다. 이는 스타일 조건화가 복잡한 프롬프트 엔지니어링의 이점을 따라잡거나 능가할 수 있는 형태의 프롬프트 최적화 역할을 함을 시사합니다.
• 스타일 입력이 없는 지도 학습 베이스라인(CAML, PLM-ICD)은 훨씬 낮은 성능을 보여, 현재의 지도 학습 방식과 스타일 인식 프롬프팅 사이의 격차를 부각했습니다.

3.4. ACI-Y vs. ACI-M 사례 연구

ACI-Y와 ACI-M은 거의 동일한 평균 루브릭 프로필(주로 "추론 공격성"에서 차이)을 가짐에도 불구하고, 코드에 대해서는 73%만 일치했습니다.

• 발견: 거의 동일한 집계 프로필에도 불구하고, 샘플별 오라클 프로필을 사용했을 때 양쪽 골드 표준 모두에 대해 +23 F1 포인트를 회복했습니다.
• 시사점: 스타일은 샘플별 결정 수준에서 작동하며, 10차원 루브릭이 코더 불일치의 모든 복잡성을 포착하지는 못한다는 것을 의미합니다.

4. 기여

본 논문은 다섯 가지 구체적인 기여를 합니다:

1. 프레임워크: 임상 코딩을 $p(\text{code} \mid \text{note}, \psi)$로 재구성하여, 진정한 오류와 코딩 스타일을 분리했습니다.
2. 루브릭: 스타일을 측정하고 전달하기 위한 10차원의 해석 가능한 루브릭을 도입했습니다.
3. 분리 가능성: 스타일 벡터가 데이터 소스별로 클러스터링됨을 보여줌으로써, 스타일이 데이터의 속성임을 증명했습니다.
4. 조종 가능성: 추론 시 스타일을 조건화하는 것이 (학습 없이) 매칭 여부에 따라 F1을 최대 26포인트 높이거나 21포인트 낮출 수 있음을 보여주었습니다.
5. 일반성: 스타일 조건화가 다양한 코딩 방식의 성능을 개선하여 유사한 성능 상한선으로 수렴시킨다는 것을 입증했습니다.

5. 의의 및 주장

저자들은 기존에 모델 오류로 간주되었던 격차의 상당 부분이 회복 가능한, 모델링되지 않은 스타일이라고 주장합니다.

• 평가 영향: 단일 골드 F1 점수는 스타일이 일치하지 않는 데이터에 대한 LLM의 능력을 과소평가합니다. 저자들은 비교 가능한 평가를 위해 스타일 조건부 F1을 보고하거나 코퍼스의 스타일 프로필을 특성화할 것을 권장합니다.
• 모델 능력: 모델은 충분한 코딩 지식을 갖추고 있습니다. 병목 현상은 대개 모델의 암묵적 스타일과 타겟 데이터셋의 스타일 사이의 정렬 문제입니다.
• 겸손함: 저자들은 10개 차원이 스타일을 완전히 포착한다고 주장하지 않습니다. ACI-Y와 ACI-M이 27%의 불일치에도 불구하고 거의 동일한 집계 프로필을 가졌다는 사실은 추가적인 스타일 축이 존재함을 나타냅니다. 제시된 결과는 스타일 모델링을 통해 회복할 수 있는 데 대한 하한선입니다.
• 준수성: 본 프레임워크는 선호도(예: Z-code 완전성, 구체성)를 측정하지만 이를 옹호하지는 않습니다. 일부 선호도는 규정의 경계에 접근할 수도 있습니다.

결론적으로, 본 논문은 인간의 레이블 변동을 단순한 노이즈가 아닌 체계적인 신호(스타일)로 취급하는 것이 단순한 추론 시 조건화를 통해 자동 임상 코딩에서 상당한 성능 향상을 가져올 수 있음을 보여줍니다.