기술 요약: 임상 서사로부터의 신뢰할 수 있는 다국어 정형외과 의사결정 지원

1. 문제 정의

다국어 임상 의사결정 지원(CDS)은 언어적으로 다양하고 자원이 부족한 의료 환경, 특히 임상 상호작용이 지역 언어(예: 힌디어, 펀잡어)로 이루어지는 남아시아와 같은 환경에서 상당한 난관에 봉착해 있습니다. AI 도구들이 주로 영어 중심인 반면, 정형외과적 의사결정 지원은 환자의 서사가 중첩되는 증상, 불완전한 증거, 이질적인 용어 및 언어 의존적 기록 패턴을 포함하는 경우가 많기 때문에 중요한 사용 사례입니다.

기존의 접근 방식은 다음과 같은 구체적인 과제들로 인해 어려움을 겪습니다:

• 언어 조건부 불안정성: 모델의 성능과 보정(calibration)은 언어에 따라 크게 달라지며, 특히 클래스 불균형이 심각한 자연적 임상 유병 분포 하에서 그러합니다.
• 도메인 특화 문제: 범용 다국어 인코더 및 제로샷 대규모 언어 모델(LLM)은 안전이 중요한 폐쇄형 임상 분류에 필요한 특정 근거(grounding)가 부족한 경우가 많습니다.
• 신뢰성 격차: 집계된 정확도 지표는 불확실한 사례에 대한 과잉 확신이나 언어별 편향과 같이 임상적으로 의미 있는 실패 모드를 은폐합니다.
• 유예 메커니즘의 부재: 현재의 시스템은 종종 인간의 검토를 위해 불확실한 예측을 유예(defer)하는 명시적인 메커니즘이 부족하며, 이는 안전 지향적 CDS의 필수 요구 사항입니다.

2. 방법론

본 연구는 큐레이션된 데이터셋, 도메인 적응형 모델 아키텍처, 그리고 결정론적 예측 후 검증 레이어로 구성된 신뢰성 지향 프레임워크를 제안합니다.

2.1 데이터셋 구축

저자들은 영어, 힌디어, 펀잡어를 포함하는 대규모의 큐레이션된 다국어 정형외과 임상 코퍼스를 구축했습니다. 이 데이터는 파키스탄의 3차 의료 기관(인도 병원과의 협업 포함)에서 소싱되었으며, 번역된 것이 아닌 자연스럽게 작성된 노트를 포함합니다.

• 진단 레이블: 6개 카테기리: 척추(Spinal), 근골격계(Musculoskeletal), 뼈(Bone), 고관절(Hip), 기타(Other), 그리고 알 수 없음(Unknown, 증거 불충분 의미).
• 평가 설정: 두 가지 분포를 정의했습니다:
  1. 제어된 균형 분포(Controlled Balanced): 공정한 교차 언어 비교를 위해 18,000개의 기록(언어당 클래스당 1,000개)을 사용합니다.
  2. 자연 유병 분포(Natural-Prevalence): 실제 임상 레이블 왜곡(예: 영어/힌디어에서는 고관절 호소가 우세하고, 펀잡어에서는 척추 호소가 우세함)을 반영한 정제된 전체 코퍼스를 사용합니다.

2.2 제안된 아키텍처: IndicBERT-HPA

도메인 및 언어 불일치를 해결하기 위해 저자들은 IndicBERT-HPA(Hindi–Punjabi Adapters)를 도입했습니다.

• 베이스(Base): 공유된 IndicBERT 인코더가 공통된 다국어 표현 공간을 제공합니다.
• 적응(Adaptation):
  • 영어: 직접적인 공유 인코더 경로를 따릅니다.
  • 힌디어 및 펀잡어: 언어별로 경량화된 **정형외과 어댑터 헤드(orthopedic adapter heads)**를 통과합니다. 이 어댑터들은 병목 잔차 변환(bottleneck residual transformation)을 사용하여 공유된 표현을 전체 인코더를 복제하지 않고도 임상적으로 판별 가능한 공간으로 투영합니다.
• 학습: 모델은 교차 엔트로피 손실(cross-entropy loss)을 사용하여 엔드투엔드로 학습되며, 공유 인코더, 어댑터 및 분류 헤드를 공동 최적화합니다.

2.3 베이스라인 및 비교

본 연구는 IndicBERT-HPA를 다음 모델들과 비교합니다:

• 지도 학습 기반 인코더: XLM-RoBERTa, mDeBERTa, 표준 IndicBERT, 그리고 (태스크에 맞춰 미세 조정된) DistilBERT.
• 제로샷 LLM: 태스크 특화 미세 조정이나 검색 증강 없이 제로샷 폐쇄형 레이블 설정에서 평가된 DeepSeek Open, Mistral-7B Instruct, Zephyr-7B.

2.4 결정론적 선택적 검증 레이어 (Deterministic Selective-Verification Layer)

진단 예측과 의사 결정 권한 부여를 분리하기 위해 예측 후 레이어가 구현됩니다. 이 레이어는 모델 파라미터를 수정하지 않고, 예측을 자동으로 수락할지 아니면 유예할지를 결정합니다. 결정 함수 $g$는 세 가지 신호에 의존합니다:

1. 신뢰도 게이팅(Confidence Gating): 임계값 $\tau$(0.60으로 설정) 미만의 예측을 거부합니다.
2. 증거 일관성 확인(Evidence-Consistency Checking): 예측된 카테고리가 증상-진단 증거 규칙에 의해 뒷받침되는지 확인합니다.
3. 언어 위험 스크리닝(Language-Risk Screening): 스크립트 불일치, 비정상적인 혼합 또는 과도한 음차(transliteration) 노이즈가 있는 기록을 플래그 처리합니다.
   만약 어떤 조건이라도 실패하면 ($s_i < \tau$ OR 증거 $\neq$ 뒷받침됨 OR 위험 = 높음), 해당 케이스는 인간의 검토를 위해 **유예(deferred)**됩니다.

3. 주요 기여

1. 큐레이션된 다국어 정형-외과 코퍼스: 언어적 이질성과 클래스 불균형을 분석하기 위해 영어, 힌디어, 펀잡어를 아우르는 대규모 데이터셋을 구축하였으며, 균형 잡힌 분포와 자연 유병 분포 모두를 지원합니다.
2. 도메인 적응형 인코더 (IndicBERT-HPA): 공유 표현을 유지하면서도 저자원 언어에 대한 타겟화된 특화를 가능하게 하는 언어 인식 정형외과 어댑터를 IndicBERT에 결합한 아키텍처입니다.
3. 신뢰성 중심 평가 프로토콜: 집계된 정확도를 넘어 클래스별 성능, ROC-AUC, AUPRC, 기대 보정 오차(ECE), 그리고 자연 유병 분포 하에서의 교차 언어 안정성을 포함하는 포괄적인 평가를 수행합니다.
4. 결정론적 선택적 검증 레이어: 신뢰도, 증거 일관성, 언어 위험을 결래하여 예측 수락 여부를 결정함으로써, 불확실하거나 위험한 케이스를 필터링하고 인간 참여형(human-in-the-loop) 요구 사항을 명시적으로 해결하여 안전성을 높입니다.

4. 실험 결과

4.1 지도 학습 기반 인코더 성능

• 제어된 설정: IndicBERT-HPA가 가장 높은 성능을 달성했습니다 (평균 Macro-F1 0.8177, Macro-AUROC 0.9302, AUPRC 0.9147). 이 모델은 근골격계 및 "알 수 없음"(증거 불충분) 분류에서 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 자연 유병 설정: IndicBERT-HPA는 견고함을 유지하며 평균 Macro-F1 0.8792, Macro-AUROC 0.894, AUPRC 0.902를 달성했습니다. 이는 XLM-RoBERTa 및 DistilBERT를 포함한 모든 베이스라인을 크게 상회하는 수치입니다.
• 보정(Calibration): IndicBERT-HPA는 강력한 판별력을 보여주었으나, 특정 언어(예: 영어)에서 일부 베이스라인보다 높은 기대 보정 오차(ECE)를 나타냈습니다. 이는 신뢰도에만 의존하기보다 검증 레이어가 필요함을 뒷받적인 근거가 됩니다.

4.2 제로샷 LLM 성능

제로샷 LLM은 폐쇄형 분류 작업에서 태스크 적응형 인코더보다 현저히 낮은 성능을 보였습니다:

• DeepSeek Open (가장 강력한 LLM)은 자연 유병 설정에서 평균 F1-score 0.6121을 기록했습니다.
• IndicBERT-HPA는 베이스라인 LLM을 큰 차이로 압도했습니다 (0.8792 vs. 0.6121).
• LLM은 상당한 언어 의존적 불안정성을 보였으며, 미세 조정이나 검색 증강 없이는 구조화된 임상 분류에 필요한 태스크 특화 근거가 부족했습니다.

4.3 선택적 검증 결과

홀드아웃(held-out) 서브셋 5,000개 기록에 대해 평가되었습니다:

• 전체 수락(Accept-All) 베이스라인: 정확도 71.5%, Macro-F1 0.65.
• 검증 적용 시: 시스템은 **72.3%**의 케이스를 수락하고 (27.7%를 유예), 84.4%의 선택적 정확도와 0.76의 선택적 Macro-F1을 달성했습니다.
• 안전성 영향: 이 레이어는 '전체 수락' 정책과 비교했을 때 불안전한 수락 오류를 60.4% 감소시켰으며, 이를 통해 모델의 분류를 수정하지 않고도 불확실한 케이스를 효과적으로 인간 검토로 라우팅했습니다.

5. 의의 및 주장

본 논문은 다국어 정형외과 의사결정 지원이 자율적 진단에서 신뢰성 중심의 보조로 전환되어야 한다고 주장합니다. 본 연구는 다음을 입증합니다:

• 도메인 적응의 중요성: 명시적인 도메인 적응(IndicBERT-HPA)은 저자원 다국어 임상 환경에서 일반적인 다국어 인코더 및 제로샷 LLM보다 훨씬 뛰어난 성능을 보입니다.
• 자연 유병 분포의 중요성: 자연스러운 임상 분포 하에서의 평가는 균형 잡힌 벤치마크가 가릴 수 있는 실패 모드와 보정 문제를 드러냅니다.
• 유예를 통한 안전성 향 향상: 결정론적 선택적 검증은 저신뢰도 또는 불일치하는 케이스를 필터링함으로써 자동으로 수락된 예측의 신뢰성을 효과적으로 높이며, 이를 통해 자동화된 오류의 위험을 줄입니다.
• 인간 참여형(Human-in-the-Loop)의 필요성: 결과는 AI가 완전한 자율 진단을 시도하기보다는, 명시적인 불확실성 신호를 제공하며 복잡하거나 위험한 케이스를 임상의에게 유예하는 워크플로우를 지원함을 뒷받침합니다.

저자들은 이러한 결과가 회고적(retrospective)이며 특정 서브셋에 국한된 것임을 강조하며, 실제 워크플로우에 배포하기 전에는 임상의 참여형 전향적(prospective) 검증이 필요하다고 명시합니다. 본 연구는 제로샷 LLM이 적응 없이 이 특정 작업에 준비되었다고 주장하지 않으며, 검증 레이어가 임상적 판단을 대체한다고 주장하지도 않습니다.