Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

기술적 요약: 신뢰성 중심 다국어 정형외과 진단

문제 제기
다국어 임상 의사결정 지원은 언어적으로 다양하고 자원이 부족한 의료 환경에서 상당한 도전에 직면해 있습니다. 특히 전자 건강 기록과 AI 도구가 주로 영어 중심인 반면, 임상 상호작용은 힌디어와 펀자브어와 같은 지역 언어로 이루어지는 경우입니다. 이러한 언어 불일치는 오해의 소지와 일관성 없는 진료 제공의 위험을 증가시킵니다. 정형외과 진단은 중첩된 증상, 이질적인 용어, 그리고 개방형 생성이 아닌 신뢰할 수 있는 구조화된 분류의 필수적 필요성으로 인해 이러한 문제에 대한 고위험 테스트베드 역할을 합니다. 기존 접근 방식은 종종 범용 다국어 인코더나 제로샷 대규모 언어 모델 (LLM) 에 의존하는데, 저자들은 이러한 방법론들이 충분한 도메인 전문성을欠缺하고, 언어 조건부 불안정을 보이며, 안전이 중요한 맥락에서 보정 격차를 겪는다고 주장합니다.

방법론
본 연구는 영어, 힌디어, 펀자브어에 걸친 정형외과 진단을 위해 제로샷 LLM 과 비교하는 세 가지 모델링 체계를 시스템 수준에서 분석합니다.

1. 데이터셋 구축: 저자들은 바와울푸르 빅토리아 병원과 인도 파트너로부터 약 135,000 건의 임상 기록으로 구성된 대규모 다국어 정형외과 코퍼스를 수집했습니다. 데이터는 면허를 소지한 정형외과 전문의에 의한 중복 제거, 노이즈 필터링, 라벨 정렬을 포함한 엄격한 정제를 거쳤습니다. 두 가지 평가 설정이 수립되었습니다:

   • 통제된 (균형 잡힌): 18,000 건의 기록이 언어와 여섯 가지 진단 카테고리 (척추, 근골격계, 뼈, 고관절, 기타, 불명) 에 걸쳐 균등하게 분포됨.
   • 자연스러운 (실제 환경): 원본 클래스 편향과 prevalence 를 유지하여 배포 조건을 시뮬레이션한 약 135,000 건의 기록.

2. 모델링 체계:

   • 작업 전용 미세 조정: 정형외과 작업에 엔드 투 엔드로 미세 조정된 범용 다국어 인코더 (XLM-RoBERTa, IndicBERT, mDeBERTa) 와 경량 영어 중심 베이스라인 (DistilBERT) 의 평가.
   • 도메인 적응형 아키텍처 (IndicBERT-HPA): 언어별 정형외과 어댑터 헤드를 통합하는 IndicBERT 의 제안된 확장. 이 아키텍처는 병목 프로젝션을 사용하여 일반 언어 표현을 임상적으로 구별 가능한 정형외과 부분 공간으로 매핑하면서 교차 언어 전이 능력을 유지합니다.
   • 제로샷 LLM: 미세 조정 없이 생성 유창성과 구조화된 진단 신뢰도를 평가하기 위해 제로샷 설정에서 지시 튜닝된 LLM(DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) 의 평가.

3. 평가 프로토콜: 성능은 정밀도, 재현율, F1 점수, 정확도, ROC-AUC, AUPRC 를 사용하여 측정되었습니다. 특히, 연구는 신뢰도 신뢰성을 평가하기 위해 기대 보정 오차 (ECE) 를 포함했습니다.

4. 개념적 검증 프레임워크: 경험적 실패 모드를 바탕으로 저자는 결정론적, 에이전트 기반 검증 계층을 제안합니다. 이 프레임워크는 진단 생성과 결정 승인을 분리하며, 증거 확인 에이전트, 언어 일관성 검사, 그리고 저신뢰도 또는 모순된 예측을 유보하는 보수적 인간-루프 게이트를 활용합니다.

주요 기여

1. 선별된 다국어 데이터셋: 영어, 힌디어, 펀자브어를 아우르는 대규모, 의사 검증 정형외과 데이터셋의 생성으로 균형 잡힌 및 자연스러운 분포 분석을 지원.
2. IndicBERT-HPA 아키텍처: 언어별 어댑터를 통해 도메인 구조를 명시적으로 모델링하는 도메인 적응형 모델 도입으로, 구조화된 작업에서 자원 부족 임상 환경에서 규모보다 아키텍처 전문성이 더 우수함을 입증.
3. 신뢰성 중심 평가: 집계 정확도를 넘어 클래스별 성능, 보정 행동 (ECE), 교차 언어 불안정을 분석하는 포괄적 프로토콜로, 높은 구별력이 안전한 배포를 보장하지 않음을 강조.
4. 개념적 검증 프레임워크: 증거 일관성과 보수적 게이트를 강제하는 결정론적 에이전트 기반 시스템에 대한 이론적 설계로, 예측과 승인 분리를 안전이 중요한 시스템의 핵심 요구사항으로 위치시킴.

결과

• 제로샷 LLM: 강력한 언어 유창성에도 불구하고 제로샷 LLM 은 불안정한 보정, 약한 라벨 기반, 그리고 상당한 교차 언어 변이를 보였습니다. 특히 자원 부족 언어 (펀자브어) 와 구조화된 분류 작업에서 그들의 성능은 감독된 인코더보다 일관되게 낮았습니다.
• 작업 전용 대 도메인 적응형: 작업 미세 조정 모델 (DistilBERT 등) 은 강한 집계 점수를 달성했지만, 언어 간 취약한 보정과 불균형한 성능을 보였습니다. IndicBERT-HPA는 실제 환경에서 가장 강력한 전체 구별력 (Macro-F1 약 0.88~0.89) 과 가장 일관된 교차 언어 행동을 달성했습니다. 베이스라인에 비해 더 우수한 순위 품질 (AUROC/AUPRC) 과 더 예측 가능한 신뢰도 신호를 보여주었습니다.
• 보정 및 강건성: 연구는 높은 AUROC 를 가진 모델조차도 과도한 자신감 (높은 ECE) 으로 고통받을 수 있음을 발견했습니다. IndicBERT-HPA 는 중간 수준의 보정 오차를 보였지만 안정적인 분리성을 유지했는데, 저자들은 잘못된 보정은 사후에 수정 가능하지만 나쁜 구별력은 불가능하므로 안전에 있어 원시 정확도보다 더 중요하다고 주장합니다.
• 실제 환경 성능: 자연스러운 클래스 불균형 하에서 감독된 인코더는 제로샷 LLM 보다 현저히 우수했습니다. 그러나 모든 모델은 분포 변화에 민감함을 보여 명시적 검증 계층의 필요성을 재확인했습니다.

의의 및 주장
이 논문은 신뢰할 수 있는 다국어 임상 의사결정 지원이 모델 규모나 생성 유창성에만 의존할 수 없다고 주장합니다. 대신 다음과 같은 시스템 수준 접근이 필요합니다:

1. 도메인 적응형 전문화: 구조화된 작업에서 범용 사전 학습보다 의료 분류 체계 및 언어 제약과의 명시적 아키텍처 정렬이 더 효과적입니다.
2. 신뢰성 인식 평가: 안전이 중요한 맥락의 실패 모드를 식별하기 위해 집계 정확도뿐만 아니라 보정 및 클래스별 안정성을 지표에 포함해야 합니다.
3. 거버넌스 및 검증: 결정론적, 규칙 기반 검증 계층을 통한 예측 생성과 결정 승인 분리는 위험 관리, 감사 가능성 보장, 인간-루프 감독 촉진을 위해 필수적입니다.

저자들은 LLM 이 생성 작업에서 가능성을 보이지만, 현재 구조화된 고위험 다국어 진단에 대한 제로샷 적용은 불충분하다고 결론 내립니다. 제안된 IndicBERT-HPA 아키텍처와 개념적 검증 프레임워크는 자율적 의사결정보다는 책임과 위험 감소를 우선시하는 더 안전하고 신뢰할 수 있는 임상 AI 시스템으로 나아가는 길을 제시합니다.