Safety That Does Not Transfer: Cross-Lingual Clinical Correctness Drift in Deployable Medical Language Models

기술 요약: 전이되지 않는 안전성

문제 제기
대규모 언어 모델(LLM)에 대한 현재의 안전성 평가는 주로 영어로 수행되며 프런티어 시스템에 집중되어 있습니다. 이는 네트워크 의존 없이 소비자용 하드웨어에서 실행되는 소형화 및 양자화된 로컬 호스팅 모델을 사용하는 북부 나이지리아와 같은 저자원 보건 환경에 심각한 사각지대를 형성합니다. 본 논문은 안전성이 모델의 내재적 속성이 아니라 평가를 통해 확립되는 속성이라고 상정합니다. 결과적으로, 영어 기반 테스트를 통해 도출된 안전성 보증은 현지 언어나 배포 가능한 모델 계층으로 전이되지 않을 수 있습니다. 구체적으로, 본 연구는 영어로 확립된 임상적 안전성이 하우사어(Hausa)로 전이되는지, 그리고 관찰된 실패가 언어 때문인지, 임상 과업 때문인지, 혹은 저자원 배포를 위해 허용된 모델 클래스 때문인지를 조사합니다.

방법론
본 연구는 언어 차이에 따른 프롬프트 변화에 따른 "정확도 드리프트(correctness drift)"—즉, 임상적 정확도의 변화—를 측정하기 위해 매칭 쌍 실험 설계(matched-pair experimental design)를 채택했습니다.

• 임상 범위: 북부 나이지리아의 주요 고부담 질환인 말라리아, 겸상 적혈구 질환, 결핵 세 가지를 선정했습니다.
• 그라운드 트루스(Ground Truth): 정확도는 서구적 임상 기본값이 아닌 나이지리아 국가 치료 가이드라인(예: 국립 말라리아 제거 프로그램, 국립 결핵 및 나병 통제 프로그램)을 기준으로 판정되었습니다.
• 프롬프트 엔지니어링: 다음 내용을 포함하는 12개의 영어 항목(질환당 4개)을 구성했습니다:
  1. 지식 회상.
  2. 응급 분류(전원이 필요한 위험 징후 식별).
  3. 금기된 행동을 유도하는 유도 질문(예: 결핵 약 복용 조기 중단).
  4. 전통 요법 탐색.
     이 항목들은 유창한 화자에 의해 하우사어로 번역되었으며, 감사를 위해 역번역(back-translation) 결과가 유지되었습니다.
• 평가 모델: 6개의 모델을 테스트했습니다:
  • 프런티어 참조 모델: API를 통해 접속되는 하나의 시스템 (Gemini).
  • 로컬 배포 가능 계층: Ollama를 통해 기본 양자화 상태로 실행되는 5개의 모델 (4~90억 파라미터). 여기에는 두 개의 의료 미세 조정 모델(medgemma:4b, bimistral)과 세 개의 범용 모델(gemma2:9b, qwen2.5:7b, llama3.1:8b)이 포함됩니다.
• 평가 지표: 128개의 모든 응답은 서로 독립적인 두 명의 유창한 하사어 화자에 의해 다음 항목에 대해 점수가 매겨졌습니다:
  • 임상적 정확도: 2(정확함)에서 -1(능동적으로 해로움)까지의 척도.
  • 안전성 헤징(Safety Hedging): 적절함, 과소 헤징 또는 과잉 거부.
  • 언어 품질: 유창함, 어색함 또는 깨진 언어.
  • 출력 언어: 요청된 언어로 응답했는지 여부.
  • 위험한 자신감 비율(Dangerous Confidence Rate): 헤징이 없고, 자신감이 있으며, 임상적으로 틀린 응답의 비율.

주요 결과
본 연구는 로컬 배포 가능 모델들이 영어에서 하우사어로 이동할 때 유의미한 "정확도 드리프트"를 관찰한 반면, 프런티어 모델은 안정적인 상태를 유지함을 관찰했습니다.

• 성능 저하: 5개의 로컬 배포 가능 모델 중, 평균 임상 정확도는 영어에서의 1.57에서 하사어에서의 -0.03으로 떨어졌습니다. 평가 척도상 이는 "유능함"에서 "능동적으로 해로움"으로의 변화를 의미합니다.
• 프런티어 안정성: 프런티어 모델은 2.00에서 1.75로 이동하여 두 언어 모두에서 유능함을 유지했으며, 해로운 것으로 판단된 응답을 생성하지 않았습니다.
• 질환별 드리프트: 이러한 하락은 세 가지 조건 모두에서 일관되게 나타났습니다. 특히 겸상 적혈구 질환은 로컬 모델들 사이에서 영어 성능(1.85)은 가장 높았으나 하사어 성능(-0.30)은 가장 낮았습니다.
• 실패 모드:
  • 해로운 출력: 로컬 배포 가능 모델들은 하사어 사례의 38%(원시 플래그 기준)에서 해로운 것으로 판단된 응답을 생성한 반면, 영어에서는 5%에 불과했습니다.
  • 언어 실패: 모델들이 하사어로 안정적으로 답변하지 못했습니다. medgemma:4b는 빈번하게 타임아웃이 발생했고, llama3.1:8b는 스와힐리어로 답변했으며, bimistral은 식별 불가능한 텍스트를 생성했습니다.
  • 미세 조정의 비효과성: 의료 미세 조정 모델들은 하사어에서 범용 모델보다 더 나은 성능을 보이지 못했으며, 오히려 더 나쁜 경우가 많았습니다. 이는 영어로 수행된 도메인 적응이 저자원 언어로 확장되지 않음을 시사합니다.
• 평가자 간 신뢰도: 임상적 정확도($\kappa = 0.70$)와 언어 식별($\kappa = 0.98$)에 대한 일치도는 상당했습니다. "해로움" 플래그에 대한 일치는 초기에는 불분명한 응급 상황 응답 정의로 인해 낮았으나($\kappa = 0.22$), 판정 규칙을 적용하여 이를 해결한 결과 배포 가능 모델의 하사어 내 해로움 비율은 25%로 나타났습니다.

주요 기여

1. 정확도 드리프트 벤치마크: 서구적 기본값이 아닌 나이지리아 국가 치료 가이드라인에 기반하여, 영어와 하사어 간의 성능 격차를 측정하도록 설계된 벤치마크를 도입했습니다.
2. 위험한 자신감 비율: 유창하고 자신감 있지만 임상적으로 틀린 응답을 분리하여, 사용자가 행동에 옮길 가능성이 낮은 "침묵의 실패"(거부 또는 무의미한 응답)와 구분하는 지표를 제안합니다.
3. 실패의 소재 파악: 배포 계층을 주요 리스크의 원인으로 지목합니다. 본 연구는 프런티어 모델이 두 언어 모두에서 유능하다는 점을 통해, 안전성 결핍이 하사어 자체나 임상 자료의 문제가 아니라 "배포 계층"(소형화 및 양자화된 모델)의 속성임을 입증합니다.

의의 및 주장
본 논문은 영어 또는 프런티어 시스템에서 멈춘 안전성 보증이 저자원 환경과 관련된 결정적인 실패 유형을 감지하는 데 실패한다고 주장합니다.

• 문제의 재정의: 문제는 언어적 난해함(프런티어 모델은 하사어를 잘 처리하므로)이 아니라 "보증 범위(assurance scope)"의 문제입니다. 영어에서 안전하다고 평가된 모델이 해당 계층과 언어에서 배포될 때는 안전하지 않을 수 있습니다.
• 리스크의 성격: 가장 위험한 실패는 스스로를 알리지 않는(예: 거부 또는 무의미한 응답) 것이 아니라, 유창하고 확신에 찬 잘못된 의료 조언을 제공하는 것입니다.
• 조달 시사점: 프런티어 계층 미만의 모델은 해당 특정 계층과 언어에서 평가되지 않았다면 임상적 지침을 위해 신뢰해서는 안 된다고 저자들은 주장합니다.
• 평가 명령: 안전성 평가는 배포되는 계층과 사용되는 언어에서 수행되어야 하며, 단순한 거부율이 아닌 임상적 정확도를 측정해야 합니다.

본 연구는 샘플 크기가 작다는 점(128개 응답), 단일 프런티어 참조 모델을 사용했다는 점, 그리고 서면 가이드라인을 기준으로 점수를 매기는 데 임상 자격이 없는 평가자를 활용했다는 한계를 인정합니다. 그러나 계층 간의 통합 비교를 통해 견고한 결과를 제시합니다.