TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

기술 요약: TreeProbe – LLM의 문화적 편향에 관한 티베트 의학 벤치마크

문제 제기
대규모 언어 모델(LLM)은 글로벌 보건 불평면을 완화하기 위한 도구로서 점점 더 많이 제안되고 있다. 그러나 현재의 모델들은 주로 서구 중심의 고자원 코퍼스(corpus)를 기반으로 학습되어, 국지적 문화 맥락과 지역 특화적 의학 지식의 체계적인 과소 표집 문제를 안고 있다. 이러한 문제는 세계 4대 주요 전통 의학 체제 중 하나이자 독립적이고 고도로 구조화된 이론적 틀을 보유한 티베트 의학에서 특히 심각하게 나타난다. LLM이 티베트 의학의 인식론적 토대를 이해하지 못할 경우, 추론 과정에서 지배적인 외부 체계, 즉 생의학(biomedicine)이나 중의학(TCM)으로 회귀하는 경향을 보인다. 이러한 "온톨로지 표류(ontology drift)"는 고유한 지식 구조를 왜곡하며, 결과적으로 기존의 지식 위계 구조를 강화하고 의료 불평등을 심화시킬 위험이 있다. 티베트 의학 맥락 내에서 발생하는 이러한 구체적인 형태의 문화적 편향을 평가하고 진단할 수 있는 정량적 도구가 부족하다는 점은 매우 중요한 공백이다.

방법론: TreeProbe 벤치마크
이러한 공백을 해결하기 위해 저자들은 《사탄트라(Four Tantras)》에 명시된 티베트 의학의 고유한 "의학 나무(Medical Tree)" 프레임워크에 기반한 최초의 문화적 편향 벤치마크인 TreeProbe를 소개한다. 이 벤치마크는 생리병리학(Physiopathology), 진단(Diagnosis), **치료(Therapy)**라는 세 가지 뿌리를 중심으로 구조화되어 있다.

• 데이터셋 구축: TreeProbe는 467개의 질병과 10개의 하위 작업(객관식 문제 및 생성형 QA 포함)을 다루는 4,719개의 전문가 검증 항목으로 구성된다. 구축 프로세스는 다음의 4단계 파이프라인을 따른다.

  1. 지식 단위 추출: 티베트어 원어민 주석가들이 권위 있는 출처(《사탄트라》 및 국가 표준 GB/T 46946–2025)로부터 원자적 지식 단위를 추출한다. 각 단위는 근거 문헌, 질병 코드, 그리고 병인, 발병 기전, 진단, 치료를 포괄하는 속성 벡터를 연결하는 구조화된 4중조(quadruple)로 이루어진다.
  2. 연산자 가이드 인스턴스화: 특정 속성 슬롯을 목표 질문으로 매핑하는 일련의 프로빙 연산자를 사용하여 항목을 생성한다. 이는 난이도가 정보 유출이 아닌 추론 능력에서 비롯되도록 보장한다.
  3. 교차 온톨로지 오답(Distractor) 작성: 편향을 엄격히 테스트하기 위해, 본 벤치마크는 다음과 같은 특정 오답 분류 체계를 채택한다.
     • 충실한 답변 (Faithful Answer, FA): 티베트 의학적 추론하에서의 정답.
     • 티베트 내부 오답 (Intra-Tibetan Distractor, ITD): 올바른 티베트 의학 용어를 사용하지만, 질문에서 요구하는 구체적인 관계 논리를 위반함.
     • 중의학 표류 오답 (TCM-drift Distractor, TCD): 중 의학 관점에서는 타당하나 티베트 이론하에서는 틀린 내용.
     • 생의학 표류 오답 (Biomedical-drift Distractor, BID): 생의학적 분류와는 일치하나 티베트 맥락에서는 틀린 내용.
       결정적으로, 오답은 모델의 자기 선호 편향(self-preference bias)을 방지하기 위해 온톨로지 중립적인 임상 사례를 사용하여 도메인 전문가(중의사 및 생의학 의사)가 직접 작성한다.
  4. 검증: 항목들은 온톨로지 분리 가능성과 안전성에 대한 엄격한 필터링을 거친 후, 5인의 독립적 전문가(티베트 의사 3명, 중의사 1명, 생의학 의사 1명) 패널에 의해 블라인드 검증을 받는다. 최소 4명의 전문가가 동의해야만 항목이 유지된다.

• 평가 지표: 논문은 편향을 정량화하기 위해 두 가지 로그 오즈(log-odds) 지표를 정의한다.

  • 온톨로지 표류 로그 오즈 (Ontology Drift Log-Odds, ODLO): 외부 체계로의 이탈 정도(외부 시스템으로의 표류)를 측정한다.
  • 생의학-중의학 표류 로그 오즈 (Biomedical–TCM Drift Log-Odds, BTD-LO): 외부 표류의 방향성(생의학 쪽이면 양수, 중의학 쪽이면 음수)을 규정한다.

실험 결과
저자들은 6개의 대표적인 최첨단 LLM(GPT-5.4, Claude Sonnet 4.6, Gemini 3.1, GLM-4.7, DeepSeek-V3.2, Qwen3.5-397B-A17B 포함)을 대상으로 TreeProbe를 평가하였다.

• 성능 한계: 현재의 모델들은 고유한 티베트 의학 맥락에서 상당한 한계를 보인다. 가장 강력한 제로샷(zero-shot) 모델인 Qwen3.5-397B-A17B조차 객관식 문제(MCQ)에서 평균 정확도 60.55%만을 기록했으며, 생성형 QA 성능은 이보다 현저히 낮았다(정규화된 [0, 1] 척도 기준 평균 점수 약 0.47~0.55).
• 체계적 온톨로지 표류: 오류 패턴 분석 결과, 모델들은 단순히 지식이 부족한 것이 아니라 체계적으로 외부 온톨로지로 표류하고 있음이 드러났다. 테스트된 모든 모델이 ODLO > 0.48을 기록하였는데, 이는 오류가 티베트 내부의 대안들 사이에서의 혼동이 아니라 외부 의학 체계로의 대체 형태로 일관되게 나타남을 의미한다.
• 방향성 편향: 모델들은 사전 학습 데이터의 구성과 표면적 의미 유사성에 따라 표류 방향이 갈렸다.
  • 생의학 편향: Claude Sonnet sigma 4.6 및 GPT-5.4와 같은 모델들은 생의학적 추론으로 강하게 표류하는 경향을 보였다.
  • 중의학 편향: GLM-4.7, DeepSeek-Chat, Gemini와 같은 모델들은 중의학 쪽으로 더 강하게 표류했다. 저자들은 이를 티베트 의학과 중국 의학 개념 간의 높은 표면적 의미 유사성 때문으로 분석하며, 이로 인해 중의학 노출이 많지 않은 모델이라도 대체 비용이 낮아진다고 설명한다.
• 언어적 역량 vs 온톨로지 역량: 생성 작업에서 모델들은 높은 "언어적 품질(티베트어 유창성)"을 보여주었으나, 낮은 "온톨ology 충실도(Ontology Fidelity)"를 보였다. 이는 모델이 문법적으로 올정한 티베트 텍스트를 생성할 수는 있지만, 그 밑바탕이 되는 의학적 추론을 보존하지 못하거나 외부 패러다임으로 대체함을 시사한다.
• 통제된 진단 테스트: 모델이 올바른 티베트 의학 답안을 선택하도록 강제된 실험에서도, 모델들은 종종 자신이 선호하는 외부 패러다임으로 회귀했다. 일부 경우, 모델들은 올바른 티베트 의학 답안 대신 자신이 선호하는 외부 체계의 임상적으로 틀린 답안을 선택하기도 했으며, 이는 외부 온톨로지에 대한 깊은 선호도를 시사한다.

주요 기여

1. TreeProbe 벤치마크: 티베트 의학의 고유한 의학 나무 프레임워크를 중심으로 구성된, 4,719개의 전문가 검증 항목을 포함한 최초의 문화적 편향 벤치마크를 도입하였다.
2. 구축 패러다임: 구조화된 지식 단위와 전문가가 작성한 교차 체계 오답을 활용하여, 지식의 결핍과 온톨로지 표류를 분리해내는 저자원 전통 의학 평가를 위한 재사용 가능한 방법론을 제시하였다.
3. 편향의 체계적 특성화: 최첨단 LLM을 종합적으로 평가하여 문화적 편향의 메커니즘을 밝혀냈다. 즉, 오류가 무작위적인 것이 아니라 사전 학습 데이터와 표면적 유사성에 의해 형성된 생의학 또는 중의학을 향한 구조화된 온톨로지 표류 패턴을 따른다는 것을 입증하였다.

의의 및 주장
본 논문은 TreeProbe를 언어적으로 포용적일 뿐만 아니라 인식론적으로도 공정한 의료 AI 시스템을 개발하기 위해 필수적인 진단 도구로 규정한다. 저자들은 이러한 엄격한 평가가 없다면, LLM의 통제되지 않은 문화적 편향이 취약한 지식 체계를 지배적인 의학 패러다임으로 덮어쓰거나 대체하는 기제로 작용할 위험이 있다고 주장한다. 이러한 편향을 정량화하고 추적함으로써, TreeProbe는 모델 진단, 편향 귀속 및 정렬(alignment)을 위한 토대를 제공하며, 의료 분야의 AI 적용이 의도치 않게 전통 의학 전통을 소외시키지 않도록 보장한다. 저자들은 TreeProbe가 임상 의사 결정 지원 시스템이 아닌, 평가 및 편향 진단을 위한 연구용 벤치마크임을 명시한다.