Terminology Rarity Predicts Catastrophic Failure in LLM Translation of Low-Resource Ancient Languages: Evidence from Ancient Greek

이 연구는 고대 그리스어 전문 텍스트 번역에서 LLM 의 성능이 전문 용어의 희소성에 의해 결정되며, 특히 미번역된 약학 텍스트에서 용어 빈도가 번역 실패를 강력하게 예측한다는 것을 인간 평가와 자동 지표를 통해 입증했습니다.

핵심

1. 실험의 설정: "일반적인 이야기" vs "전문가만 아는 암호"

연구진은 세 가지 유명한 AI (Claude, Gemini, ChatGPT) 에게 고대 그리스 의사 갈레노스 (Galen) 의 글을 번역하게 했습니다. 이때 두 가지 다른 종류의 글을 사용했습니다.

• A 책 (혼합에 관하여): 철학이나 생리에 대해 설명하는 일반적인 이야기입니다. 이미 현대 영어로 잘 번역된 책이 있습니다.
• B 책 (약제 조성에 관하여): 약재와 질병을 다루는 엄청난 전문 용어가 가득한 '암호' 같은 책입니다. 이 책은 영어로 번역된 적이 전혀 없습니다.

비유하자면:

• A 책은 "오늘 날씨가 좋네요, 산책하러 가요" 같은 일상 대화입니다.
• B 책은 "이 약은 '칼칸토스'와 '크리스코콜라'를 섞어 '상다라케'를 만들어야 한다"는 의사만 아는 전문 처방전입니다.

---

2. AI 의 실력: "일상 대화는 천재, 전문 용어는 실수왕"

결과가 매우 극명하게 갈렸습니다.

• 일상적인 글 (A 책) 을 번역할 때:
  AI 들은 거의 완벽하게 번역했습니다. 전문가가 번역한 수준에 가까웠습니다. 마치 유창한 외국어 회화를 하는 유학생처럼 자연스러웠습니다.

  • 이유: AI 가 훈련할 때 이미 번역된 책들이 많이 있었기 때문입니다.

• 전문적인 글 (B 책) 을 번역할 때:
  AI 들은 대참사를 겪었습니다. 특히 약재 이름이나 희귀한 병명 같은 드문 단어가 나올 때, AI 는 완전히 엉뚱한 말을 하거나 아예 번역을 포기했습니다.

  • 비유: 고급 레스토랑의 셰프가 일반 메뉴는 완벽하게 만들지만, 메뉴판에 적힌 알 수 없는 야생 버섯 이름만 나오면 "이건 뭐죠?"라고 하거나, 임의로 다른 버섯으로 바꿔서 요리를 만들어버리는 상황입니다.

핵심 발견:
AI 가 실수하는 이유는 글이 어렵기 때문이 아니라, **단어가 얼마나 '희귀한지'**에 달려 있었습니다. 고대 그리스 문학에서 단어가 50 번도 안 쓰인다면, AI 는 그 단어를 제대로 번역할 확률이 97% 이상 떨어졌습니다.

---

3. 자동 채점기의 함정: "점수는 좋지만, 내용은 엉터리"

연구진은 AI 번역을 평가할 때 두 가지 방법을 썼습니다.

1. 자동 채점기 (컴퓨터가 점수 매김): 기존에 나온 번역본과 비교해서 단어 겹치는 정도를 점수로 줍니다.
2. 전문가 채점 (역사학자가 직접 읽음): 실제 내용을 보고 옳고 그름을 판단합니다.

여기서 재미있는 반전이 일어났습니다.

• 자동 채점기는 AI 가 엉망으로 번역한 전문 용어 부분에서도 "점수가 꽤 나쁘지 않네?"라고 중간 점수를 주거나, 아예 엉뚱한 번역을 '훌륭함'으로 오인하기도 했습니다.
• 하지만 전문가는 "이 약재 이름이 완전히 틀렸어! 환자를 죽일 수도 있어!"라고 **치명적인 오류 (Critical Error)**를 지적했습니다.

비유하자면:
시험 문제를 풀 때, 자동 채점기는 "문법적으로 문장이 잘 만들어졌네, 80 점!"이라고 줍니다. 하지만 **선생님 (전문가)**은 "문장은 잘 썼는데, 계산 결과가 1+1=3 이라고 썼네? 이건 0 점이야!"라고 채점하는 것입니다. 자동 채점기는 AI 가 만들어낸 **매끄러운 헛소리 (할루시네이션)**를 진짜로 착각하기 쉽습니다.

---

📝 결론: 우리가 무엇을 배웠을까?

이 연구는 우리에게 중요한 교훈을 줍니다.

1. AI 는 만능이 아닙니다: 일상적인 고전 문헌을 읽는 데는 AI 가 아주 훌륭합니다. 하지만 전문적인 의학, 과학, 법률 같은 분야에서는 AI 가 만든 번역을 절대 맹신하면 안 됩니다.
2. 희귀한 단어는 위험 신호: 만약 번역하려는 글에 우리가 잘 모르는 드문 단어가 많다면, AI 는 그 부분에서 무조건 실수할 가능성이 매우 높습니다.
3. 전문가의 눈이 필요합니다: AI 가 번역한 글을 그대로 쓰기 전에, 반드시 **해당 분야를 아는 사람 (전문가)**이 다시 한번 확인해야 합니다. 특히 약이나 치료법 같은 중요한 내용이라면, AI 의 번역은 '초안'일 뿐, '최종 답안'이 될 수 없습니다.

한 줄 요약:

"AI 는 고대 그리스어의 일상 대화는 잘하지만, 전문가만 아는 암호를 풀 때는 엉뚱한 소리를 합니다. 그러니 AI 가 번역한 전문 서적은 반드시 전문가의 눈으로 다시 한번 확인해야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 저유량 고대 언어 (LRAL, Low-Resource Ancient Languages) 번역에 점차 적용되고 있으나, 그 성능 한계와 실패 원인은 명확히 규명되지 않았습니다. 특히 고대 그리스어 (AG) 는 형태론적 풍부함, 문법적 유연성, 그리고 텍스트의 변형 (corruption) 으로 인해 기계 번역 (MT) 평가가 매우 어렵습니다.
• 문제점:
  • 기존 자동 평가 지표 (BLEU, COMET 등) 는 참조 번역 (Reference Translation) 에 의존하는데, 고대 텍스트는 해석의 다양성으로 인해 단일 참조가 정답이 될 수 없으며, 이는 평가의 신뢰성을 떨어뜨립니다.
  • LLM 이 훈련 데이터에 포함된 기존 번역을 단순히 암기 (Memorization) 하고 재생산하는 것인지, 아니면 실제로 새로운 텍스트를 번역하는 것인지 구별하기 어렵습니다.
  • 전문 용어가 밀집된 기술 문헌 (Technical Prose) 에 대한 LLM 의 성능과 실패 패턴에 대한 체계적인 실증 연구가 부재합니다.

2. 연구 방법론 (Methodology)

이 연구는 고대 그리스어 의학자 갈레노스 (Galen of Pergamum) 의 두 작품을 대상으로 한 체계적인 인간 평가와 자동 평가를 결합했습니다.

• 데이터셋:
  • 작품 1 (Mixtures, On Mixtures): 자연철학과 생리학을 다루는 해설적 텍스트. 이미 두 가지 영문 번역본이 존재함.
  • 작품 2 (Composition, On the Composition of Drugs according to Kinds): 약학 및 치료법을 다루는 기술적 텍스트. 영문 번역본이 전혀 존재하지 않음 (전문가에 의해 새로 번역됨).
  • 총 20 개의 문단 (각 작품 10 개) 을 추출하여 총 60 개의 번역 (3 개 모델 × 20 개 문단) 을 생성했습니다.
• 모델: 상업용 LLM 3 개 (Claude, Gemini, ChatGPT) 를 사용했습니다.
• 평가 체계:
  1. 자동 평가 지표: BLEU-4, chrF++, METEOR, ROUGE-L, BERTScore, COMET, BLEURT 등 7 가지 표준 지표를 적용했습니다.
  2. 전문가 인간 평가 (핵심): 참조 번역 없이 수행된 MQM (Multidimensional Quality Metrics) 프레임워크를 수정하여 적용했습니다.
     • 차원: 용어 충실도 (Terminological Fidelity) 와 명제 정확도 (Propositional Accuracy).
     • 심각도: 중립 (Neutral), 경미 (Minor), 주요 (Major), 치명적 (Critical).
     • 점수: 오류 가중치에 기반한 번역 품질 점수 (TQS, 0~100) 를 산출했습니다.
     • 평가자: 고대 그리스어 의학 및 철학 전문가 팀이 모든 60 개 번역을 블라인드 상태로 평가하고 합의 (Consensus) 를 도출했습니다.
• 용어 희소성 분석: 'Diorisis Ancient Greek Corpus'(1 천만 단어 규모의 고대 그리스어 문학 코퍼스) 를 활용하여 각 문단의 용어 희소성 (Rare term ratio) 을 계산했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 번역 품질의 이분법적 성과

• 해설적 텍스트 (Mixtures): LLM 들은 매우 높은 품질 (평균 MQM 점수 95.2/100) 을 보였으며, 전문가 수준의 번역에 근접했습니다.
• 기술적 텍스트 (Composition): 전체 평균 점수는 낮았으나 (79.9/100), 편차가 매우 컸습니다.
  • 두 개의 문단 (8 번, 10 번) 에서 모든 모델이 **치명적 실패 (Catastrophic Failure)**를 겪었습니다 (점수 0~65). 이는 약학 용어가 극도로 밀집된 부분입니다.
  • 이러한 치명적 실패 문단을 제외하면, 나머지 문단의 품질은 해설적 텍스트와 거의 유사한 수준 (평균 91.4~93.1) 으로 수렴했습니다.

B. 용어 희소성이 실패의 강력한 예측 변수

• 핵심 발견: 코퍼스 내 용어의 희소성 (희귀한 단어 비율) 이 번역 품질과 **매우 강한 음의 상관관계 (r = -0.97)**를 보였습니다.
• 통계적 유의성: 희소 용어 비율이 약 0.20 을 초과할 때 번역 품질이 급격히 떨어졌으며, 0.30 이상인 문단에서는 모든 모델이 치명적 오류를 범했습니다.
• 메커니즘: LLM 은 훈련 데이터 (주로 문학 텍스트) 에서 희귀한 전문 용어 (약재명, 해부학적 용어 등) 를 통계적으로 충분히 학습하지 못해, 이러한 용어가 포함된 문단에서 환각 (Hallucination) 이나 잘못된 번역을 생성합니다.

C. 자동 평가 지표의 한계

• 전체 상관관계: 자동 지표들은 인간 평가 (MQM) 와 중간 정도의 상관관계 (BERTScore r=0.75) 를 보였으나, 이는 품질 편차가 큰 'Composition' 텍스트의 극단적 실패 사례에 의해 주도된 결과였습니다.
• 고품질 영역에서의 무력화: 품질이 높은 텍스트 (Mixtures) 에서는 자동 지표들이 인간 평가와 유의미한 상관관계를 보이지 않았습니다. 즉, 자동 지표는 "나쁜 번역"은 찾아낼 수 있지만, "좋은 번역" 간의 미세한 차이를 구별하지 못합니다.
• 치명적 오류 감지 실패: COMET 같은 최신 신경망 지표조차 치명적 오류가 있는 번역을 높은 점수 (예: 인간 평가 0 점인 번역을 70% 대) 로 평가하는 등 신뢰할 수 없었습니다.

D. 암기 효과 (Memorization) vs. 번역 능력

• 기존 번역이 있는 텍스트 (Mixtures) 에서 LLM 이 더 잘한 것은 훈련 데이터의 암기 때문일 수 있으나, 오류 패턴 분석 (기술 용어 위주의 실패) 과 자동 지표의 BLEU 점수 차이 등을 통해, 실제 번역 난이도 (용어 희소성) 가 성능 차이의 주된 원인임을 확인했습니다.

4. 의의 및 시사점 (Significance)

1. 고대 언어 번역의 신뢰성 기준 제시: LLM 은 고대 그리스어의 해설적 텍스트를 번역할 때는 실용적으로 사용 가능하지만, 희귀 전문 용어가 포함된 기술 문헌에서는 인간 전문가의 검증 없이는 절대 신뢰할 수 없음을 증명했습니다.
2. 품질 예측 지표 개발: 텍스트의 '용어 희소성'을 사전에 분석함으로써, LLM 번역의 실패 위험을 사전에 예측하고 전문가 검토가 필요한 부분을 선별할 수 있는 저비용·확장 가능한 방법론을 제시했습니다.
3. 자동 평가의 재고: 고대 언어와 같은 저유량·전문 분야에서는 자동 평가 지표만으로는 번역 품질을 판단할 수 없으며, **도메인 전문가에 의한 인간 평가 (Human-in-the-loop)**가 필수적임을 강조했습니다.
4. 학문적 및 실용적 함의: 고전학, 의학사, 그리고 다른 저유량 전문 분야 (법률, 재료과학 등) 에서 LLM 을 도입할 때, 훈련 데이터의 분포와 용어 희소성을 고려한 신중한 접근이 필요함을 시사합니다.

결론

이 연구는 LLM 이 고대 그리스어 기술 문헌을 번역할 때, 용어의 희소성이 성능의 결정적 요인임을 최초로 체계적으로 입증했습니다. LLM 은 일반적인 텍스트에서는 탁월한 성능을 보이지만, 훈련 데이터에서 통계적으로 주변부 (Marginal) 에 위치한 전문 용어가 등장할 경우 치명적인 오류를 범하므로, 이러한 영역에서는 인간 전문가의 개입이 필수적임을 결론지었습니다.