기술 요약: 하우사어(Hausa) 및 퐁베어(Fongbe) 기계 번역을 위한 대규모 언어 모델 평가

문제 정의

저자원 아프리카 언어를 위한 기계 번역(MT)은 심각한 데이터 부족 문제로 인해 어려움을 겪고 있다. 대규모 언어 모델(LLM)은 합성 병렬 데이터 생성을 통해 잠재적인 해결책을 제시하지만, 유형론적으로 구별되는 언어들에 대해 충분한 번역 품질을 생성할 수 있는지 여부는 아직 검증되지 않았다. 또한, 주로 고자원 유럽 언어들을 기반으로 개발된 표준 자동 평가 지표들의 신뢰성이 이러한 특정 언어 쌍에 대해서도 유효한지 체계적으로 검증되지 않았다.

본 연구는 다음 두 가지 구체적인 연구 질문을 다룬다:

1. RQ1: 현재의 상용 및 오픈 웨이트(open-weight) LLM의 영어-하우사어 및 영어-퐁베어 번역 품질은 어떠하며, 이 품질은 시스템과 언어에 따라 어떻게 달라지는가?
2. RQ2: 자동 평가 지표가 원어민의 인간 판단과 얼마나 신뢰성 있게 상관관계를 갖는가? 또한 품질 필터링을 가이드하기 위해 어떤 지표를 사용해야 하는가?

본 조사는 하우사어(아프로아시아 어족, 화자 수 5,800만 명)와 퐁베어(니제르-콩고 어족, 화자 수 230만 명)에 초점을 맞춘다. 이 언어들은 뚜렷한 언어적 과제를 제시한다: 하우사어는 교착적 형태론과 복잡한 동사 TAM(시제, 상, 양태) 표지를 특징으로 하는 반면, 퐁베어는 연속 동사 구문(serial verb constructions)과 정형적으로 표기되어야 하는 3성조 체계를 사용한다.

방법론

평가 대상 모델

본 연구는 점진적 규모(500~10,000 문장)에 따라 네 가지 LLM 기반 번역 시스템을 평가하였다:

• 상용 API: GPT-4o Mini (OpenAI), Claude Sonnet 4 (Anthropic), Gemini 2.5 Flash (Google).
• 오픈 웨이트(Open-Weight): Qwen2.5-7B (Alibaba).
• 모든 모델은 결정론적 출력을 위해 온도(temperature)를 0.0으로 설정하여 실행되었다.

데이터 및 평가 전략

• 소스 데이터: 병렬 문장 쌍은 OPUS 저장소(영어-하우사어는 CCMatrix; 영어-퐁베어는 NLLB v1)에서 가져왔다.
• 규모(Scales): 안정적인 시스템 순위 산출을 위한 최소 샘플 크기를 결정하기 위해 $n=500, 1,000, 2,500, 10,000$ 문장에서 평가를 수행하였다.
• 자동 지표: 다섯 가지 지표를 사용하였다:
  • 어휘적 지표: BLEU, chrF++, TER.
  • 신경망 지표: COMET (wmt22-comet-da) 및 BERTScore (XLM-RoBERTa-large).
• 인간 평가: 13명의 원어민(퐁베어 7명, 하우사어 6명)이 적절성(Adequacy), 유창성(Fluency), 문화적 적절성(Cultural Appropriateness), 종합 품질(Overall Quality)의 네 가지 차원에 대해 5점 척도로 번역을 평가하였다. 자원 제약으로 인해 언어당 $n=50$ 문장을 각 3명의 평가자가 수행하였다.
• 통계 분석: 쌍별 시스템 비교를 위한 95% 신뢰 구간을 계산하기 위해 부트스트랩 리샘플링(10,000회 반복)을 사용하였다. 지표와 인간 판단 사이의 순위 상관관계를 측정하기 위해 Spearman의 $\rho$를 사용하였다.

주요 기여

1. 하우사어 및 퐁베어에 대한 LLM 벤치마크: 본 연구는 현재의 상용 LLM(2024–2025년 출시)을 특정 언어에 대해 통계적 유의성 검정을 포함하여 체계적으로 비교한 최초의 연구이다($n=10,000$). 이는 한 저자원 아프리카 언어에서의 성능이 다른 언어에서의 성능을 예측하지 못함을 밝혀냈다.
2. 지표 신뢰성 분석: 자동 지표를 원어민의 판단과 체계적으로 검증하였다. 본 연구는 자동 지표가 언어마다 극적으로 다른 상관관계를 보임을 확인하였으며, 두 언어 모두에서 신경망 지표의 "임베딩 붕괴(embedding collapse)" 현상을 폭로하였다.
3. 실질적 권고 사항: 저자들은 신뢰할 수 있는 평가를 위한 최소 샘플 크기($n=2,500$)를 확립하였으며, 저자원 아프리카 언어를 위한 특정 지표(chrF++) 및 평가 프로토콜(필수적 인간 평가)을 권고한다.

결과

번역 품질 및 모델 순위

• 교차 언어 성능 격차: 하우사어 번역은 수용 가능한 품질(인간 점수 3.37–4.46/5)을 달성한 반면, 퐁베어 번역은 불량하였다(1.0–2.2/5). 모든 규모에서 최상의 하우사어 시스템과 최상의 퐁베어 시스템 사이에 일관된 3배의 BLEU 격차가 존재했다.
• 언어별 모델 순위:
  • 퐁베어: Gemini 2.5 Flash가 자동 지표와 인간 평가 모두에서 일관되게 선두를 차지했다.
  • 하우사어: 인간 평가자는 GPT-4o Mini(4.46/5)를 선호했으나, Claude Sonnet 4는 모든 자동 지표에서 1위를 기록했다(BLEU 15.75).
  • 오픈 소스: Qwen2.5-7B는 모든 상용 모델에 비해 현저히 낮은 성능을 보였다.

지표 신뢰성 및 상관관계

• 지표-인간 상관관계:
  • 퐁베어: 자동 지표와 인간 판단 사이의 완벽한 순위 상관관계($\rho=1.0$)를 보였다.
  • 하우사어: 약한 상관관계($\rho=0.5$)를 보였다. 인간 평가자는 GPT-4o를 선호했으나, 모든 자동 지표는 Claude를 1위로 선정했다. 이는 표면적 및 의미론적 지표가 원어민이 우선시하는 품질 차원(예: 자연스러움, 문화적 적절성)을 놓칠 수 있음을 나타낸다.
• 신경망 지표의 실패 (임베딩 붕괴):
  • BERTScore: 두 언어 모두에서 "임베딩 붕괴"를 보였다. 언어 내 코사인 유사도가 0.99를 초과하여, 실제 성능과 관계없이 균일하게 높은 점수(0.83–0.88)를 나타냄으로써 지표로서 변별력을 상실했다.
  • COMET: 퐁베어에서 이상 징oc를 보였는데, 어휘 점수가 낮음에도 불구하고 가장 성능이 낮은 시스템(Qwen2.5-7B)을 1위로 선정했다. 하우사어의 경우, COMET은 어휘 지표와 더 잘 일치했다.
• 규모 안정성: 순위는 $n=1,000$에서 불안정했다(예: Gemini가 하우사어에서 선두인 것처럼 잘못 나타남). 안정적이고 통계적으로 유의미한 순위 도출을 위해서는 최소 $n=2,500$ 문장이 필요했다.

참조 코퍼스 문제

사후 분석 결과, 특히 퐁베어에 대해 잘못된 언어 오염(중국어 대신 퐁베어가 있어야 함) 및 인코딩 손상 등 참조 데이터의 심각한 품질 문제가 발견되었다. 참조 코퍼스의 평균 품질 점수는 2.94/5.0이었다.

의의 및 주장

본 논문은 "저자원"이 단일한 범주가 아님을 주장한다. 수백만 명의 화자가 있는 서아프리카 언어들 사이에서도 상당한 품질 격차가 존재한다. 본 연구는 다음을 입증한다:

1. 평가 관행의 전이 불가: 고자원 언어에서 검증된 지표는 유형론적으로 구별되는 저자원 환경으로 신뢰성 있게 전이되지 않는다. 특히, 사전 학습에 포함된 언어(하우사어)라 할지라도 XLM-RoBERTa와 같은 모델에서 발생하는 임베딩 붕괴로 인해 BERTScore와 같은 신경망 지표는 신뢰할 수 없다.
2. 규모의 중요성: 작은 샘플 크기($<2,500$)는 실제와 반대되는 결과를 낳는다. 저자원 MT를 위한 신뢰할 수 있는 시스템 비교를 위해서는 더 큰 데이터셋이 필요하다.
3. 모델 선택의 언어 특이성: 단일 모델이 두 언어 모두에서 우수할 수는 없다. 한 저자원 언어에서의 성능이 다른 언어에서의 성능을 예측하지 못하며, 이는 일반적인 "저자원 능력"보다는 데이터 표현이 지배적인 요인임을 시사한다.
4. 데이터 증강의 타당성:
   • 하우사어: LLM 생성 번역은 특정 임계값(예: COMET > 0.55 또는 chrF++ > 35)을 사용하여 필터링할 경우 데이터 증강에 활용 가능하다.
   • 퐁베어: LLM 생성 번역은 데이터 증강에 적합하지 않다. 최상의 시스템인 Gemini조차 수용 가능한 임계값(2.20/5) 미만의 점수를 기록하여, 신호보다 노이즈를 더 많이 유입시키기 때문이다.

저자들은 형태론적으로 복잡한 저자원 언어의 경우, **chrF++**를 주요 자동 지표로 사용해야 하지만, 자동 지표가 인간의 판단과 어긋날 경우를 대비해 필수적인 인간 평가가 반드시 병행되어야 한다고 결론짓는다.