Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

본 논문은 43 개 가나 언어에 걸쳐 19 개 대규모 언어 모델의 제로샷 번역 성능을 평가하는 포괄적인 벤치마크인 Nsanku 를 소개하며, Gemini-2.5-flash 와 같은 최상위 모델이 중간 점수를 달성하지만 현재 어떤 모델도 높은 성능과 일관성을 동시에 보여주지 않아 이러한 언어들의 대규모 번역에 아직 신뢰할 수 있게 사용할 수 없음을 밝힌다.

핵심

Nsanku 보고서: 가나의 언어로 AI 번역기를 테스트하다

거대한 도서관에 19 개의 서로 다른"초두뇌"(AI 모델) 가 있다고 상상해 보세요. 일부는 거대 기술 기업들이 소유하고 있고, 다른 일부는 커뮤니티가 구축한 오픈소스 프로젝트입니다. 당신은 알고 싶습니다:이 두뇌들 중 어떤 것이 가나에서 사용되는 43 개 언어로 영어를 번역할 수 있을까요? 물론, 그 특정 언어를 한 번도 배운 적이 없다면요?

이것이 바로Nsanku논문이 수행한 작업입니다."Nsanku"라는 이름은 아칸어에서 유래했으며"악기"를 의미합니다. 밴드가 음악을 만들기 위해 다양한 악기가 필요하듯, 이 프로젝트는 가나 언어의 다양한"음악"을 얼마나 잘 처리하는지 테스트하기 위해 다양한 AI 모델이 필요했습니다.

다음은 그들이 발견한 내용을 쉽게 설명한 이야기입니다.

---

1. 설정: 엄격한"제로샷"테스트

이 AI 모델들을 깜짝 시험을 치르는 학생들로 생각해보세요.

• 규칙: 그들은 사전에 공부할 수 없었습니다. 가나 데이터로"파인튜닝"(재학습) 될 수 없었습니다. 그들은 일반 학습을 통해 이미 알고 있던 것에만 전적으로 의존해야 했습니다. 이를제로샷테스트라고 합니다.
• 시험 자료: 시험 문제는 43 개의 서로 다른 가나 언어로 번역된 성경의 300 문장이었습니다. 연구자들은 거의 모든 이러한 언어의 문자화된 버전을 한 곳에서 찾을 수 있는 몇 안 되는 곳 중 하나이기 때문에 성경을 사용했습니다.
• 채점: 그들은 두 가지 다른 채점 시스템을 사용했습니다.
  • BLEU: 정확한 단어를 사용했는지 확인하는 엄격한 선생님처럼.
  • chrF: 정확한 단어가 조금 달라도 문장의 일반적인 음과 구조가 맞는지 확인하는 더 유연한 선생님처럼.

2. 결과: 누가 통과했나? 누가 낙제했나?

"스타 학생들"(상용 모델)

구글, Anthropic, 오픈AI 의 유명 AI 모델 세 개가 최상위를 차지했습니다.

• Gemini-2.5-flash가 가장 높은 점수로 반장 (valedictorian) 이 되었습니다.
• Claude-sonnet-4-5와GPT-4.1이 그 뒤를 바짝 추격했습니다.
• 비유: 이들은 가장 비싼 사립학교에 다닌 학생들처럼 보입니다. 그들은 많은 데이터를 보았기 때문에 누구보다도 더 잘 추측할 수 있지만, 여전히 완벽하지는 않습니다.

"커뮤니티 학생들"(오픈가중치 모델)

나머지 모델들은 오픈소스 (무료 사용 및 수정 가능) 였습니다.

• 이 그룹 중 가장 좋은 모델은kimi-k2-instruct였지만, 여전히"스타 학생들"보다 점수가 현저히 낮았습니다.
• 격차: 비싼 사설 모델과 무료 커뮤니티 모델 사이에는 명확한 격차가 있습니다. 현재 사설 모델이 이러한 언어를 이해하는 데 훨씬 더 뛰어납니다.

"언어 난이도"요인

모든 언어가 번역하기 equally 쉽지는 않았습니다.

• Siwu는 AI 가 번역하기에"가장 쉬운"언어였습니다 (최고 점수).
• Nkonya는"가장 어려운"언어였습니다 (최저 점수).
• 반전: 놀랍게도 가장 널리 사용되는 언어들 (트위어 등) 이 항상 최고 점수를 받은 것은 아닙니다. 때로는 화자 수가 적은 언어가 더 높은 점수를 받기도 했습니다. 왜일까요? 해당 언어에 사용된 특정 성경 번역본이 인기 있는 언어들의 번역본보다 더 명확하고 완전했기 때문입니다. 마치 큰 도시보다 작은 마을을 위한 더 명확한 지도를 가진 것과 같습니다.

3. 큰 문제:"불안정한 친구"문제

이것이 이 논문의 가장 중요한 발견입니다. 연구자들은 평균 점수만 본 것이 아니라일관성을 살펴보았습니다.

• 비유: 이탈리아 요리는 훌륭하지만 태국 요리는 형편없는 친구가 있다고 상상해보세요. 무작위 식사를 부탁하면 맛있는 저녁을 먹을지, 아니면 타버린 망친 요리를 먹을지 결코 알 수 없습니다.
• 발견: 단 하나의 AI 모델도"높은 성능"과"일관성"을 동시에 갖춘 경우는 없었습니다.
  • 최고의 모델들은"높은 성능이지만 일관성이 부족했습니다". 그들은 Siwu 를 완벽하게 번역할 수도 있지만 Nkonya 에서는 처참하게 실패할 수도 있었습니다.
  • 일관된 모델들은"일관적이지만 평균적이었습니다". 그들은 모든 언어에 대해 동일한 평범한 결과를 내놓았으며, 나쁘게 실패한 적은 없지만 잘한 적도 없었습니다.
  • "리더"사분면: 연구자들은 네 모서리가 있는 차트를 그렸습니다. 오른쪽 위 모서리는"리더"영역 (고품질 + 고일관성) 입니다.어떤 모델도 어떤 언어도 이 영역에 도달하지 못했습니다.

4. 이것이 의미하는 바 (논문에 따르면)

이 논문은 이러한 AI 모델들이 인상적이지만, 가나 언어에 대해 실제 업무 (정부 문서, 의료 조언, 뉴스 번역 등) 에 사용되기에는 아직 신뢰할 수 있을 만큼 충분히 신뢰할 수 없다고 결론지었습니다.

• "성경적"한계: 이 테스트는 성경 구절을 사용하여 수행되었습니다. 저자들은 이러한 모델들이 일상 대화, 뉴스, 또는 법적 텍스트에서는 훈련 과정에서 이러한 유형의 단어를 보지 못했기 때문에 더 나쁜 결과를 보일 수 있다고 경고합니다.
• "데이터"문제: 낮은 점수는 언어가"어렵거나"부서져 있기 때문이 아닙니다. AI 가 충분한 예시를 보지 못했기 때문입니다. 마치 한 권의 책만 읽어서 언어를 배우려는 것과 같습니다. 대략적인 의미는 파악할 수 있지만 미묘한 뉘앙스는 놓치게 됩니다.

요약

Nsanku프로젝트는 43 개의 가나 언어에 대한 19 개의 AI 모델을 테스트하기 위한 거대한 점수판을 구축했습니다.

1. 빅테크 모델이 현재 가장 우수하지만, 무료 모델이 따라잡고 있습니다.
2. 문자 기반 채점(chrF) 은 단어 대 단어 채점 (BLEU) 보다 이러한 언어를 평가하는 더 나은 방법입니다.
3. 가장 중요한 점: 현재 어떤 AI 도 이러한 언어에 대해 신뢰할 수 있을 만큼 충분히 신뢰할 수 없습니다. 그들은 특정 언어에 따라 때로는 A+ 를 받고 때로는 F 를 받는 학생과 같습니다. 일관되게 좋은 모델을 볼 때까지는 중요한 작업에 대해 완전히 신뢰할 수 없습니다.

이 논문은 모든 데이터와 코드를 공개하여 연구자들이 계속 테스트하고 이러한 모델을 개선하여 결국 그"리더"사분면을 채우기를 희망하고 있습니다.

기술 요약

기술 요약: Nsanku – 가나 언어를 위한 LLM 의 제로샷 번역 성능 평가

문제 제기

자원이 풍부한 언어에 대한 다국어 기계 번역 (MT) 에서 대규모 언어 모델 (LLM) 의 급속한 발전에도 불구하고, 저자원 아프리카 언어에 대한 LLM 의 능력은 여전히 poorly understood(잘 이해되지 않았) 으며 대부분 평가되지 않은 상태입니다. 80 개 이상의 문서화된 언어를 보유한 가나는 치명적인 격차에 직면해 있습니다: 번역 도구가 존재하지 않거나 검증되지 않았기 때문에 시민들은 종종 모어로 디지털 건강, 정부, 또는 교육 서비스에 접근할 수 없습니다. 기존 다국어 벤치마크 (예: FLORES-200, XTREME) 는 가나어 중 최대 하나 (트위어) 만을 다루고 있어, 국가의 광범위한 언어 지형에 대한 체계적인 평가가 이루어지지 않고 있습니다. 또한, 이전 연구는 대부분 레이블이 지정된 데이터를 필요로 하는 파인튜닝 모델에 집중해 왔으며, 특정 언어 쌍에 대한 명시적 훈련 없이 번역하는 프론티어 LLM 의 '제로샷' 능력은 대규모로 탐구되지 않았습니다.

방법론

이 논문은 43 개 가나 언어와 영어를 쌍으로 하여 19 개 LLM 의 제로샷 MT 성능을 평가하도록 설계된 체계적인 벤치마크인 Nsanku를 소개합니다. 평가 프레임워크는 모듈식 4 단계 파이썬 파이프라인으로 구현되었습니다:

1. 데이터 수집: 병렬 문장 쌍은 43 개 언어에 대해 충분한 폭을 제공하는 유일한 디지털 소스인 YouVersion 성경 플랫폼에서 확보되었습니다. 웹 스크래퍼를 사용하여 저자들이 성경 구절을 정렬하여 언어당 300 개의 문장 쌍을 생성했습니다.
2. 재현 가능한 샘플링: 결정론적 샘플링 단계 (시드 42) 가 첫 번째 언어 파일에서 200 개의 문장 인덱스를 선택하고 이를 모든 43 개 언어에 균일하게 적용했습니다. 이를 통해 모든 19 개 모델이 언어당 정확히 동일한 200 개의 문장으로 평가받아 테스트 세트 변이를 제거했습니다.
3. 모델 추론: 이 연구는 NVIDIA Build API 를 통해 19 개 LLM(10 개 오픈가중치 및 9 개 독점) 을 평가했습니다. 모델에는 프론티어 시스템 (예: gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) 과 오픈가중치 대안 (예: kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1) 이 포함되었습니다. 모든 평가는 컨텍스트 예제나 파인튜닝 없이 엄격한 제로샷 설정에서 수행되었습니다.
4. 지표 계산: 성능은 두 가지 자동 지표를 사용하여 측정되었습니다:
   • BLEU(이중언어 평가 보조자): 표준 n-gram 정밀도.
   • chrF(문자 n-gram F-점수): 형태론적 변이 및 토큰화 문제에 강건함.
   • 평균 점수: BLEU 와 chrF 의 산술 평균.
   • 일관성: 주어진 모델에 대한 언어별 점수의 표준편차의 역수로 계산되며, quadrant scatter plots(사분면 산점도) 를 통해 시각화되어 성능이 높고 안정적인 모델을 식별합니다.

주요 기여

• 포괄적 커버리지: Nsanku 는 43 개 가나 언어를 다루는 최초의 대규모 평가이며, 이 중 42 개는 주요 다국어 MT 벤치마크에 단 한 번도 등장한 적이 없습니다.
• 인프라: 이 프로젝트는 전체 파이프라인 코드, 데이터 수집 스크립트, Google Colab 노트북을 포함하여 커뮤니티가 확장 가능한 평가 인프라를 공개합니다. 이를 통해 연구자들은 새로운 모델이나 언어 하위 집합을 기여할 수 있습니다.
• 다차원 분석: 집계 정확도 이상으로, 이 연구는 모델 성능이 언어 전반에 걸쳐 안정적인지 아니면 소수의 하위 집합에 집중되어 있는지 판단하기 위한 교차언어 일관성 차원을 도입합니다.
• 제로샷 벤치마킹: 이 연구는 독점 모델과 오픈가중치 모델 성능 간의 격차를 해소하기 위해 이 특정 언어 지역에 대한 제로샷 번역 능력에 대한 최초의 엄격한 평가를 제공합니다.

결과

2026 년 1 월 29 일 완료된 평가는 다음과 같은 결과를 도출했습니다:

• 모델 성능: 독점 프론티어 모델이 오픈가중치 대안보다 현저히 우수한 성과를 보였습니다.
  • 최상위 수행자: gemini-2.5-flash가 평균 점수 26.88 로 가장 높은 점수를 기록했으며, 이어 claude-sonnet-4-5(24.87) 와 gpt-4.1(23.20) 이 뒤를 이었습니다.
  • 오픈가중치 리더: kimi-k2-instruct-0905가 평균 점수 20.87 로 오픈가중치 카테고리에서 선두를 달렸으며, 이어 deepseek-v3.1(19.29) 이었습니다.
  • 성능 격차: 최상위 독점 모델과 최상위 오픈가중치 모델 사이에 약 6 점의 상당한 격차가 존재하지만, 역사적 추세에 비해 이 격차는 좁혀지고 있습니다.
• 지표 불일치: 모든 모델에서 chrF 점수가 BLEU 점수를 크게 상회했습니다. 최저 성능 모델 (mistral-7b-instruct-v0.3) 의 경우 격차는 15.76 점 (BLEU 4.15 대 chrF 19.91) 이었습니다. 이는 모델들이 정확한 단어 단위 일치보다 문자 단위 형태론을 더 잘 보존함을 시사하며, 형태론적으로 풍부한 가나 언어에 더 적합한 지표로서 chrF 를 검증합니다.
• 언어 변이: 성능은 언어 간에 광범위하게 변동했습니다. Siwu는 언어별 평균 25.73 으로 가장 높은 점수를 기록한 반면, Nkonya는 11.65 로 가장 낮았습니다. 흥미롭게도 화자 수가 적은 일부 언어 (예: Siwu, Chumburung) 가 Twi(21.82) 와 같은 널리 사용되는 언어보다 우수한 성과를 보였는데, 이는 성경 번역 영역의 참조 성경 번역의 질이 결정적인 요소임을 시사합니다.
• 일관성 분석 (중요한 발견): 어떤 모델도 어떤 언어도 "리더" 사분면 (높은 성능과 높은 일관성) 에 속하지 않았습니다.
  • 최상위 모델들은 "높은 성능이지만 일관성 없음" 사분면에 속했는데, 이는 특정 언어에서의 품질이 예측 불가능함을 의미합니다.
  • 현재 평가된 모델 범위 내에서 고품질이고 일관된 번역을 받는 가나 언어는 없습니다.

중요성 및 주장

이 논문은 Nsanku 가 현재 LLM 이 가나 언어를 위해 할 수 있는 것과 할 수 없는 것에 대한 엄격한 기준을 수립한다고 주장합니다. 그 주요 중요성은 신뢰성 격차를 폭로하는 데 있습니다: 프론티어 모델의 인상적인 집계 점수에도 불구하고, "리더" 사분면에 어떤 모델도 존재하지 않는다는 사실은 현재 LLM 이 가나 언어 번역을 대규모로 신뢰할 수 있게 사용할 수 있는 단계가 아직 아니라는 것을 나타냅니다.

저자들은 낮은 점수가 내재적인 언어적 복잡성보다는 자원 부족과 훈련 데이터 불균형을 반영한다고 강조합니다. 그들은 Nsanku 와 같은 체계적인 벤치마크가 없으면 개발자들이 증거 기반 배포 결정을 내릴 수 없으며, 정책 입안자들이 중요한 역량 격차를 식별할 수 없다고 주장합니다. 이 연구는 오픈가중치 개발이 독점 모델과의 격차를 좁히기 시작하고 있지만, 아프리카 언어에 대한 신뢰할 수 있고 일관된 번역을 달성하기 위해서는 데이터와 평가에 대한 추가 투자가 필요하다고 결론지었습니다. 저자들은 명시적으로 이러한 결과가 성경 번역 영역에 국한된 것이며, 추가 평가 없이는 대화형 또는 저널리즘 텍스트로 일반화되지 않을 수 있다고 경고합니다.