💬 NLP

TranslatePsy-AfriSLM: High-Quality Data Scaling For Low-Resource Machine Translation

이 논문은 19개 사하라 이남 아프리카 언어를 위한 정제된 병렬 데이터와 합성 데이터를 포함하는 오픈 소스 리소스 제품군인 TranslatePsy-AfriSLM을 소개하며, 이는 효과적인 품질 추정 필터링을 통해 0.8B 파라미터 규모의 소형 모델이 훨씬 더 큰 시스템들을 유의미하게 능가할 수 있게 한다.

원저자: Milan Gritta, Patrik Lambert, Jihye Back, Amril Nazir

게시일 2026-08-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Milan Gritta, Patrik Lambert, Jihye Back, Amril Nazir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

언어는 사람들을 연결하는 다리이며, 국경을 넘어 사람들이 무역하고, 배우고, 아이디어를 공유할 수 있게 해줍니다. 그러나 아프리카 대륙의 10억 명 이상의 사람들에게 이 다리는 디지털 세상에서 종종 끊어져 있거나 아예 존재하지 않습니다. 최근 몇 년 동안 인공지능은 놀라운 발전을 이루며 컴퓨터가 다양한 언어를 이해하고 말할 수 있도록 도왔지만, 사하라 이남 아프리카의 다양한 언어들은 대체로 소외되어 왔습니다. 이러한 격차는 디지털 격차를 만들어내어, 많은 공동체가 AI가 제공하는 생산성 및 협업 도구에 접근하지 못하게 만듭니다. 핵심적인 문제는 단순히 관심의 부족이 아니라, 고품질 데이터의 부족입니다. 컴퓨터에게 번역을 가르치기 위해서는 한 언어의 문장이 다른 언어의 번역과 완벽하게 짝을 이루는 방대한 양의 텍스트가 필요합니다. 많은 아프리카 언어의 경우, 이처럼 깨끗하고 대규모인 데이터는 공개된 세상에 존재하지 않으며, 이로 인해 연구자들은 지저받은 인터넷의 파편들이나 컴퓨터를 잘 가르치기에는 너무 제한적인 비싸고 작은 데이터셋에 의존해야만 하는 상황에 처해 있습니다.

Tether AI Research의 연구팀은 기계 번역의 새로운 토대를 구축함으로써 이 불균형을 해결하기 위해 나섰습니다. 그들은 TranslatePsy-AfriSLM이라는 프로젝트를 도입하여 영어와 19개의 서로 다른 사하라 이남 아프리카 언어 간의 번역을 위한 완전한 툴킷을 제공했습니다. 거대하고 비싼 컴퓨터 뇌를 만들어 이 언어들에 대해 어려움을 겪게 하는 대신, 그들은 작고 매우 효율적인 모델을 만드는 데 집중했습니다. 그들의 접근 방식은 단순히 더 많은 데이터를 모으는 것이 아니라, 믿을 수 없을 정도로 선택적이어야 했습니다. 그들은 수백만 개의 문장 쌍을 걸러내어, 노이즈가 많거나 품질이 낮은 대다수를 버리고 가장 좋은 사례만을 남기는 엄격한 방법을 개발했습니다. 이 정교하게 선별된 데이터와 특정 유형의 컴퓨터 생성 텍스트를 결합하여, 그들은 단 0.8 tỷ(8억) 개의 파라미터를 가진 모델을 훈련시켰습니다. 주요 기술 기업들이 사용하는 거대 모델들에 비하면 아주 작음에도 불구하고, 그들의 작은 모델은 수십 배 더 큰 시스템보다 뛰어난 성능을 보였으며, 이는 컴퓨터 뇌의 크기보다 데이터의 품질이 훨씬 더 중요하다는 것을 증명했습니다.

이 결과에 도달하기 위한 여정은 기존의 데이터 소스들이 결함이 있다는 인식에서 시작되었습니다. 연구진은 인터넷에서 사용 가능한 방대한 텍스트 라이브러리를 살펴보았습니다. 이 라이러리들은 수십억 개의 문장 쌍을 포함하고 있었습니다. 그러나 그들은 이 컬렉션들이 마치 책들이 질서 없이 쌓여 있는 도서관처럼, 중복과 오류, 그리고 서로 잘 맞지 않는 문장들을 포함하고 있다는 것을 발견했습니다. 또한 그들은 작지만 인간이 만든 데이터셋을 조사했는데, 이는 깨끗하지만 모델을 효과적으로 가르치기에는 너무 작았습니다. 이를 해결하기 위해 팀은 데이터를 정제하고 조직화하는 다단계 파이프라인을 구축했습니다. 그들은 오픈 소스로부터 원시 텍텍스트를 수집한 다음, 모든 단일 문장 쌍의 품질을 평가하기 위해 정교한 스코어링 시스템을 사용했습니다. 이 시스템은 단 하나의 방식으로 품질을 판단하는 대신, 세 가지 서로 다른 평가 도구의 통찰력을 결합하여 단일하고 신뢰할 수 있는 점수를 만들어냈습니다. 이를 통해 그들은 학습 가치를 전혀 잃지 않으면서도 훈련 데이터의 최대 96%를 필터링할 수 있었습니다. 본질적으로, 그들은 컴퓨터가 배우기 위해 수백만 개의 나쁜 사례를 읽을 필요가 없다는 것을 깨달았습니다. 컴퓨터는 단 몇 천 개의 완벽한 사례만을 읽으면 되었습니다.

그들의 발견에서 결정적인 부분은 새로운 데이터를 생성하는 방법을 이해하는 것이었습니다. 고품질의 인간 번역이 부족했기 때문에, 팀은 강력한 컴퓨터 모델을 사용하여 영어의 방대한 양의 텍스트를 아프리카 언어로 번역함으로써 합성 데이터를 생성했습니다. 그들은 이 컴퓨터 생성 데이터가 그들의 엄격한 품질 검사를 거쳤을 때, 실제로 인터넷에서 발견되는 원시 데이터보다 우수하다는 것을 발견했습니다. 그것은 더 깨끗하고 일관되었으며, 모델이 학습할 수 있는 더 강력한 신호를 제공했습니다. 또한 그들은 데이터를 점수 매기는 방향이 매우 중요하다는 것을 발견했습니다. 만약 모델이 궁극적으로 사용할 방식과 상대적으로 잘못된 순서로 문장 쌍을 판단한다면, 성능이 크게 떨어졌습니다. 최종 번역 방향에 맞춰 품질 검사를 정렬함으로써, 그들은 자신이 모델에 입력하는 모든 데이터 조각이 관련성이 있고 고품질임을 보장했습니다.

이러한 세심한 큐레이션의 결과는 놀라웠습니다. 팀은 일련의 작은 언어 모델을 훈련시켰는데, 그중 가장 작은 모델은 파라미터가 0.8 tỷ(8억) 개에 불 뿐이었습니다. 표준 벤치마크에서 테스트했을 때, 이 작은 모델은 270억 개의 파라미터를 가진 모델과 최첨단 기술로 간주되는 거대한 1,220억 개의 파라미터 모델을 포함한 훨씬 더 큰 시스템들을 이겼습니다. 심지어 이 작업만을 위해 설계된 특화된 번역 모델들조차 능가했습니다. 연구진은 자신들의 모델이 번역을 더 잘할 뿐만 아니라, 번역 데이터로만 학습했을 때 흔히 상실되는 특징인 대화 유지 능력도 보유하고 있다는 것을 발견했습니다. 또한 그들은 모델을 한 번도 본 적 없는 언어들로 테스트했는데, 모델은 놀라운 일반화 능력을 보여주며 새로운 언어에서도 성능을 향상시켰습니다. 이는 19개의 대상 언어로부터 배운 교훈이 모델이 다른 언어들로도 전이될 수 있는 방식으로 언어의 근본 구조를 이해하도록 도왔음을 시사합니다.

아마도 가장 놀라운 발견은 아시아나 유럽의 다른 언어들로부터 소량의 데이터를 추가하는 것이 모델이 그 언어들을 잊지 않고 기억하는 데 도움이 되었다는 점이었습니다. 이는 새로운 기술을 배우는 것이 기존의 기술을 잃게 만드는 인공지능의 흔한 문제인 '파괴적 망각(catastrophic forgetting)'을 방지했습니다. 이러한 다양한 혼합을 포함함으로써, 모델은 더 견고하고 다재다능해졌습니다. 연구진은 자신들의 데이터가 훌륭하지만 여전히 한계가 있다는 점도 언급했습니다. 그들은 인간의 평가 없이는 번역이 모든 문화적 뉘앙스에서 진정으로 완벽한지 알기 어렵다는 점과, 데이터가 지역 방언보다는 표준 문어체 형태를 선호할 수 있다는 점을 인정했습니다. 그러나 그들의 작업은 적절한 접근 방식을 통해 데이터 품질에 집중한다면, 뒤처진 언어들을 위한 강력하고 효율적인 도구를 구축하는 것이 가능하다는 것을 보여줍니다.

이 작업은 아프리카 언어들을 위한 디지털 격차를 줄이는 중요한 단계가 됩니다. 이는 앞으로 나아가는 길이 반드시 더 크고 더 큰 컴퓨터를 만드는 것이 아니라, 우리가 컴퓨터에 제공하는 데이터에 대해 더 똑똑해지는 것임을 보여줍니다. 양보다 질에 집중하고 엄격한 필터링을 통해 깨끗한 학습 환경을 조성함으로써, 연구자들은 효율적이면서도 효과적인 모델을 구축할 수 있습니다. 팀은 자신들의 데이터와 모델을 공개하여 다른 이들이 이 토대 위에 구축할 수 있도록 초대했습니다. 그들의 성공은 지속적인 노력과 세심한 큐레이션이 있다면, 저자원 언어를 위한 고품질 기계 번역의 진입 장벽을 낮출 수 있으며, 대륙 전역의 소통과 협업을 위한 새로운 가능성을 열 수 있음을 시사합니다. 아프리카에서의 인공지능의 미래는 가장 강력한 하드웨어를 갖는 것이 아니라, 가장 사려 깊은 데이터를 갖는 것에 달려 있을지도 모릅니다.

기술 요약: TranslatePsy-AfriSLM

문제 정의

인공지능의 급격한 발전은 아프리카 언어를 상당 부분 소외시켜 왔으며, 이는 대륙 전역의 AI 도입을 저해하는 심각한 디지털 격차를 야기하고 있습니다. 최첨단 오픈 소스 거대 언어 모델(LLM)이 존재함에도 불구하고, 이들은 아프리카 기계 번역(MT) 작업에서 체계적으로 낮은 성능을 보입니다. 또한, 이러한 언어들을 위한 경쟁력 있는 소형 언어 모델(SLM) 개발은 대규모 고품질 오픈 소스 병렬 데이터의 부족으로 인해 제약을 받고 있습니다. 기존 리소스들은 지속적인 트레이드오프 문제를 겪고 있습니다: 대규모 저장소(예: OPUS, WMT)는 구조화되지 않고 노이즈가 많으며, 큐레이션된 데이터셋(예: AfriNLLB)은 규모가 너무 작거나 충분한 언어 범위를 커버하지 못합니다. 결과적으로 학습 신호는 희소해지고, 품질 향상 없이 토큰 예산만 급격히 팽창하는 현상이 발생합니다.

방법론

저자들은 19개 사하라 이남 아프리카 언어를 위한 큐레이션된 병렬 데이터와 미세 조정된 SLM 제품군을 포함하는 포괄적인 리소스인 TranslatePsy-AfriSLM을 소개합니다. 이 접근 방식은 품질과 효율성을 극대화하기 위해 설계된 다단계 데이터 큐레이션 파이프라인(그림 2)에 의존합니다.

1. 데이터 소싱 및 전처리

소스: 파이프라인은 네 가지 대규모 오픈 소스 저장소(WMT22, MALA, OPUS, Fine Translations)로부터 데이터를 수집하며, 교사 모델(NLLB-3.3B)에 의해 번역된 단일 언어 코퍼스(MADLAD-400)를 사용하여 합성 데이터를 생성합니다.
전처리: 표준 클리닝, 언어 검사, 중복 제거, 테스트 세트 오염 제거(decontamination)를 포함합니다.
캡핑(Capping): 지배적인 언어 쌍이 데이터셋을 압도하는 "승자 독식" 효과를 완화하기 위해, 각 언어 쌍은 최대 500만 개의 문장 쌍으로 제한됩니다.

2. 통합 품질 추정 (Unified Quality Estimation, QE)

단일 품질 추정기가 모든 지표에서 최적의 성능을 내지 못한다는 점을 인식하여, 저자들은 통합 품질 추정 전략을 제안합니다.

지표: 세 가지 참조 없는(reference-free) 지표인 AfriCOMET, SSA-COMET, MetricX를 활용합니다.
정규화: 이러한 이질적인 지표들의 점수를 공유된 **강건한 z-점수(robust z-score)**로 매핑합니다. 이는 중앙값(median)과 중앙값 절대 편차(MAD) 통계량을 계산하기 위해 "Human Mix"(352K개의 고품질 인간 번역 쌍)를 기준으로 보정하는 과정을 포함합니다.
집계: 정규화된 점수들을 평균하여 통합 점수( $\bar{z}$ )를 산출함으로써, 서로 다른 데이터 소스와 번역 방향에 대해 일관된 필터링이 가능하도록 합니다.
필터링 전략: 저자들은 필터링이 반드시 **정렬(aligned)**되어야 함을 경험적으로 확인했습니다(즉, $X \to Y$ 를 학습시키기 위해 $X \to Y$ 방향으로 점수를 매겨야 함). 역방향 또는 평균 점수 전략은 성능을 저하시키는 것으로 나타났습니다.

3. 데이터 양 선택

본 연구는 여러 선택 전략을 조사합니다:

임계값 설정(Thresholding): 특정 $\bar{z}$ 점수 미만의 쌍을 필터링합니다.
TopN: 언어 쌍당 샘플 수를 제한하여 균형을 보장합니다.
양방향 확장(Bidirectional Expansion): 정렬된 필터링 로직을 훼손하지 않으면서 번역 방향의 균형을 맞추기 위해 선택된 쌍 $(X, Y) \to (Y, X)$ 를 역전시킵니다.
보조 믹스(Auxiliary Mixes): 최종 학습 믹스에는 대화 능력을 보존하기 위한 Instruct Mix(다국어 지시 이행 데이터)와 아시아-유럽 언어에 대한 파괴적 망각을 방지하기 위한 Asia-Europe Mix가 포함됩니다.

4. 모델 학습

저자들은 Qwen3.5 모델을 백본(backbone)으로 하여 지도 미세 조정(SFT)을 수행합니다. 최종 모델은 절제 연구(ablation studies)를 통해 선택된 최적의 데이터 믹스로 1 에포크(epoch) 동안 학습되며, 손실(loss)은 어시스턴트 토큰에 대해서만 계산됩니다.

주요 기여

TranslatePsy-AfriSLM 리소스: 큐레이션된 오픈 소스 데이터와 아프리카 특화 합성 데이터를 포함하여 19개 사하라 이남 아프리카 언어를 위한 고품질 병렬 데이터 컬렉션을 공개합니다.
통합 QE 프레임워크: 여러 품질 추정 지표를 하나의 강건한 z-점수로 집계하는 새로운 방법을 제시하며, 이는 개별 추정기에 의존하는 것보다 더 일관성이 있음이 검증되었습니다.
데이터 효율성 통찰: 통합 품질 필터링을 통해 모델 품질을 저하시키지 않으면서도 학습 토큰의 최대 96%를 제거할 수 있음을 보여주며, 가용 가능한 토큰을 스케일링하는 것이 원시 토큰 볼륨보다 더 중요하다는 것을 입증했습니다.
합성 데이터의 우위: 필터링된 합성 데이터가 품질-효율성 파레토 최적선(Pareto frontier)을 지배하며, 적절히 스케일링될 경우 원시 오픈 소스 데이터나 고품질 인간 큐레이션 데이터보다 뛰어난 성능을 보인다는 사실을 발견했습니다.

결과

저자들은 COMET-22, SSA-COMET, MetricX, ChrF++ 지표를 사용하여 Flores-200, BOUQuET, Smol의 세 가지 벤치마크에서 모델을 평가했습니다.

규모 대비 성능: 가장 작은 모델인 TranslatePsy-AfriSLM-0.8B(0.8B 파라미터)는 훨씬 더 큰 시스템들을 능가합니다. 이 모델은 아프리카 번역 작업에서 TranslateGemma-27B와 Qwen3.5-122B-A10B를 앞섭니다.
전용 모델과의 비교: 0.8B 모델은 인코더-디코더 모델인 NLLB-3.3B(파라미터의 약 25% 사용)와 대등하거나 이를 능가하며, AfriNLLB-600M보다는 유의미하게 높은 성능을 보입니다.
일반화 (OOD): 모델들은 미학습 언어(Africa-OOD)에 대해 의미 있는 교차 언어 전이 능력을 보여주며, 특히 Sepedi, Bambara, Akan과 같은 저자원 언어에서 기본 Qwen3.5-2B 모델 대비 상당한 발전을 보여줍니다.
파괴적 망각(Catastrophic Forgetting): Asia-Europe Mix를 포함함으로써 비아프리카 언어에 대한 성능 저하를 성공적으로 완화하였으며, MetricX 점수의 하락 폭을 -86.0%에서 -10.3%로 줄였습니다.

의의 및 주장

본 논문은 TranslatePsy-AfriSLM이 데이터 부족 상황에서 아프리카 기계 번역을 위한 실질적인 경로를 제시한다고 주장합니다. 저자들의 논거는 다음과 같습니다:

양보다 질: 오픈 소스 데이터는 품질 제한으로 인해 조기에 포화되는 경우가 많으므로, 고품질의 필터링된 합성 데이터가 현재 아프리카 MT를 확장할 수 있는 가장 실행 가능한 경로입니다.
효율성: 무차별적인 스케일링 대신 엄격한 데이터 큐레이션에 집중함으로써, 전체 파라미터의 극히 일부만을 사용하여 최첨단 LLM을 능가하는 매우 유능한 SLM을 훈련할 수 있습니다.
오픈 액세스: 이러한 리소스를 공개함으로써, 저자들은 아프리카 AI에 대한 투자 부족 문제를 해결하고, 아프리카 MT를 다국어 모델의 기본 기능으로 만드는 미래 연구를 지원하고자 합니다.

저자들은 절대적인 품질에 대해서는 겸허한 태도를 유지하며, 데이터가 인간 번역과 양적·상대적 품질 지표 면에서는 유리하게 비교되지만, 참조 기반 평가(reference-based evaluation) 측면에서는 아직 유럽 및 아시아 언어의 번역 품질 수준에 도달하지 못했음을 언급했습니다. 이들은 데이터 큐론 파이프라인에서 발생할 수 있는 결합 오류(compounding errors)를 식별하기 위해 향후 인간 평가가 필요함을 강조합니다.