기술 요약: MultiSynt/MT

문제 정의

오픈 웹 스케일 사전 학습 코퍼스는 영어에 과도하게 집중되어 있으며, 이는 다국어 거대 언어 모델(LLM) 개발의 중요한 병목 현상을 초래하고 있다. 영어의 경우 고품질의 네이티브 데이터가 풍부하게 존재하지만, 다른 대부분의 언어는 공개적으로 사용 가능한 자원의 양이나 질 측면에서 부족함을 겪고 있다. 기계 번역(MT)이 다국어 사전 학습 데이터를 생성하기 위한 확장 가능한 해결책으로 제안되었으나, 이는 "번역투(translationese)"(스타일적 인위성), 소스 언어의 문화적 참조 프레임(예: 영어에 기반한 이름, 장소, 관용구)의 상속, 그리고 번역된 텍스트가 문화적 뉘앙스가 필요한 작업에서 네이티브 데이터보다 성능이 떨어질 가능성에 대한 정당한 우려를 불러일으킨다.

방법론

저자들은 중·저자원 유럽 언어에 초점을 맞추어 36개 언어에 대한 고품질 사전 학습 데이터의 희소성을 해결하기 위해 설계된 오픈 합성 병렬 코퍼스인 MultiSynt/MT를 소개한다.

데이터 구축

• 소스 데이터: 코퍼스는 앙상블 품질 분류기에 의해 필터링된 고품질 비합성 Common Crawl 분할인 Nemotron-CC에서 약 1억 5,500만 개의 문서(약 1,000억 토큰)를 균등 무작위 샘플링하여 추출되었다. 이 소스가 선택된 이유는 최근의 레퍼런스 베이스라인이 C4나 The Pile과 같은 기존 영어 코퍼스보다 더 우수한 다운스트림 성능을 생성한다는 것을 보여주었기 때문이다.
• 번역 시스템: 36개 언어에 대한 커버리지를 보장하기 위해 저자들은 하이브리드 풀 형태의 오픈 번역 시스템을 사용하였다:
  • TOWER+ 모델: 각각 16개 및 5개 언어를 위해 사용된 번역 특화 LLM 제품군(9B 및 72B 파라미터).
  • OPUS-MT / HPLT-MT: LLM 기반 번역이 덜 가능하거나 가용하지 않은 31개 언어를 포함하여 사용된 고전적 신경 기계 번역(NMT) 시스템.
• 파이프라인: 행 단위로 정렬된 병렬성을 유지하기 위해 동일한 소스 문서에 대해 두 개의 병렬 파이프라인이 실행되었다. LLM 파이프라인은 NVIDIA A100 GPU(Leonardo HPC) 상에서 vLLM을 사용하여 실행되었고, NMT 파이프라인은 AMD MI250x GPU(LUMI HPC) 상에서 Marian-NMT를 사용하여 실행되었다. 결과물인 코퍼스는 약 4.8조 개의 타겟 언어 토큰(각 시스템의 출력을 별도로 계산할 경우 약 7.1조 토큰)을 포함한다.
• 라이선스: 코퍼스는 Creative Commons Zero (CC0) 라이선스로 공개되며, 통제된 연구를 가능하게 하기 위해 여러 시스템으로부터의 행 단위 정렬된 번역을 제공한다.

평가 프레임워크

저자들은 MultiSynt/MT 변체들을 사용하여 레퍼런스 LLM(1.7B 파라미터, Llama 유사 아키텍처)을 학습시켰으며, 이를 강력한 네이티브 다국어 베이스라인인 HPLT 2.0과 비교하였다.

• 표준 벤치마크: 일반적인 성능 측정을 위해 광범위한 다국어 벤치마크 세트(예: Belebele, MMLU, XNLI, Hellaswag)가 사용되었다.
• 유창성 민감도 평가: 다지선다형 점수 산출 방식에서 놓칠 수 있는 뉘앙스를 탐지하기 위해, 저자들은 자유 형식 생성의 유창성을 평가하는 LLM-as-a-judge 프로토콜을 채택하였다.
• 원어민 작성 작업: 문화적 맥락이 담긴 지식 및 관용적 지식에 대한 성능을 평가하기 위해 NorEval의 노르웨이어 작업(NorIdiom 및 NorCommonsenseQA)에 대한 사례 연구가 수행되었다.
• 임베딩 분석: 저자들은 벤치마크 항목들의 임베딩 이웃(neighborhood)을 분석하여 학습 코퍼스와의 정렬 여부를 결정하였다.

주요 결과

1. 표준 벤치마크에서의 효율성 및 성능

• 토큰 효율성: MultiSynt/MT로 학습된 레퍼런스 LLM은 네이티브 데이터 베이스라인(HPLT 2.0)의 최종 벤치마크 점수에 도달하는 데 약 72% 적은 사전 학습 토큰을 사용하였다.
• 매칭된 예산 성능: 매칭된 100B 토큰 학습 예산에서 MultiSynt/MT 모델은 네이티브 베이스라인보다 약 15% 상대적으로 높은 성능을 보였다.
• 시스템 독립성: 네이티브 데이터 대비 성능 향상은 특정 번역 시스템(TOWER+ 9B, TOWER+ 72B, 또는 OPUS-MT)의 사용 여부와 무관하게 나타났다. 이는 표준 벤치마크에서 이들 변체의 성능 곡선이 밀접하게 군집을 이루었기 때문이다.

2. 평가의 사각지대

• 유창성 민감도: 표준 다지선다형 벤치마크는 서로 다른 번역 시스템 간의 차이를 구별하지 못했지만, LLM-as-a-judge 평가는 인간 평가자가 설정한 품질 순위(TOWER+ 72B ≥ TOWER+ 9B > OPUS-MT)를 성공적으로 복구해냈다. 이는 표준 벤치마크가 학습된 모델이 물려받은 유창성 차이를 감지하지 못하는 블라인드 스팟이 있음을 시사한다.
• 벤치마크 정렬: 임베딩 공간 진단을 통해 표준 벤치마크 항목들이 HPLT 2.0 문서보다 MultiSynt/MT 문서를 더 많은 근접 이웃으로 가지고 있음이 밝혀졌다. 이는 번역된 데이터가 벤치마크 인접 영역에 대한 강력한 커버리지를 제공하며, 결과적으로 번역 기반 벤치마크 점수를 부풀릴 수 있음을 시사한다.

3. 문화 및 관용 작업에서의 한계

• 노르웨이어 사례 연구: 관용적 지식을 요구하는 작업(NorIdiom)에서 네이티브 데이터로 학습된 모델이 학습 과정 전반에 걸쳐 번역 데이터로 학습된 모델보다 일관되게 우수한 성능을 보였다.
• 추론 vs 문화: NorCommonsenseQA(상식 추론)에서는 번역 데이터가 결국 격차를 좁히고 네이티브 데이터와 대등하거나 이를 능가하였다. 이는 번역된 텍스트가 로컬 문화적 앵커링은 부족할지라도, 고품질 영어 소스로부터의 구조화된 추론 패턴은 보존하고 있음을 시사한다.

의의 및 주장

본 논문은 MultiSynt/MT를 많은 유럽 저·중자원 언어에 대해 현재까지 공개된 가장 큰 규모의 사전 학습 코퍼스로 포지셔닝하며, 이는 가장 유사한 네이티브 자원(HPLT 3.0)을 최저 자원 사례에서 10배 이상 상회하는 규모이다.

저자들은 다음과 같은 의의를 주장한다:

1. 보완이지 대체가 아니다: 번역된 데이터는 네이티브 데이터의 대체재가 아닌 보완재로 취급되어야 한다. 이는 중·저자원 언어의 데이터 규모 격차를 줄이는 데 매우 효과적이지만, 깊은 문화적 또는 관용적 근거를 요구하는 작업에서는 미흡하다.
2. 소스 품질 vs 번역: 관찰된 성능 향상은 번역 작업 자체보다는 Nemotron-CC 소스의 높은 품질에 의해 주도되었을 가능성이 크다. 논문은 소스 코퍼스와 번역 단계를 모두 변화시키며 비교했기 때문에, 번역의 구체적인 기여도를 분리해내는 것이 어렵다고 언급한다.
3. 평가 개혁: 본 연구는 표준 다국어 평가의 결정적인 사각지대를 강조한다. 다지선다형 벤치마크는 네이티브 작성 벤치마크와 유창성 민감 LLM-as-a-judge 프로토콜을 통해 복구 가능한 유창성 결핍 및 문화적 불일치를 감지하지 못한다.
4. 자원 가용성: 여러 시스템으로부터의 행 단위 정렬된 번역을 공개함으로써, 이 코퍼스는 번역 시스템의 선택, 스케일링, 그리고 성능 향상의 원인이 소스 품질인지 아니면 번역 아티팩트인지에 대한 귀속 문제를 연구할 수 있는 통제된 연구 환경을 제공한다.

저자들은 MultiSynt/MT가 다국어 LLM을 확장하는 강력한 도구를 제공하지만, 연구자들은 소스로부터 상속된 "영어 중심적" 편향과 네이티브 문화적 뉘앙스를 포착하는 데 있어 번역 데이터가 갖는 한계에 대해 주의를 기울여야 한다고 결론짓는다.