ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

이 논문은 13 개 언어에 대한 표적 데이터 큐레이션이 다국어 간 간섭을 완화하고 컴퓨팅 효율성을 극대화하여 20 조 토큰 규모의 대규모 데이터셋과 400B 파라미터 모델에서 경쟁력 있는 다국어 성능을 달성할 수 있음을 입증합니다.

핵심

🍳 1. 문제: "다국적 식당"의 딜레마

지금까지 AI 모델들은 영어 데이터를 엄청나게 많이 먹어서 영어는 아주 잘하지만, 다른 언어 (한국어, 스페인어, 아랍어 등) 를 배우려 하면 실력이 떨어지는 경우가 많았습니다.

이를 연구자들은 **"다국어의 저주 (Curse of Multilinguality)"**라고 불렀습니다. 마치 한 명의 요리사가 20 개 나라의 요리를 동시에 배우려다 보니, 어느 나라 요리도 제대로 못 하게 되는 상황이었죠.

기존의 해결책은 **"요리사 (AI) 를 더 크게 키우거나, 더 많은 식자재 (데이터) 를 먹이는 것"**이었습니다. 하지만 이건 돈과 시간이 너무 많이 들었습니다.

🔍 2. 발견: "나쁜 식자재"가 문제였다

이 논문 팀 (DatologyAI) 은 새로운 사실을 발견했습니다.

"문제는 요리사의 능력 부족이 아니라, 들어온 식자재가 너무 질 나빴기 때문이다!"

영어 데이터는 이미 잘 선별된 고급 식자재가 많지만, 다른 언어 데이터는 인터넷에서 무작위로 긁어온 잡초 같은 것들이 섞여 있었습니다. 그래서 AI 가 혼란을 겪었던 것입니다.

🛠️ 3. 해결책: "맞춤형 식자재 선별 (Curation)"

이 팀은 13 개 언어 (러시아어, 중국어, 힌디어, 아랍어 등) 에 대해 각 언어별로 특화된 식자재 선별 팀을 꾸렸습니다.

• 영어 데이터만 잘 고르면? 다른 언어도 조금씩 좋아집니다. (영어가 잘되면 다른 언어도 따라오는 '상호작용' 효과)
• 하지만 각 언어별로 따로 선별하면? 효과가 훨씬 큽니다. 마치 스페인 요리를 만들 때는 스페인 특산물을, 한국 요리를 만들 때는 한국 식재료를 꼼꼼히 고르는 것과 같습니다.

재미있는 사실:

• 영어 데이터를 잘 다듬으면, 13 개 언어 중 12 개 언어의 실력이 **3.9%**나 좋아졌습니다.
• 반대로, 다른 언어 데이터를 잘 다듬으면 영어 실력도 **1.2%**나 좋아졌습니다.
• 가장 큰 효과: 각 언어에 딱 맞는 선별을 했을 때, 실력이 **16.9%**나 폭등했습니다!

🌍 4. 번역의 함정: "무작위 번역" vs "고급 번역"

많은 사람이 "영어 데이터를 다른 언어로 번역해서 쓰면 되지 않겠어?"라고 생각할 수 있습니다.
하지만 이 논문은 **"무작위로 번역하면 효과가 없다"**고 말합니다.

• 나쁜 예: 인터넷의 잡다한 영어 글을 기계 번역해서 쓰면, AI 는 여전히 혼란스럽습니다.
• 좋은 예: 고급 영어 글 (과학, 논리, 교육 자료 등) 을 번역해서 쓰면 실력이 확 오릅니다.
• 최고의 방법: 번역도 중요하지만, 각 언어의 특성에 맞춰 직접 선별한 데이터를 섞는 것이 가장 좋습니다.

🚀 5. 결과: 적은 비용으로 거대한 성과 (파레토 최적화)

이 팀은 **20 조 개 (20 Trillion)**의 토큰 (데이터 단위) 으로 이루어진 거대한 데이터셋을 만들었습니다.

• 기존 방식: 거대한 AI 모델을 만들려면 엄청난 전력과 돈이 들었습니다.
• 이 팀의 방식: 전체 데이터 중 8% 미만만 다국어 데이터로 썼음에도 불구하고, 4~10 배 더 적은 비용으로 기존 최고의 AI 들과 맞먹는, 혹은 그보다 더 좋은 다국어 실력을 냈습니다.

비유하자면:

남들이 거대한 식자고 (데이터) 를 다 사서 요리하는 동안, 이 팀은 가장 좋은 식재료만 골라 적은 양으로 요리했는데, 그 맛은 남들보다 훨씬 더 훌륭했습니다.

💡 6. 결론: "공평한 미래"를 위한 열쇠

이 연구는 AI 의 미래에 중요한 메시지를 줍니다.

"다국어 AI 가 잘 안 되는 건 기술의 한계가 아니라, 데이터 관리의 부실 때문이었다."

우리는 더 비싼 컴퓨터를 살 필요 없이, 각 언어의 특성을 이해하고 꼼꼼하게 데이터를 다듬는 것만으로도 모든 언어가 공평하게 잘하는 AI 를 만들 수 있습니다. 이는 "언어 격차"를 줄이고, 전 세계 모든 사람이 AI 의 혜택을 골고루 누릴 수 있게 해주는 열쇠가 됩니다.

---

한 줄 요약:

"AI 가 여러 언어를 잘 하려면, 단순히 '많이' 먹이는 게 아니라 '잘 골라서' 먹여야 한다. 질 좋은 데이터만 골라내면, 적은 비용으로도 세계 모든 언어를 자유자재로 다루는 AI 를 만들 수 있다!"

기술 요약

1. 문제 정의 (Problem Definition)

현대 기초 모델 (Foundation Models) 에게 다국어 능력은 필수적이지만, 다음과 같은 두 가지 주요 장애물로 인해 고품질 다국어 모델 훈련은 여전히 어렵습니다.

• 데이터 불균형: 영어는 대규모로 정제된 공개 코퍼스가 풍부하지만, 비영어권 언어는 데이터가 부족하거나 노이즈가 많고 일관성 있게 정제되지 않은 '롱테일 (Long-tail)' 상태에 있습니다.
• 다국어의 저주 (Curse of Multilinguality): 단일 모델을 여러 언어로 함께 훈련할 때, 언어 간 간섭으로 인해 개별 언어의 성능이 저하되는 현상이 발생합니다. 기존 연구들은 이를 모델의 용량 (Capacity) 부족으로 여겨 모델 크기 확장이나 토큰 수 증가를 해결책으로 제시했으나, 이는 계산 비용이 매우 높고 데이터 가용성 문제와 모순됩니다.

이 논문은 이러한 성능 저하가 근본적인 용량 한계가 아니라, 데이터 품질과 구성의 결함에서 기인하며, 이를 교정 가능한 문제라고 주장합니다.

2. 방법론 (Methodology)

저자들은 데이터 중심 (Data-centric) 접근법을 통해 13 개 언어 (다양한 문자 체계 및 자원 수준 포함) 에 대한 체계적인 데이터 정제 (Curation) 를 수행하고 그 영향을 분석했습니다.

• 데이터 소스: 오픈 소스 코퍼스를 기반으로 합니다.
  • 영어: DCLM, FineWeb, Nemotron CC v1.
  • 비영어: FineWeb2 (1,000 개 이상 언어 지원).
• 데이터 정제 파이프라인:
  • 영어: DatologyAI 의 최첨단 웹 정제 파이프라인 (모델 기반 필터링, 임베딩 기반 선택, 타겟팅된 합성 데이터 생성) 을 적용.
  • 비영어: 각 언어의 언어적, 분포적 특성에 맞춰 파이프라인을 맞춤화 (Language-specific). 특정 언어에 적합한 필터링 모델, 임베딩 모델, 합성 재표현 (Synthetic Rephrasing) 모델을 선택 및 훈련.
• 실험 설정:
  • 이중 언어 실험 (Bilingual Experiments): 3B 파라미터 모델을 60B 토큰으로 훈련. 영어와 하나의 타겟 언어를 50:50 비율로 혼합.
  • 대규모 훈련: 20T 토큰 규모의 정제된 코퍼스를 기반으로 1T 토큰 서브셋을 추출하여 3B 및 8B 모델 훈련. 또한 400B 파라미터 (Trinity Large) 모델에도 적용.
  • 평가 지표: Multilingual MMLU, ARC-Challenge, Belebele (13 개 언어 평균), 영어 MMLU 및 ARC.

3. 주요 기여 및 발견 (Key Contributions & Findings)

가. 데이터 품질에 따른 교차 언어 전이 (Cross-lingual Transfer)

• 영어 데이터 정제의 영향: 영어 데이터의 품질을 개선하기만 해도 정제되지 않은 비영어 언어의 성능이 향상됩니다. 13 개 언어 중 12 개 언어에서 평균 3.91% 의 상대적 개선을 보였습니다.
• 비영어 데이터 정제의 영향: 비영어 데이터의 품질을 개선하면 영어 성능도 향상됩니다. 13 개 언어 중 12 개 언어에서 평균 1.21% 의 상대적 개선을 보였습니다.
• 결론: 데이터 품질 향상은 양방향으로 전이되며, 다국어 모델링이 제로섬 게임 (Zero-sum game) 이 아님을 입증했습니다.

나. 언어별 맞춤 정제 (Bespoke Per-language Curation) 의 필요성

• 영어 데이터만 정제하는 것만으로는 최적의 성능을 내지 못합니다. 각 언어의 특성에 맞춘 맞춤형 정제 파이프라인을 구축할 때 가장 큰 효과를 얻습니다.
• 60B 토큰 실험에서 영어 정제만으로는 3.91% 개선이었으나, 언어별 맞춤 정제를 적용하면 16.87% 의 상대적 개선을 달성했습니다. 이는 일반적인 영어 중심 정제 전략이 다른 언어에 적용될 수 없음을 시사합니다.

다. 번역 (Translation) 의 효과와 소스 데이터의 중요성

• 번역은 데이터 확장에 유용하지만, 원본 데이터의 품질이 성패를 좌우합니다.
• 무작위 영어 텍스트를 번역하는 것보다, 고품질로 선별된 (Score-filtered) 영어 텍스트를 번역하는 것이 훨씬 큰 성능 향상을 가져옵니다.
• 그러나 번역만으로는 맞춤 정제 (Bespoke Curation) 를 대체할 수 없으며, 번역은 포괄적인 다국어 정제 전략의 일부로 통합될 때 가장 효과적입니다.

라. 계산 효율성과 파레토 프론티어 (Pareto Frontier) 의 이동

• 효율적인 토큰 할당: 전체 훈련 토큰의 약 8% 미만 (약 7.75%) 만을 고품질 다국어 데이터에 할당해도 경쟁력 있는 다국어 성능을 달성할 수 있습니다.
• 성능 대비 계산 비용: DatologyAI 의 3B 및 8B 모델은 1T 토큰으로 훈련되었으나, 10 배 이상의 계산 비용 (FLOPs) 을 사용한 강력한 오픈 가중치 베이스라인 (예: LFM-2.5, SmolLM3, Granite 등) 보다 우수한 다국어 성능을 보입니다.
• 프론티어 모델 확장: 20T 토큰 코퍼스를 기반으로 훈련된 400B 파라미터 모델 (Trinity Large) 에서도 동일한 정제 원칙이 유효하여, 계산 비용 대비 뛰어난 다국어 성능을 입증했습니다.

4. 결과 (Results)

• 성능 - 계산 효율성: Figure 1 에서 보듯, DatologyAI 모델은 기존 오픈 모델들이 형성한 성능 - 계산 파레토 프론티어 하단 왼쪽 (낮은 계산 비용으로 높은 정확도) 에 위치하며 새로운 기준을 제시했습니다.
• 언어별 균형: 특정 언어에 특화된 모델 (예: Sarvam-1, Tri-7B) 은 해당 언어에서는 강력하지만 전체 다국어 성능이 저하되는 경향이 있는 반면, DatologyAI 모델은 개별 언어 최적화 없이도 광범위한 다국어 균등성 (Multilingual Parity) 을 유지하며 경쟁력 있는 성능을 냅니다.
• 데이터 효율성: 언어별 훈련 토큰 수 대비 성능 향상이 수 배에서 수십 배 수준으로 개선되어, 저자원 언어에서도 데이터 효율성이 극대화됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다국어 모델의 한계가 모델 아키텍처나 용량 부족이 아니라 데이터 품질과 정제 전략의 부재에 있음을 실증적으로 증명했습니다.

1. 패러다임 전환: "다국어의 저주"는 피할 수 없는 현상이 아니라, 데이터 품질을 높이고 언어별 맞춤 정제를 통해 해결 가능한 문제임을 보여줍니다.
2. 계산 효율성: 막대한 계산 자원을 투입하지 않고도, 정제된 데이터의 전략적 할당 (전체 토큰의 8% 미만) 만으로 최첨단 다국어 성능을 달성할 수 있음을 입증했습니다.
3. 포용적 AI: 데이터 중심의 접근법을 통해 언어 간 격차를 해소하고, 더 공정하고 포용적인 기초 모델 개발을 위한 실용적이고 확장 가능한 방법론을 제시했습니다.

결론적으로, 이 연구는 다국어 모델링의 미래를 모델 크기 확장에서 지능적인 데이터 선별 (Intelligent Data Curation) 로 전환해야 함을 강력히 주장합니다.