MultiSynt/MT: Trillion-Token Multi-Parallel Pre-Training Data Translated Across 36 Languages
本論文は、高品質な英語データを翻訳することで生成された、36の欧州言語にわたる4.8兆トークンのオープンな合成パラレルコーパスであるMultiSynt/MTを紹介するものであり、これは、マルチリンガルLLMがネイティブデータによるベースラインと比較して大幅に少ない事前学習トークン数で優れた性能を達成することを可能にすると同時に、現在のベンチマークにおける特定の評価上の盲点を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、巨大で超知能を持つロボットに36もの言語を話し、理解できるように教えようとしていると想像してください。問題は、そのロボットのお気に入りの先生（インターネット）が、主に英語を話すということです。英語の本や記事、ウェブサイトの山は存在しますが、マルタ語、アイルランド語、アイスランド語のような言語については、高品質なテキストの塊は、わずかながら埃をかぶった積み重ねに過ぎません。
この論文の著者たちは、MultiSynt/MT という手法を用いて、これを解決することにしました。
ビッグアイデア：翻訳工場
36の言語で新たに4.8兆語の言葉が書かれるのを待つ（それは永遠に時間がかかります）代わりに、彼らは1,000億個の高品質な英語ドキュメント（「Nemotron-CC」データセット）を取り出し、それを超高度な翻訳マシンに通しました。
次のように考えてみてください：
- ソース（源泉）： 利用可能な最高の英語の文章が集まった図書館。
- ワーカー（作業員）： 彼らは単一の翻訳者を使ったのではありません。彼らは異なるAI翻訳者のチーム（専門的な言語学者のようなものもあれば、汎用的なスマートロボットのようなものもあります）を使用して、すべての英語の文章を36の対象言語へと翻訳しました。
- 結果： これにより、4.8兆トークン（単語や記号）を含む新しいライブラリが誕生しました。多くのヨーロッパの小規模言語において、この新しいライブラリは、以前に存在したあらゆるフリーのライブラリよりも100倍大きいものです。
実験：「翻訳されたもの」は通用するか？
チームは、この膨大な翻訳ライブラリを使用して新しいAIモデルを訓練し、それを「ネイティブ」なデータ（その言語で元々人間によって書かれたテキスト）で訓練されたモデルと比較しました。
驚きの結果：
翻訳されたデータで訓練されたモデルは、ネイティブのモデルよりも優れた性能を示しましたが、それは72%少ない訓練時間とデータで行われました。
- 比喩： 二人の学生がテストを受けていると考えてみてください。学生A（ネイティブ）は分厚い教科書で勉強しました。学生B（翻訳されたもの）は、凝縮された高品質な要約を勉強しました。学生Bは、より短い時間で、しかも半分以下の時間で、合格しただけでなく、より高いスコアを獲得しました。
しかし、論文はこれがすべてに対する魔法の杖ではないと警告しています。
「不気味な谷」の言語学
翻訳されたデータは一般的な知識や論理には優れていますが、特定の弱点があります。それは、文化と慣用句です。
- メタファー： 完璧にフレーズブックを学習した観光客を想像してください。彼らは食事を注文したり、道を尋ねたりすること（一般的なタスク）は完璧にこなせます。しかし、もしあなたが地元のジョークや、特定の歴史的参照、あるいは地元の人にしか通じないスラングについて尋ねたら、彼らは間違えるかもしれません。なぜなら、そのフレーズブックは現地の文化から生まれたものではなく、英語から翻訳されたものだからです。
- 発見： チームがノルウェー語のタスク（現地の慣用句や文化的ニュアンスを含むもの）でAIをテストしたところ、ネイティブな人間の文章で訓練されたモデルの方が依然として勝利しました。翻訳されたモデルは流暢ではありましたが、現地の文化の「魂」が欠けていました。
テストにおける「盲点」
論文は、私たちが通常AIをテストする方法における面白い欠陥についても発見しました。
- 問題： ほとんどのテストは多肢選択式の質問（標準化された試験のようなもの）です。これらのテストは、「穴埋めゲーム」のようなものです。それらは、ある文章が完全に自然に聞こえるのか、それとも少し「違和感」がある、あるいはロボット的な響き（「翻訳調」と呼ばれる現象）がするのかを判別できません。
- 発見： 研究者が別の種類のテスト、つまりAIに物語を書かせ、別のAIにその文章の「流れ」や「美しさ」を判定させるというテストを行ったとき、彼らは翻訳されたモデルに微妙な違いがあることを発見しました。標準的なテストはこれらの品質の差に対して「盲目」でしたが、「物語の判定員」はそれらを明確に見抜くことができました。
結論
論文は、翻訳されたデータは強力な補完物であり、完全な代替品ではないと結論付けています。
- 小規模な言語にとって： それは救世主です。以前には存在しなかった膨大な量の高品質なデータを提供します。
- 大規模な言語にとって： それはギャップを埋めるための素晴らしい方法です。
- 最善の戦略： 翻訳されたデータを使って強固な基礎を築きつつ、機械が自ら作り出すことのできない文化的なニュアンス、ジョーク、そして現地の風味を教えるために、ネイティブな人間によるデータを維持することです。
著者たちは、この膨大な「翻訳ライブラリ」を無料で公開しており、他の研究者が、次世代の多言語AIを構築するために、これらの翻訳テキストをどのようにネイティブなテキストと組み合わせるのがベストかを実験できるようにしています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。