💬 NLP

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

本論文は、5つの主要なインド言語のオープンソースデータからゼロから学習された、特化したトークナイザーと学習技術を活用することで、その小ささと単一GPUの学習予算にもかかわらず、より大規模な多言語モデルを凌駕する、コンパクトでコスト効率の高い単一言語モデルのファミリーであるParamanuを紹介している。

原著者： Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

公開日 2026-01-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能の世界を、巨大で賑やかな図書館だと想像してみてください。長い間、この図書館はほとんど英語で書かれた本で埋め尽くされてきました。他の言語の本もいくつかありますが、それらは多くの場合、英語の翻訳であったり、読者が英語で考えることを前提とした書き方になっていたりします。もしこの図書館でインドの言語に関する本を読もうとすると、ページが破れていたり、言葉が小さく混乱を招く断片に分解されていたり、あるいは物語が全く意味をなさないといった状況に直面するかもしれません。

あなたが尋ねている論文は、PARAMANUと呼ばれる、新しい専門的な本のコレクションを紹介しています。ここでは、彼らがどのようにしてこれを作り上げ、なぜそれが重要なのかを、簡単に説明します。

問題点：「万人に合う」スーツは、誰にも合わない

現在の巨大なAIモデルは、英語話者のために作られた、巨大で重いスーツのようなものです。研究者がこれらのスーツをインドの言語（ヒンディー語、タミル語、ベンガル語など）の話し手に無理やり着せようとすると、サイズが合いません。

「壊れた言葉」問題： インドの言語は「形態論的に豊か」です。つまり、意味を加えるために言葉の形が大きく変化します（英語のように「s」を付けて複数形にしたり、「ed」を付けて過去形にしたりすることに似ていますが、それよりもはるかに複雑です）。巨大なモデルは、これらの言葉を意味のない小さな断片に切り刻んでしまうことがよくあります。これは、リンゴを丸ごと食べるのではなく、皮の部分だけをかじろうとするようなものです。これにより、AIは動作が遅くなり、非効率になります。
「英語の脳」問題： これらのモデルは、たとえインドの言語を話していたとしても、その根底では英語で「考えて」いることが多く、それが不自然な言い回しや偏りにつながります。
「高すぎるコスト」問題： 最初から新しいAIを構築するには、通常、数百万ドルがかかり、スーパーコンピュータを必要とします。これにより、インドの研究者や限られた予算を持つ人々は、独自のツールを構築することが困難になっています。

解決策：PARAMANUの「オーダーメイド」スーツ

著者たちは、PARAMANUという、5つの小型でカスタムメイドされたAIモデルのファミリーを作成しました。各モデルは、主要なインドの言語の一つ、すなわちベンガル語、ヒンディー語、マラーティー語、タミル語、テルグ語のために特別に設計されています。

これらを、巨大で重いスーツとしてではなく、それを着る人々のために特別に作られた、軽量でカスタムフィットしたユニフォームだと考えてください。

1. 継ぎ接ぎではなく、ゼロから構築

英語のモデルを持ってきて、そこにインドの言語を「教え込む」（これは、フランス語の単語だけを使ってヒンディー語を教えようとするフランス語話者のようなものです）のではなく、彼らはインドのデータのみを使用して、ゼロからこれらのモデルを構築しました。これは、現地の気候に合わない材料を輸入するのではなく、地元のレンガと木材だけを使って家を建てるようなものです。

2. 「スマートなシュレッダー」（トークナイザー）

最も大きな革新の一つは、トークナイザーと呼ばれる、新しい言葉の分解方法です。

従来の方法： 「unbelievable」という言葉を「un」「believ」「able」のように切り刻むシュレッダーを想像してください。これでは根本的な意味を逃してしまいます。
PARAMANUの方法： 彼らは、インドの言語の文法を理解する「スマートなシュレッダー」を作成しました。これは言葉の根幹（「unbeliev」など）を維持し、語尾だけを分離します。これにより、AIはより速く、より少ない「断片」で言葉を理解できるようになります。これは、不要な断片をあまり作らない、つまり**低フェルティリティ（low-fertility）**と呼ばれます。

3. 「低予算」での構築

最も驚くべき部分は、そのコストです。通常、AIのトレーニングはロケットを打ち上げるようなものであり、膨大な予算を必要とします。

PARAMANUのトリック： 彼らは、単一のグラフィックスカード（標準的なコンピュータ部品）を使用し、1,000ドル未満の予算でこれらのモデルをトレーニングすることに成功しました。
比喩： これは、工場と100万ドルの予算が必要な代わりに、普通のレンチと数百ドルを使って、ガレージで高性能なレーシングカーを組み立てるようなものです。これにより、限られたリソースを持つ研究者でも、競争力のあるツールを構築できるようになります。

4. 記憶の拡張（コンテキスト・スケーリング）

AIモデルには「記憶の限界」（コンテキスト・ウィンドウ）、つまり一度にどれだけのテキストを読み取れるかという制限があります。通常、より長い本を読みたい場合は、より大きなコンピュータが必要です。

革新： 著者たちは、モデルの記憶を「引き延ばす」ことができる数学的なトリック（RoPE補間と呼ばれるもの）を開発しました。
比喩： 短い定規を持っていると想像してください。より長い定規を買う代わりに、彼らは、短い定規の1インチが地図上の1マイルを表すように、定規に目盛りを付ける方法を発明しました。これにより、モデルはより高価なハードウェアを必要とせずに、より長い一連のテキストを読み取ることができるようになります。

結果：小さくとも強力

彼らがこれらの小型モデル（パラメータ数は1億800万から3億6,700万、つまり「脳細胞」のようなもの）を、より大規模なモデル（数十億の脳細胞を持つものもあります）と比較テストしたところ、以下の結果が得られました。

アンダードッグ（格下）の勝利： これらの小型のPARAMANUモデルは、特定の言語において、巨大で高価な多言語モデルよりも優れた性能を示すことがよくありました。
効率性： 彼らは、パフォーマンスとコストの間のより良いバランスを実現しました。これらは、ガソリンを大量に消費するリムジンよりも燃費が良い、コンパクトで高効率な車のようなものです。

「インストラクション（指示）」ライブラリ

これらのモデルを実際のタスク（質問への回答やコマンドへの追従など）に役立てるために、チームはベンガル語による「インストラクション」の例を作成しました。その後、それらを他の4つの言語に注意深く翻訳しました。これは、AIにその母国語でレシピ本を与え、提供すべき料理をどのように作るべきかを正確に教えるようなものです。

まとめ

この論文は、文法が豊かでデジタルリソースが少ない言語にとって、最善の戦略は、より大きく、より高価なモデルを作ることではないと主張しています。代わりに、最善の戦略は、以下の特性を持つより小さく、特化したモデルを作ることです。

ネイティブであること： その特定の言語のみでトレーニングされている。
スマートであること： 言語の構造を理解するトークナイザーを使用している。
アクセシブルであること： 適度な予算を持つ誰にでもトレーニング可能である。

彼らは、インドの言語のために素晴らしいAIを作るのに、10億ドルの予算は必要なく、ただ適切なツールと、言語特有のニーズへの焦点が必要であることを証明しました。

技術要約: PARAMANU

問題提起

現在の大規模言語モデル（LLM）は、主に英語および高リソースの欧州言語で学習されており、インドで話されているような低リソースかつ形態論的に豊かな言語に対して、著しい性能格差を生じさせている。多言語モデルは、しばしば「英語中心のバイアス」に苦しみ、英語のように「英語で考える」ことで、非ラテン文字スクリプトに対する性能が低下する。さらに、これらのモデルは「言語適合型（language-fits-all）」のトークナイザーを頻繁に使用するため、形態論的に豊かな言語において過剰なセグメンテーションを引き起こし、結果として高いトークン・フェルティリティ（トークン生成率）、推論コストの増大、および流暢さの低下を招いている。既存の英語中心のモデルを継続的な事前学習やファインチューニングを通じてインドの言語に適応させることは、語彙拡張の非効率性、埋め込みの不整合、および破滅的忘却といった課題を伴い、リソースの乏しい研究者の手には届かないほどの計算資源を必要とすることが多い。

手法

著者らは、ベンガル語、ヒンディー語、マラーティー語、タミル語、テルグ語の主要な5つのインド言語に特化してゼロから学習された、モノリンガルな自己回帰型デコーダーのみの言語モデルファミリーであるPARAMANUを導入する。モデルのサイズは108Mから367Mパラメータの範囲であり、単一のGPUと1,000ドル未満の予算で学習できるように設計されている。

主要な技術的構成要素:

データキュレーションとクリーニング:
- 事前学習コーパスは、ウェブからスクレイピングされたニュース、ブログ、Wikipedia（IndianCorp v2, Vacaspati）に由来する約54.6 GBのUTF-8テキスト（250億〜660億トークン）で構成される。
- 厳格なクリーニングには、HTML/XMLの正規表現フィルタリング、非リテラル文字の除去、言語識別（cld3およびIndianLID-FTNを使用）、毒性フィルタリング、およびMurmurHash5による重複排除が含まれる。
- 文の分割には、ベンガル語やデーヴァナーガリー・スクリプトにおける言語固有の句読点（例：「ダンダ」|）を利用する。
形態論に整合したトークナイゼーション:
- 過剰なセグメンテーションに対処するため、著者らはバイトペアエンコーディング（BPE）とUnigram言語モデルのトークンを組み合わせたハイブリッド・トークナイザーを開発した。
- 確率的な枝刈りを通じてグローバルな形態構造を捉えるUnigramトークンを、BPEの語彙に統合する。
- このアプローチは、茎（ステム）や頻出する接尾辞を原子的なサブワードとして保持し、標準的なBPEやSarvam 2B、Llama-3のような多言語モデルと比較して、トークン・フェルティリティ（単語あたりのトークン数）を大幅に減少させる。
位置補間によるコンテキスト・スケーリング:
- 限られたコンテキスト窓を持つハードウェア（例：単一のA100 GPU上の256トークン）上で長いシーケンス（最大4096トークン）を学習するために、著者らは回転位置埋め込み（RoPE）の**縮小係数（shrinking factor）**を採用している。
- トークンの位置インデックス $p$ は、 $p' = p \cdot (L/y)$ にスケーリングされる。ここで $L$ はハードウェアが許容するコンテキスト長、 $y$ はターゲットとなる長さである。これにより、相対的な距離を維持しながら、絶対的な位置をより狭いハードウェアサポート範囲内にマッピングすることで、長距離依存性を学習することが可能になる。
指示チューニング（Instruction Tuning）:
- ベンガル語用に、人間が作成したサンプル、翻訳されたDollyの指示、およびSelf-Instructのサンプルを含む23,000の指示データセットを作成した。
- これらをヒンディー語、マラーティー語、タミル語、テルグ語に機械翻訳（手動による事後編集を含む）し、モデルを人間の指示に適合させた。
モデルアーキテクチャ:
- Transformerデコーダーアーキテクチャに基づき、RMSNorm、SwiGLU活性化関数、および重みタイイング（weight tying）を利用している。
- 構成はChinchillaのスケーリング則に従い、モデルは108Mから367Mパラメータの範囲で展開される。

主な貢献

PARAMANUファミリー: 完全な透明性を持つ言語固有のデータを用いてゼロから学習された、初のオープンソースのインド専用・400M未満のデコーダー言語モデル（ベンガル語、ヒンディー語、マラーティー語、タミル語、テルグ語）。
低フェルティリティ・トークナイザー: BPEとUnigramの手法を組み合わせ、インドのスクリプトにおける形態論的コヒーレンスを向上させ、トークン数を削減する、形態論に整合した新しいトークナイザー。
効率的な学習手法: 長いコンテキストでの学習を単一GPU構成で可能にする補間ベースの位置インデックス手法、およびハイパーパラメータ最適化のための $\mu$ P転送の利用。
指示データセット: 他の対象言語に翻訳されたベンガル語の指示チューニング用データセットを提供し、人間による指示への適合を促進する。

結果

PARAMANUモデルは、MMLU、ARC、Belebele、XNLI、および言語固有のデータセット（HellaSwag、XCOPA、XStoryCloze）などのベンチマークを用いて、21の多言語およびインド適応型LLM（200Mから8Bパラメータの範囲）と比較評価された。

サイズ対性能: 小規模なサイズ（<400Mパラメータ）および限定的な学習データ（<70Bトークン）にもかかわらず、PARAMANUモデルは5つの全言語において、ほとんどのより大きな多言語モデル（最大3Bパラメータ）を凌駕している。
大型モデルとの比較: モデルは、アップサンプリングされた低リソースデータ（例：xGLM）で学習されたものを含む、10個のより大きなモデル（>3Bパラメータ）のうち6つを上回った。LLaMA-3-8BやBloomz-7Bは、大規模な指示チューニングにより全体としてリードしているが、PARAMANUは競争力のある水準を維持している。
アブレーション研究:
- ハイブリッド・トークナイザーは、標準的なBPEと比較して、ダウンストリームタスクの性能を0.56%から2.02%向上させた。
- データクリーニングは、スコアを1%から3.5%さらに押し上げた。
- 位置補間は、より長いシーケンスでの効果的な学習を可能にし、コンテキストサイズとともに性能が一般的に向上することを示した。
クロス言語転移: モデルはデーヴァナーガリー・スクリプト・ファミリー内（例：マラーティー語モデルがヒンディー語のベンチマークで良好な性能を示す）で強力なゼロショット転移能力を示し、クロス言語タスクへの有用性が示唆された。

意義と主張

本論文は、低リソースかつ形態論的に豊かな言語にとって、最適な戦略は必ずしもモデルの規模を最大化したり、大規模な多言語コーパスに依存したりすることではないと主張している。代わりに、言語固有のモデルを、低フェルティリティで形態論に整合したトークナイザーを用い、洗浄された特定のデータで学習することが、優れた性能と効率のトレードオフをもたらす。

PARAMANUは、小さなモノリンガルモデルが、厳格な計算資源および予算の制約下で訓練された場合、はるかに大きな多言語の代替モデルに対して競争力を持ち得ることを実証している。このアプローチは、高度な言語モデリングをリソースの乏しい研究者やコミュニティにとって身近なものにし、歴史的にAI研究において過小評価されてきた言語のギャップを埋めるための、実践的な基盤を提供する。著者らは、モデル、トークナイザー、およびデータセットのオープンソースリリースを通じて、透明性とコミュニティ主導の進歩を促進することを目指している。