Llamion Technical Report
本論文は、KEPT と呼ばれる新規レシピを用いて Orion-14B アーキテクチャを Llama 形式へ変換し、KoMMLU などのベンチマークで最先端の性能を達成するとともに、最小限のトレーニングリソースで長文脈処理といった高度な能力を維持する 140 億パラメータのオープンウェイトモデル群 Llamion を紹介する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
Llamion 技術報告書の解説を、平易な言葉と創造的な比喩を用いて以下に示します。
大きなアイデア：家具を失わずに家を移動させる
壮大で家具がすべて備え付けられた家（Orionと呼ばれる強力な AI モデル）を、独自の専用基礎の上に建てられていると想像してください。それは素晴らしい機能を持っていますが、地域の都市計画条例（Llamaアーキテクチャ標準）は、特定の標準化された基礎の上に建てられた家しか許可していません。
もし家を単に新しい基礎に移そうとすれば、配管が壊れたり、ドアが合わなかったり、家具が紛失したりするかもしれません。通常、これを修正するには、新しい家を購入し、古い設計図（アップトレーニングと呼ばれるプロセス）を使ってゼロから家具を買い揃える数年を費やす必要があります。これは高価で遅く、かつ多くの場合、手元にあるはずの元の設計図が必要となります。
Llamionは、KEPTと呼ばれる新しい巧妙な移動戦略の成果です。家を再建する代わりに、チームは家具を完全に同じもの、レイアウトも完全に同じもののまま、新しい標準化された基礎の上に移動させることに成功し、家の個性とスキルを維持しました。
どのように行われたか：「KEPT」レシピ
チームは、AI を Orion から Llama スタイルへ移行させるために、KEPT（変換のための効率的な知識保存）と呼ばれる 3 段階のレシピを使用しました。
通常パラメータマッピング（NPM）：「直接移動」
両方の家で同じように機能する AI の部分（語彙や論理の中心など）については、家具を単に持ち上げて、新しい家の全く同じ場所に配置しました。変更は不要でした。最適化パラメータマッピング（OPM）：「完璧な適合」
古い家の一部は、新しい家が使用するRMSNormとは異なる種類のドア蝶番（LayerNormと呼ばれる）を使用していました。どのように修正するかを推測する代わりに、チームは数学的に、追加の作業なしに蝶番を直接交換すれば、それらが完璧に適合することを証明しました。このステップにはトレーニングはゼロで、追加データも不要でした。古いソファが、張り替えなしで新しいリビングルームに完璧に収まることに気づいたようなものです。アーキテクチャ間知識蒸留（XKD）：「影の学習」
家具を移動した後、家が少し「違和感」を感じるかもしれません。これを修正するために、元の AI（Orion）を凍結された教師として使用しました。新しい AI（Llamion）に、教師が質問に答える様子を見て、その答えを正確にコピーさせるように指示しました。- 注意点： 教師がトレーニングされた元の書籍のライブラリは必要ありませんでした。必要だったのは、教師のスタイルをコピーする練習をするための、ランダムな会話カードの小さな束（約 1 億 2300 万語）だけでした。
結果：奇跡的な移動
この「移動」の結果は驚くほど成功しました。
- 速度とコスト： 単一の強力なコンピュータチップ（A100 GPU）で、わずか4 日間で完了しました。通常、このようなモデルの再トレーニングには数ヶ月を要し、莫大な費用がかかります。
- パフォーマンス： 新しいモデルであるLlamionは、元の Orion と同じくらい上手に韓国語を話します。実際、韓国語知識テスト（KoMMLU）では**66.87%**のスコアを獲得し、次点のモデルを 7 ポイント以上という大きな差で上回りました。
- 「魔法」のような転送： 最も印象的なのは、移動中に新しいモデルに教えなかったことです。
- コーディング： トレーニングデータにはコンピュータコードがほとんど含まれていませんでしたが、Llamion は依然として Python を完璧に記述できます。
- 長期的記憶： トレーニングデータは短く（4,000 語）、それでも Llamion は元のモデルと同様に、巨大な文書（200,000 語）を記憶し処理できます。
なぜこれが重要なのか
次のように考えてみてください：もし学生に、小さなレシピ本を使ってマスターシェフの料理スタイルを模倣させるなら、その学生は通常、その特定のレシピしか学びません。しかし、Llamion は単にレシピを暗記するのではなく、マスターシェフの脳（隠れた論理）を模倣するようにトレーニングされたため、小さなレシピ本に含まれていなかった料理さえも調理できる、シェフの能力を継承しました。
要約
この論文は、Llamionが、強力だが「非標準的」な韓国語 AI（Orion）を、業界標準の「Llama」形式に変換する新しい AI モデルであると主張しています。彼らは、モデルの知識を直接移動させ、微調整のためにわずかなデータ量を使用するスマートな方法（KEPT）を用いてこれを行いました。その結果、標準的なツールと互換性があり、高速に動作し、コーディングや長期的記憶を含む元のモデルのすべてのスキルを、ゼロからの再トレーニングなしで維持するモデルが生まれました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。