The Llama 4 Herd: Architecture, Training, Evaluation, and Deployment Notes
本論文は、MetaのLlama 4モデルファミリーに関する包括的な技術リファレンスを提供し、リリースされたバリアント、早期融合マルチモダリティやiRoPEといった高度なアーキテクチャの特徴、学習手法、ベンチマーク性能、デプロイメントの制約、およびライセンス義務に関する詳細を統合したものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この文書を、単なる乾燥した教科書としてではなく、「Llama 4」という名の、新しく、非常に特別なAIロボットのファミリーのための詳細なオーナーズ・マニュアル兼フィールドガイドとして捉えてください。
この論文がカバーしている内容は、以下の通り、シンプルな物語と比喩を用いて分解されています：
1. 家族の再会（バリアント／派生モデル）
大家族の集まりを想像してみてください。この論文では、主要な登場人物を紹介しています：
- Scout（スカウト）： 素早く、学習能力が高く、今すぐにでも動き出せる準備ができている俊敏な存在。
- Maverick（マーベリック）： 少し異なるスキルセットを持つ、冒険心旺盛な兄弟。
- Behemoth（ベヘモス）： 巨大で賢明な「教師」であり、現在は年下の者たちにやり方を見せるために、フェンス越しに顔を覗かせている状態（プレビュー版）です。
この論文は、これらの異なる「群れのメンバー」がどのように調和しているかを説明しています。
2. 彼らの脳はどう配線されているのか（アーキテクチャ）
一つの巨大な脳がすべてを一度にこなそうとするのではなく、これらのモデルは専門特化したチームによるアプローチを採用しています：
- MoE（Mixture of Experts / 混合エキスパート）： これは、多くの専門医がいる病院のようなものです。質問が入ってきたとき、AIはすべての医師に尋ねるのではなく、そのタスクに必要な特定の専門家に質問をルーティングします。一部のエキスパートは全員で共有され、他のエキスパートは特定の専門家専用です。
- Early-Fusion Multimodality（早期融合マルチモーダル）： 本を読み、かつ絵を見るという行為を別々に行うのではなく、言葉と画像を最初から一つの混ざり合った物語として同時に理解する人の姿を想像してください。それが、このAIがテキストと画像を一体として処理する方法です。
- Long-Context Design (iRoPE)（長文コンテキスト設計）： これは、AIに付箋を与えるのではなく、非常に長い巻物を与えるようなものです。これにより、AIは長い物語の最後まで到達しても、最初の方を忘れることなく、小説一冊や長い会話を記憶し、理解することができます。
3. 彼らはどのように教えられたのか（トレーニング）
この論文は、AIの教育における3つの段階を記述しています：
- Pre-training（事前学習）： 「小学校」のフェーズです。AIは膨大な図書室の本を読み、基礎的な事実や言語を学びます。
- Mid-training（中間学習）： 「専門キャンプ」です。AIは長い物語の中で迷子にならないよう、それらの長い巻物（ロングコンテキスト）に特化して練習します。
- Post-training（事後学習）： 「仕上げの学校」です。ここでは、AIが役に立ち、礼儀正しく振る舞えるように学習します。論文では、これらに「軽量な」アプローチを用いたことが記されています。つまり、長年の徹底的な改造ではなく、集中した短いコーチングセッション（SFT）や、回答を洗練させるためのフレンドリーな競争（RLおよびDPO）のような手法です。
4. 成績表（ベンチマーク）
この論文には、未加工のモデルと、指示に従うよう教え込まれたモデルの両方のテストスコアが含まれています。開発者が公開している情報に基づき、これらのモデルが標準的なテストにおいて、他のモデルと比べてどの程度優れたパフォーマンスを発揮するかを正確に示しています。
5. 車の運転（デプロイメント）
このセクションはメカニックのガイドです。以下について説明しています：
- 交通ルール： このAIを異なるコンピュータやクラウドサービスで実行しようとした場合、何が起こるのか？
- サイズ制限： さまざまな設定において、AIがどれだけの「メモリ（コンテキスト）」を扱えるのか。
- パッケージング： 壊れることなく、より小さなスペースに収まるようにAIを圧縮する方法（量子化）。
6. 細かい規定（ライセンスと安全性）
最後に、この論文は法的および安全性のチェックリストとしての役割を果たします：
- ルール： このAIを共有したり、独自のバージョンを作成したりする場合、従わなければならない具体的なルール（ライセンス）は何か。
- セーフティネット： AIが有害な発言をするのを防ぐために設置されたガードレールについてのレビュー、および、それらのガードレールが機能することを確認するために作成者が行ったテスト方法。
要約すると： この文書は、Llama 4とは何であり、どのように構築され、どれほど賢く、使用する際にどのようなルールが適用されるのかを、将来の可能性を推測することなく、正確に知りたいと願うすべての人にとっての「真実の源泉」なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。