🤖 AI

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

本論文は、Generalized Dot-Product AttentionやHierarchical Seed Poolingといった低レイヤーの最適化、およびComputation Skipのような高レイヤーの革新的な手法によってスケーリング効率の低さを解消することで、予測可能なスケーリング則を確立した、大規模レコメンデーションシステムのための統一アーキテクチャであるKunlunを紹介しており、これによりスケーリング効率を倍増させ、Meta Adsにおいて多大なプロダクションインパクトを実現している。

原著者： Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Y

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、大規模で高速なデジタルマーケットプレイス（Metaが広告で使用しているようなもの）を運営していると想像してください。毎秒、何百万人もの人々がスクロールしており、システムは各ユーザーがどの広告をクリックするかを推測しなければなりません。この推測を行うために、システムは「脳」（機械学習モデル）を使用し、2種類の「手がかり」を調べます。

ストーリー（シーケンス）： ユーザーが最近何をしたか（例：「靴をクリックし、次に帽子、次にバックパックをクリックした」）。
スナップショット（コンテキスト）： そのユーザーがいま、どのような状況にあるか（例：「雨が降っている」「ニューヨークにいる」「25歳である」）。

長い間、これら「ストーリー」と「スナップショット」の両方を効率的に扱う「脳」を構築することは、まるで「四角い車輪がついたレーシングカーを運転する」ようなものでした。機能はしますが、非常に遅く、大量の燃料（計算資源）を浪費しました。研究者たちはこの問題を**「スケーリング効率の低さ（poor scaling efficiency）」**と呼んでいます。つまり、脳をより賢くするために大きくしようとしても、その追加コストに見合うほどには賢くならなかったのです。

そこで登場したのがKunlunです。多様な峰々を統合する山脈にちなんで名付けられたKunлоンは、この「四角い車輪」を修正するために設計された新しいアーキテクチャです。論文によると、Kunlunは「低レイヤー（部品）」と「高レイヤー（交通管理）」の2つのレベルでシステムを最適化することで、この問題を解決しています。

以下に、日常的な比喩を用いてKunlunの仕組みを説明します。

1. 低レイヤーの修正：エンジンの修理

従来のシステムには非効率な部品があり、データの到着を待っている間にコンピューターの「エンジン」（GPU）がアイドル状態になってしまうという問題がありました。Kunlunはこれらを高性能な部品に置き換えます。

GDPA（パーソナライズされた翻訳者）:
- 問題点: 旧システムは、「スナップショット」に基づいて「ストーリー」を翻訳しようとする際、時間がかかる不器用なステップバイステップのプロセスを使用していました。
- 解決策: KunlunはGDPA（Generalized Dot-Product Attention）を使用します。これは、単に言葉を逐一訳すのではなく、文章全体の文脈を瞬時に理解する翻訳者のようなものです。ステップを融合させることで、コンピューターが停止したり再開したりする必要がなくなり、エンジンがよりスムーズに回転するようになります。
HSP（要約者）:
- 問題点: ユーザーには長い履歴（数千回のクリック）があります。旧システムは、すべてのクリックを個別に読もうとしたため、処理が追いつかなくなっていました。
- 解決策: HSP（Hierarchical Seed Pooling）は、賢い編集者のようなものです。500ページの伝記をすべて読む代わりに、本を読み、10ページの要約を作成し、さらに1ページの要旨を作成します。長い履歴を、システムが処理に追われることなく活用できるコンパクトで強力な要約へと凝縮します。
スライディングウィンドウ・アテンション（局所的なフォーカス）:
- 問題点: 旧システムは、ユーザーがかつて最初に行ったことと、今まさにしていることを比較しようとしていました。しかし、通常、先週何をしたかは、去年何をしたかよりも重要です。
- 解決策: スライディングウィンドウ・アテンションは、システムに「全履歴を見るのではなく、直近の数ページだけを見なさい」と指示します。これにより、予測の精度を維持しながら、膨大な計算資源を節約できます。

2. 高レイヤーの修正：スマートな交通管理

優れたエンジンがあっても、進むべき道を間違えたり、すべての信号で止まったりすれば、燃料を無駄にします。Kunlunはリソースの分配方法を変更します。

CompSkip（エクスプレス・レーン）:
- 問題点: 旧システムは、たとえ必要のない場面であっても、すべてのステップで全く同じ重い処理を行うよう強制していました。
- 解決策: CompSkipは、スマートな信号機のようなものです。一部のステップでは完全な「自己チェック（Self-Attention）」が不要であり、一部のステップでは完全な「要約（HSP）」が不要であることを察知します。交互にレイヤーをスキップすることで、不要なステップを回避します。車が直進しているなら、毎秒バックミラーを確認する必要はありません。これにより、膨大なエネルギーを節約できます。
イベントレベルのパーソナライゼーション（VIP待遇）:
- 問題点: 旧システムは、「クリック（強いシグナル）」と「インプレッション（単なる閲覧）」を同じように扱っていました。そのため、価値の低いイベントに対してリソースを浪費していました。
- 解決策: Kunlunは重要なイベントにVIP待遇を与えます。ユーザーが何かを購入しようとしている（高価値なイベント）場合、システムはより多くの計算資源と深い分析を割り当てます。単なるカジュアルな閲覧であれば、より軽量で高速なアプローチを使用します。これは、レストランがVIP客にはフルコースのテイスティングメニューを提供し、通りすがりの客にはクイックなコーヒーを提供するようなものです。

結果：「スケーリング則」

論文は、これらの修正を組み合わせることで、Kunlunが業界が苦戦してきた課題である**「予測可能なスケーリング則（Predictable Scaling Laws）」**を達成したと主張しています。

かつては、計算能力を2倍にしても、必ずしも知能が2倍になるわけではありませんでした。Kunlunでは、その関係性が予測可能で効率的です。

効率の向上: 最新のスーパーコンピューター（NVIDIA B200 GPU）において、Kunlunは従来の手法よりも2倍効率的にハードウェアを活用しています（利用率が17%から37%へ向上）。
実世界への影響: これは単なるラボでの実験ではありません。Metaはすでに主要な広告モデルにKunlunを導入しています。その結果、主要なビジネス指標において1.2%の改善を実現しました。毎日数十億の決定が行われる広告の世界において、このわずかなパーセンテージは極めて大きな勝利となります。

要約すると： Kunlunは、レコメンデーションシステムを構築するための、よりスマートで、より無駄がなく、より組織化された方法です。四角い車輪による燃料の浪費を止め、不要な停止をスキップし、最も重要な手がかりにVIP待遇を与えることで、システムが大きくなるにつれて、大幅に賢くなれるようにしています。

テクニカルサマリー：Kunlun – 大規模レコメンデーションシステムにおけるスケーリング則の確立

1. 問題定式化

現代のレコメンデーションシステム、特に大規模な広告分野においては、逐次的なユーザー行動（例：クリック履歴）と非逐次的なコンテキスト特徴量（例：ユーザー属性、広告メタデータ）の結合モデリングが求められます。大規模言語モデル（LLM）においては、計算投資とモデル性能の間の予測可能な数学的関係である「スケーリング則」が確立されていますが、これら異種混合の特徴量を扱うレコメンデーションシステムにおいては、依然として未解決の課題となっています。

著者らは、スケーリング効率の低さを主要な障壁として特定しています。スケーリング効率は、単位計算投資あたりの性能向上率として定義されます。本論文では、現在の最先端（SOTA）のシステムが予測可能なべき乗則（パワーロー）を実現できていない理由として、以下の2つの決定的なボトルネックを挙げています。

非効率なモジュール： 既存のアーキテクチャは、LLMの40〜60%に対し、3〜15%程度という低いModel FLOPs Utilization（MFU）に苦しんでいます。これは、異種混合の特徴空間による埋め込み次元の小ささ、不規則なテンソル形状、およびメモリ転送がボトルネックとなる演算に起因します。
非効率なリソース配分： すべてのコンポーネントを一律にスケールさせるナイーブな手法は、減衰する収益をもたらします。なぜなら、異なるレイヤーやイベントタイプ（例：クリック vs インプレッション）は、それぞれ異なる計算パターンから恩恵を受けるためです。

2. 手法：Kunlun アーキテクチャ

これらの課題に対処するため、著者らは、低レベルのモジュール最適化と高レベルの計算再配分という2つのレベルでの体系的な**モデル効率の共同設計（model-efficiency codesign）**を通じて設計された統一アーキテクチャ、Kunlunを提案しています。

2.1 アーキテクチャの概要

Kunlunは、各レイヤーが2つの主要コンポーネントを通じて逐次的特徴と非逐次的特徴の両方を処理するマルチレイヤーアーキテクチャを採用しています。

Kunlun Transformer Block： マルチヘッド自己注意（MHA）と、Generalized Dot-Product Attention（GDPA）によって強化されたPersonalized Feed-Forward Network（PFFN）を用いて、コンテキストを考慮したシーケンスモデリングを処理します。
Kunlun Interaction Block： 重み生成（Weight Generation）、階層的シードプーリング（HSP）、およびグローバルインタラクションモジュールを介して、双方向の情報交換を促進します。

2.2 低レベル・モジュールの最適化

これらの最適化は、MFUを向上させるための計算効率をターゲットとしています。

Generalized Dot-Product Attention (GDPA)： 著者らはPFFNをマルチヘッドアテンション演算として再定式化しました。メモリのボトルネックを生む個別の行列演算を行う代わりに、GDPAは変換を単一のカーネルへと融合させます（FlashAttentionと同様）。ここでは、シーケンス・トークンがクエリ（Query）として機能し、非逐次的コンテキストから派生した重みがキー（Key）および値（Value）として機能します。これにより、効率的なGPU利用が可能になり、安定したPFFNのスタッキングが可能になります。
Hierarchical Seed Pooling (HSP)： 長いシーケンス（ $T > 1000$ ）を効率的に要約するために、HSPは（標準的なPooling by Multihead Attentionで使用される）ランダムな学習可能クエリを、階層的なプロセスに置き換えます。まずシードレベルの表現を学習し、次にSumKronLinear（クロネッカー積ベースのレイヤー）を用いてそれらを圧縮します。これにより、クロス次元の表現力を維持しながら、パラメータ効率を実現します（典型的な構成においてパラメータ数を約14倍削減）。
スライディングウィンドウ・アテンション： レコメンデーションのシーケンスにおける強い局所性バイアス（直近のインタラクションほど予測力が高いこと）を認識し、自己注意をローカルウィンドウ内に制限します。これにより、計算複雑度を $O(T^2)$ から $O(Tw)$ に低減し、スループットを大幅に向上させます。

2.3 高レベルの計算再配分

これらの戦略は、モデル全体のリソース配分を最適化します。

Computation Skip (CompSkip)： LLMにおけるレイヤーの冗長性に着想を得て、Kunlunは「1層おき」のパターンを実装しています。偶数レイヤーは自己注意をスキップして新鮮なHSP要約を計算し、奇数レイヤーはHSPとPFFNをスキップして自己注意を計算します。これにより、モデルの品質を維持しながらFLOPsを約43%削減します。
イベントレベルのパーソナライゼーション： 異なるイベントタイプ（例：クリック vs インプレッション）に対して、個別のハイパーパラメータ（モデル次元、ヘッド数、要約トークン数、レイヤー深度、ウィンドウサイズ）を割り当てます。価値の高いイベントには大きな構成を、価値の低いイベントには小さな構成を使用することで、信号の重要性に比例してリソースが配分されるようにします。
Mixture of Wukong Experts： グローバルインタラクションモジュールは、複数の「Wukong」モジュール（特徴量インタラクションモデル）が並列に動作するMixture-of-Experts (MoE) アプローチを採用しています。これにより、単一レイヤー内のエキスパート間で計算を分散させることで、水平方向のスケーリングを可能にします。

3. 主な貢献

本論文は、主に4つの貢献を概説しています。

問題の定式化： 大規模レコメンデーションシステムにおけるスケーリング効率の課題を定式化し、非効率なモジュールとリソース配分が予測不可能なスケーリングの根本原因であることを特定しました。
アーキテクチャ設計： 低レベルの最適化（GDPA、HSP、スライディングウィンドウ）と高レベルのイノベーション（CompSkip、イベントレベルのパーソナライゼーション）を統合し、逐次モデルと非逐次モデルを統一するKunlunを導入しました。
スケーリング則： 逐次・非逐次結合モデリングにおいて、初の予測可能なべき乗則挙動を実証し、既存の最先端手法に対して2倍のスケーリング効率を達成しました。
デプロイメントの影響： 主要なMeta Adsモデルへの導入に成功し、プロダクション環境における測定可能な改善を実現しました。

4. 実験結果

著者らは、NVIDIA B200 GPUを用い、大規模な内部Meta Adsデータセット（70B以上のサンプル）を用いてKunlunを評価しました。

スケーリング効率： Kunlunは、MFUを17%から37%へと向上させました。スケーリング効率（性能向上と計算量の関係を示す傾き）において、Kunlunは現在の最先端手法（InterFormer）に対して2倍の改善を示しました。
性能向上： 計算スケール（6から180 GFLOPs）全体にわたり、Kunlunは一貫してベースラインを上回りました。最大スケール（180 GFLOPs）において、KunlunはInterFormerの0.50%に対し、0.79%のNE（正規化エントロピー）ゲインを達成しました。
アブレーション研究：
- GDPAを除去すると、MFUは34%に低下し、NEは0.04%悪化しました。
- HSPを除去（PMAに戻す）すると、QPSは8.8%向上しましたが、NEは0.08%悪化しました。
- CompSkipを除去すると、NEの向上なしにFLOPsが43.1%増加し、スキップ戦略の効率性が検証されました。
プロダクションへの影響： Meta Adsモデルへのデプロイ後、Kunlunはトップライン指標で1.2%の改善をもたらし、大規模環境における優れたROIと顕著なオンラインインパクトを実証しました。

5. 重要性と主張

本論文は、Kunlunが計算効率を維持しながら、前例のない規模へとレコメンデーションシステムをスケールさせるための原理的なフレームワークを確立したと主張しています。低レベルのモジュール効率（GDPAおよびHSP経由）と高レベルの適応的リソース配分（CompSkipおよびイベントレベルのパーソナライゼーション経由）の両方に体系的に取り組むことで、複雑で異種混合なレコメンデーションタスクにおいても、予測可能なスケーリング則が達成可能であることを示しています。

この研究は、低レベルのモジュール効率と高レベルの適応的リソース配分の組み合わせが、大規模モデルの潜在能力を最大限に引き出すために必要であると断言しています。これにより、リソース計画やアーキテクチャ決定のための信頼できる外挿が可能となり、レコメンデーションシステムをヒューリスティックなスケーリングから、予測可能な法則に基づいた成長へと移行させます。Metaでのデプロイ成功は、これらの理論的利点が直接的にプロダクションの価値へと変換されることを裏付けています。