技術要約：ユーザーイベントシーケンスにおける行動基盤モデルのスケール則

問題提起

基盤モデルは、レコメンデーション、決済、不正検知、コマースなどの領域において、ユーザーのアクションのシーケンスに対してますます適用されるようになっている。しかし、大規模言語モデル（LLM）とは異なり、これらの行動モデルには、計算資源の割り当てをガイドするための確立されたスケール則が存在しない。決定的なアーキテクチャ上の違いがある。LLMのトークンは通常、不透明な語彙IDであるが、行動イベントは特徴量豊かなもの（テキスト、メタデータ、視覚的特徴、タイムスタンプなどを含む）である。その結果、現代のシステムは、**特徴量ベースのイベントエンベッダー（埋め込み器）と、それらの埋め込みのシーケンスをモデリングするデコーダーのみのトランスフォーマー・コンテクチュアライザー（文脈化器）**という、二部構成のアーキテクチャを採用している。

このアーキテクチャは、標準的なテキストLMには存在しない独自のスケーリングの課題をもたらす。具体的には、推論時にすべての候補アイテムに対してエンベッダーを再計算する必要があり、これは大規模なカタログに対しては極めて高コストとなる。標準的な手法では、二段階のトレーニングレシピが用いられる。すなわち、インバッチ・サンプルド・ソフトマックスを用いた共同学習を行った後、エンベッダーを凍結して、より大規模なサンプリング負例のプールを用いてコンテクチャライザーを学習させる方法である。このセットアップには、較正が必要な4つの結合されたハイパーパラメータ（ノブ）が存在する：

1. エンベッダーの共有比率（Embedder Share）: エンベッダーに割り当てるパラメータとコンテクチュアライザーに割り当てるパラメータの比率。
2. クリティカル・バッチサイズ（Critical Batch Size）: データ効率を最大化するバッチサイズ。
3. モデル／データ配分（Model/Data Allocation）: モデルサイズ（$N$）とデータトークン数（$D$）への計算予算の最適な分割。
4. 負例サンプリング（Negative Sampling）: エンベッダーを凍結した後の、追加でサンプリングされる負例の数（$K$）。

方法論

本研究は、単一の実世界の小売インタラクション・コーパス（検索、閲覧、クリック、購入を組み合わせたもの）を用い、約600回のトレーニング実行にわたる包括的な実証的調査を実施した。実験は、$C \in [10^{15}, 10^{19}]$ FLOPsの計算予算範囲に及ぶ。

実験デザインでは、他の軸を一定に保つか、あるいは体系的にスイープしながら、以下の4つの軸を分離して調査している：

• アーキテクチャ: エンベッダーのパラメータシェア（$s = p_e/N$）を0%から50%まで、およびコンテクチュアライザーの深さを変化させる。
• バッチサイズ: グローバル・バッチサイズ（$B$）を64から2048までスイープし、異なる指標に対するクリティカル・バッチサイズ（$B_{crit}$）を特定する。
• モデル／データ配分: アイソ・FLOPス（等しいFLOPs）のフロンティア上で学習を行い、様々な予算に対して最適な $N$ と $D$ を決定し、「Chinchilla」のヒューリスティック（$D/N \approx 20$）と比較する。
• 負例サンプリング: 第二段階の学習で使用される追加のサンプリング負例の数（$K$）を0から200万まで変化させる。

評価プロトコル: 本研究では、2つの評価レジームを区別している：

1. ステージ1（インバッチ）: バッチ内のユニークなターゲットに対して評価を行い、学習分布と一致させる。
2. ステージ2（フルカタログ）: キャッシュされた全製品カタログに対して評価を行い、展開時のリトリーバル設定をシミュレートする。
   指標には、クロスエントロピー損失、パープレキシティ、Recall@k、NDCG@k、MRR@10、およびカバレッジが含まれる。

主要な貢献と結果

1. 計算最適化されたエンベッダーは小さい

特徴量豊かな入力には大規模なエンコーダーが必要であるという直感に反して、本研究では、最適なエンベッダーのシェアは驚くほど小さく、4桁の計算規模にわたって安定していることが判明した。

• 知見: 最適なパラメータシェアは $s^\star \approx 2\%$ である（具体的には、指標と予算に応じて $1.1\% - 3.7\%$）。
• メカニズム: これは2つの非対称性によって駆動されている：
  1. 計算の非対称性: エンベッダーのパラメータは、トランスフォーマーのシーケンス長と比較して、エンベッダーのコンテキスト長が短いため、アイテムあたり約24倍多く触れられる。
  2. データ分布の非対称性: カタログ内の人気アイテムは数百から数千回繰り返されるため、エンベッダーは高頻度の記憶（memorization）にさらされるが、コンテクチュアライザーは同じイベントウィンドウを二度目に遭遇することは稀である。
• 示唆: 小さなエンベッダーは、パラメータがステップあたりのコストが高く、かつより反復的なデータ分布に接するため、計算最適化されている。

2. スケーリングは初期にはデータ重視であり、Chinchillaへと収束する

行動モデルは、特に低計算予算において、テキストLMとは異なるスケーリング・ダイナミクスを示す。

• 知見: 最適なデータ対パラメータ比（$D/N$）は、最初は $\approx 344$（$10^{15}$ FLOPs時）と非常に高く、その後 $\approx 36$（$10^{19}$ FLOPs時）へと減少していく。
• 傾向: 計算量が増加するにつれて、比率はテキストLMのChinchillaヒューリスティック（$D/N \approx 20$）に近づく。
• 指数: フィットされたモデルサイズ指数は $N^\star \propto C^{0.617 \pm 0.025}$ であり、様々なランキング指標（Recall, NDCG）において一貫している。

3. 評価指標がスケール則を定義する

中心的な発見は、評価指標の選択が「計算最適なレシピ」を根本的に変えてしまうということである。

• クリティカル・バッチサイズ ($B_{crit}$): 指標によって最適なバッチサイズが異なる。LossとRecall@10は $B_{crit} \approx 570$ を共有するが、位置重み付け指標（NDCG@10, MRR@10）はより早く $B_{crit} \approx 200\text{--}275$ で飽和する。
• 負例サンプリング ($K$): 最適な負例の数は指標依存である。Lossに近い指標は大きな $K$（しばしば $>10^6$）を好むが、ランキング指標は小さな $K$（しばしば $10^5$）を好む。
• Lossとランキングの不一致: サンプルド・ソフトマックスによる学習損失は、必ずしもフルカタログのランキング品質の信頼できるプロキシ（代理指標）ではない。ステージ2において、学習損失とランキング指標の間の相関は、計算予算や使用される特定の指標に応じて符号が反転することがある。

4. 負例サンプリングは計算制約からメモリ制約へとシフトする

• 小規模予算: 最適な $K$ は数十万程度であり、指標に依存する。
• 大規模予算 ($10^{19}$ FLOPs): 最大規模においては、すべての主要な指標が $K$ が最大テスト値（2M）まで増加するにつれて改善し続ける。活性化する制約は、FLOPsから候補軸のメモリ（ソフトマックス・ロジットのメモリフットプリント）へとシフトする。
• 示唆: スケールにおいては、負例サンプリングは純粋な計算割り当ての問題ではなく、メモリ・エンジニアリングの問題となる。

重要性と主張

本論文は、行動基盤モデルにとって、**「評価指標はスケール則の一部である」**と主張している。テキストLMでは単一の損失関数がアーキテクチャや学習レシピを導くのに十分な場合が多いが、行動モデルでは、実践者がスケール則を適合させる前に、ターゲットとなる指標を選択する必要がある。指標を変更すると、最適なエンベッダーのシェア、バッチサイズ、および負例サンプリング戦略が変わってしまう。

本研究は、標準的な「イベントエンベッダー $\to$ トランスフォーマー」スタックを訓練する実践者のための、較正された「レシピ」を提供している：

1. アーキテクチャ: 小さなエンベッダー（パラメータの $\approx 2\%$）を使用する。
2. データ: 低計算量ではデータ重視の配分（$D/N$）を用い、高計算量ではChinchillaへと収束させる。
3. バッチサイズ: 特定のターゲット指標に基づいて調整する（ランキング用には低めに、Loss用には高めに）。
4. 負例サンプリング: 大規模な負例サンプリングをメモリ制約問題として扱う。標準的なデプロイメントでは $K$ を数十万単位とするが、$10^{19}$ FLOPsにおいては、計算量ではなくメモリ制約がさらなる利得を制限することを認識しておく。

著者らは、スケーリング指数（$N$ と $D$ が $C$ に対してどのように成長するか）は指標によらず比較的堅牢であるが、実行可能なレシピ（実際にデプロイすべき具体的な構成）は、選択された評価指標に対して非常に敏感であることを強調している。