SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

Meta が広告システムに導入した SOLARIS は、将来のリクエストを予測して非同期に基盤モデルの表現を事前生成する「Speculative Offloading」手法により、計算コストを削減しつつリアルタイム推論を可能にし、収益向上を実現しました。

要約

ソーラーリス（SOLARIS）：超巨大な AI を「予習」させて、リアルタイムで賢くする仕組み

この論文は、メタ（Meta）社が広告システムで実用化した、「超巨大で賢い AI（基礎モデル）」を、遅延なく、しかも高品質に使えるようにした画期的な技術について書かれています。

専門用語を抜きにして、日常の例えを使ってわかりやすく解説します。

---

1. 問題：「天才」は遅すぎる

現代の推薦システム（あなたが「これを見てね」と広告を出す仕組み）には、**「基礎モデル（Foundation Model）」**という超巨大で天才的な AI がいます。

• 得意なこと: 膨大なデータから、ユーザーの好みを完璧に理解し、どんな広告がヒットするかを予測する。
• 弱点: 頭が良すぎるがゆえに、計算が重すぎて**「リアルタイム（一瞬で）」**に答えを出すのが不可能。

そこで、これまで業界では**「知識の蒸留（Distillation）」**という方法がとられていました。

• 例え: 「天才 AI（先生）」が教えた答えを、**「小さな AI（生徒）」**がノートに写し取る。
• 問題点:
  1. 先生が教えた「深い理解」の 20〜25% しか生徒に伝わらない（情報のロス）。
  2. 生徒が勉強できるのは「授業中（モデル作成時）」だけ。実際の授業（広告表示の瞬間）には、先生は呼べない。

2. ソーラーリス（SOLARIS）の解決策：「予習」で天才を呼び出す

SOLARIS は、この問題を**「推論時の知識蒸留（Inference-time Knowledge Distillation）」という新しい方法で解決しました。核心は「予習（Speculative Offloading）」**です。

① 天才の「予習」を裏側で行う

SOLARIS は、「今、誰が何を見る可能性が高いか」を予測し、その答えを事前に計算しておくという仕組みです。

• 例え: 人気レストラン（基礎モデル）が、**「明日の予約が来そうな客（ユーザー）」を予測し、彼らが注文しそうな料理のレシピ（AI の答え）を「朝のうちに」**作り置きしておく。
• 仕組み:
  • 裏側で「天才 AI」が、将来必要になりそうな「ユーザー×広告」の組み合わせを計算し、その「答え（埋め込み表現）」をメモ帳（キャッシュ）に保存します。
  • ユーザーが実際に広告を見た瞬間、そのメモ帳から答えを即座に引き出します。
  • これにより、重い計算をリアルタイムで行わずとも、「天才 AI の知恵」を瞬時に使えるようになります。

② 予習が外れた場合の「代わりの知恵」

もちろん、100% 予習通りにはいきません（新しいユーザーや、予想外の広告など）。そこで、SOLARIS は 2 つの工夫でカバーします。

• A. 「その人の過去の行動」をまとめる（集約）
  • 特定の広告の答えがなくても、「その人が過去 24 時間に見た広告の傾向」をまとめて、その人の「好みのプロフィール」を作ります。
  • 例え: 特定の料理の注文がなくても、「この人は和食が好きだ」という過去の注文履歴から、和食系の提案をする。
• B. 「似た人」の知恵を借りる（類似性）
  • 自分自身の答えがなくても、「自分と趣味が似ている人」が選んだ答えを参考にします。
  • 例え: 「あなたと趣味が似ている A さんが、この広告を気に入ったなら、あなたも気に入るはず」という推測。

3. 結果：どれくらいすごいのか？

この仕組みをメタの広告システム（1 日数十億回のリクエスト）に導入した結果は驚異的です。

• 精度向上: 広告がクリックされる確率（CTR）や、購入される確率（CVR）の予測精度が大幅に向上しました。
• 知識の伝達率: 従来の方法（20〜25%）から、40% 以上に跳ね上がりました（2 倍近く！）。
• 収益: 広告収益が0.67% 増加しました。これは、メタの規模で見ると年間 1 億ドル（約 150 億円）規模の利益に相当します。
• 遅延なし: ユーザーに広告を表示する瞬間の速度は遅くなりませんでした。

まとめ：どんなイメージ？

SOLARIS は、**「天才的なコンサルタント（基礎モデル）を、常にそばに置かずに、彼が『予習』したメモ帳を、現場の担当者（小さな AI）が即座に使えるようにしたシステム」**です。

• 以前: 現場で天才に相談すると、答えが出るまで待たされる（遅い）。
• SOLARIS: 天才が「明日はこんな人が来るはず」と予測してメモ帳を作っておく。現場の担当者は、そのメモ帳を見て即座に最高の提案ができる。

これにより、**「遅いけど超賢い AI」と「速いけど少ししか知らない AI」**のいいとこ取りを実現し、ユーザーにはより適切な広告を、企業にはより多くの収益をもたらす仕組みが完成しました。

技術概要

SOLARIS: 推論スケールのための潜在表現に基づくSpeculative Offloading の技術的サマリー

Meta AI によって提案された論文「SOLARIS (Speculative Offloading of Latent-bAsed Representation for Inference Scaling)」は、大規模推薦システム（RecSys）における基盤モデル（Foundation Models: FMs）の推論コストとリアルタイム性というジレンマを解決するための新しいフレームワークを提案しています。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と課題 (Problem)

近年、推薦システムにおいて基盤モデル（FM）が導入され、複雑なユーザー - アイテム相互作用の学習やパーソナライゼーションの能力が飛躍的に向上しました。しかし、これらのモデルは計算コストが極めて高く、リアルタイムでのオンライン推論（サービング）には現実的ではありません。

この課題に対処するため、業界では一般的に「知識蒸留（Knowledge Distillation）」が用いられていますが、これには以下の 2 つの重大なボトルネックが存在します。

1. 転移効率と汎用性の限界: 従来のソフトラベル（確率分布）に基づく蒸留では、知識転移の比率が 20〜25% 程度に留まり、特定のタスクに強く依存するため汎用性が低いです。
2. 推論時の知識共有の欠如: 知識転留はトレーニング時のみ行われるため、推論時（サービング時）には基盤モデルの豊かな表現を利用する機会が失われています。

2. 提案手法：SOLARIS (Methodology)

SOLARIS は、LLM 分野の「Speculative Decoding（推測的デコーディング）」の考え方を推薦システムに応用し、**「推論時の非同期事前計算」と「階層的な特徴補強」**を組み合わせることで、基盤モデルの知識を垂直モデル（VM: Vertical Models）にリアルタイムで転送するフレームワークです。

2.1 主要なアーキテクチャとプロセス

• 直接埋め込み転送 (Direct Embedding-based Transfer):
  従来のソフトラベル転送ではなく、基盤モデルの最終共有層から抽出した**ユーザー - アイテム相互作用の埋め込み（Embedding）**を直接、垂直モデルの入力特徴量として転送します。これにより、より豊かで汎用的な表現を学習できます。

• 推測的埋め込み事前計算 (Speculative Embedding Precomputation):

  • 非同期バックグラウンド処理: リアルタイムのサービングパスから高コストな基盤モデルの推論を切り離し、バックグラウンドで非同期に埋め込みを生成します。
  • 検証モデル機構 (Verifier Model): 現在の垂直モデルの予測スコア（軽量なモデル）を用いて、どのユーザー - アイテムペアが将来リクエストされる可能性が高いか（「推測」）を判断し、上位 20% 程度の候補のみをキャッシュに保存します。これにより、計算リソースを最も有望な候補に集中させます。
  • TTL ベースのキャッシュ無効化: ユーザーの嗜好は数時間単位で安定しているという仮定に基づき、キャッシュされた埋め込みの有効期限（TTL）を管理し、新鮮さを保ちつつ計算効率を維持します。

• 階層的特徴補強 (Hierarchical Feature Enrichment):
  非同期事前計算では、すべてのユーザー - アイテムペアをカバーすることは不可能（カバレッジ約 50%）です。このギャップを埋めるために 2 つの戦略を採用しています。

  1. 集約されたユーザー埋め込み (Aggregated User Embedding): 特定のユーザーの過去 24 時間の相互作用埋め込みを平均化し、「ユーザー専用」の埋め込みとして提供します。これによりカバレッジを 85〜90% まで引き上げます。
  2. 類似性ベースの埋め込み (Similarity-Based Embedding): ユーザーのクラスタリングテーブル（KNN）を用い、ターゲットユーザーと類似したユーザー（近隣ユーザー）のユーザー - アイテム埋め込みを借用します。これにより、さらに 30% のカバレッジ拡大を実現します。

3. 主要な貢献 (Key Contributions)

1. 推論時知識蒸留の実現: トレーニング時だけでなく、リアルタイムのサービング中に基盤モデルの表現を垂直モデルに転送する仕組みを初めて確立しました。
2. 高転移率の知識共有: ソフトラベル転送（20-25%）に対し、SOLARIS は埋め込み転送により転移率を 42〜44% まで向上させました（2 倍の改善）。
3. スケーラビリティと遅延の分離: 基盤モデルの重たい計算を非同期化し、遅延制約の厳しいサービングパスには影響を与えずに、数十億の毎日リクエストを処理可能なスケールで実装しました。
4. 包括的なカバレッジ戦略: 直接計算、集約、類似性検索の 3 段階のアプローチにより、長尾アイテムや新規ユーザーを含む広範なカバレッジを確保しました。

4. 実験結果 (Results)

Meta の広告システム（1 日数十億リクエスト）での実環境デプロイにより、以下の成果が確認されました。

• モデル性能の向上:
  • 10 以上の生産モデルにおいて、相対的な対数損失（RLL）が最大 0.2% 改善されました。
  • 特徴量のカバレッジが 30% 向上するごとに、損失が 0.05% 改善されるという明確な相関が確認されました。
• ビジネスインパクト:
  • 広告収益（Top-line metrics）が0.67% 増加しました（推定 1 億ドル規模のインパクト）。
  • CTR（クリック率）および CVR（転換率）の両方で、Facebook Feed、Reels、Instagram などの主要プラットフォームで一貫した改善が見られました。
• 転移効率:
  • 従来の蒸留手法と比較して、知識転移の効率が 2 倍に向上しました。

5. 意義と結論 (Significance)

SOLARIS は、計算コストが高すぎてオンライン利用が困難とされてきた大規模基盤モデルを、推薦システムの最終段階ランキングにおいて実用的に活用できることを実証しました。

• 産業への影響: 知識蒸留の限界を打破し、推論時に基盤モデルの「知恵」を直接活用する新しいパラダイムを提示しました。
• 技術的革新: 「Speculative Decoding」の概念を推薦システムの埋め込み生成に応用し、遅延と精度のトレードオフを解決する非同期アーキテクチャを確立しました。
• 将来展望: 現在は最終段階のランキングに限定されていますが、より早期のステージ（リトリーブや初期ランキング）への展開や、広告対広告（A2A）の類似性利用など、さらなるカバレッジ拡大と収益化の可能性を秘めています。

結論として、SOLARIS は大規模 AI モデルの実用的なデプロイと、ビジネス価値の最大化を両立させるための画期的なフレームワークであり、大規模推薦システムの未来の標準となり得る技術です。