Building a User Foundation Model for the Open Web

インターネットを、人々がショップからショップへと歩き回る際にデジタルな足跡を残していく、巨大で賑やかな都市だと想像してみてください。長年、広告を表示する企業は、その足跡に基づいて各個人の「プロフィール」を作成し、次に何を欲しがるかを推測しようとしてきました。これが、数学を用いて人間の行動を予測するコンピュータサイエンスの一分野である「レコメンダーシステム（推奨システム）」の世界です。現代のシステムにおける「秘伝のソース」は、機械学習（コンピュータが膨大なデータからパターンを学習するもの）と、基盤モデル（特定の仕事を教えられる前に、出来事のシーケンスを理解する方法をすでに学習している、巨大な事前学習済み脳のようなもの）です。

しかし、ここには厄介な問題があります。「オープンウェブ」（特定のアカウントにログインせずに訪問するインターネットの部分）では、これらの足跡はバラバラです。スマートフォンでサイトを訪れた後、後でノートパソコンで訪れることがありますが、コンピュータにはそれが同一人物であると知る術がありません。ユーザーの履歴は断片的であったり、非常に短かったり、あるいはプライバシー設定によって完全に欠落していたりすることがよくあります。この論文は、大きな問いに取り組んでいます。果たして、私たちはログインしているユーザーのクリーンで長い履歴と同じくらい上手く、この乱雑で断片的な足跡を理解できるスマートなシステムを構築できるのでしょうか？ この答えは重要です。なぜなら、もしできなければ、インターネットの巨大な部分を理解することを逃してしまい、広告がランダムで無関係なものに感じられてしまうからです。

---

壊れた足跡のパズル

著者であるTeadsのチームは、独特な課題に直面しました。ほとんどのレコメンダーシステム（ソーシャルメディアやショッピングアプリなど）では、ユーザーの人生の長く連続した「映画」が存在します。彼らはログインし、動画を視聴し、靴を買い、写真を「いいね」します。コンピュータはこの映画全体を見ることで、ユーザーを理解できます。

しかし、オープンウェブでは、その「映画」はしばしば、散らばった数枚のフレームに過ぎなかったり、時にはたった一フレームであったりします。ユーザーは匿名であり、その履歴はプライバシーの選択によって遮断されているかもしれません。従来のやり方は、数を数えることでした。「このユーザーはスポーツ広告を3回クリックした」。しかし、これは、人が何回まばたきをしたかを知るだけで、その人の性格を理解しようとするようなものです。それでは、「物語」——出来事の順序、タイミング、そして流れ——を見落としてしまいます。

チームは問いかけました。「コンピュータに、これらの短く壊れた物語を理解させることはできるだろうか？」 そして、もしそれができれば、誰であるかを知らない場合でも、ユーザーが何をクリックするかを予測するのに役立つだろうか？

「タイムトラベラー」の脳

これを解決するために、チームは**ユーザー基盤モデル（UFM）**を構築しました。このモデルを、ウェブを閲覧する人々の短く断片的な物語を何百万も読んできた、超スマートなタイムトラベラーだと考えてください。

このモデルは、単にクリック数を数えるのではなく、イベントの「シーケンス（順序）」に注目します。ユーザーの閲覧履歴を一つの「文章」のように扱うのです。文章に主語、動詞、目的語があるように、ユーザーの履歴には、パブリッシャー（どこにいたか）、アドバタイザー（何を見たか）、そしてイベント（クリックした、あるいは単に見た、といった行動）があります。

モデルは、自己教師あり学習と呼ばれるゲームを用いて訓練されました。文章の一部を隠し（マスクし）、文脈に基づいてそれらが何かを当てるゲームを想像してください。モデルは、ユーザーの履歴を見て、その一部を隠し、空白を埋めようとすることで練習しました。また、マッチングゲームも行いました。同じユーザーの履歴の異なる二つの部分（例えば、午前と午後）を取り出し、それらがたとえ違って見えても、同じ人物に属していることを学習させたのです。

脳を微調整する「ロボットコーチ」

ここからが非常に面白いところです。チームは単にモデルを構築しただけでなく、**「AIを使ってAIを作る」**という手法を用いました。彼らはこれを「LLM-as-Optimizer（最適化器としての大規模言語モデル）」と呼びました。

完璧なレーシングカーを作ろうとしている場面を想像してください。エンジンやタイヤのどれが最適かを推測する代わりに、ロボットコーチ（大規模言語モデル）が、科学書にある150種類の異なる「チューニングのヒント」のカタログを読みます。ロボットコーチは、「エンジンを少し大きくしてみよう」とか「燃料の混合比を変えてみよう」といった変更を提案します。チームはその変更をテストし、もし変更によって車が速くなったなら、ロボットコーチはそれを記憶し、その成功に基づいたさらなる試みを行います。

この論文において、ロボットコーチは、思考のレイヤー数、時間の扱い方、学習方法などの要素を変更することで、「ユーザー基盤モデル」を微調整しました。このプロセスは**ニューラルアーキテクチャ探索（NAS）**と呼ばれ、オリジナルのモデルよりも大幅に優れたバージョンのモデルを見つけ出しました。

結果： 「おそらく」から「イエス」へ

チームは、新しいロボットコーチによるモデルを二つの方法でテストしました。一つはシミュレーション（オフライン）、もう一つは実世界（オンライン）です。

1. シミュレーション（オフライン）:
彼らは、実際の広告リクエストの膨大なデータセットを用いてモデルをテストしました。彼らがすでに使用していたシステムと比較しました。

• 朗報: 新しいモデルは、ユーザーがクリックする予測を**+1.354%**向上させました。広告の世界において、これは巨大な飛躍です。
• 「壊れた足跡」テスト: 彼らは、非常に短い、あるいは欠落した履歴を持つユーザーに対して特別にテストを行いました。履歴がほとんどないユーザーであっても、モデルは予測を**+0.99%**向上させました。これは、たとえ「映画」がたった一フレームであっても、モデルが機能することを証明しています。
• 汎用性テスト: 彼らは、異なる種類の予測タスク（クリックされるかどうかだけでなく、入札に勝つかどうかを予想するなど）に対してモデルを試しました。そこでも機能し、予測を**+1.197%**向上させました。これは、モデルが特定のタスクのためのトリックではなく、人間の行動に対する深い理解を学習したことを示唆しています。

2. 実世界（オンライン）:
チームは7日間のライブテストを実施し、ユーザーの半分に新しいモデルを、残りの半分に古いモデルを見せました。

• 結果: 新しいモデルのグループは、広告へのクリック率が2.13%高くなりました。
• コスト: 広告がより関連性の高いものになったため、クリック単価は1.13%低下しました。
• 信頼性: チームはこれらの数値に非常に自信を持っています。彼らは80%の信頼区間を算出したため、この改善が単なる運ではなく、現実のものであると統計的に確信しています。

なぜこれが重要なのか

この論文は、ユーザーを理解するために完璧で長い履歴は必要ないということを示しています。断片的で、短く、匿名であるデータであっても、スマートなモデルは物語を繋ぎ合わせることができるのです。

著者らは、このアプローチが改善のための「新しい軸」を開くものであると示唆しています。それは単に既存の数学を少し良くすることではありません。ユーザーデータを「単なるカウントのリスト」としてではなく、「理解すべきシーケンス」として扱うという、全く新しい考え方を導入することなのです。この方法により、彼らは、ログインしないインターネット上の「ゴースト」たちに対しても、より関連性の高い広告を提供する方法を見つけ出しました。

チームは限界についても認めています。彼らは一つの特定のモデルアーキテクチャと、一つの特定のデータセットのみをテストしました。また、彼らの「ロボットコーチ」が良い解決策を見つけたかもしれないが、それが「絶対的な最善」の解決策であるかどうかは分からないとも述べています。しかし、ライブテストは、このアプローチが実世界で機能することを裏付けており、理論的なアイデアを、オープンウェブをもう少し混沌としたものではなく、よりパーソナルなものに変えるための実用的なツールへと変えています。