T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

本論文は、オンライン生鮮食品ショッピングにおける反復的な購入パターンや複雑なアイテム関係といった課題に対処するため、動的シーケンス分割、適応的ポジショナルエンコーディング、カテゴリレベルモデリングという 3 つの革新を導入し、BERT4Rec などの既存手法よりも優れた次回の買い物かご予測を実現するトランスフォーマーベースのモデル「T-REX」を提案するものである。

要約

この論文は、アマゾンのオンライン・スーパーマーケットで使われている新しい AI 技術「T-REX（ティラノサウルス・レックス）」について書かれています。

一言で言うと、**「あなたがいつも何を買うかだけでなく、次はどんな『買い物カゴ』の組み合わせが欲しいかを、賢く予測するシステム」**です。

専門用語を抜きにして、わかりやすい例え話で解説します。

---

🛒 従来のシステム vs 新しい「T-REX」

1. 従来のシステム：「過去の記録帳」

これまでのシステムは、**「過去の記録帳」のようなものでした。
「この人は過去に牛乳を 10 回買ったから、次も牛乳を勧めよう」「洗剤もよく買うから、これも勧めよう」という、「よく買うものリスト（頻度ベース）」**を元に提案していました。

• メリット: 単純で確実。
• デメリット: 「今日は牛乳はいいけど、パンとバターが欲しいな」という**「その時の組み合わせ」や「季節感」**まで考えられません。まるで、いつも同じメニューしか出さないレストランのようです。

2. 新しい T-REX：「賢い買い物パートナー」

T-REX は、**「あなたの買い物習慣を深く理解する、賢いパートナー」です。
単に「よく買うもの」をリストアップするだけでなく、「過去の買い物カゴ全体のパターン」や「時間との関係」**を勉強して、次に来るべき「完璧な買い物カゴ」を提案します。

---

🦖 T-REX の 3 つの「超能力」

このシステムがなぜ優れているのか、3 つのポイントで説明します。

① 「時間割」の工夫（動的なシーケンス分割）

• 問題: 買い物は毎日あるわけではなく、週に 1 回や月に 1 回など、間隔がバラバラです。
• T-REX の解決策:
  従来の AI は「1 回ごとの買い物」をバラバラに勉強していましたが、T-REX は**「過去の買い物を、時間軸に沿って自然に区切って」**勉強します。
  • 例え話: 映画を 1 回ずつ見るのではなく、「物語の流れ（ストーリー）」として通して見るようなものです。これにより、「先週はパンを買ったから、今週はバターが必要かもしれない」という時間的なつながりを学習できます。

② 「カレンダー」の読み方（適応型ポジショナルエンコーディング）

• 問題: 文章の「1 行目、2 行目」は決まっていますが、買い物は「3 日前」「2 ヶ月前」など、間隔が一定ではありません。
• T-REX の解決策:
  単純な「順番」ではなく、**「 pivot（軸）となる買い物から、何日経ったか」**という感覚で時間を捉えます。
  • 例え話: 普通の時計は「1 時、2 時」と刻みますが、T-REX の時計は**「お誕生日から何日後か」や「次のイベントまで何日か」という相対的な感覚**で時間を理解します。これにより、季節の変わり目や、久しぶりの買い物でも正しく予測できます。

③ 「大きな枠組み」で考える（カテゴリレベルのモデル化）

• 問題: 商品数は 2 万 9 千種類もあります。一つ一つを覚えるのは大変で、計算も重くなります。
• T-REX の解決策:
  商品名（「フルーティー・ヨーグルト」）ではなく、**「カテゴリー（乳製品）」**という大きな枠組みで考えます。
  • 例え話: 2 万 9 千種類の「名前」を覚える代わりに、「35 種類の『棚』」（乳製品、野菜、飲料など）の配置を覚えるイメージです。
  • 効果: 計算が軽くなり、かつ「牛乳が欲しいなら、次はチーズやバターも棚に並ぶはずだ」という自然な組み合わせを提案しやすくなります。

---

🧠 なぜ「BERT」ではなく「T-REX」なのか？

最近の AI（BERT など）は、文章の穴埋めゲームが得意です。「私は牛乳と___を買った」という文で「パン」を当てさせるのは得意です。
しかし、**「次に来るべき買い物カゴ全体」**をゼロから作り出す（生成する）任务には、少し不向きでした。

• BERT の弱点: 未来の情報を「覗き見」して答えを当ててしまう癖があり、現実の「次は何を買うか？」という予測にはズレが生じます。
• T-REX の強み: **「因果関係」**を厳格に守ります。「過去に見たもの」だけを頼りに、「未来のカゴ」を一つずつ丁寧に組み立てていくので、現実の買い物シーンに完璧にフィットします。

---

📊 結果：どれくらいすごいのか？

アマゾンで実際にテストした結果、以下のことがわかりました。

1. 精度の向上: 従来の「よく買うものリスト」よりも、23% も売上が向上しました。
2. 新客に強い: 買い物履歴が少ない新しいお客様でも、T-REX は「他の多くの人がどんな買い物をしているか」というパターンを参考にできるため、昔からのお客さんと同じくらい正確な提案ができます。
3. カゴ作りの効率化: 単に「おすすめ」を並べるだけでなく、**「あなたが本当に欲しい順番」**で提案できるため、お客様がカゴを組むのがとてもスムーズになりました。

🌟 まとめ

T-REX は、「過去のデータ」を単に並べるのではなく、「あなたの生活リズムと買い物の流れ」を深く理解して、次に来るべき「完璧な買い物カゴ」を提案する AIです。

まるで、あなたのことを何年も知っている**「最高の買い物仲間」**が隣にいて、「今日はパンとバター、それに季節の果物もいかがですか？」と、自然な流れで提案してくれるような体験を実現しています。

技術概要

T-REX: グローサリーバスケット推薦のためのトランスフォーマーベースのカテゴリシーケンス生成

技術サマリー（日本語）

本論文は、Amazon のオンライン Grocery ビジネスにおける課題を解決するために提案された、新しいトランスフォーマーアーキテクチャ**「T-REX」**について詳述しています。従来の E コマースとは異なり、Grocery 購入は反復的な購買パターンとバスケット内の複雑なアイテム関係が特徴であり、単なる探索的な推薦ではなく、顧客の購買習慣に合致した「バスケット全体」の生成が求められます。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem Formalization)

Grocery 領域における「次回のバスケット予測（Next Basket Prediction）」は、顧客の購買履歴から完全なショッピングバスケットを生成するタスクです。

• 課題:

  • 反復性と構造化: 家電や家具とは異なり、Grocery は定期的な購入と関連アイテムの組み合わせが重要であり、単純な頻度ベースの推薦（Personal Top Frequency: P-Top）を超えることが困難です。
  • データスパース性と次元: 29,000 種類以上の製品を直接扱うと、データがスパースになり、計算コストが膨大になります。
  • 時間的パターンの複雑さ: 購入セッション間の間隔が不規則（数日〜数週間）であり、従来の NLP 向け位置エンコーディングが適さない場合があります。
  • 情報漏洩のリスク: BERT4Rec などの双方向モデル（Masked Language Modeling）は、将来のアイテムを「覗き見」してしまうため、実際の逐次的なバスケット生成タスクには不向きです。

• 解決アプローチ:

  • 製品レベルではなくカテゴリレベル（Amazon の Grocery 分類に基づき、35 カテゴリ、または詳細化して 280 カテゴリ）でモデルを構築することで、次元を削減し、顧客の購買意図（「乳製品」「野菜」など）に合致した推薦を実現します。

2. 手法とアーキテクチャ (Methodology)

T-REX は、エンコーダ - デコーダ構造を持つトランスフォーマーを採用しており、以下の 3 つの主要な革新技術を組み合わせています。

A. 動的シーケンス分割 (Dynamic Sequence Splitting)

• 概要: 顧客の購買履歴を固定的なセッション単位で分割するのではなく、時間軸上のランダムな「ピボット（基準点）」を動的に選択し、その前後をエンコーダ入力とデコーダ目標として分割します。
• 利点:
  • 異なる時間スケールでの文脈を学習でき、新しい顧客や履歴の短い顧客に対する汎化性能を向上させます。
  • セッションの途中（バスケット構築中）でも推薦を生成できるため、リアルタイム推奨に適しています。

B. 適応的ポジショナルエンコーディング (Adaptive Positional Encoding)

• 課題: Grocery 購入は数日〜数週間隔で発生するため、絶対的な位置や標準的な正弦波エンコーディングでは不十分です。
• 解決策: ピボット購入からの相対的な日数（ピボット前後の日数）を正規化して位置情報として使用します。これにより、不規則な時間的パターンを効果的に捉えつつ、長期の依存関係を適切にモデル化します。

C. カテゴリレベルのエンコーダ - デコーダ構造

• エンコーダ: 全顧客の購買履歴を双方向に処理し、バスケット構成の一般的なパターンや、検索クエリ・閲覧行動などの追加信号を学習します。
• デコーダ: 因果的マスク（Causal Masking）を用いて、過去の購入情報のみに基づいて次のカテゴリを逐次生成します。
• クロスアテンション: エンコーダの文脈（全体的なパターン）をデコーダ（個別の履歴）に伝達し、個人化された推薦を可能にします。
• BERT4Rec との違い: 双方向モデルではなく、生成タスクに特化した因果的マスクを採用することで、情報漏洩を防ぎ、次回のバスケット生成に最適なアプローチを実現しています。

3. 主要な貢献 (Key Contributions)

1. T-REX アーキテクチャの提案: Grocery 領域の特性（反復性、カテゴリ依存、時間的不規則性）に特化した、エンコーダ - デコーダ型トランスフォーマーの設計。
2. 3 つの技術的革新:
   • 疎な購買パターンに対応する「動的シーケンス分割」。
   • 不規則な時間間隔を捉える「適応的ポジショナルエンコーディング」。
   • 計算効率と直感的な推薦を両立する「カテゴリレベルモデリング」。
3. 新しい評価指標の導入: 単なる Precision/Recall だけでなく、**「ランクマッチング（Rank-Matching）」**評価を導入。顧客の実際の購買頻度順位と、モデルが生成した推薦順位の一致度を測定し、バスケット構築の効率性を定量化しました。

4. 結果 (Results)

大規模なオフラインデータセット（100 万セッション以上）とオンライン A/B テストを通じて検証されました。

• オフライン評価:

  • P-Top（頻度ベースのベースライン）との比較: 全ての k 値（バスケットサイズ）において、Precision@k と Recall@k で P-Top を上回りました。
  • 一貫性: ボックスプロット分析により、T-REX は頻度ベースのルールを単に暗記するのではなく、汎化可能な購買パターンを学習し、より一貫した品質の推薦を提供することが示されました。
  • ランクマッチング: 正確なランク一致率が 30%（P-Top は 27%）、1 ランク以内の一致率が 60%（P-Top は 48%）と、顧客の重要カテゴリを推薦リストの上位に配置する能力が優れていることが確認されました。
  • 顧客セグメント: 新規顧客やバスケットサイズが小さい場合（<5 個）に特に顕著な改善（10〜30% のアドバンテージ）が見られました。

• オンライン A/B テスト（生産環境）:

  • 成果: 消費財（Consumables）の推薦ウィジェットにおいて、クリック率（CTR）が最も高く、注文商品売上、複合売上、粗利貢献度で有意な改善を達成しました。
  • 売上向上: T-REX による売上向上幅は、Amazon 全体の一般的な推薦システムと比較して約23% 高い水準でした。
  • 因果推論: ダブル・マシン・ラーニング（DML）を用いた分析により、長期的なポジティブな累積効果（Incremental Lift）が確認されました。

5. 意義と結論 (Significance and Conclusion)

• 実用性の高さ: 理論的なモデル性能だけでなく、大規模な実環境での A/B テストでビジネス指標（売上、利益）に直接寄与する成果を上げています。
• ドメイン特化の重要性: 汎用的な推薦アルゴリズム（BERT4Rec など）や単純な頻度ベースのアプローチでは解決できない Grocery 特有の課題（反復性、カテゴリ構造、時間的間隔）に対して、ドメイン知識をアーキテクチャに組み込むことの有効性を示しました。
• 将来展望: 本論文は、大規模基礎モデル（LLM）の時代におけるパーソナライゼーションの新たな方向性を示唆しており、特にカテゴリレベルの抽象化と時間的パターンのモデル化が、他の反復的購買領域（サブスクリプション、定期購入など）への応用可能性を開くものです。

総じて、T-REX は、Transformer の力を Grocery 領域の複雑な文脈に最適化し、顧客体験の向上とビジネス成果の両立を実現した画期的なシステムです。