技術的概要：実用的な小売洞察のための強化学習を用いた顧客軌道のモデル化

1. 問題定義

小売店舗レイアウト最適化の中心的な目標は、主に衝動買い（商品配置や露出に影響される自発的な購入）によって牽引される利益の最大化です。レイアウトを最適化するためには、小売業者は顧客の移動パターン（軌道）を理解する必要があります。しかし、現実世界の軌道データを収集することはコストがかかり、特に小規模な小売業者にとってはしばしば不可能です。

その結果、業界は安価なヒューリスティック近似に依存しています：

• 巡回セールスマン問題（TSP）： 顧客が全体的に最短の経路をたどると仮定します。
• 確率的近傍探索（PNN）： 次のアイテムが近接性に基づいて選択される確率的な貪欲な経路をモデル化します。

ギャップ： 先行研究は、実際の顧客軌道が最短経路推定値から平均して**28%**逸脱していることを示しています。これによりトレードオフが生じます。ヒューリスティックは安価ですが非現実的であり（行動の多様性や限定合理性を捉え損なう）、実データは正確ですが過度に高価です。本論文は、ヒューリスティックよりも行動的に正確でありながら、新たな真実データ（ground-truth data）の収集よりもアクセスしやすい手法を提案することで、このギャップを埋めることを目指しています。

2. 手法

著者は、顧客軌道の予測を最大エントロピー強化学習（MaxEnt RL）問題として定式化するエージェントベースのモデル化フレームワークを提案します。

2.1 環境とデータ

• データソース： コンビニエンスストアから収集された匿名化された 3 次元関節座標と精算カゴ（2023 年 9 月～2024 年 2 月収集）。
• 離散化： ストアは$16 \times 36$のグリッド（セルあたり 50cm）としてモデル化されます。データセットは、11 カテゴリにわたる上位 61 商品のベストセラーに焦点を当てています。
• 前処理： 軌道は入口で開始し、精算所で終了するように正規化されます。無効な点は修正され、軌道は$(state, action)$の系列に変換されます。

2.2 強化学習の定式化

• エージェント： 顧客は、畳み込みニューラルネットワークをバックボーンとして**近接方策最適化（PPO）**を用いて訓練された条件付き MaxEnt RL エージェントとしてモデル化されます。
• 目的： エージェントは、期待累積報酬を最大化すると同時に方策エントロピーも最大化します。この二重の目的により、エージェントは単一の決定論的な最短経路ではなく、多様かつタスクに有効な経路を見つけるよう促され、効果的に限定合理性をモデル化します。
• 観測： エージェントは、多層の 2 次元テンソルを観測します。これには以下が含まれます：
  • 物体マップ（壁、棚、商品）。
  • ステップ数と時間ステップ予算（移動距離を制御するため）。
  • 未訪問セルのバイナリマスク。
  • 条件付きカゴ（意図する購入品）と精算場所。
• 行動： 前進、左折、右折、およびピックアップ/精算。
• 報酬： 拾い上げた商品の精度、正しい精算の使用、および時間ステップ予算への準拠に基づきます。探索をさらに促すため、一意の状態を訪問することに対してボーナス報酬が付与されます。

2.3 ベースライン

RL アプローチは以下のものと比較されます：

1. TSP： 可能な最短経路を計算します。
2. PNN： 距離に基づいて次の商品を確率的に選択します（近い商品ほど選択されやすい）。

3. 主要な貢献と実験結果

本研究は、軌道の類似性、棚の交通量推定、衝動率/利益最適化の 3 つの段階を通じてフレームワークを評価します。

3.1 軌道生成の精度

シミュレーションされた軌道と実データ（ground-truth human data）を比較するために**ジェンセン・シャノン発散（JSD）とワッサーシュタイン距離（WD）**を使用します：

• 結果： RL は TSP と PNN の両方を大幅に上回りました。
  • 平均 JSD： RL (0.476) < PNN (0.676) < TSP (0.777)。
  • 平均 WD： RL (0.00920) < PNN (0.0142) < TSP (0.0176)。
• 定性的洞察： TSP は、多峰性の行動（例：店舗下部を通るより長い経路をたどる顧客など）を捉え損ねています。PNN はある程度の確率性を捉えますが、依然として最短経路に偏っています。MaxEnt RL は、人間の行動と整合する多様かつ有効な軌道を成功裡に回復します。

3.2 棚の交通量密度の推定

棚の交通量密度（$\theta_b$）は、棚が訪問される確率です。

• 手法： 訪問された棚をマークするために軌道が生成されました。
• 結果： RL によって生成された交通量密度マップは、TSP や PNN よりも人間の真実データに近い（JSD/WD が低い）ものでした。ヒューリスティックは、必須アイテムと精算所の間の直接最短経路上にない棚への訪問を予測できませんでした。

3.3 衝動率の推定

衝動率は以下の式を用いて推定されました：$P_{purchase} = P_{visit\_shelf} \times P_{impulse\_rate}$。

• 課題： 特定の製品クラスター（例：クラスター 2）の場合、TSP と PNN の軌道は、衝動商品（ソフトドリンク、フルーツ/ヨーグルト）を含む棚を一度も訪問しなかったため、ゼロ除算エラーが発生するか、衝動率の推定値が無限大になりました。
• RL の性能： RL 軌道はこれらの棚を正常に訪問しました。絶対値は真実データとわずかに異なりましたが、RL は衝動率の相対的な順序を保持しました（ソフトドリンクがフルーツ/ヨーグルトよりも衝動的であると正しく識別）。一方、ヒューリスティックはこれらを区別できませんでした。

3.4 レイアウト最適化（再配置）

著者は、利益を最大化するために、単一の衝動商品を空いていて交通量の多い棚に再配置するシミュレーションを行いました。

• 意思決定： RL だけが、実際の人間のデータから導き出された意思決定と一致する、正しい「最も利益の大きい」衝動商品（ソフトドリンク）と正しい交通量の多い棚の場所を特定しました。TSP と PNN は、最適ではない商品と場所を選択しました。
• 利益の結果： 人間の軌道で評価された場合、RL に基づくレイアウトは、真実の最適レイアウトと同等の利益増（0.162 ドル）をもたらしました。TSP と PNN に基づくレイアウトは、著しく低い収益（それぞれ 0.090 ドルと 0.050 ドル）をもたらしました。

4. 意義と主張

本論文は、最大エントロピー RL が、過度に単純化されたヒューリスティックとデータ集約的なアプローチの両方に対する、実用的で行動に基づいた代替手段を提供すると主張しています。

• ギャップの埋め合わせ： RL は、TSP/PNN の不正確さと実データ収集のコストの間の空白を埋めます。
• 実行可能な洞察： ヒューリスティックとは異なり、RL ベースの予測は実際の顧客行動と整合する再配置の意思決定をもたらし、真実データから導き出されたものと同様の利益増をもたらします。
• アクセシビリティ： ソースコードとデジタルツイン環境を公開することで、著者は、専有データ収集を負担できない小売業者にとって正確なレイアウト最適化をアクセス可能にすることを目指しています。
• 限界と今後の課題： 著者は、堅牢な RL 方策の訓練には計算コストがかかり、現在、新しいレイアウトに対しては再訓練が必要であることを認めています。彼らは、レイアウトを再訓練なしで一般化するためのドメインランダム化、および外側のエージェントが配置を調整し、内側のエージェントが行動をモデル化するエンドツーエンドのレイアウト最適化に関する今後の研究を提案しています。

結論として、本研究は、RL によって生成された軌道が単に人間の行動に統計的に近いだけでなく、利益を最大化する店舗レイアウトの意思決定を推進する上で機能的に優れていることを実証しています。