Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting

小売販売予測に関する本研究は、欠損値や不規則な需要といった実務的な制約下では、複雑な深層学習モデルよりもXGBoost などの局所的な木ベースのアンサンブル手法が RMSE 4.833 で最高性能を示し、問題特性に合わせたモデル選択が重要であることを示しています。

要約

この論文は、**「実店舗（スーパーやドラッグストアなど）の売り上げを予測する際、最新の AI（深層学習）と、昔ながらの賢い統計手法（木型モデル）のどちらが勝つか？」**という問いに、実際のデータを使って答えを出した研究報告です。

まるで**「最新の高性能スポーツカー（AI）」と「頑丈で信頼できるオフロード車（統計モデル）」**を、泥濘（ぬかるみ）の山道（実店舗の複雑な環境）で走らせて競わせるような実験でした。

以下に、専門用語を排して、わかりやすい比喩を使って解説します。

---

1. 実験の舞台：なぜ実店舗は難しいのか？

この研究が行われたのは、東欧の大手小売チェーンのデータです。ここには以下のような「泥濘（ぬかるみ）」がありました。

• ** intermittency（断続的な需要）**: 商品が売れる日はあるけど、次の週は全く売れない日が続く。まるで「突然の雨」のように予測しにくい。
• 欠損データ: 記録が抜けている日がある。
• 商品入れ替え: 棚から商品が消えたり、新しい商品が来たりして、過去のデータが参考にならないことが多い。

多くの最新の AI は、**「大量のきれいなデータ（Amazon や Zalando のようなネット通販）」**で育ち、そこでは大活躍します。しかし、実店舗のような「ごちゃごちゃした、データが欠けていて、商品がコロコロ変わる環境」では、どうなるのでしょうか？

2. 対決する選手たち

研究チームは、3 つのグループの選手を戦わせました。

1. 古典的な統計選手（Exponential Smoothing など）: 昔から使われている、シンプルで堅実な選手。
2. 最新の AI 選手（N-BEATS, TFT など）: 深層学習を使った、複雑なパターンを学習できる「天才的な頭脳」を持つ選手。
3. 木型モデルの選手（XGBoost, LightGBM）: 決定木（ツリー）を組み合わせて、複雑なルールを「分岐」で判断する、実務に強い選手。

3. 実験の結果：意外な勝者は？

結果は、**「木型モデルの選手（XGBoost と LightGBM）」**の圧勝でした。

• 勝者（XGBoost）: 最も正確な予測を行い、誤差が最も少なかったです。
• 敗者（最新の AI）: 複雑な環境では、かえって混乱してしまいました。特に、データを無理やり補完（欠損部分を推測して埋める）しようとした場合、AI はその「補完された嘘のようなデータ」に騙されて、精度が落ちました。

【重要な発見：データの「味」が違う】
研究チームは、欠損データを埋めるために「SAITS」という高度な AI を使ってみました。しかし、この AI が埋めたデータは、**「本物のデータとは味が違う（分布が歪んでいる）」**ことがわかりました。

• AI 選手は、この「味が違うデータ」を真に受けてしまい、学習が狂ってしまいました。
• 木型モデルは、多少の「味の違うデータ」があっても、本質的なルール（価格やプロモーションの影響など）を見抜く力が強く、比較的安定していました。

4. 何が勝ったのか？（比喩で解説）

• オフロード車 vs スポーツカー:

  • スポーツカー（最新 AI）: 舗装された高速道路（大量のきれいなデータ）なら爆速ですが、実店舗のような「ぬかるみ（欠損データや断続的な需要）」では、タイヤが空回りして進めません。
  • オフロード車（木型モデル）: 見た目は地味ですが、泥濘の中でもしっかりグリップし、目的地（正確な予測）にたどり着きます。

• 「個別指導」vs「一斉授業」:

  • 研究では、「商品グループごとに個別にモデルを作る（個別指導）」と、「全部まとめて 1 つのモデルで教える（一斉授業）」を比べました。
  • 実店舗では、商品によって売れ方が全く違うため、**「個別指導（ローカルモデル）」**の方が、それぞれの生徒（商品）の個性に合わせた学習ができ、成績が良くなりました。

5. 結論：私たちが何を学ぶべきか？

この研究が伝えたかったメッセージはシンプルです。

「最新の AI が何でもできるわけではない。現場の状況（泥濘）に合った、頑丈な道具を選ぶことが重要だ。」

• 実店舗の売り上げ予測では、複雑で高価な深層学習（AI）を使うよりも、XGBoost や LightGBMのような「木型モデル」を使う方が、精度も高く、計算コストも安く、速いことが証明されました。
• 無理にデータを補完（Imputation）して AI に学習させるよりも、**「欠損があるまま、でも本質的なルールを捉える」**方が、実務ではうまくいくことが多いのです。

まとめ

この論文は、**「最先端の技術が常に正解とは限らない」ことを教えてくれます。実店舗のような複雑で不完全な世界では、「シンプルで頑丈な木型モデル（XGBoost など）」**が、泥濘を駆け抜けるための最高の相棒であることがわかりました。

お店の在庫管理や仕入れ計画を立てる際は、派手な AI ではなく、この「実戦に強いオフロード車」を選ぶのが賢明だということです。

技術概要

論文要約：小売売上予測における現代機械学習モデルの比較分析

この論文は、実体店舗（Brick-and-Mortar: B&M）の小売環境における需要予測課題に焦点を当て、統計的ベースライン、木ベースのアンサンブルモデル、および深層学習アーキテクチャを大規模に比較評価した研究です。特に、間欠的な需要、欠損値の多さ、頻繁な商品入れ替えといった実務的な制約条件下でのモデル性能を検証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 研究の背景と問題定義

• 課題: 実体店舗の小売業では、在庫管理の最適化とコスト最小化のために正確な需要予測が不可欠です。しかし、B&M 環境は、数千の店舗ごとに異なる販売実績、限られた棚スペース、頻繁な商品構成の変更により、ノイズの多い間欠的な需要（Intermittent Demand）や欠損値、商品欠品（Censorship）といった複雑な特徴を持っています。
• 既存研究の限界: 過去の研究（M5 予選など）や大規模オンライン小売（Amazon や Zalando など）では、深層学習モデルが有望視されることもありますが、B&M 特有の断片化されたデータ環境において、深層学習が木ベースのモデルを上回るかどうかは明確ではありませんでした。
• 目的: 東南欧の主要小売業者からの実データを用い、26 週間（182 日）先の売上を予測するタスクにおいて、異なるモデルアーキテクチャ、モデル範囲（ローカル vs グローバル）、および欠損値処理戦略の効果を体系的に比較すること。

2. 手法とデータ

データセットの特徴

• 規模: 46,841 件の SKU-店舗組み合わせのタイムシリーズデータ。
• 特徴: 平均時系列長は約 727 日、欠損率は 20.9%、99.98% の系列にゼロ売上の日が含まれるなど、極めて間欠的な需要を示しています。
• カテゴリー: 衛生用品カテゴリー（27 グループ、79 のニーズ単位、446 店舗）。

前処理と特徴量エンジニアリング

• 欠損値処理:
  • 単純な補完（ゼロ埋め、前方/後方埋め、グループ中央値）に加え、深層学習モデル SAITS を用いた高度な補完実験も実施。
  • 欠品（Out-of-Stock）によるバイアスを避けるため、欠品期間のデータはモデル学習から除外。
  • 将来の情報が漏れないよう、過去のみ観測可能な変数と将来既知の変数を厳密に分類。
• 特徴量: 価格、プロモーション、カレンダー効果、競合他社の価格、マクロ経済指標（CPI、平均給与など）を統合。Boruta アルゴリズムを用いた特徴量選択を実施。

評価モデルと実験設定

• 対象モデル:
  • 統計的: ETS, Theta, Croston SBA (CSBA)
  • 木ベース: XGBoost, LightGBM
  • 深層学習: N-BEATS, N-HiTS, Temporal Fusion Transformer (TFT)
• 実験条件 (4 構成):
  1. 個別グループごとの学習（非補完データ）
  2. 個別グループごとの学習（SAITS 補完データ）
  3. 全カテゴリー合同の学習（非補完データ）
  4. 全カテゴリー合同の学習（SAITS 補完データ）
• 評価指標: RMSE, MAE, 需要誤差 (Demand Error), 需要バイアス (Demand Bias), RMSSE, MASE など。予測は日次で行い、結果は週次で集約して評価。

3. 主要な結果

性能比較

• 木ベースモデルの優位性: 全体的に、XGBoostとLightGBMが深層学習モデルを凌駕しました。
  • 最良の結果は、個別グループで学習したXGBoostで、RMSE 4.833、MAE 1.935 を記録しました。
  • 深層学習モデル（N-BEATS, N-HiTS, TFT）は、特に個別グループ設定では木ベースモデルに劣りました。
• 補完データの影響:
  • SAITS による補完は、集約された設定（全カテゴリー合同学習）では深層学習モデルの性能を向上させましたが、それでも木ベースモデルには及びませんでした。
  • 興味深いことに、LightGBMは補完データを用いた個別グループ学習（Case C）で性能が劇的に低下しました（RMSE 4.847 → 10.758）。これは、補完によって生じた分布の圧縮や相関のシフトが、木モデルの学習に悪影響を及ぼしたためと推測されます。
• バイアス: アンサンブルモデルはわずかに過小評価（ネガティブバイアス）する傾向があり、ニューラルネットワークは過大評価（ポジティブバイアス）する傾向がありました。

計算効率

• 学習時間: 木ベースモデルは深層学習モデルに比べて圧倒的に高速です。
  • XGBoost: 約 14.5 分
  • LightGBM: 約 35.6 分
  • 深層学習（TFT など）: 数時間〜数日（1 エポックあたり数時間かかるものも）
• メモリ使用量: 木ベースモデルはメモリ消費が少なく、実運用におけるスケーラビリティに優れています。

4. 主要な貢献

1. 実践的なガイドラインの提供: 大規模な実データを用いたエンドツーエンドのモデリングパイプライン（前処理、特徴量エンジニアリング、学習戦略）を提示し、小売実務家への指針を提供しました。
2. 包括的な実証比較: モデルアーキテクチャ（統計、木、ニューラル）、スコープ（ローカル vs グローバル）、データ前処理（補完あり/なし）の多次元における比較を行いました。
3. B&M 環境における知見の明確化: 実体店舗のような断片化され、間欠的なデータ環境では、「問題の特性に合わせたモデル選択（木ベースのローカルモデル）」が、アーキテクチャの複雑さ（深層学習）よりも重要であることを実証しました。

5. 結論と意義

• 結論: 実体店舗の小売売上予測においては、XGBoost や LightGBM などの木ベースアンサンブルモデルが、深層学習モデルよりも高い精度と計算効率を達成します。特に、個別の商品グループごとにモデルを構築する「ローカルアプローチ」が最も効果的でした。
• 深層学習の限界: 大規模なオンライン小売（Zalando など）で見られる「データ量が増えるほど深層学習の精度が向上する」というスケーリング則は、今回のような断片化された B&M データセットでは確認されませんでした。
• 実務への示唆: 在庫管理や需要計画において、最先端の複雑なニューラルネットワークを採用する前に、まずは木ベースのモデルを最適化することが、コスト対効果の面で最も合理的であるという結論に至りました。また、欠損値補完技術の導入には注意が必要であり、モデルの特性に合わせて慎重に選択する必要があることを示唆しています。

この研究は、理論的なモデルの性能だけでなく、実世界の制約（ノイズ、欠損、計算リソース）を考慮した、実用的な予測モデル選定の重要性を浮き彫りにしています。