FreshRetailNet-LT: A Stockout-Annotated Censored Demand Dataset for Latent Demand Recovery and Forecasting in Fresh Retail
本論文は、正確な欠品アノテーションを備えた5万件の店舗・商品別時系列データを特徴とする初のラージスケール・ベンチマークデータセットであるFreshRetailNet-50Kを紹介するものであり、これにより、研究者は潜在需要を再構築し、検閲された売上データによって引き起こされる系統的なバイアスを補正することで、生鮮食品の予測精度を大幅に向上させることが可能となる。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、とても忙しいレモネードスタンドを運営していると想像してください。あなたは、完璧な量のレモネードを作るために、人々が「正確に何杯欲しがっているのか」を知りたいと考えています。作りすぎると、味が酸っぱくなってしまいます（廃棄）。逆に作りすぎると、販売機会を逃してしまいます。
問題は、あなたの売上記録が「嘘をつく」ことです。
問題：「空のカップ」の錯覚
生鮮食品（イチゴ、魚、牛乳など）の世界では、店舗が在庫切れになることがよくあります。例えば、100人の顧客がイチゴを欲しがっているのに、手元には50個しかありません。すると、午前11時には売り切れてしまいます。
その日の残りの時間の売上記録には、こう記されます。「売上：0」。
しかし、これは真実ではありません！需要は依然として存在していたのです。ただ、在庫が切れてしまっただけなのです。これは**「検閲されたデータ（censored data）」**と呼ばれます。これは、バッテリーが切れた瞬間に録画が止まってしまうカメラのようなものです。もし、この壊れたカメラから学ぼうとすれば、「午後11時以降は誰もイチゴを欲しがらないのだ」と誤解してしまい、翌日はさらに少ない量しか注文しないという悪循環に陥ってしまいます。
解決策：FreshRetailNet-LT
この論文の著者たちは、この「壊れたカメラ」を直すために、FreshRetailNet-LTという新しい、大規模なデータセットを作成しました。これは、生鮮食品の売上に関する「超詳細な日記」のようなものです。
何が特別なのか、簡単な例えを使って説明します。
1. 高画質ビデオ vs 日次サマリー
従来のデータセットの多くは、**「日次の要約メモ」のようなものです。「今日、リンゴが50個売れた」としか書いてありません。これでは、いつ在庫が切れたのかが分かりません。
この新しいデータセットは、「1時間ごとに記録された高画質ビデオ」**のようなものです。棚がいつ空になったのかを正確に示してくれます。2年間、18都市の1,000以上の店舗から、2万もの異なる製品のストーリーを記録しています。1時間単位で追跡しているため、たとえ午後2時に売上がゼロであっても、午前11時にイチゴが売り切れたことを特定できるのです。
2. 「真実のラベル」
通常、コンピュータは店舗が在庫切れになったかどうかを推測しなければなりません。しかし、このデータセットには**「検証済みの在庫切れラベル（stockout labels）」**が付いています。これは、先生が「棚が実際に空だったとき」にゴールドの星印をつけてくれるようなものです。これにより、研究者は「誰も欲しがらなかった（真の需要ゼロ）」のか、「在庫が切れた（検閲された需要）」のかを、コンピュータに教え込むことができます。
3. 文脈の手がかり（コンテキスト・クレュー）
このデータセットは単に売上を数えるだけでなく、売上の「天気予報」も記録しています。以下のような情報が含まれています。
- プロモーション： 50%オフのセールを行いましたか？（これは通常、需要の急増を引き起こします）。
- 天気： 雨は降っていますか？（人々は家で料理するために、新鮮な野菜をより多く買うかもしれません）。
- 祝日： 旧正月ですか？（人々は異なるものを購入します）。
検証方法：2ステップの修正
研究者たちは、この「嘘をつく売上記録」を修正するために、この新しいデータセットを用いて2段階の手法をテストしました。
- ステップ1：探偵の仕事（リカバリー／復元）
まず、「ゴールドの星」ラベルを使用して、欠落している売上を再構成しました。もし午前11時に棚が空になっていたなら、モデルは「もし棚が空でなかったら、何人の人がイチゴを買っていたはずか」を推定します。これは、映画の欠けているフレームを埋める作業に似ています。 - ステップ2：水晶玉（フォアキャスティング／予測）
次に、この「再構成された真実」を使用して、将来の需要を予測する方法をコンピュータに学習させました。
結果：より鮮明な景色
この手法をテストしたところ、結果は目覚ましいものでした。
- 推測の減少： コンピュータは需要を過小評価することをやめました。以前は、実際の需要よりも少なく見積もる誤差が約6.7%ありましたが、この新しい手法を使用した後、エラーはほぼゼロにまで減少しました。
- 精度の向上： 全体的な予測精度が**1.63%**向上しました。何百万ドルもの価値がある生鮮食品を販売する世界において、このわずかなパーセンテージが、多くの資金と廃棄を削減することにつながります。
なぜ重要なのか
この論文は単なる数学の話ではなく、壊れたシステムを直すためのものです。「在庫切れになった」ことを認め、「いつ起きたか」を伝えるデータセットを提供することで、店舗が食料品を品切れにするサイクルを止める助けとなります。これにより、店は腐りやすい商品を適切な量だけ注文できるようになり、皆さんがお店に行ったときに、実際にイチゴがそこにある状態を作れるようになるのです。
著者たちは、科学者と店主の両方がこのパズルを解けるよう、この「超詳細な日記」とそのコードを誰でも利用できるように公開しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。