Model selection with proper scoring rules on data sets of time series

あなたは、最高の選手をチームに選ぼうとしているコーチだと想像してください。あなたは膨大な数の選手（時系列データ）を抱えており、誰が平均して最も優れたパフォーマンスを発揮しているかを知りたいと考えています。彼らを評価するために、あなたは「スコアカード」（適切なスコアリング・ルール）を使用します。これは、ミスをするたびにペナルティ数を与えるものです。この数値が低いほど、優れた選手であることを意味します。

この論文は、多くの選手と多くの試合がある場合に、そのスコアカードをどのように読み解くべきかについて書かれたものです。著者たちは、スコアを集計する際、通常の方法では、時に誤った選手を選んでしまうという罠があることを発見しました。特に、試合数が少なかったり、ミスが稀ではあるものの非常に巨大であったりする場合にその傾向があります。

以下に、簡単な比喩を用いて解説します。

1. 問題点：2つのカウント方法

チームの選手を評価する場合、単一の試合を見るだけでは不十分です。結果を組み合わせる必要があります。論文によると、コーチが通常行う集計方法には主に2つの方法があります。

• 方法A：「平均ペナルティ」（平均スケーリング・スコア）。 選手が受けたすべてのペナルティポイントをすべて足し合わせ、それを試合数で割ります。これにより、ミスの「平均的なコスト」がわかります。
• 方法B：「勝敗記録」（平均ランク）。 ポイントは見ません。代わりに、「プレイヤーAはプレイヤーBに何回勝ったか？」を単純に数えます。勝ち数をカウントします。プレイヤーAの方が多くの試合で勝っていれば、その選手がトップとなります。

2. 罠：「巨大なミス」による歪み

特定の種類の予測（稀なイベントや高い値を予測する場合など）において、スコアカードは「歪んでいる」ことが著者らによって発見されました。

比喩：
あるゲームを想像してください。そこでは、普段は小さなミス（靴紐でつまずくなど）しかしませんが、たまに、とてつもなく巨大なミス（崖から転落するなど）を犯すことがあります。

• 「平均ペナルティ」（方法A） は、崖からの転落を見逃しません。すべての小さなつまずきと、一度の巨大な転落をすべて合算し、高い平均ペナルティを与えます。この方法は、その選手がどれほど危険であるかを知っています。
• 「勝敗記録」（方法B） は、個々の試合を個別に見ていきます。100試合のうち99試合では、あなたは単に靴紐でつまずいただけであり、ペナルティはごくわずかです。そして残りの1試合で、崖から転落しました。
  • もしライバルが「決して崖からは落ちないが、あなたよりも頻繁に少しつまずく」という選手だった場合、方法B はこう言うかもしれません。「おい、君は99勝したぞ！君がチャンピオンだ！」
  • しかし、方法A はこう言います。「待て、その一度の崖からの転落がシーズン全体を台無しにした。君の平均ペナルティは実際にはもっと悪い。」

論文は、方法B（平均ランク） は危険であると主張しています。なぜなら、それはミスの「大きさ」を無視しているからです。それは単に、個々のラウンドで誰が勝ったかということだけに注目します。もし「崖からの転落（巨大なエラー）」が稀な出来事である場合、方法Bはそれを見落としがちであり、特にテストセット（観測期間）が短い場合にはその傾向が顕著になります。

3. 解決策：より多くの試合を見る

著者らは、試合数（テストセットのサイズ）を増やすとどうなるかを調べるためにシミュレーションを行いました。

• 短いテストセット（少ない試合数）： 方法Bは信頼性が低くなります。稀な巨大なミスを避けることができた「運の良い」選手を、実際にはパフォーマンスが劣っているにもかかわらず、チャンピオンとして選んでしまうことがよくあります。
• 長いテストセット（多くの試合数）： 試合を長く見続けるにつれて、「崖からの転落」が十分に発生するようになり、方法Bも真実を見出し始めます。2つの手法は一致するようになります。

重要な発見： データが少ない場合（短いテストセットの場合）、方法A（平均ペナルティ） だけが、一貫して真に優れたモデルを選び出すことができます。方法Bは、稀に起こる巨大なエラーを回避できたという「運」に簡単に騙されてしまうのです。

4. 実世界のテスト：M5コンペティション

著者らは、数千の製品（販売が極めて稀な「間欠的」なものも含む）の需要予測を行う有名な「M5予測コンペティション」の実際のデータを用いて、この検証を行いました。

彼らは2つの数学的モデルを比較しました。

1. ポアソン・モデル： よりシンプルなモデル。
2. 負の二項分布モデル： 需要の「スパイク（急増）」を扱うのに優れていることで知られる、より複雑なモデル。

何が起きたのか？

• 短いデータに対して 方法B（平均ランク） を使用すると、しば しば ポアソン・モデル が選ばれました。シンプルなモデルの方が、個別のラウンドで「勝って」いるため、より優れていると判断されたのです。
• 方法A（平均ペナルティ） を使用すると、一貫して 負の二項分布モデル が選ばれました。これは、スパイク（急増）をより適切に扱えるモデルであるという正解を導き出していました。

著者らは、方法Aが正しかったと結論付けました。方法Bは、テストセットが短すぎたために、シンプルなモデルが予測できなかった「稀で巨大なエラー」を捉えきれず、騙されてしまったのです。

5. ペナルティの測定方法を変えても影響するか？

論文では、ペナルティを測定するために使用される「定規」（スケーリング係数）を変更した場合に、結果が変わるかどうかも検証しています。

• 朗報： 「平均ペナルティ」法は非常に堅牢（ロバスト）です。ペナルティをドルで測ろうが、パーセンテージで測ろうが、あるいは基準値に対して測ろうが、ほぼ常に同じ勝者を選び出します。
• 悲報： 「勝敗記録」法は脆弱です。測定方法やデータの量によって、結果がコロコロと変わってしまうことがあります。

まとめ

最高の予測モデルを選ぼうとしているなら：

1. 勝ち数だけを数えないこと。（平均ランクだけに頼らないこと）。
2. ミスの平均的なコストを見ること。（平均スケーリング・スコアを使用すること）。
3. 短いデータには注意すること。 もし履歴が十分にないのであれば、「勝敗（Win-Loss）」による方法は、見た目は良くても、稀に起こる大きなイベントが発生した際に失敗してしまうモデルを、あなたに選ばせてしまう可能性があります。

この論文は本質的にこう言っています。「一度の巨大な災難を回避できたという『運』によって、その選手を最高だと勘違いしてはいけません。その選手のトータルの平均的なパフォーマンスを見なさい。」