Using dynamic loss weighting to boost improvements in forecast stability

揺れ動く予測の物語

時系列予測の世界において、コンピュータは過去を見て未来を推測する「水晶玉」のような存在です。しかし、これらの水晶玉には悪い癖があります。それは、気まぐれであることです。新しいデータが入ってくると、モデルは来週の予測を完全にひっくり返してしまうことがあります。これは「ローリング・オリジン予測不安定性（rolling origin forecast instability）」として知られています。例えば、あなたがパーティーの計画を立てているとしましょう。友人が「10人来ると思うよ」と言った直後に、「いや、やっぱり20人かな」と言い、さらに1時間後には「待って、やっぱり5人かも」と言ったら、あなたはかなりイライラするはずです。あなたは、適切な量のピザを注文するために、信頼できる予測を必要としています。

長い間、目標は予測をできるだけ正確にすることだけでした。しかし、現実の世界では、正確さだけが重要なわけではありません。もし予測が激しく変動しすぎるなら、人々はその予測を信じなくなります。人々は自分なりの「勘」による調整を始め、それが結果として予測の精度をさらに下げてしまうこともあります。そのため、研究者たちは、精度を損なうことなく、モデルに「安定性」を教えたいと考えました。

旧来の手法：固定されたルールブック

以前は、N-BEATS-Sと呼ばれる手法がこれを解決するために導入されました。これは、コンピュータに二部構成の宿題を与える仕組みでした。

1. パートA： 数値を正しく出す（正確さ）。
2. パートB： 新しいデータを得ても、答えをあまり変えない（安定性）。

コンピュータはこの2つのタスクのバランスを取らなければなりません。この方法の旧来のやり方は、静的なハイパーパラメータ（これを $\lambda$ と呼びましょう）を使用することでした。これは、人間がトレーニングを開始する前に設定する「ダイヤル」のようなものです。もしダイヤルを 0.025 に設定すれば、コンピュータには「正確さに97.5%集中し、安定性には2.5%だけ注意を払いなさい」と指示されます。もし 0.275 に設定すれば、「よし、もっと安定性に注意を払いなさい」と伝えることになります。

この静的なダイヤルの問題は、トレーニングプロセス全体を通して、その設定が石に刻まれたように固定されていることです。コンピュータは、いつ何に集中すべきかを自分で決めることができません。それはまるで、生徒に対して「学期中ずっと、数学に20%、歴史に80%の時間を使いなさい」と言うようなものです。たとえその生徒がすでに数学の天才であり、歴史の練習だけが必要な状態であったとしても、です。研究者たちは、硬直したルールブックがコンピュータの足を引っ張っているのではないかと疑いました。

新しいアイデア：ダイナミックなダンス

この論文の著者たちは、こう疑問に思いました。「もしコンピュータが学習しながら、自分でダイヤルを回せたらどうだろうか？」これは**動的損失重み付け（Dynamic Loss Weighting: DLW）**と呼ばれます。固定されたルールではなく、コンピュータ自身が「よし、今は正確さが全然ダメだから、一旦安定性は無視しよう。でも、正確さが上手くなってきたら、安定性を気にし始めよう」と判断できるのです。

彼らは、このような動的なバランス調整を行う既存のいくつかの手法をテストし、さらに**タスク認識型ランダム重み付け（Task-Aware Random Weighting: TARW）**という新しい手法を考案しました。

• GradNorm: この手法は、コンピュータが両方のタスクを同じスピードで学習できるようにします。もし正確さの学習が速すぎる場合は、それを減速させて安定性に集中させます。
• 不確実性重み付け（Uncertainty Weighting）: この手法は、「自分はこのタスクに対してどの程度自信がないか？」と問いかけます。もしコンピュータが安定性に対して非常に自信がない場合、そのタスクへの注意を減らします。
• ランダム重み付け（Random Weighting: RW）: これは少し混沌としています。コンピュータが新しいデータのバッチを学習するたびに、0から1の間でランダムな数字をただ選びます。驚くべきことに、このランダム性はしばしばうまく機能します。
• TARW（新しい登場人物）: 著者たちは、この「ランダム重み付け」のアイデアを改良しました。0から1の間の数字を選ぶのではなく、0から特定の限界値（これを $\kappa$ と呼びましょう）までの範囲で数字を選びます。これにより、コンピュータが安定性に執着しすぎて、正確さを忘れてしまうことがないようにします。それはまるで、「ランダムでいいけれど、やりすぎないように」と指示するようなものです。

彼らが発見したこと：スイートスポット

チームは、月次時系列データ（売上数値や天候データなど、数千もの異なる時系列を含むM3およびM4データセット）を用いて実験を行いました。彼らは、新しい動的な手法を、旧来の静的な手法（固定ダイヤルを用いたN-BEATS-S）と比較しました。

結果が示す内容は以下の通りです：

1. 安定性の向上: ほぼすべての動的な手法が、予測を大幅に安定させました。「予測の揺れ」は著しく減少しました。例えば、M4データセットにおいて、いくつかの手法は不安定性の指標（RMSSC）を、旧来の静的な手法の約0.537から、0.146や0.224へと大幅に低下させました。これは、ジッター（小刻みな変動）が劇的に減ったことを意味します。
2. 正確さの維持: 「安定性に集中することで、正確さが損なわれるのではないか」という大きな懸念がありました。しかし、結果は、最高のメソッドにおいて、正確さはほぼ全く変わっていないことを示しました。実際、M3データセットでは、新しい TARW high メソッドは、従来のN-BEATSモデルよりも正確な予測を実現しており、スコア（RMSSE）は1.088に対して1.082でした。
3. 勝者: TARW メソッド（特に "high" バージョン）が際立っていました。これは、正確さを損なうことなく、安定性を大幅に向上させることに成功しました。それは、予測を「岩のように堅固」かつ「超精密」にする方法を見つけたようなものでした。
4. その理由: 内部構造を調査したところ、動的な手法は著者たちが期待した通りの動きをしていました。トレーニングの初期段階では、コンピュータは正確さに重点を置いていました。正確さが身についた後になって初めて、安定性に注意を払い始めたのです。対照的に、静的な手法は初日から両方をこなそうとしていたため、モデルを混乱させたり、あるいは「局所最適解（安定しているが正確ではない、行き詰まった状態）」に陥らせたりすることがありました。

まとめ

この論文は、正確さと安定性のバランスを取るために、コンピュータに硬直した事前設定のルールを強制する必要はないことを示唆しています。むしろ、モデルが自律的に優先順位を調整すること（具体的には、まず正確さを優先し、その後に安定性を導入すること）が、より良い結果をもたらします。

著者らは、シンプルで効果的なツールとして TARW を提案しています。これは本質的に「スマートなランダム化装置」であり、コンピュータが学習の早い段階で安定性に執着しすぎるのを防ぎます。トレーニング中の計算コストは、重みを調整するためにわずかに高くなりますが、実際の使用時（推論時）のコストは従来の手法と全く同じです。

結局のところ、この研究は、もし人々が信頼できる予測システムが欲しいのであれば、単に「正確であれ」と求めるだけでは不十分であることを示しています。「一貫性を持て」と教える必要がありますが、そのためには「適切なタイミング」でそのレッスンを受けさせる必要があるのです。これらの動的な手法を用いることで、私たちは単に正しいだけでなく、信頼できる予測を手に入れることができ、ビジネスやプランナーを絶え間なく変化する数字の頭痛から救うことができるのです。