Learning with the Nash-Sutcliffe loss

この論文は、Nash-Sutcliffe 効率（NSE）の決定論的基盤を確立するため、その損失関数版を厳密な一貫性を有する多変量汎関数として定式化し、複数の時系列に対するモデル推定と評価の新たな枠組みを提示しています。

要約

1. 問題：「平均点」だけでは測れない実力

まず、この研究が扱っているのは、**「複数の川（または天気データ）の予測精度を、一つにまとめて評価したい」**という状況です。

• 従来のやり方（MSE）：
  各川の予測値と実際の値の「誤差の二乗」を足し合わせて評価します。これは**「偏差値」**のようなものです。大きな間違いをすれば大きく減点されます。
• 従来の評価指標（NSE）：
  しかし、研究者たちは「偏差値」ではなく、「平均値（その川いつもの水位）を当てた場合よりも、どれだけ上手に予測できたか？」という「相対的なスキル」を重視するNSEという指標を使ってきました。
  • 例： 川 A は水位が激しく変動し、川 B はほとんど変わらない。同じ誤差でも、川 A の予測の方が「すごい」と評価されるべきです。NSE はこれを反映します。

【ここが問題！】
これまでの研究では、「モデルを作る（学習）」ときは偏差値（MSE）で調整し、「評価」するときにだけ NSE を使うという、**「練習と試合のルールがバラバラ」**な状態でした。

• アナロジー：
  野球で、**「練習では『打率（ヒットの数）』を伸ばすように指導」し、「試合の結果は『盗塁数』で評価する」ようなものです。
  「盗塁」が上手くなるためには、「打率」を伸ばす練習だけでは不十分で、「盗塁に特化した練習」**が必要です。

この論文は、**「NSE で評価するなら、最初から NSE に合わせてモデルを訓練すべきだ」**と主張しています。

---

2. 発見：NSE が狙っているのは「特別な平均」

著者たちは、NSE を数学的に分析し、ある重要な事実を見つけました。

• 従来の思い込み：
  「NSE は、単に『平均値（いつもの水位）』を予測するモデルの改良版に過ぎない」と思われていた。
• 本当の正体：
  NSE が本当に狙っているのは、**「変動の激しさに応じて重み付けをした、特別な平均値」**だったのです。

【アナロジー：お料理の味付け】

• 普通の平均（MSE が狙うもの）：
  10 人のお客さんに「平均的な塩味」を出そうとすると、全員に同じ塩加減で出します。
• NSE が狙うもの（ナッシュ・サッチリー関数）：
  「味が濃い（変動が激しい）料理」には塩を控えめに、「味が薄い（変動が少ない）料理」には塩を多めにする、**「客の好み（データの性質）に合わせて調整された特別な味付け」**です。

これまでの研究では、この「特別な味付け」を無視して「普通の塩加減（MSE）」で料理を作っていたため、「試合（評価）」で NSE という基準を使っても、最高点を取れなかったのです。

---

3. 解決策：「ナッシュ・サッチリー回帰」という新しい調理法

この論文では、**「NSE に合わせてモデルを作る新しい方法（ナッシュ・サッチリー回帰）」**を提案しました。

• どう違うの？
  • 普通の回帰（MSE）： 全てのデータポイントを「同じ重さ」で見て、平均的な誤差を減らそうとする。
  • 新しい回帰（NSE）： データの**「変動の大きさ」によって重みを変える**。
    • 変動が激しいデータ（川 A）：予測が少しズレると評価がガクンと下がるので、慎重に予測する（重みを高くする）。
    • 変動が小さいデータ（川 B）：多少ズレても許容範囲なので、あまり神経質にならなくていい（重みを低くする）。

【アナロジー：スポーツのスコア】

• MSE： 100m 走とマラソンを混ぜて、「距離の誤差」だけで評価する。
• 新しい NSE 回帰： 100m 走には「秒数」、マラソンには「ペース」をそれぞれ適切に評価するよう、**「競技ごとの特性に合わせてスコアリングのルール（重み）」**を自動調整する。

---

4. 実験結果：実際に効果があった

著者たちは、コンピュータシミュレーションと、実際の日本の河川データを使って実験しました。

• 結果：
  • 従来の方法（MSE で学習）：NSE スコアはそこそこ。
  • 新しい方法（NSE で学習）：NSE スコアが劇的に向上！（特に、川の流れが激しく変動するデータで効果的でした）。
  • 逆に、MSE スコア（偏差値）で見ると、新しい方法の方が少し悪くなることもありますが、**「試合のルール（NSE）で勝つこと」**が目的なので、これは問題ありません。

---

5. まとめ：何ができるようになった？

この論文が教えてくれることはシンプルです。

1. ルールに合わせる：
   「どんな評価基準（スコア）で勝つのか」を決めたら、「練習（モデル学習）もその基準に合わせて行わなければならない」。
2. データの性質を尊重する：
   川や天気は場所によって「性格（変動の大きさ）」が違います。それを無視して「平均」だけを見るのではなく、**「それぞれの性格に合わせた重み付け」**をすることで、より賢い予測が可能になります。
3. グローバルな視点：
   複数のデータをまとめて分析する際、**「一つのプロセス（同じルール）」として扱うことが重要ですが、そのルールは単純な平均ではなく、「変動を考慮した特別な平均」**であることがわかりました。

一言で言えば：
「これまでの『平均点』重視の練習では、『相対的なスキル』を問う試合には勝てなかった。だから、**『変動に敏感な特別な練習法（ナッシュ・サッチリー回帰）』**を取り入れれば、もっと素晴らしい予測ができるよ！」というのがこの論文のメッセージです。

技術概要

論文「Learning with the Nash-Sutcliffe loss」の技術的サマリー

1. 研究の背景と問題提起

ナッシュ・サトクリフ効率（Nash-Sutcliffe Efficiency: NSE）は、水文・環境科学分野において、複数の時系列に対する予測精度を評価するために広く用いられている指標です。NSE は正の方向性（値が大きいほど良い）を持ち、平均二乗誤差（MSE）を基準値（観測値の平均）に対する相対的な改善度として定義されます。

しかし、従来の NSE の使用には以下の理論的な欠陥がありました：

1. 意思決定理論的基盤の欠如: NSE を最大化する（またはその対数である損失を最小化する）ことが、統計的にどのような「関数（Functional）」を推定しているのか、その理論的根拠が不明確でした。
2. 推定と評価の不一致: 多くの研究では、モデルの推定には MSE（平均二乗誤差）を用い、評価には NSE を用いるという非整合なアプローチが取られてきました。MSE は条件付き平均（Conditional Mean）を推定しますが、NSE が推定する関数が平均とは異なる場合、推定されたモデルは評価指標に対して最適ではなくなります。
3. 多系列評価の仮定: 複数の時系列の NSE を平均して比較する際、それらの時系列が単一の非定常確率過程から生成されているという暗黙の仮定が置かれていますが、これが統計的に正当化されていませんでした。

2. 手法と理論的枠組み

著者らは、NSE の負の方向性バージョンである**「ナッシュ・サトクリフ損失（Nash-Sutcliffe Loss: $L_{NS}$）」**を定義し、これを厳密に分析しました。

2.1 ナッシュ・サトクリフ損失の定義

NSE の対数版として、以下の損失関数を導入します（$d \ge 2$）：
$$L_{NS}(\mathbf{z}_d, \mathbf{y}_d) = 1 - \text{NSE}(\mathbf{z}_d, \mathbf{y}_d) = \frac{\|\mathbf{z}_d - \mathbf{y}_d\|_2^2}{\|\mu(\mathbf{y}_d)\mathbf{1}_d - \mathbf{y}_d\|_2^2}$$
ここで、$\mathbf{y}_d$ は $d$ 次元の観測ベクトル、$\mathbf{z}_d$ は予測ベクトル、$\mu(\mathbf{y}_d)$ は標本平均です。この式は、標準的な二乗誤差（分子）を、その系列の内部変動（分母）で重み付けした形式になります。

2.2 厳密な一貫性（Strict Consistency）と誘導可能性（Elicitability）

著者らは、$L_{NS}$ が**「ナッシュ・サトクリフ関数（Nash-Sutcliffe Functional）」に対して厳密に一貫した損失関数（Strictly Consistent Loss Function）**であることを証明しました。

• ナッシュ・サトクリフ関数: これは、データ重み付けされた成分ごとの平均（Data-weighted component-wise mean）です。具体的には、各成分の期待値が、系列の分散（変動）に基づいて重み付けされた平均として定義されます。
  $$T_d^{(w)}(F) = \frac{E_F[\mathbf{y}_d w(\mathbf{y}_d)]}{E_F[w(\mathbf{y}_d)]}$$
  ここで $w(\mathbf{y}_d)$ は上記の分母の逆数です。
• 識別可能性（Identifiability）: この関数は識別可能であり、適切な識別関数（Identification Function）が存在することも示されました。

2.3 ナッシュ・サトクリフ回帰（Nash-Sutcliffe Regression）

推定と評価の整合性を保つため、ナッシュ・サトクリフ回帰を提案しました。これは、平均二乗誤差（MSE）を最小化する通常の最小二乗法（OLS）ではなく、$L_{NS}$ を最小化する回帰モデルです。

• 数学的性質: この推定量は、観測系列ごとの変動（分散）に基づいて重み付けされた**重み付き最小二乗法（Weighted Least Squares: WLS）**として定式化されます。
• 特徴: 変動が小さい系列（分母が小さい）には大きな重みが与えられ、変動が大きい系列には小さな重みが与えられます。これは、NSE が変動の大きい系列に対して相対的に厳しい評価を行う性質と整合します。

2.4 データの向き（$d \times n$ と $n \times d$）

論文では、時系列データの配置（行列の向き）によって理論的仮定が異なることを明確に区別しました。

• $d \times n$ 設定: $n$ 個の時系列（列）が、それぞれ $d$ 次元の確率ベクトルの実現値であると仮定（空間的な複数地点の比較など）。
• $n \times d$ 設定: $n$ 個の観測（行）が、それぞれ $d$ 次元の確率ベクトルの実現値であると仮定（時系列予測の標準的な設定）。
  両設定において、ナッシュ・サトクリフ損失の定義と回帰推定量の導出が再構成されました。

3. 主要な結果

シミュレーション実験と実データ（フランスの河川流量と気温）を用いた検証により、以下の結果が得られました。

1. 関数の不一致の証明:

   • ガウス分布（正規分布）の独立同分布（IID）データの場合、ナッシュ・サトクリフ関数と通常の成分ごとの平均は一致します。
   • しかし、対数正規分布や相関を持つデータなど、非ガウス性や依存構造を持つ場合、両者は明確に異なります。この場合、MSE を用いて推定したモデルは、NSE 評価基準に対して最適ではありません。

2. 回帰手法の性能比較:

   • シミュレーション: 対数正規誤差を持つ線形モデルにおいて、NSE 損失を最小化する「ナッシュ・サトクリフ回帰」は、MSE を最小化する「多次元線形回帰」や「1 次元線形回帰」を、NSE 評価基準（平均 NSE）において劇的に上回りました（損失値が 1/30 以下になるケースも）。
   • 実データ（河川流量）: 10 流域の流量予測において、ナッシュ・サトクリフ回帰は、従来の手法と比較して NSE 損失を約 68% 削減しました。
   • 実データ（気温）: 気温データ（よりガウス分布に近い）では改善幅は小さかったものの（約 6%）、依然としてナッシュ・サトクリフ回帰が優位でした。

3. 評価指標と推定手法の整合性の重要性:

   • NSE でモデルを評価する場合は、必ずナッシュ・サトクリフ損失を用いてモデルを推定する必要があることが実証されました。MSE で推定し NSE で評価することは、統計的に非効率であり、予測性能を低下させます。

4. 意義と貢献

この論文の主な貢献は以下の通りです：

1. 理論的基盤の確立: NSE が単なる経験的な指標ではなく、特定の統計的関数（ナッシュ・サトクリフ関数）を推定するための厳密な意思決定理論的基盤（Strictly Consistent Scoring Rule）を持つことを初めて証明しました。
2. 推定と評価の整合性: 「評価指標に合わせた推定手法」の重要性を理論的・実証的に示しました。特に、NSE を用いる分野（水文、気象など）において、従来の OLS や MSE ベースの学習が最適ではないことを明らかにし、代替手法（ナッシュ・サトクリフ回帰）を提案しました。
3. グローバルモデルの優位性の説明: 複数の時系列をまたぐグローバルな機械学習モデルが、局所的なモデルよりも優れている場合がある理由を、この「データ重み付けされた関数」の性質を通じて説明しました。
4. 実用的なガイドラインの提供:
   • NSE を複数系列で比較する際は、系列が同一の確率過程から生成されていると仮定できる場合のみ有効であることを警告しました。
   • 数値的不安定性（分母が 0 に近づく場合）に対処するための「拡張ナッシュ・サトクリフ損失」の導入を提案しました。

5. 結論

本論文は、NSE ベースのモデル評価と推定に数学的厳密性をもたらしました。NSE を用いる場合、単に予測値を平均二乗誤差で最小化するのではなく、系列ごとの変動を考慮した重み付けされた損失関数（ナッシュ・サトクリフ損失）を用いてモデルを学習させるべきであるという、明確かつ実践的な結論を導き出しました。これは、大規模データセットを用いた時系列予測、特に水文・環境科学分野におけるモデル開発のパラダイムシフトを促すものです。