Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

本論文は、RMSE や MAE といった標準的な点単位の指標が、再構成を狭い分布へ体系的に偏らせることで多峰性逆問題の評価構造的に失敗することを論じ、科学的に妥当な結論を確保するための分布精度、スペクトル忠実度、不確実性較正に基づく三段階の評価プロトコルを提案する。

要約

この論文を簡単な言葉と日常的な比喩を用いて解説します。

大きな問題：「平均」の罠

隠された宝の場所を推測しようとしていると想像してください。手元には地図がありますが、少しぼやけています。あるときは宝が確実に北の洞窟にあり、別のときは確実に南の洞窟にあります。真ん中に宝があることは決してありません。

科学の世界（素粒子物理学や医療画像など）では、科学者たちは長年、コンピュータを使ってこうした「推測ゲーム」を解いてきました。そして、コンピュータの性能を判断する際、彼らは長らく一つの単純な問いに答えてきました。「あなたの推測は、実際の答えにどれくらい近いか？」

もしコンピュータが「北」と推測し、宝が「北」にあれば、高いスコアを得ます。もし「南」と推測し、宝が「北」にあれば、低いスコアになります。

この論文は、二つの可能な答え（北と南）が存在する場合、この評価方法は破綻していると主張しています。

コンピュータに「誤差スコア」を最小化するために、たった一つの数値を答えとして出さなければならないと強制されると、それは不正を働きます。「北か南のどちらかだ」と言う代わりに、**「真ん中」**と推測するのです。

• なぜか？ 数学的に見れば、「真ん中」は北と南の平均だからです。真ん中から北までの距離と、真ん中から南までの距離は等しくなります。したがって、「真ん中」という推測は、最も低い「平均」誤差を持ちます。
• 問題点： 宝は決して真ん中にありません。コンピュータは数学的に「完璧」な平均的な答えを出していますが、それは物理的に不可能なものです。

結果：ぼやけ、歪んだ画像

この論文は、科学者たちがこれらの「平均」スコア（RMSE や MAE と呼ばれる）を使って最良のコンピュータモデルを選ぶ際、誤って真実を平坦化するモデルを選んでしまうことを示しています。

ぼやけた写真から山脈を再現しようとしていると想像してください。

• 真実： 二つの鋭く明確な山頂（北と南）。
• 「平均」モデル： 真ん中に、一つだけ広く平らな丘を描きます。

もしその「平らな丘」を見ると、鋭い山頂よりも写真に近いように見えるかもしれません。そのため、コンピュータはより良いスコアを得ます。しかし、その平らな丘を使ってスキーリゾートを建設しようとしたら、大問題に陥るでしょう。実際にスキーができる山頂が存在しないからです。

科学において、データのこれらの「山頂」や「裾野」には、最も重要な秘密（新しい粒子の質量など）が含まれています。コンピュータに単一の「平均」答えを出すよう強制することで、私たちは偶然にも最も重要な詳細をぼかしてしまい、科学的な測定を誤らせているのです。

解決策：新しい三段階テスト

著者たちは、これらのコンピュータをテストする新しい方法を提案しています。まるで、一つではなく三つの異なる部分からなる運転試験のようなものです。

1. 「完全な地図」テスト（CRPS）
たった一つの推測を求めるのではなく、コンピュータに可能性の完全な地図を描いてもらいます。

• 比喩： 「宝は北か南か？」と問う代わりに、「確率地図を描いてください」と問います。
• 優れたモデルは、二つの明確な塊（北用と南用）を描きます。悪いモデルは、真ん中に一つの大きな塊を描きます。このテストは、「どちらか正確にはわからないが、この二つのどちらかであることはわかっている」と認めるモデルに報酬を与えます。

2. 「群衆」テスト（スペクトル忠実度）
1 万回の推測の結果をすべてまとめて見ます。

• 比喩： 1,000 人に宝の場所を推測させ、500 人が「北」、500 人が「南」と言えば、二つの洞窟の完璧な画像が得られます。「平均」モデルが使われると、全員が「真ん中」と言うため、一つの架空の洞窟の画像しか得られません。
• このテストは、個々の推測が近いかどうかだけでなく、推測の集合が現実世界に似ているかどうかをチェックします。

3. 「自信」テスト（較正）
コンピュータが、どれほど確信を持っているかについて正直かどうかをチェックします。

• 比喩： 天気予報アプリが「90% の確率で雨」と予報した場合、実際に 90% の確率で雨が降るはずです。90% と予報しておきながら、実際には 50% しか降らない場合、そのアプリは自信について嘘をついています。
• このテストは、コンピュータが単に無闇に推測しているのではなく、正しい場所で実際に確信を持っていることを保証します。

彼らが発見したこと

著者たちは、この新しい方法を二つのことについてテストしました。

1. 正確な答えがわかっている架空の数学問題。
2. 検出を逃れる二つのニュートリノ（幽霊粒子）が含まれるため、数学が非常に複雑になる、実際の物理学問題（トップクォークに関するもの）。

衝撃的な結果：
古い「平均」テストの下で「勝者」のように見えたモデル（単一の、平らな、真ん中の答えを出したモデル）は、実際にはデータの真の形状を保持する点で最悪でした。

「ごちゃごちゃした」二つの塊の答えを出したモデル（古いテストでは悪く見えたモデル）は、実際には真実を語る点で最良でした。

教訓

この論文は結論として、成功をどのように測定するかによって、何が見つかるかが決まると述べています。

もし「推測が真実にどれくらい近いか」だけを測定すれば、現実の興味深く複雑な部分を消去するモデルを作ることになります。正しい科学的答えを得るためには、単一の数を求めるのをやめ、可能性の完全な物語を求めるようにしなければなりません。

要約すれば： 「どれくらい近かったか？」とだけ聞かないでください。「全体の物語を話してくれたか？」と聞いてください。

技術概要

以下は、論文「Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems」の詳細な技術的サマリーです。

問題定義

科学的重構（粒子物理学、医療画像、地球物理学など）において、評価は現在、Root-Mean-Squared-Error (RMSE)、Mean-Absolute-Error (MAE)、イベントごとの分解能などの点測度によって支配されています。これらの測度は、誤差が小さいほど重构が優れているという暗黙の仮定の下で機能します。

著者らは、この仮定が、条件付き事後分布 $p(z|x)$ が多峰性となる制約不足の逆問題では構造的に破綻すると主張します。そのような状況下では、MSE における最適予測子は条件付き期待値 $E[z|x]$ となります。多峰性の事後分布の場合、この期待値はしばしば確率密度が消失する領域（モード間）に位置します。その結果、点誤差を最小化するように訓練されたモデルは、個々の予測が「物理的に非現実的」なものとなり、集約されると潜在変数 $z$ の周辺スペクトルを体系的に圧縮します。この圧縮は、分布の尾部、モード、形状を歪め、これらは下流の科学測定が依存する正確な特徴です。

理論的基盤

本論文は、全分散の法則に基づいた理論的論拠を確立します：
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
著者らは、条件付き平均 $E[z|x]$ に収束する任意の点推定量 $f_\theta(x)$ について、予測値の分散 $\text{Var}[E[z|x]]$ は、真の周辺分散 $\text{Var}[z]$ よりも厳密に小さか、または等しく、等号が成り立つのは事後分布の幅がゼロの場合のみであることを示します。

• 含意: 点推定量は本質的に、真実よりも狭い周辺スペクトルを生成します。これは分散項ではなくバイアスであり、データセットサイズが大きくなっても減少しません。
• 帰結: 点測度のみでモデルを評価することは、事後構造の抑制を積極的に報酬とし、それを維持するモデルを罰することになり、バイアスのかかった科学的結論へと導きます。

手法：3 部構成の評価プロトコル

これらの失敗モードに対処するため、著者らは各測度が他で見逃された特定の欠陥をターゲットとする 3 つの測度からなるプロトコルを提案します。

1. イベントごとの分布精度 (CRPS):

   • 厳密なスコアリング則である連続ランク確率スコア (CRPS) を使用します。
   • RMSE/MAE と異なり、CRPS は予測分布が真の事後分布と一致するときにのみ最小化されます。これは多峰性空間における単一点の予測（事後分布の崩壊）を報酬するのではなく、罰します。
   • 点推定量に対しては MAE に帰着するため、生成モデルと回帰モデル間の公平な比較を可能にします。

2. 集団レベルのスペクトル忠実度:

   • 下流の物理学における関心対象である、データセット全体にわたる周辺分布 $p(z)$ を評価します。
   • 予測値のヒストグラムと真の値を比較するビン化された $\chi^2$ 統計量を使用します。
   • この測度は、点測度が見逃すスペクトル特徴（尾部とモード）の体系的な圧縮を検出します。

3. 不確実性の信頼性（較正）:

   • 適合予測 (conformal prediction) を用いてカバレッジ曲線を生成し、予測事後分布の幅が信頼できるかどうかを評価します。
   • 完全に較正されたモデルは、対角線を追跡するカバレッジ曲線（経験的カバレッジが名义信頼レベルと一致する）を生成します。
   • これは、単に鋭い（狭い）モデルと、鋭くかつ較正されたモデルを区別します。

主要な貢献

1. 理論的証明: 事後分布が非ゼロの分散を持つ限り、アーキテクチャやデータセットサイズに関わらず、MSE または MAE を最小化する任意の点推定量は、真実よりも厳密に狭い周辺スペクトルを生成することを示しました。
2. 評価プロトコル: 回帰、混合、生成モデルファミリー全体に適用可能な統合プロトコル（CRPS、スペクトル忠実度、較正）を導入しました。
3. 実証的検証: 合成および実世界のベンチマークの両方で、点測度と分布測度の間でのモデルのランキングが逆転することを示しました。

実験結果

ベンチマーク I：合成逆問題

• 設定: 解析的に扱いやすい二峰性の事後分布 ($x = z^2 + \epsilon$) を持つ制御された問題。
• 発見:
  • 標準的な回帰 MLP は最低の RMSE を達成しましたが、周辺スペクトルをゼロ（条件付き平均）でのスパイクに崩壊させ、二峰性の真実を表現できませんでした。
  • 生成モデル（正規化フロー、混合密度ネットワーク）はより高い RMSE を持ちましたが、ほぼ完璧な CRPS とスペクトル忠実度（$\chi^2_{spec}$ が自由度に近い値）を達成しました。
  • 正規化フローの事後分布サンプルを平均化すると、回帰モデルの貧弱な RMSE とスペクトル歪みが回復し、回帰モデルが単にフローの条件付き平均であることを確認しました。

ベンチマーク II：粒子物理学（トップクォーク再構成）

• 設定: 組み合わせの曖昧さと欠落したニュートリノを伴う多対一の逆問題である、双レプトン崩壊からのトップクォーク対の再構成。
• 発見:
  • 点測度: 純粋な MSE で訓練された Transformer が最高の RMSE を達成しました。MMD（Marginal Maximum Mean Discrepancy）正則化を施した Transformer はわずかに劣りました。
  • 分布測度: ランキングが逆転しました。離散正規化フローが CRPS とスペクトル忠実度で優位でした。MMD 正則化を施した Transformer でさえ、イベントごとの多峰性を修正できず、巨大な $\chi^2_{spec}$ 値（フローよりも桁違いに悪い結果）をもたらしました。
  • 較正: CRPS とスペクトル忠実度がフローとトランスフォーマーを区別した一方で、較正が 2 つのフローアーキテクチャを区別しました。離散フロー（正確な尤度）はよく較正されていましたが、連続フロー（近似 ODE ベースの尤度）は体系的にカバレッジ不足を起こし、これは CRPS だけでは見えない違いでした。

意義と主張

本論文は、モデルではなく評価プロトコルが科学的結論を決定すると主張します。点測度に依存することで、科学コミュニティは、下流の測定を支援できない再構成スペクトルを持つモデルを無意識に優遇してきました。

• 構造的な不一致: 著者らは、点測度が多峰性の設定における科学的重構の目標と構造的に不一致であると主張します。
• プロトコルの必要性: 提案された 3 段階のプロトコルは、標準的な測度下では同一に見えるアーキテクチャ間の差異（例えば、較正を通じて正確な尤度と近似尤度のフローを区別するなど）を露呈するために必要です。
• ドメイン非依存性: この知見は、特定のベンチマークに限らず、後方分散が無視できない任意の逆問題（位相復元、宇宙論的推論など）に適用されます。

著者らは、このプロトコルを用いた慎重な評価により、点測度のみによる評価のバイアスを可視化し、科学的結論が依拠できる比較の基盤を実践者に提供すると結論付けています。また、彼らの知見は堅牢である一方で、絶対的な性能値は実験設定に固有のものであり、ランキングの逆転そのものが堅牢で一般化可能な結果であると指摘しています。