技術的サマリー：フレームレベル漏洩の罠と内在的画像分解におけるソース分離可能な不確実性

1. 問題定義

内在的画像分解は、観測画像 $I$ を反射率（アルベド）$R$ と陰影 $S$ に分解することを目的とする（ランバート仮定 $I = R \circ S$ の下）。深層学習の進展にもかかわらず、現在の手法は 2 つの重要な限界に直面している：

1. 評価プロトコルの不一致: MPI Sintel データセットに関する先行研究では、頻繁にフレーム単位の訓練/テスト分割が用いられている。これにより、同じシーンの空間的に類似したフレームが訓練セットとテストセットの両方に現れるようになり、データ漏洩が発生して性能指標が人工的に過大評価される。
2. 不確実性定量化（UQ）の欠如: 既存の手法は、信頼性を定量化しない点推定を生成する。これは、分解が本質的に不適切な問題（ill-posed）であるため問題である。曖昧さは空間的に変化する（例：鏡面ハイライト、投射影、テクスチャのある表面）。自動運転などの安全性が重要な応用において、分解がどこで信頼できないかを知ること自体は、分解そのものと同様に重要である。

2. 手法

2.1 修正された評価プロトコル

著者は、コミュニティ標準としてシーン単位の分割を提唱する。このプロトコルでは、シーン全体をテスト用に保持し、訓練セットとテストセットの間に時間的または空間的重なりがないことを保証する。これにより、同一シーンの隣接フレーム間でモデルが補間する「フレームレベル漏洩」が排除される。

2.2 物理情報に基づく分解モデル

非ランバート効果に対処するため、3 成分の画像形成モデルを提案する：
$$I = R \circ S + N$$
ここで、$N$ は鏡面ハイライト、サブサーフェス散乱、その他の非ランバート効果を捉える非負の残差である。これにより、反射率と陰影のヘッドはそれぞれランバート成分に集中し、$N$ が逸脱を処理することを可能にする。

2.3 ネットワークアーキテクチャ

バックボーンは U-Net エンコーダ・デコーダである。これは 4 つのヘッドに分岐する：

1. 反射率ヘッド（$\hat{R}$）: アルベドを予測する。
2. 陰影ヘッド（$\hat{S}$）: 照明を予測する。
3. 非ランバートヘッド（$\hat{N}$）: ReLU 活性化を用いて残差 $N$ を予測する。
4. ソース分離可能な不確実性ヘッド: テクスチャ、照明、非ランバート源に対応する 3 つの対数分散チャネル（$\log \sigma^2_{tex}, \log \sigma^2_{light}, \log \sigma^2_{nl}$）を出力する。
   • 設計選択: 不確実性ヘッドは、ボトルネック特徴に加えて、生入力画像 $I$ からスキップ接続を受け取る。これにより、エンコーディング中に失われる高周波のピクセルレベルの手がかり（例：飽和度、勾配）が保持され、曖昧さの検出に不可欠な情報が維持される。

2.4 訓練戦略

「分散の爆発」（ネットワークが無限の不確実性を予測することで損失を最小化する現象）を防ぐため、2 段階訓練戦略を採用する：

• フェーズ 1（ウォームアップ）: 55 エポック間、再構成ヘッド（$R, S, N$）のみを訓練する。不確実性ヘッドは凍結される。
• フェーズ 2（NLL）: 25 エポック間、ヘテロスケダスティックな負対数尤度（NLL）損失を徐々に導入し、すべてのパラメータを共同で訓練する。

3. 主要な貢献

1. フレームレベル漏洩の定量化: 本論文は、MPI Sintel におけるフレーム単位の分割が、3 つのアーキテクチャ（DirectCNN、UNet、提案手法）においてシーン単位の分割と比較してテスト R PSNR を1.6–2.0 dB過大評価することを初めて定量的に実証した（統計的に有意、$p < 0.01$）。延長訓練下では、この差は 10 dB を超える。
2. ソース分離可能な不確実性: テクスチャ、照明、非ランバート源に不確実性を分解する新規の 3 方向不確実性ヘッド。著者は、これらのチャネルが共有スカラーに収束しないことを経験的に検証した。具体的には、非ランバートチャネル（$\sigma_{nl}$）は非ランバート残差誤差と$r=0.67$の相関を示し、同じ誤差に対するテクスチャチャネルの相関の 4 倍以上強い。
3. 不確実性の下游有用性: 本論文は、不確実性の順位付けが実用的に有益であることを実証した。最も不確実性の高い 75% のピクセルをフィルタリングすると、保持されたピクセルにおける再構成 MSE が**77%**減少するが、ランダムなフィルタリングでは改善は見られない。
4. 否定的結果とアブレーション: 著者は、周波数分解、エビデンス学習、コントラスト損失、テスト時適応（TTA）を組み合わせたより複雑な変種が、単純なベースラインよりも性能が劣ることを報告した。リーヴ・ワン・アウト・アブレーションにより、この複雑な変種の個々の構成要素のいずれもベースラインを改善しないことが確認され、厳格な評価なしの機能蓄積が有害となり得ることが示唆された。

4. 実験結果

4.1 定量的性能（シーン単位分割）

厳格なシーン単位プロトコル下では：

• 提案手法: 15.98 ± 0.41 dB の R PSNR と 16.09 ± 0.18 dB の S PSNR を達成。
• 比較: この性能は、UNet+Physics ベースライン（15.97/16.00 dB）と統計的に区別できないが、5 メンバーの Deep Ensemble（16.78/16.51 dB）よりは有意に低い。
• コスト効率: 提案手法は、パラメータ数と訓練コストの5 分の 1で、アンサンブルに近い性能を達成する。
• 有意性: 物理ヘッドやスキップ接続などの漸進的なアーキテクチャ変更は、シード間でのペア付き t 検定において統計的に有意な PSNR 向上（$p > 0.05$）をもたらさなかった。これは、誠実な評価の下では、微細なアーキテクチャの微調整が微細な利益しか生み出さないという論文のテーゼを裏付けている。

4.2 不確実性分析

• 較正: 全体的な不確実性 - 誤差相関は modest（$r = 0.131$）であり、Deep Ensembles（$r = 0.107$）と同程度かわずかに優れており、オプティカルフローや深度推定のベンチマークと一致する。
• 特化: 非ランバートチャネル（$\sigma_{nl}$）は非ランバート誤差と強く相関する（$r=0.67$）が、テクスチャチャネル（$\sigma_{tex}$）はそうではない。このソース固有の特化は、スカラー不確実性推定器と比較してユニークである。
• 一般化: ソース分離可能な挙動は、微調整なしで分布外の実写写真においても維持され、$\sigma_{nl}$ は予測された非ランバート残差と正の相関を示す。

4.3 否定的発見

• 複雑な変種: 周波数ルーティング、クロスタスク監督、エビデンス学習、コントラスト損失、TTA という 5 つの高度なメカニズムを組み合わせた変種は、S PSNR で3.4 dB の低下と、不確実性 - 誤差相関の負の値をもたらした。
• アブレーション: リーヴ・ワン・アウト分析により、複雑な変種の単一構成要素のいずれもベースラインを改善しないことが示され、失敗は 1 つの「悪い」構成要素によるものではなく、組み合わされたメカニズムの互換性の欠如によるものであることが示された。

5. 意義と主張

本論文は、内在的画像分解コミュニティが過度に寛容な評価プロトコルに導かれてきたと主張する。主な意義は以下の点にある：

1. プロトコルの修正: データ漏洩を防ぐためにシーン単位の分割を必要な標準として確立し、このプロトコル下での 6 つのモデルの参照数値を提供する。
2. 生指標よりも解釈可能性: 提案手法が PSNR において単純なベースラインを劇的に上回るわけではないことを示しつつ、ソース分離可能な不確実性が、スカラーアンサンブルでは提供できない固有で実行可能な情報（例：鏡面ハイライトとテクスチャの区別）を提供することを実証する。
3. 厳格な評価: 厳密なアブレーションなしの「機能蓄積」（複雑なモジュールの追加）に対する警告。不適切な逆問題においては、複雑で未検証のメカニズムの組み合わせよりも、厳格なアーキテクチャの抑制がより堅牢な結果をもたらすことが多いことを示唆する。

著者は、不確実性定量化が、分解の限界を知ることが重要な再照明や素材編集などの下游タスクのための自然かつ未探索の補完であることを結論付けている。