Diagnosing and Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

技術要約：長距離シングルショット・フリンジ投影プロフィロメトリにおける形状事前分布によるショートカットの診断と修復

問題提起
学習ベースのシングルショット・フリンジ投影プロフィロメトリ（FPP）は、フリンジのコントラストと三角測量の幾何学的条件が良好な近距離領域（内視鏡や卓上作業など）では成功を収めている。しかし、長距離領域（スタンドオフ距離 > 1 m）は、(1) 光強度の逆二乗の減衰による信号対雑音比（SNR）および物理的なグラウンドトゥルースの信頼性の低下、(2) 単一画像からはフリンジ次数の情報が得られないため、シングルショットの定式化が本質的に不良設定問題であり、距離に対して二次関数的に増大する深度誤差を生むこと、(2) 既存のアーキテクチャにはメカニズム的解釈性が欠如しており、原理的な指針なしにはエラー診断が困難であること、という3つの結合した課題により、依然として未解決のままである。さらに、この分野には共通のベンチマークが存在せず、研究間で正規化、損失関数、および評価プロトコルが不一致である。

手法
著者らは、FPP-ML-Bench（シングルショットFPPのための初のオープンソースのフォトリアリスティックな合成ベンチマーク）を用いた、統一された「診断・修復・検証」の研究を提示する。VIRTUS-FPPフレームワーク内でNVIDIA Isaac Sim上に構築されたこのデータセットは、1.5〜2.1 mのスタンドオフ距離における50種類の多様な物体を含む15,600枚のフリンジ画像で構成されている。

手法は以下の4つの段階で進行する：

1. 系統的アブレーション： 著者らは、設計上の選択肢（正規化、背景処理、マルチフレーム構成、損失関数、およびアーキテクチャ）を分離し、最も優れた性能を示すベースラインを確立する。
2. メカニズム的解釈性（MI）診断： 線形プロービング、Grad-CAM、および分布外（OOD）平面テストを用い、ベースライン・ネットワークが物理に基づいたフリンジデコーディングを学習しているのか、あるいは幾何学的なショートカットを学習しているのかを調査する。
3. アーキテクチャの修復： 診断に基づき、著者らは位相中間型アーキテクチャであるPhiCalNetを導入する。標準的な深度回帰ネットワークとは異なり、PhiCalNetはラップされた位相表現 $(\sin \phi, \cos \phi)$ を出力する。固定された微分可能なキャリブレーション層が、この位相をFPPの三角測量物理学を用いて決定論的に深度へとマッピングする。この設計は、損失ペナルティではなく、アーキテクチャによる制約によって、形状事前分布による解法を仮説空間から排除する。
4. 検証： 修復は以下を通じて検証される：
   • MI： 解釈性のバッテリーをPhiCalNetに再適用し、それが形状ではなく位相を学習していることを確認する。
   • 不確実性定量化（UQ）： スナップショット・アンサンブルによるピクセル単位の共形予測（conformal prediction）を適用し、モデルが自己報告する不確実性がその失敗モードと一致するかどうかを判断する。
   • 反事実的検証： 物理がソフトな損失ペナルティとして（アーキテクチャではなく）課される物理情報ニューラルネットワーク（PINN）のベースラインとPhiCalNetを比較する。

主な知見と結果

• ベースラインの最適化： 系統的なアブレーションにより、個別の深度正規化（スケールを形状から切り離す）が、生の深度と比較して物体の平均絶対誤差（MAE）を9.1倍改善することが明らかになった。直感に反して、背景のフリンジはノイズではなく不可欠な信号であり、これを除去すると性能が2.8〜7.3倍低下した。ハイブリッドL1損失 ($\alpha=0.7$) と UNet アーキテクチャは、TransUNet、ResUNet、およびPix2Pixよりも優れた性能を示した。最良のベースライン（UNet）は14.54 mmの物体MAEを達成したが、残差分析は、それが容量の問題ではなく表現の限界であることを示唆していた。
• ショートカットの診断： UNetベースラインのメカニズム的分析により、当該ネットワークがフリンジ位相のデコーディングではなく、物体の境界による形状事前分布を通じてタスクを解決していることが明らかになった。
  • 線形プロービング： 内部活性化から幾何学的特徴（エッジ）をデコードすることは、深度値をデコードすることよりも2.82倍容易であった。
  • Grad-CAM： 注意（Attention）は、フリンジパターンよりも物体エッジ（1.28倍）と強く相関していた。
  • OODテスト： 特徴のない平坦な面において、ネットワークは深度予測がほぼゼロに崩壊し、存在する有効なフリンジパターンを利用できなかった。これは、形状テンプレートへの依存を裏付けるものである。
• PhiCalNetの性能： ラップされた位相を出力するように強制することで、PhiCalNetはUNetベースラインと比較して物体MAEを3.3倍（14.54 mmから4.46 mmへ）減少させた。
  • PINNの反事実的検証（深度回帰ネットワークに対してソフトな損失による物理の強制を行う）では、測定可能な利得が得られず、アーキテクチャの枠組み自体が決定的な要因であることを特定した。
  • PhiCalNetの残差誤差は、$\pm\pi$ のラップ不連続点において**0.103%**のピクセルに局在しており、これは不連続なターゲットの連続回帰における構造的限界である。
  • PhiCalNetの3フレーム拡張は、さらにMAEを1.16 mmまで減少させ、シングルショット取得における情報理論的な欠損を検証した。
• 不確実性定量化： ピクセル単位の共形予測は、PhiCalческиの誤差が構造的に判読可能であることを示した。スナップショット間の不一致に基づいて上位5%のピクセルを除外すると、PhiCalNetのRMSEは64%（20.6 mm $\to$ 7.4 mm）減少したが、同様の手順をUNetベースラインに適用してもRMSEはわずか**3.5%**しか減少しなかった。これは、PhiCalNetの失敗が、モデルが不確実性が高いと正しく識別している特定の幾何学的箇所に集中していることを示しており、ベースラインに見られる拡散した誤差とは対照的である。

意義と主張
本論文は、主に3つの貢献を主張している：

1. ベンチマーキング： 長距離シングルショットFPPのための標準化され再現可能な評価基盤となるFPP-ML-Benchの導入であり、この分野における共有インフラの欠如に対処するものである。
2. メカニズム的洞察： FPPにメカニズム的解釈性を適用した初の事例であり、標準的なディープラーニングのアプローチが、物理的な位相デコーディングではなく、幾何学的なショートカット（形状事前分布）に依存していることを明らかにした。これは、シングルショット長距離再構成の不良設定性によって悪化する失敗モードである。
3. アーキテクチャによる解決策： アーキテクチャによる制約（位相を出力させること）が、損失ペナルティ（PINN）よりも物理的一貫性を強制する上で効果的であることを示している。PhiCalNetは、形状事前分布によるショートカットを仮説空間から正常に排除することに成功した。

著者らは、メカニズム的解釈性、残差分析、および不確実性定量化が単一の物理的箇所（$\pm\pi$ のラップ不連続点）に収束することを、物理情報学習のための方法論的テンプレートとして位置づけている。モデルの失敗モードが特定の幾何学的または物理的な箇所にある場合、これら3つの診断ツールが収束してモデルの挙動に対して一貫した説明を提供できると論じている。これは、言語や医療画像などの他のドメインで見られる拡散した失敗モードとは異なる条件である。

結論として、シングルショットFPPにおける残差誤差は、モデリングの限界ではなく、根本的に情報理論的なものである。PhiCalNetは精度を大幅に向上させるが、残りの誤差は問題の物理学によって構造的に制限されている。