技術要約: DeLux – ニューロモーフィック・データを用いたビデオにおけるクロスモーダル局所アーティファクト復元

1. 問題提起

従来のRGBカメラは、特に極端なダイナミックレンジを伴う屋外シーンにおいて、レンズフレア、グレア、過露出、フリッカーといった深刻な照明アーティファクトの影響を受けやすい。これらのアーティファクトは、画素強度が完全に飽和またはクリップされることで局所的な情報の損失を引き起こし、標準的なRGBのみの後処理による復元を不可能にする。既存の復元手法は、通常、これらの問題を個別に（例：グレアのみ、あるいは過露出のみ）対処するか、あるいはグローバルなトーンマッピングに依存している。後者のアプローチは、光学的なアーティファクト（フレアの光線など）の構造的完全性は維持するものの、ダイナミックレンジを圧縮するだけであり、劣化によって完全に隠蔽された詳細を完全に復元することはできない。さらに、現在の文献には、多様で空間的に離散した照明劣化を同時に処理できる汎用化されたパラダイムが欠けている。

2. 手法: DeLux パイプライン

著者らは、ニューロモーフィック・イベントストリームを構造的事前情報として活用し、ターゲットを絞った照明アーティファクトの検出とインペインティング（画像補完）をガイドする、モジュール式でエンドツーエンドの概念実証パイプラインである DeLux を提案する。このフレームワークは、アーティファクト検出をマルチモーダル融合および画像インペインティングから明示的に分離している。パイプラインは以下の4つの明確なステージで構成される：

1. イベント・トゥ・ビデオ再構成 (Event-to-Video Reconstruction): ニューロモーフィックカメラからの非同期イベントデータを、学習済みモデル（E2VID または E2VID++）を用いて高密度なグレースケールビデオフレームに変換する。これらの再構成データは、RGBセンサーが飽和している場合でも、マイクロ秒単位の精度と140 dBを超えるダイナミックレンジで輝度変化を捉える二次的なモダリティとして機能する。
2. アーティファクト検出 (Artifact Detection): 専用のUNetベースのセグメンテーションネットワークが入力RGBフレームを処理し、アーティファクト（グレア、フレア、過露出、フリッカー）が存在する可能性を示す画素単位の信頼度マップ（アーティファクトマスク）を生成する。このステップは、様々な条件下で汎用性を確保するために、合成的に生成されたアーティファクトマスクを用いて学習される。
3. マルチモーダル融合 (Multimodal Fusion): RGBフレーム、イベント再構成データ、およびアーティファクトマスクをチャネル方向に結合する。畳み込みモジュールがこれらの入力をブレンドし、統一された表現を作成する。決定的なのは、アーティファクトマスクが手動オーバーライド・インターフェースとして機能することであり、これにより推論時に再学習なしで融合挙動を設定できる点である。このステージにより、イベントストリームからの構造的詳細が、主に破損した領域において利用されることが保証される。
4. アーティファクト除去 (Artifact Removal): 最終的なUNetベースのモジュールが、ターゲットを絞ったインペインティングを行う。このモジュールは、融合された表現を受け取り、クリーンでアーティファクトのないRGB画像を生成する。モデルは、破損した領域を復元しつつ、影響を受けていないコンテンツを保持するように学習される。

学習戦略:
パイプラインは、検出器、融合、および除去モジュールの共同最適化を通じて学習されるが、イベント・トゥ・ビデオ再構成器は凍結されたままとなる。学習目的関数は、以下の3つの損失成分を組み合わせたものである：

• 検出損失 ($L_{det}$): 予測されたアーティファクトマスクと正解（グランドトゥルース）マスクとの間のHuber損失。
• 再構成損失 ($L_{recon}$): 平均絶対誤差 (MAE)、マルチスケール構造類似性 (MS-SSIM)、VGG知覚損失、および全変動 (TV) 正則化の組み合わせ。
• 非マスク損失 ($L_{nm}$): 非アーティファクト領域における編集を罰する一貫性項であり、モデルがクリーンな画素を変更しないことを保証する。

データ:
システムは、クリーンなフレームに人工的なアーティファクトを注入したもの（CARMEAおよびCityscapesを使用）と、実際のニューロモーフィック・データ（DSEC、E2VID）からなるハイブリッド・データセットを用いて学習される。実世界の評価については、著者らは深刻なアーティファクトが自然に発生する自動車走行映像から特定の時間窓を抽出して作成した。

3. 主な貢献

• 新しい研究方向: 本論文は「クロスモーダル局所アーティファクト復元」というパラダイムを導入しており、これは局所的な照明アーティファクトを、二次的なセンシング・モダリティ（ニューロモーフィック・イベント）を統合することで緩和される、モダリティ固有の情報損失として扱うものである。
• DeLux フレームワーク: 標準的なビデオとニューロモーフィック・イベント・データを融合させることで、単一のディープラーニング・パイプライン内で複数の種類の照明アーティファクトを検出し、除去するように設計された初のシステムである。
• 厳格なベンチマーク: 著者らは、合成および実世界の照明アーティファクトを含むベンチマークを確立し、将来のクロスモーダル復元モデルのための評価プロトコルを提供している。彼らは、さらなる研究を促進するために、合成アーティファクト生成ツールと精選された実世界データセットを公開している。

4. 実験結果

著者らは、単一モダリティの復元モデル（Flare7K++、Wu et al.、SHDR）、統一された単一ネットワーク・アプローチ（DAD†）、およびイベント誘導型HDRモデル（HDRev-Diff）を含む、最先端のベースラインと比較してDeLuxを評価した。

• 合成データの性能: DeLuxは、すべてのアーティファクトタイプ（グレア、フレア、過露出）において、MS-SSIM、PSNR、およびMAPEの観点から最高の性能を達成した。すべてのアーティファクトタイプに対して平均0.99以上のMS-SSIMを達成し、RGBのみのベースラインやイベント誘導型HDRモデルを大幅に上回った。
• 実世界の性能: 実世界の自動車走行映像において、DeLuxは（カスタムの強力アーティファクト抑制指標であるSASによって測定された）アーティファクトの深刻度を最大88%減少させた。対照的に、HDRev-Diffのようなグローバル・トーンマッピング・ベースラインは、局所的なアーティファクトの抑制に失敗することが多く、特定のシーケンスにおいて負のSASスコアをもたらした。
• 効率性: DeLuxは、NVIDIA A100上で9020万個のパラメータを持ち、16.5 FPSで動作する。これは、拡散ベースのベースライン（例：16億個のパラメータを持つ1.1 FPSのHDRev-Diff）よりも桁違いに高速かつ軽量である。
• アブレーション研究: 研究により、イベント・モダリティを除去した場合（DeLux-NE）や明示的な検出器を除去した場合（DeLux-ND）は、性能が著しく低下することが確認された。また、非マスク損失 ($L_{nm}$) は、検出精度と制御された局所的再構成のバランスを取るために極めて重要であることが判明した。

5. 意義と主張

本論文は、DeLuxがグローバルな強調アプローチからの重要な脱却を意味すると主張している。アーティファクトの局在化をマルチモーダル融合から明示的に分離することで、フレームワークはクリーンな画像領域の不当な変更を防ぎ、ネットワークがRGBセンサーが失敗した領域においてのみ、二次的なモダリティを選択的に使用することを可能にする。

著者らは、DeLuxを、深刻な局所的画像劣化に対処するためのテンプレートとして位置づけている。このクロスモーダル・アプローチは、単一センサーの制約を超え、劣悪な照明条件下でも高度に信頼性の高い画像処理システムを実現するための道筋を示すものであると彼らは主張している。

著者らが認める制限事項:

• 静止シーン: イベントカメラは、イベントがトリガーされない静止したシーンでは本質的に困難に直面するが、モジュール式アーキッチテクチャにより、他のモダリティ（例：熱赤外）を統合してこれを軽減することが可能である。
• 合成評価: 高品質な合成オーバーレイが使用されているが、これらは実際のレンズアセンブリにおける複雑な光の物理的相互作用を完全に再現することはできない。
• 時間的一貫性: 現在の実装はフレームを独立して復元するため、出力に時間的一貫性が保証されず、目に見えるフリッカーが発生する可能性がある。著者らは、マルチフレーム・モデリングが将来の研究における必要な方向性であるとしている。
• 最適化: 凍結されたE2VID再構成器への依存は、完全なエンドツーエンドの最適化を制限しており、将来のパイプラインは生のイベント表現を直接取り込むことができる可能性を示唆している。