技術概要：UniISP

問題定義

現在の画像処理パイプラインは、人間の視覚知覚と機械ビジョンの要件の間で二律背反に直面しています。従来の画像信号処理（ISP）パイプラインは、人間が鑑賞するための視覚的に魅力的な RGB 画像を生成するために手動で設計されています。しかし、これらの処理（例：ノイズ除去、シャープ化、トーンマッピング）は、しばしば圧縮アーティファクトや情報損失を引き起こし、特に低照度環境のような過酷な条件下で、下流のコンピュータビジョンタスクのパフォーマンスを低下させます。

一方、機械ビジョン向けに設計された手法は、生センサーデータを直接利用するか、共同学習された ISP ネットワークを採用するために、従来の ISP を迂回することが多いです。これらのアプローチはタスク固有の指標（例：物体検出精度）を向上させますが、生成される RGB 画像は人間の美的基準を満たすことが少なく、視認性が低い、あるいは色忠実度が欠如しているように見えることが頻繁にあります。人間が鑑賞するための高品質な画像を生成しつつ、機械による解釈のための情報完全性を維持するという二重の要件を同時に満たす専用の最適化フレームワークが存在しません。

手法

本論文は、U-Net アーキテクチャに基づく軽量なエンドツーエンドのニューラル ISP フレームワークであるUniISPを提案します。UniISP は、生センサーデータを、人間の視覚的品質と下流の機械ビジョンタスクの両方に最適化された sRGB 画像に変換するように設計されています。このフレームワークは、以下の 3 つの主要コンポーネントで構成されます。

1. ハイブリッドアテンションモジュール（HAM）

人間の知覚に適した高品質な画像再構築を確保するため、UniISP はバックボーンとしてハイブリッドアテンションモジュールを採用します。

• チャネル方向自己アテンション： Restormer に着想を得て、このモジュールは空間次元ではなくチャネル次元に沿って自己アテンションを適用します。これにより、計算複雑性が $O((H \cdot W)^2)$ から $O(C^2)$ に削減され、高解像度画像におけるグローバルな相互作用が可能になります。
• 動的特徴強化： 静的なアテンション機構とは異なり、チャネル方向の自己アテンションは、文脈に基づいて情報豊富なチャネルを動的に増幅し、ノイズの多いチャネルを抑制します。これは RAW から RGB への変換において不可欠です。
• 相対的位置符号化（RPE）： 構造情報を保持するために RPE を統合し、チャネルの相対的位置に関する手がかりを提供することで、局所的および長距離の依存関係の両方のモデリングを強化します。
• 教師あり学習： HAM は、生成された画像が人間の視覚的嗜好と整合するように、教師あり学習で訓練されます。

2. 特徴アダプター

ISP ステージと、通常 RGB データで事前学習されている下流のコンピュータビジョンネットワークとの間のギャップを埋めるために、特徴アダプターが導入されます。

• 周波数ドメイン融合： アダプターは FreqFusion モジュールを利用して、マルチスケールエンコーダ出力（D1–D4）を集約します。特徴を低周波数（グローバルな文脈）と高周波数（微細な詳細）のコンポーネントに分離します。
• マルチステージ統合： 融合された特徴は、連結と残差接続を介して、下流ネットワークのバックボーンへ段階的にマージされます。このメカニズムにより、ネットワークは RAW ドメインの情報を柔軟に取り込み、ドメインシフトを軽減し、事前学習済み重みの転送を容易にします。

3. 適応的トレーニングフレームワーク

UniISP は、人間のビジョンと機械のビジョンの目的をバランスさせるための共同最適化戦略を採用します。

• 損失関数： 総損失 $L_{total}$ は、人間のビジョン損失（$L_{human}$）と機械のビジョン損失（$L_{machine}$）の加重和として定義されます。
• 動的重み付け： 重み付け係数 $\lambda$ は、損失の指数移動平均（EMA）を用いて、各トレーニングステップで適応的に計算されます。人間のビジョン損失が高い場合、$\lambda$ は機械のパフォーマンスを強調するために減少し、逆も同様です。
• アライメント処理： 未アライメントデータセット（RAW と参照 RGB 画像が異なるカメラから取得される場合）に対して、フレームワークはグローバルカラーマッピング（GCM）モジュールと堅牢なオプティカルフロー整合性マスクを組み込みます。このマスクは、オクルージョンや繰り返しパターンなどの不正確なアライメント領域をフィルタリングし、信頼性の高い教師信号を確保します。

主な貢献

1. 統合フレームワーク： 人間の視覚知覚と機械ビジョンタスクの両方のニーズを同時に満たすことができる、学習可能で軽量な ISP フレームワークである UniISP の提案。
2. ハイブリッドアテンションモジュール（HAM）： 自己アテンションと古典的な畳み込みアテンションを組み合わせた新しいアテンション機構の導入。この設計は、計算効率を維持しつつ、特徴表現と汎化能力を強化するために、異なるアテンションタイプを活用します。
3. 特徴アダプター： ISP ステージからのマルチスケール特徴を統合し、下流ネットワークに適応させるモジュールの開発。これにより、モデルの理解を深め、視覚品質を犠牲にすることなく下流タスクのパフォーマンスを向上させます。
4. 包括的な評価： RAW-to-RGB マッピング、物体検出、セマンティックセグメンテーションなど、複数のタスクおよびデータセット（ZRR, PASCAL RAW, LOD, ADE20K RAW）にわたる広範な実験により、フレームワークの有効性と汎化能力を実証。

実験結果

本論文は、ZRR、PASCAL RAW、LOD、ADE20K RAW などの各種データセットを用いて、3 つの主要タスクにおける UniISP を評価しました。

• RAW-to-RGB マッピング： ZRR データセットにおいて、UniISP は PSNR、SSIM、LPIPS の指標において、AWNet、MW-ISPNet、LiteISP、FourierISP などの最先端手法を上回りました。軽量な HAM デザインにより、これらの結果を、はるかに少ないパラメータ数と低い計算複雑性（GFLOPs）で達成しました。定性的な結果は、より鮮明で詳細に富み、色忠実度が高い画像を示しています。
• 物体検出： PASCAL RAW および LOD データセットにおいて、UniISP は RAW-Adapter などの手法と比較して、低照度シナリオでの検出性能を大幅に向上させました。特徴アダプターの組み込みが、ISP ステージの特徴を活用する上で決定的であることが示されました。UniISP は優れた人間の視覚的品質を提供しつつ、機械のみの最適化でしばしば見られる過酷なコントラストを回避するバランスを実現し、通常、過露光、暗闇のすべての条件で堅牢な検出を可能にします。
• セマンティックセグメンテーション： ADE20K RAW データセットにおいて、UniISP は異なるバックボーンサイズ（MIT-B0、B3、B5）および照度レベルにおいて、競合手法を上回りました。特に、より小さなバックボーン（MIT-B3）を持つ UniISP モデルは、アダプターの効果的な特徴融合に起因し、低照度条件下でより大きなバックボーン（MIT-B5）を使用する他の手法を上回りました。

意義と主張

本論文は、人間の視覚知覚と機械ビジョンタスクの両方に対して ISP を同時に最適化する最初の探索であると主張しています。既存の研究は、これらの目的を主に別々に扱ってきたため、人間の鑑賞または機械の分析のいずれかにとって最適ではない解決策につながっていると指摘しています。

UniISP の意義は、以下の点にあります。

• 情報完全性の維持： 従来の 2 段階パイプライン（RAW $\to$ 人間用 ISP $\to$ 機械タスク）に内在する情報損失を回避することで、生センサーからの物理的に意味のある情報を保持します。
• ドメインギャップの橋渡し： 特徴アダプターは、RAW 特徴を効果的に下流ネットワークへ伝播させ、事前学習済みの RGB モデルが生データ上で効果的に機能できるようにします。
• 二重最適化の達成： 適応的トレーニングフレームワークは、美的品質と意味的性能という、しばしば対立する目標を成功裏にバランスさせ、統合アプローチが個別の最適化戦略よりも実行可能かつ優れていることを証明します。

著者らは、この研究が、ユーザー向けのリアルタイム可視化と機械向けの環境認識の両方が必要となる自律運転などのハイブリッドシナリオにおいて、将来の ISP システムの潜在的な方向性を示唆すると結論付けています。