Universal Image Restoration via Internalized Chain-of-Thought Reasoning

技術要約：内部化された思考の連鎖（Chain-of-Thought）推論によるユニバーサル画像復元

問題提起
画像復元は、劣化入力から高品質な画像を回復させることを目的としており、消費者向け写真から自動運転に至るまで、幅広いアプリケーションにおいて極めて重要なタスクである。単一の劣化タイプ（例：単一タスクのデレインやデブラー）に対処する点では大きな進展が見られるものの、実世界のシナリオでは、複雑で混合した劣化が発生することが多い。これらの損傷は、強い非線形かつ空間的に変化する相互作用を伴うため、複合的な復元は個別の劣化を独立して扱うよりも大幅に困難になる。

既存の統一的な「オールインワン」モデルは、劣化の組み合わせの複雑さが増すにつれて汎用性に苦しみ、データの分布が絡み合う現象（entangled data distributions）に頻繁に直面する。対照的に、Chain-of-Thought（CoT）推論を採用している最近のアプローチは、復元を専門モジュールによって処理される多ラウンドの逐次的なサブタスクへと分解する。これらは解釈可能性が高い一方で、以下の2つの決定的な制限を導入する。(i) 複数ステップの処理と逐次的なモデル呼び出しによる高い計算コスト、および (ii) 劣化間の相互依存性のモデリングの失敗。なぜなら、劣化を独立したものとして扱うことは、現実世界の損傷が持つ結合的な性質（例：デレインがノイズを増幅させたり、デヘイズが色合いを変えてその後のデブラーに影響を与えたりすること）を見落とすことになるからである。

手法：CoTIR
著者らは、逐次的なサブモジュールの必要性を排除し、単一の統一モデル内にCoT推論を内部化したユニバーサル画像復元フレームワークであるCoTIRを提案する。その核心となる哲学は、複合的な画像復元を、構造化された「思考 $\rightarrow$ 計画 $\rightarrow$ 行動（Thinking $\rightarrow$ Planning $\rightarrow$ Action）」のプロセスとして再定義することである。

1. 理論的定式化:
   復元タスクは、多重制約最適化問題として定式化される。モデルは、中間的なテキスト表現を生成するように誘導される：

   • 思考 (Thinking): 潜在的な表現を、クリーンなコンテンツの本質的な特徴記述と、高レベルの劣化パターンの特定へと分離する。
   • 計画 (Planning): これらの表現間の相互作用をモデリングし、一貫した復元戦略を導き出す。
   • 行動 (Action): 単一のフォワードパスによるエンドツーエンドの復元を実行する。

   これらの中間ステップは、微分可能なソフト制約を用いたラグランジュ最適化定式化を通じて強制される。目的関数は、中間出力（$\hat{C} = \{\hat{c}_s, \hat{c}_d, \hat{c}_p\}$）をグラウンドトゥルースの推論ターゲットに整合させるという制約を満たしながら、フローマッチング損失を最小化する。これは、モデルパラメータとラグランジュ乗数を共同で最適化する双対オプティマイザによる主双対（primal–dual）手順を用いて解かれる。

2. アーキテクチャと初期化:

   • ベースモデル: CoTIRは、強力な大規模事前学習済み画像編集モデルであるFLUXのデコーダーをファインチューニングすることでインスタンス化される。著者らは、画像復元は画像編集の特殊なサブタスクであると仮定しており、したがって、事前学習済みの編集モデルは、ランダム初期化や復元特化型の事前学習と比較して、優れた最適化の出発点（より強力なゼロショット能力と汎用性）を提供すると考えている。
   • CoTアダプター: 推論プロセスを内部化するために、専用のモジュールが組み込まれる。これは、視覚とテキストの結合入力を処理するために、ゲート付きセルフアテンション機構を備えたCoTIRBlocksのスタックを利用する。このアダプターは、速度場（velocity field）の予測をガイドするCoT強化されたテキスト埋め込みを生成する。
   • 学習戦略: 本フレームワークは、精密な劣化プロンプトから開始し、徐々に曖昧なプロンプトを導入することで、モデルに単に指示を実行させるのではなく、劣化タイプを推論させることを強いる漸進的な学習戦略を採用している。学習には、デコーダーを効率的にファインチューニングするためにLow-Rank Adaptation (LoRA) を使用する。

3. CoTIR-Bench:
   訓練と評価を容易にするため、著者らは520万サンプルを含む大規模ベンチマークであるCoTIR-Benchを構築した。このデータセットは、広範な劣化（例：低照度、ヘイズ、雨、雪、ブラー、ノイズ、圧縮アーティファクト）とその複雑な組み合わせをカバーする60以上の公開データセットを集約している。決定的なのは、各サンプルに、Qwen2.5-VLのような高度な視覚言語モデル（VLM）を使用して生成された、高品質なCoTスタイルの推論トレース（シーン記述、劣化の特定、および復元計画）が付与されている点である。

主な貢献

• 新しいパラダイム: 復元を構造化された推論問題として再定義し、単一のフレームワーク内での包括的なエンドツーエンドのモデリングを可能にする「思考 $\rightarrow$ 計画 $\rightarrow$ 行動」パラダイムの導入。
• 内部化されたCoT: ラグランジュ最適化に基づく微分可能なソフト制約を通じて推論プロセスを内部化するCoTIRを提案し、逐次的なマルチラウンド手法の計算オーバーヘッドと相互作用のギャップを取り除いた。
• ベンチマークとデータ: CoT推論トレースを持つ大規模データセットであるCoTIR-Benchの構築、および多様な劣化シナリオにおけるSOTA性能のデモンストレーション。

実験結果
CoTIR-Benchおよび実世界の複合劣化シーンにおける広範な実験は、提案手法の有効性を証明している：

• 性能: CoTIRは、無参照知覚指標（CLIP-IQA+, Q-Align, LIQE）およびフルリファレンス指標（PSNR, SSIM, LPIPS）の両方において、SOTAまたはニアSOTAの性能を達成している。特に、未知の劣化の組み合わせを扱う際、既存のオールインワンモデルやマルチラウンド復元手法（例：AutoDIR, AgenticIR, Q-Agent）を凌駕している。
• 定性的優位性: 視覚的な比較により、CoTIRはより一貫したシーンの詳細と堅牢な復元を実現し、逐次的な手法を悩ませる残留アーティファクトを効果的に除去していることが示されている。また、複雑で未知の劣化の組み合わせに対しても強い汎用性を示している。
• 効率性: 推論を単一のモデル内に内部化することで、CoTIRはマルチラウンドのパイプラインよりも大幅に高い効率性を実現している。例えば、CoTIR (Flux.2-4B) は1.84秒（5ステップ）で推論を完了し、AutoDIR (327秒) や LucidFlux (8.11秒) といったマルチステージ手法よりも大幅に高速でありながら、競争力のある、あるいはより優れた復元品質を維持している。
• アブレーション研究: 実験により、CoTアダプターの必要性、マルチモーダル融合におけるCross-Attentionに対するGated-Attentionの優位性、および復元目的とCoT制約のバランスを取るための学習可能なラグランジュ乗数の決定的な役割が確認された。

意義
本論文は、CoTIRが断片的な逐次処理から、統一された推論駆動型のアプローチへと移行することで、画像復元における重要な転換を提示していると主張している。画像復元を画像編集の特殊な形態として扱い、微分可能な制約を通じてCoT推論を内部化することにより、本手法は現在の統一モデル（複雑な混合に対する低い汎用性）およびマルチラウンド手法（高いコストと相互依存性の無視）の根本的な限界に対処している。この研究は、構造化された推論が生成モデルに適切に統合されたとき、実世界の複雑な劣化シナリオに対して、より堅牢で効率的、かつ知覚的に高品質な復元ソリューションをもたらし得ることを示唆している。