技術的サマリー：EvoIR-Agent：経験駆動学習による自己進化型画像復元エージェントシステム

問題定義

実世界シナリオにおける画像復元（IR）は、しばしば複数の種類の画像劣化（例：ぼやけ、ノイズ、霞）が同時に発生する「劣化の結合」を伴います。マルチモーダル大規模言語モデル（MLLM）駆動の画像復元エージェント（IRA）は、ツールの柔軟な選択と除去順序の決定に対する有望な解決策として登場しましたが、重要なボトルネックに直面しています。それは、「経験のないゼロショット計画はしばしば失敗し、過剰な試行錯誤のコストを招く」という点です。

このジレンマに対する既存のアプローチは、それぞれ重大な限界を有する 2 つのパラダイムに分類されます。

1. 学習ベース手法: 本質的な経験をモデルパラメータに埋め込みます。推論において効率的ですが、再学習なしには新しいツールや未見の劣化タイプとの互換性が欠如しています。
2. 学習フリー手法: 高い互換性を得るために明示的な外部経験記憶を利用します。しかし、これらは往々にして単純で静的な「 naïve（ naïve な）」経験メカニズムに依存しており、過剰な試行錯誤を回避するために必要な動的なガイダンスを提供できずにいます。

核心的な課題は、現在の経験メカニズムの未熟な側面に対処することで、学習フリー手法の「互換性」を維持しつつ、学習ベース手法の「推論効率」を達成する IRA を設計することです。

手法：EvoIR-Agent

著者は、経験コンポーネントを体系的に定式化し活用するように設計された自己進化型エージェントシステム「EvoIR-Agent」を提案します。このフレームワークは、外部推論ワークフローと内部経験進化メカニズムを含むクローズドループプロセスを通じて動作します。

1. 経験コンポーネントの体系的定式化

本論文は、現在の IRA がしばしば軽視または過度に単純化している 3 つの重要な経験コンポーネントを特定します。

• ツール選択: 最適なツールは、単に広範な劣化タイプだけでなく、特定の「劣化パターン」に依存します。
• 劣化除去順序: 結合された設定において、除去の順序はパターンに強く依存します。
• 視覚的品質（好み）: 異なるツール経路は劣化を除去できても、明確に異なる視覚的結果をもたらすことがあります。システムは、これらの選択を導くために、忠実度対知覚など、設定可能なコンポーネントとして「好み（$Q$）」を導入します。

2. 階層的経験プール

これらのコンポーネントを効果的に管理するために、EvoIR-Agent は粗い粒度から細かい粒度へのガイダンスを提供する「階層的経験プール」を構築します。このプールは、3 つのレベルにわたる優先度駆動のマッピング関数 $p$ を具体化します。

• インサイトレベル（好みに基づく）: 抽出されたテキスト経験を活用し、好み（$Q$）と劣化タイプ（$D$）に基づいて除去順序（$O$）の高位計画を行うために LLM を使用します。
• 粗粒度レベル（劣化タイプに基づく）: MLLM の関与なしに、劣化タイプと好みを最適な除去順序にマッピングする直接のキー・バリューマッピングです。
• 細粒度レベル（劣化パターンに基づく）: 単一の劣化タイプが異なるパターンにクラスタリングし得るというニュアンスに対処します。このレベルは、CLIP エンコーダを介して検索され、MLLM によって洗練される「パターンプロファイル（$P$）」（劣化画像のセットと意味的記述から構成）を使用し、特定のパターンを最適なツールのランキングにマッピングします。

3. 自己進化型経験メカニズム

静的な経験記憶とは異なり、EvoIR-Agent は蓄積された記録を用いてプールを「反復的に更新」するメカニズムを導入します。このプロセスはバッチ単位で行われます。

• 経験獲得: システムは、劣化画像のバッチに対して、潜在的なツールの組み合わせと除去順序の網羅的な探索を実行します。その結果を、ユーザーの好み（$Q$）に整合した画像品質評価（IQA）指標を用いて評価します。
• 統計的モデリング: 対比較を用いて勝率を計算し、ツールと順序の能力パラメータ（$\theta$）を推定するために「Bradley-Terry-Davidson（BTD）モデル」を採用します。
• 進化と洗練:
  • 粗粒度: BTD パラメータをソートして優先度関数 $p$ を更新します。
  • 細粒度: 「マルチエージェント議論（MAD）」パラダイムを用いて、画像を新しいパターンプロファイルに分割します。このプロセスは、「意味的一貫性」（プロファイル内の画像が意味的に近接していること）と「ランキングの一貫性」（優先度マッピングが統計的に比較可能であること）を確保します。
    システムはこれらのプロファイルを反復的に洗練し、特定のパターンに対する優先度関数 $p$ を安定化させます。

主要な貢献

1. 体系的定式化: 著者は、「視覚的品質（好み）」を中核コンポーネントとして明示的に導入し、現在の手法が広範な劣化タイプだけでなく、より細かい「劣化パターン」に焦点を当てていないという限界を特定することで、IRA 経験を再定式化しました。
2. 自己進化型アーキテクチャ: 専用の検索方法（インサイト、粗粒度、細粒度）を備えた「階層的経験プール」と、蓄積された記録からゼロからプールを更新する「自己進化メカニズム」を提案しました。これにより、再学習なしに新しいデータソースへの適応が可能になります。
3. 実証的検証: 広範な実験により、EvoIR-Agent が最先端の手法と比較して優れた「性能と効率のトレードオフ」を達成し、経験メカニズムの影響と自己進化能力を検証しました。

実験結果

著者は、合成データセット（16 種類の劣化組み合わせを有する MiO100）と実世界データセット（FoundIR）において EvoIR-Agent を評価しました。

• 性能: EvoIR-Agent は、既存の学習フリーエージェント（例：AgenticIR, 4KAgent）およびオールインワン復元モデル（例：AirNet, PromptIR）を大幅に上回りました。設定 I（AgenticIR ベースのツール）において、平均して PSNR で 2.35 dB、SSIM で 0.065 のベースラインを上回る結果を示しました。
• 効率: システムは、性能と効率の間に「パレート最適なバランス」を達成しました。強力なベースラインと比較して、ツール呼び出し回数を最大 70% 削減しながら、復元品質を向上させました。
• アブレーション研究:
  • 粒度: インサイトから細粒度経験へ移行することで、ツール呼び出し回数とロールバックが大幅に減少し、パターン固有のガイダンスの価値が確認されました。
  • 進化回数: システムは 2 回の進化 で最適点に達し、性能がピークに達しロールバックのオーバーヘッドが最小化されました。さらに進化させることは、逓減するリターンを示しました。
  • 一般化: 分布外（OOD）の実世界データにおいて、EvoIR-Agent は、自己進化能力を備えたゼロから初期化（EvoIR-Agent-S）が、事前経験のゼロショット適用や単純な転移学習よりも良い結果をもたらすことを示しました。

意義と主張

本論文は、EvoIR-Agent が、学習ベース手法の「限られた互換性」と、単純な学習フリーパラダイムの「推論の非効率性」の間のギャップを成功裡に埋めたと主張しています。経験コンポーネントを体系的に定式化し、自己進化メカニズムを導入することで、このシステムはエージェントが蓄積された記録から学習し、特定のツールや劣化パターンに動的に適応することを可能にします。

著者は、この研究を、パラメータの更新や大規模な再学習データセットを必要とせずに、エージェントが自身の計画能力を向上させる、画像復元における持続可能な経験駆動学習への一歩として位置付けています。また、高度に絡み合ったシナリオ（4 種類以上の劣化）における網羅的探索の計算コストと、細粒度パターン学習における高性能 MLLM への依存という現在の限界を認め、経験の抽出や高度な探索・活用戦略に関する将来の研究を提案しています。