PaAgent: 主観的・客観的強化学習によるポートレート認識型画像復元エージェント

本論文は、複雑な劣化条件における画像復元（Image Restoration: IR）タスクを自動化するための新しいエージェント「PaAgent」を提案しています。既存の手法が抱える課題を克服し、過去の相互作用からの洞察を蓄積・活用することで、最適な復元ツールの選択と高精度な劣化認識を実現するアーキテクチャを構築しました。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、実験結果、そして意義の観点から詳述します。

1. 問題定義と背景

画像復元タスクにおいて、従来の「All-in-One（AiO）」モデルや既存のエージェントベース手法には以下の重大な限界が存在します。

• 過去の洞察の欠如と非効率的な探索: 既存のエージェント手法は、各復元インスタンスを孤立して扱い、過去の相互作用からの洞察（どのツールがどの劣化に有効か）を蓄積・活用していません。その結果、最適なツールを見つけるために exhaustive search（網羅的探索）や不要なロールバック（やり直し）が発生し、非効率的です。
• 劣化認識の曖昧さ: 既存手法は、画像の全体的な品質スコア（NR-IQA メトリクス）のみを最適化目標として利用することが多く、局所的な劣化と全体的な劣化を区別できません。例えば、全体的なスコアが似ていても、一部に深刻な劣化がある画像と全体的に軽微な劣化がある画像を区別できず、誤った意思決定を招きます。
• エラーの蓄積: 単一ステップの意思決定では、品質評価の誤りが実行チェーン全体に波及し、修復結果の劣化を招きます。

2. 提案手法：PaAgent

PaAgent は、以下の 2 つの主要な革新により上記の課題を解決します。

A. ツール・ポートレートバンクと RAG（検索拡張生成）

エージェントが過去の経験から学習し、適切なツールを即座に選択できる仕組みです。

• ツール・ポートレートバンクの構築: 14 種類の復元ツール、14 種類の劣化シナリオ、および 10 万以上の相互作用洞察（劣化画像、選択されたツール、復元画像、およびその評価）を格納するデータベースを構築します。
• 自己進化メカニズム: 復元タスクが完了するたびに、その結果（劣化画像、復元画像、使用ツール）を LLM（Qwen3.5-Plus）で要約し、新しい洞察としてポートレートバンクに追加・進化させます。
• RAG によるツール選択: 入力画像の劣化情報をクエリとして、ベクトルデータベースから関連する過去の洞察（チャンク）を検索します。これにより、エージェントは網羅的な試行錯誤を避け、文脈に即した最適な IR ツールを迅速に選択できます。

B. 主観的・客観的強化学習（SORL: Subjective-Objective Reinforcement Learning）

エージェントの劣化認識能力を高めるための新しい学習戦略です。

• 報酬生成の二重アプローチ:
  • 客観的評価: CLIP-IQA, Hyper-IQA, NIQE などの複数の NR-IQA メトリクスから数値スコアを算出。
  • 主観的評価: マルチモーダル大規模言語モデル（MLLM）が、劣化画像、選択ツール、復元画像のトリプレットを分析し、セマンティックな洞察（例：「局所的なノイズが残っている」「色味が不自然」など）を生成。
• GRPO アルゴリズムの適用: Group Relative Policy Optimization (GRPO) を採用し、グループ内の相対的な優位性（Advantage）に基づいて方策を更新します。これにより、絶対的な報酬スケールに依存せず、質的・量的な両方の観点から微細な報酬信号を生成し、エージェントの方策（次のタスク選択や劣化情報の認識）を精緻化します。

C. 多段階意思決定メカニズム

単一ステップではなく、復元結果を評価しながら次のステップを決定する反復フレームワークを採用しています。SORL によって強化された劣化認識能力により、部分的な劣化や不均一な劣化に対しても正確な判断を下し、過剰な早期終了やエラー蓄積を防ぎます。

3. 主要な貢献

1. 洞察要約メカニズムを備えた初の IR エージェント: 過去の相互作用から得られた洞察を要約・蓄積し、RAG を介してツール選択に活用する「PaAgent」を提案しました。これにより、過剰なツール試行を回避し、効率的な復元を実現します。
2. 主観的・客観的強化学習（SORL）戦略: 画像の全体的品質だけでなく、局所劣化のセマンティックな特性も理解できるような、MLLM の洞察と NR-IQA スコアを組み合わせた報酬設計を導入しました。これにより、複雑なシナリオでの精密な意思決定が可能になりました。
3. 広範な実験による性能実証: 8 つの IR ベンチマーク（6 つの単一劣化、8 つの混合劣化シナリオ）において、PaAgent が既存の最先端手法（AiO モデルや他のエージェント手法）を主観的・客観的両面で上回ることを実証しました。

4. 実験結果

• 定量的評価: 8 つのデータセット（CDD-11, GoPro, LOL-V1, SOTS など）における PSNR と SSIM のスコアにおいて、PaAgent は他手法を凌駕しました。特に、雪、ノイズ、曇り、雨、低照度、ブレ、およびこれらを組み合わせた複合劣化において、高い性能を維持しました。
• 定性的評価: 視覚的な比較では、PaAgent は微細なテクスチャ（建築の質感、動物の毛並み、葉など）を保持しつつ、ノイズや雨筋、モヤを効果的に除去しました。他の手法で見られる色かぶりや過剰な平滑化、局所的な劣化の残存が PaAgent では解消されています。
• アブレーション研究:
  • ツール・ポートレートバンク: ランダム選択や手動選択と比較して、洞察に基づく選択が復元品質を大幅に向上させることが確認されました。
  • SORL 戦略: 単なる SFT（教師あり微調整）や MLLM による主観評価のみ（w/ SE）よりも、主観・客観を統合した SORL 方が、色バイアスや過剰平滑化を抑制し、構造的に正確な結果を生み出しました。
  • 入力コンテキスト: NR-IQA スコアと実行履歴の両方が、劣化タイプの正確な認識と多段階復元の順序決定に不可欠であることが示されました。

5. 意義と結論

PaAgent は、画像復元分野において「エージェント」の役割を単なるツール呼び出しから、過去の知見を蓄積・進化させ、文脈を理解して自律的に意思決定を行う高度なシステムへと昇華させました。
特に、**「ポートレート（人物/特徴）を認識する」ではなく「ツールと劣化の特性（ポートレート）を認識・蓄積する」**という発想の転換と、主観的（人間の視覚）と客観的（数値スコア）を統合した強化学習は、複雑な現実世界の劣化に対処する新しいパラダイムを示唆しています。このアプローチは、自動運転、監視カメラ、医療画像など、高品質な画像復元が求められる多様な応用分野において大きな可能性を秘めています。