技術要約: Remember-R1

問題提起

マルチモーダル大規模言語モデル（MLLM）は、複雑なタスクのために長い思考の連鎖（Chain-of-Thought: CoT）をますます活用するようになっています。しかし、現在のモデルにおいて特定された重大な弱点は、**長文脈における視覚的忘却（long-context visual forgetting）**です。推論シーケンスが長くなるにつれ、モデルは視覚的な証拠への依存を減らし、前のステップで生成された蓄積されたテキスト文脈に依存する傾向があります。これにより、特に多段階の数学的、論理的、空間的な推論タスクにおいて、推論の連鎖が視覚的事実から逸脱するというドリフトが発生します。

既存の緩和戦略には2つのカテゴリーがありますが、いずれも限界があります：

1. 視覚的再導入（Visual Re-introduction）: 推論中に画像や領域をコンテキストに再挿入すること。効果的ではあるものの、推論コスト（計算量とメモリ）が増大し、推論プロセスを断片化させる可能性があります。
2. 視覚的主張プロキシ（Visual Claim Proxies）: 学習中に中間的な視覚的主張を挿入すること。これは「プロキシ・タスク・ギャップ」を導入します。つまり、監督（supervision）が、実際に忘却が発生している元の推論軌跡ではなく、補助的なインタラクションに対して適用されてしまうためです。

推論手順を変更することなく、視覚的証拠がどのように使用され、維持されるかを制約するために、元の推論軌跡に対して直接的な監督を提供する手法が不足しています。

手法: Remember-R1

著者らは、ターゲットとなる推論ロールアウトに対してプロセスレベルの監督を直接適用することで、視覚的忘明を軽減するように設計された強化学習（RL）フレームワークである Remember-R1 を提案します。このフレームワークは、推論手順を変更することなく動作します。

1. データアノテーション

プロセスレベルの監督を可能にするため、著者らは ViRL39K データセットを構造化された視覚的証拠のアノテーションを用いて拡張しました：

• 視覚的キーワード抽出: Qwen-VL-Max を使用して、画像から短く接地された語彙単位（物体、属性、数量、空間フレーズ）のセットを抽出します。
• 主要領域ボックス（Key-Region Box）アノテーション: 質問に答えるために関連する特定の画像領域（バウンディングボックス）を特定します。
• 検証: キーワードとボックスの品質を確保するために、人間による検証を行います。最終的なデータセットには、38,657個のアノテーション済みサンプルが含まれています。

2. リワード設計

Remember-R1 は、「視覚的証拠への持続的な依存」を3つの補完的な側面へと分解し、それぞれが特定のプロセスレベルのリワードに対応しています：

• 視覚的語彙リワード ($r_{voc}$): 推論トレース全体を通じて、アノテーションされた視覚的キーワードを明示的に言及することを奨励します。
  • メカニズム: 位置重み付けされた一致キーワードのクリップ平均を計算します。単にキーワードが存在することだけでなく、それらが生成の後半ステップでも出現することを報酬とし、モデルが推論の最初の方だけで視覚的事実に触れることを防ぎます。
• 視覚的メモリリワード ($r_{mem}$): 推論の後半ステップへの視覚的注意の持続を奨励します。
  • メカニズム: 生成ステップ $t$ における視覚トークンに割り当てられた集約的なアテンション質量 $\Omega(t)$ を測定します。リワードは、生成の最終ウィンドウにおける平均アテンションと初期ウィンドウにおける平均アテンションの差に基づいています。生成が長くなるにつれて視覚的アテンションが大幅に減衰することをペナルティとして課します。
• 視覚的主要領域リワード ($r_{region}$): 質問に関連する特定の画像領域への注意の持続を奨励します。
  • メカニズム: 全体の視覚的アテンションに対する、アノテーションされた主要領域ボックスに割り当てられたアテンションの比率を計算します。時間的に重み付けされた平均を使用し、モデルが推論プロセス全体を通じて関連領域に集中し続けることを確実にするため、後半のステップにより高い重みを割り当てます。

3. 強化学習による最適化

総リワードは、標準的な回答の正確性リワード ($r_{acc}$) と3つの視覚的プロセスリワードを組み合わせたものです：
$$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$$
ポリシーは、応答のグループをサンプリングして正規化されたアドバンテージを計算する Group Relative Policy Optimization (GRPO) を用いて最適化されます。

主な貢献

1. プロセスレベルの監督フレームワーク: 本論文は、推論の再導入による推論コストや、主張ベースの手法によるプロキシ・ギャップを回避しながら、元の推論ロールアウトを直接監督することで、視覚的忘却を研究する新しいアプローチを提案しています。
2. 3要素のリワード設計: 著者らは、視覚的キーワードの網羅性、時間経過に伴うアテンションの持続性、および質問に関連する領域へのアテンションの局在化をターゲットとした、3つの具体的なリワードを設計しました。
3. 実証的検証: 本手法は、2つのモデルスケール（3Bおよび7B）と7つの多様なベンチマークで検証されており、推論能力、一般的なマルチモーダル能力、および視覚的知覚において一貫した改善を示しています。

実験結果

著者らは、Qwen2.5-VL-3B および Qwen2.5-VL-7B ベースモデルを用いて、7つのベンチマークで Remember-R1 を評価しました：

• 数学的および論理的推論: MathVision, MathVista, LogicVista.
• 一般的なマルチモーダル能力: MMVet, MMMB, MMStar.
• 視覚的知覚: RealWorldQA.

主な知見:

• 性能向上: Remember-R1 は、ベースモデルおよび最近の推論指向型 MLLM（例：Ocean-R1, VLAA-Thinking）、ならびに以前の視覚的忘却緩和手法（例：DeepSketcher, TVC）を一貫して上回っています。特に MathVista（3Bで +13.60、7Bで +7.50）および MMVet で顕著な改善が見られました。
• 視覚的グラウンディング分析: アテンション比率の分析によれば、すべてのモデルが時間の経過とともに視覚的アテンションの低下を示す一方で、Remember-R1 は、特に生成の中盤から後半にかけて、著しく緩やかな低下を示しています。
• アブレーション研究: 3つのプロセスレベルのリワードのいずれかを削除すると、ベンチマーク全体で性能の低下を招きました。
  • $r_{voc}$ を削除すると、視覚的キーワードの言及が減り、推論が弱まりました。
  • $r_{mem}$ を削除すると、アテンションの減衰が速まりました。
  • $r_{region}$ を削除すると、関連領域への注意が減少し、あらゆるタスクタイプにおいて精度低下を引き起こしました。
• 正確性のみの RL との比較: 回答の正確性（$r_{acc}$）のみで学習されたバリアントは改善は見られたものの、完全な Remember-R1 には劣っており、最終回答の監督だけでは、長いコンテキストにおける視覚的グラウンディングを維持するには不十分であることを示しています。

意義と主張

本論文は、Remember-R1 が、忘却が発生する軌跡上で視覚的証拠の使用を直接監督することにより、長文脈における視覚的忘却を効果的に軽減できると主張しています。その意義は、以下のことを示した点にあります：

1. プロセスレベルの強化学習は、推論手順を変更したり推論コストを増大させたりすることなく、推論性能を向上させることができる。
2. 視覚的証拠への依存を維持することは、単にキーワードに言及することだけでなく、生成プロセス全体を通じてアテンションの持続性を維持し、関連する領域に焦点を合わせることである。
3. これらの改善は異なるモデルスケールやタスクタイプに一般化可能であり、推論の軌跡を直接監督することが、長期的なマルチモーダル推論における有望な方向性であることを示唆している。

著者らは、彼らのアプローチが、従来のメソッドのような計算オーバーヘッドを伴うことなく、生成が進むにつれてモデルが視覚的証拠への依存をより良く維持するのを助けると結論付けています。