論文要約：Reinforced Attention Learning (RAL)

タイトル: Reinforced Attention Learning
著者: Bangzheng Li, Chen Qu, Jianmo Ni, et al. (UC Davis, Princeton, Google, Google DeepMind)
日付: 2026 年 2 月 16 日

1. 背景と課題 (Problem)

大規模言語モデル（LLM）における推論能力の向上には、テスト時のスケーリング（推論時間の延長）や強化学習（RL）によるポストトレーニングが不可欠です。特に、Chain-of-Thought（CoT）を生成させることで推論精度が向上することが知られています。

しかし、このパラダイムをマルチモーダル LLM（MLLM）に拡張する際、以下の課題が存在します：

• 知覚タスクへの限界: 画像や動画の質問応答（VQA）などの「知覚（Perception）」が中心のタスクにおいて、冗長なテキストによる推論（CoT）を生成させるアプローチは、精度向上に寄与しないどころか、場合によってはモデルの基礎的な知覚能力を低下させることがあります。
• 最適化対象のミスマッチ: 従来の RL 手法（PPO や GRPO など）は、「次に生成するトークン（出力）」の確率分布を最適化します。しかし、MLLM において重要なことは、どの視覚情報を「注目（Attention）」すべきかという内部の情報配分プロセスです。出力トークンのみ最適化しても、モデルが重要な視覚特徴に正しくアテンションを向けるようにはなりません。

2. 提案手法：Reinforced Attention Learning (RAL)

本論文は、MLLM のポストトレーニングにおいて、出力トークンの生成ではなく、内部のアテンション分布そのものを方策（Policy）として直接最適化する新しい枠組み「Reinforced Attention Learning (RAL)」を提案します。

2.1. 核心的なアイデア

• 方策の再定義: 従来の RL が「何（What）を生成するか」を最適化するのに対し、RAL は「どこ（Where）に注目するか」を最適化します。
• アテンションを方策として: モデルが生成するトークンに対する内部のアテンション重み分布を「情報収集の方策」とみなし、この分布に対して強化学習を適用します。
• メリット: 視覚的なグラウンディング（grounding）を直接的に強化し、テキスト出力に依存しない、より本質的な推論プロセスの改善を実現します。

2.2. 技術的詳細

• アテンション分布の方策 ($p_t^\theta$): 生成トークン $t$ における、直前のすべてのトークン（プロンプトや生成された文脈）へのアテンション重みの分布を定義します。
• 利得重み付きアテンション発散 (Advantage-Weighted Attention Divergence):
  • 従来の RL 損失関数 $L_{RL}$（トークン確率の最適化）に加え、アテンション分布の発散を最適化する項 $L_{AttnRL}$ を追加します。
  • 式: $L_{total} = L_{RL} + \lambda_{attn} L_{AttnRL}$
  • $L_{AttnRL} = \mathbb{E}_t [ A_t \cdot D(p_t^\theta \| p_t^{old}) ]$
  • ここで $A_t$ は利得（Advantage）、$D$ は Jensen-Shannon 発散（JSD）などの発散尺度です。
  • 動作: 利得が正（高報酬）の場合、現在のアテンション分布を成功したパターンに近づけ、負（低報酬）の場合、その分布から遠ざけるように更新します。
• オンポリシー・アテンション蒸留 (On-Policy Attention Distillation):
  • 教師モデルの「どこに注目するか」という振る舞いを、学生モデルに転移する手法です。
  • 単なる出力トークンの蒸留に加え、内部のアテンション分布の一致を損失関数に含めることで、より密な教師信号を提供し、クロスモーダルなアライメントを強化します。

3. 実験結果 (Results)

Qwen-2.5-VL-7B をベースモデルとし、Video-R1 データセットを用いたトレーニングと、多様な画像・動画ベンチマークでの評価を行いました。

3.1. 主要なベンチマーク性能

• 画像 VQA (Image QA):
  • RAL は、ベースラインである GRPO およびベースモデル（Qwen-2.5-VL-7B）をすべての 8 つのベンチマーク（V*Bench, MME, ChartQA など）で上回りました。
  • 特に、微細な視覚検索や空間推論が求められる $V^*$ Bench では +5.8 ポイント、MME では +94.1 ポイントの大幅な改善が見られました。
  • GRPO ではベースモデルより性能が低下するケース（例：VizWiz）でも、RAL は改善を維持しました。
• 動画 VQA (Video QA):
  • LongVideoBench, NExT-QA, Video-MME などの長期コンテキストや時間的推論が必要なタスクで、RAL は GRPO を上回る結果を示しました（例：LongVideoBench で +2.2、NExT-QA で +3.4）。
  • 高解像度や長フレーム数（32→128 フレーム）の条件下でも、RAL の性能向上幅は拡大する傾向が確認されました。

3.2. アブレーション研究

• 明示的な思考プロセスの必要性: 「RAL-zero」として、CoT（思考プロセス）を生成させず、直接答えのみを出力させる設定でも、RAL はベースモデルや GRPO を凌駕する性能を示しました。これは、アテンション分布の最適化そのものが、視覚理解能力の向上に直接的に寄与していることを示唆しています。
• アテンション蒸留の効果: 出力の蒸留に加え、アテンション分布の蒸留を行うことで、さらに性能が向上しました。これは、教師モデルの「注目すべき場所」という構造的情報が、学生モデルの推論能力に重要な転移信号となることを意味します。

4. 主な貢献 (Key Contributions)

1. Reinforced Attention Learning (RAL) の提案:
   • MLLM のポストトレーニングにおいて、次トークン予測から「アテンション分布のアライメント」へ最適化目標をシフトさせる新しい強化学習手法です。これにより、テキスト出力を介さず、直接的に視覚グラウンディングを強化できます。
2. オンポリシー・アテンション蒸留:
   • 教師モデルの内部アテンション挙動を学生モデルに転移する手法を提案しました。これは、従来の知識蒸留よりも微細な知覚行動の継承を可能にし、クロスモーダルな整合性を高めます。
3. 実証的検証:
   • 多様な画像・動画ベンチマークにおいて、RAL が GRPO やベースモデルを一貫して上回ることを実証しました。特に、知覚負荷の高いタスクや長文脈タスクにおいて、その有効性が確認されました。

5. 意義と結論 (Significance)

本論文は、マルチモーダル AI のポストトレーニングにおいて、「内部のアテンション分布」を第一級の最適化対象として扱うべきであることを示しました。

• プロセス指向の最適化: 従来の RLHF が「結果（トークン）」に焦点を当てていたのに対し、RAL は「プロセス（情報配分）」に焦点を当てることで、LLM の「思考の仕方」そのものを改善します。
• 安定性と汎用性: トークンレベルの RL では見られることがあったベースモデルの性能低下（Reward Hacking や過学習）を回避し、より安定した汎用的な性能向上をもたらします。
• 将来の展望: このアプローチは、MoE（Mixture of Experts）のルーティングや、他の内部構造の最適化にも応用可能であり、より堅牢でグラウンディングされたマルチモーダル知能の実現への道を開きます。

要約すれば、RAL は「何を生み出すか」ではなく「何に注目するか」を学習させることで、MLLM の視覚理解と推論能力を本質的に高める画期的な手法です。