💻 computer science

H-GRPO: Permutation-Invariant Reinforcement Learning for Grounded Visual Reasoning

本論文は、複雑なクエリを特定の視覚的根拠に基づいた原子的なサブ質問へと分解するために置換不変強化学習を採用することで、視覚言語モデルの性能と解釈性を向上させるフレームワークであるH-GRPOを導入するものである。

原著者： Eric Peh, Debaditya Roy, Basura Fernando

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

原著者： Eric Peh, Debaditya Roy, Basura Fernando

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたの目の前には、「ビジョン・ランゲージ・モデル（VLM）」という名前の、非常に賢いけれど少しいたずら好きな美術学生がいます。あなたが写真を見せて「シェフは料理をしていますか？」といった質問をすると、彼らはよく正解を出してくれます。しかし、ここには落とし穴があります。彼らは、シェフは通常白い帽子を被っているという事実に基づいて推測している可能性があるのです。たとえ写真に写っているのが、白い帽子を被ったただのパン職人であったとしてもです。彼らは「ショートカット（近道）」を利用しており、自分の推測を正当化するために詳細をでっち上げること（ハルシネーション）さえあります。

あなたが共有した論文は、この問題を解決するための新しい学習方法であるH-GRPOを紹介しています。これは、学生に「答えだけでなく、そのプロセスをステップごとに、証拠とともに示させる」ように強制する、新しい宿題の採点方法のようなものです。

仕組みを簡単な概念に分解して説明します：

1. 問題点：「ブラックボックス」的な推測

現在、これらのAIモデルは「ブラックボックス」のようなものです。画像を入力すると、答えが出力されます。しかし、彼らが「どのように」その答えに辿り着いたのかは分かりません。彼らは正しい答えを出しているかもしれませんが、その理由は間違っている可能性があります。それは、数学の答えは合っているけれど、間違った公式を書き込んだ学生のようなものです。彼らは運良く正解しただけで、実際には学習できていません。

2. 解決策：「探偵の手帳」

著者たちは、AIが単に最終的な答えを出すだけではいけないという、新しいフレームワークを提案しています。代わりに、AIは構造化された手帳を埋めていく探偵のように振る舞わなければなりません。

すべての質問に対して、AIは問題を小さなステップに分解する必要があります。各ステップにおいて、AIは以下の3つのことを書き出さなければなりません：

問い： 「今、自分は何を見ているのか？」（例：「あれはマフィン皿ですか？」）
答え： 「はい、そうです。」
証拠： そのマフィン皿を証明するために、写真の中に描かれた特定のボックス（領域）。

これにより、AIの思考プロセスは、謎めいた推測から、透明性のある事実の連鎖へと変わります：「マフィン皿が見える（ここに証拠）→ 白いジャケットが見える（ここに証拠）→ ゆえに、これはシェフである。」

3. 課題：同じ真実への異なる経路

ここで問題が難しくなります。想像してみてください、二人の探偵が同じ事件を解決しています。

探偵Aは、まず靴を見て、次に帽子を見て、最後に銃を見ました。
探偵Bは、まず銃を見て、次に帽子を見て、最後に靴を見ました。

両方の探偵は同じ手がかりを見つけ、同じ結論に達しました。もしあなたが厳しい先生なら、「探偵A、君は見る順番が間違っている！ 0点だ」と言うかもしれません。しかし、それは不公平です。

この論文の革新的な技術であるH-GRPOは、順番がどうあれ、そこに「手がかり」さえあればよいと理解している賢い先生のようなものです。これは（「ハンガリアン・マッチング」と呼ばれる）数学的なツールを使用して、学生が書いた手がかりを、たとえ書いた順番が違っていても、正しい手がかりと結びつけます。「靴を見つけたか？はい。帽子を見つけたか？はい。素晴らしい、たとえ違う順番であってもよくできました」とチェックするのです。

4. 報酬システム：「証拠を見せなさい」

昔のやり方では、AIは最終的な答えが正しければ「よくできました！」という報酬をもらっていました。しかし、H-GRPOでは、AIは以下の条件を満たした場合にのみ報酬を得られます：

手帳の形式に従っていること。
正しい最終回答に辿り着いていること。
極めて重要な点として： 手帳内のすべてのステップが、画像の特定の部分によって裏付けられていること。

もしAIが、写真の場所を指し示すことなく事実をでっち上げようとすれば、低いスコアを与えられます。これにより、AIは推測することをやめ、実際に画像を「見る」ように強制されるのです。

5. 結果：「知っている」だけでなく「見えている」

著者たちは、さまざまな画像パズルを用いてテストを行いました。

空間推論を必要とするタスク（物体がどこにあるか、あるいはそれらがどのように関連しているかを判断するようなタスク）において、この新手法は驚異的な効果を発揮しました。AIはショートカットに騙されることが大幅に減りました。
深い知識を必要とするタスク（複雑な科学の質問など）においては、効果はありましたが、AIはまず知識を持っている必要があります。この手法はAIが画像を正しく使うことを保証しますが、AIが元々知らない事実を教えることはできません。
解釈可能性： AIはステップを書き出し、証拠を指し示さなければならないため、人間は実際にその「思考プロセス」を読み、それが理にかなっているかを検証することができます。それはもはやブラックボックスではなく、透明なボックスなのです。

まとめ

要約すると、H-GRPOは、AIモデルに「正直な探偵」であることを教える学習テクニックです。答えを推測して運に任せるのではなく、以下のことを強制します：

問題を小さな断片に分解すること。
各断片を証明する写真の正確な場所を指し示すこと。
たとえ期待された順番とは異なっていても、正しい手がかりを見つけた場合に報酬を得ること。

これにより、AIの推論はより信頼性が高まり、でっち上げが減り、人間にとって理解しやすく、信頼できるものになります。

技術要約: H-GRPO によるグラウンデッドな視覚的推論

1. 問題提起

現在の視覚言語モデル（VLM）は、ベンチマークにおける高い精度と、忠実な視覚的推論との間に決定的な乖離に直面しています。モデルはしばしば強力な性能を発揮しますが、表面的な相関関係に依存したり、関連する視覚的証拠を無視したり、あるいは中間的な事実を幻覚（ハルシネーション）として生成したりすることが頻繁にあります。この問題は、VLMを強化学習（RL）を用いて事後学習させる際に悪化します。最終回答の正解性のみを最適化すると、証拠に基づいた演繹を促むのではなく、「ショートカット」による推論を増幅させてしまう可能性があるためです。

既存のRLベースの手法（例：R1-VL、Vision-R1）は、主にテキストによる推論や最終的な結果を監督しますが、中間ステップを局所的な視覚的証拠に接地（グラウンディング）させることは行いません。対照的に、グラウンディング手法（例：Visual-RFT、ViGoRL）は、ローカライゼーションを推論プロセスに不可欠な要素としてではなく、補助的なものとして扱っています。さらに、現在のデータセットには、推論構造、中間回答、および特定の空間的証拠を共同で捉える大規模なアノテーションが不足しています。このようなモデルを訓練する際の主要な課題は、有効な推論パスは一意ではないという点です。異なるモデルは、同じ視覚的質問に対して、異なる中間ステップや順序を用いて解決する可能性があります。標準的なシーケンスレベルの比較では、固定された参照順序から逸脱しただけで、正しい推論に対してペナルティを与えてしまいます。

2. 手法

2.1 グラウンデッドな推論の分解

提案されたフレームワークは、グローバルな視覚的クエリを、一連の原子的かつ検証可能なサブタスクへと分解することをモデルに強制します。モノリシックな推論の代わりに、モデルは以下の要素からなる構造化された出力 $y$ を生成します：

中間トリプレット ( $\tau_i$ ): 各トリプレットが以下を含むシーケンス $\{ \tau_1, \dots, \tau_m \}$ ${τ_{1}, \dots, τ_{m}}$ ：
- $q_i$ : サブ質問。
- $a_i$ : 中間回答。
- $b_i$ : 回答の視覚的根拠を局在化する空間的証拠バウンディングボックス ( $[x_{min}, y_{min}, x_{max}, y_{max}]$ )。
推論パス ( $r$ ): トリプレットの自然言語による合成。
最終回答 ( $a_{final}$ ): 元の質問に対する簡潔な回答。

2.2 データ合成 (GVRS)

トレーニングデータの不足に対処するため、著者らは Grounded Visual Reasoning Synthesis (GVRS) データセットを構築しました。

パイプライン: GPT-4oによって作成され、人間による検証（human-in-the-loop）を経て洗練された40個の高品質なリファレンスセット。空間的な精度は、SAM3を用いたボックスの精緻化によって向上させました。
規模: 報酬スコアリングを通じて選択された最適化されたシステムプロンプトを使用し、Visual7W、Visual-CoT、A-OKVQA、ERQAの4つのソースから10,000個のトレーニングサンプルを生成しました。
検証: 論理的一貫性、意味的な正確性、および空間的な正確性について、専門家による部分的な手動検証が行われました。

2.3 H-GRPO: ハンガリアン・グループ相対方策最適化 (Hungarian Group Relative Policy Optimization)

核心となる革新は、非一意の推論パスを扱うために設計された置換不変（permutation-invariant）なRLフレームワークである H-GRPO です。

置換不変マッチング: 生成された推論チェーンとリファレンスの推論チェーンを固定された順序で比較するのではなく、H-GRPOは、予測されたトリプレットの集合 ( $\hat{D}$ ) とリファレンス・トリプレットの集合 ( $D^*$ ) の間の二部マッチング問題として評価を定式化します。
類似度指標: 各エントリー $S_{ij}$ が以下を組み合わせた類似度行列 $S$ を構築します：
- バウンディングボックスの存在と適合性。
- サブ質問 ( $sim_q$ ) およびサブ回答 ( $sim_a$ ) に対するSentence-BERTコサイン類似度。
- 空間的な重なりに対するIntersection over Union (IoU)。
ハンガリアン・アルゴリズム: 合計類似度スコア ( $S_{HS}$ ) を最大化するために、ハンガリアン・アルゴリズムを用いて最適な一対一の割り当てを見つけます。
報酬関数: 報酬 $R$ は以下の合成です：
1. フォーマット報酬 ( $R_{format}$ ): 出力がトリプレット構造（サブ質問、回答、推論パス、最終回答）に従っていることを保証します。
2. ハンガリアン推論報酬 ( $R_{HS}$ ): マッチングスコアから導出される高密度なプロセスレベルの報酬であり、弱い推論を抑制するために閾値処理されます。
3. 最終回答報酬 ( $R_{answer}$ ): 推論が十分にグラウンデッドされている場合（すなわち、 $R_{HS}$ が閾値を超えた場合）にのみ活性化されます。
式は以下の通りです： $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$ 。

この定式化により、モデルが生成するステップの順序に関わらず、最終回答が正しく、かつ意味的に整合し、視覚的に接地された中間ステップから導出されている場合にのみ、強い報酬が得られるようになります。

3. 主要な貢献

グラウンデッドな推論分解プロトコル: 推論ステップをトリプレット（サブ質問、サブ回答、空間的証拠）として表現する新しい手法であり、外部的な視覚的証拠の明示的な外在化を強制します。
スケーラブルなデータ合成パイプライン: 広範な手動アノテーションなしに、ステップごとのグラウンデッドな推論トレースを生成する方法（GVRSデータセット）を構築しました。
H-GRPO フレームワーク: ハンガリアン・マッチングを用いて予測された推論ステップとリファレンスを整合させる置換不変なRLアルゴリズムであり、柔軟な推論軌跡を可能にしながら、証拠の一貫性を強制します。
統一された評価プロトコル: 回答の正解性、グラウンディングの忠実度、ステップごとの整合性、および視覚的証拠への依存度を測定する包括的なメトリクス・スイート。

4. 実験結果

本手法は、オープンソースのVLMバックボーン（Qwen2.5-VL-3BおよびSmolVLM-2.2B）を用い、インドメインおよびアウトオブディストリビューション（OOD）のベンチマークで評価されました。

インドメイン性能: H-GRPOは、SmolVLM-2.2BバックボーンにおいてA-OKVQAおよびVisual7Wで最高の結果（それぞれ73.4%および77.2%）を達成し、標準的なSFTおよびバニラGRPOを上回りました。Qwen2.5-VL-3Bについては、H-GRPOはSFT/GRPOの性能と同等またはわずかに上回り、特にVisual7Wにおいて顕著でした。
アウトオブディストリビューションの汎化: H-GRPOは、空間的および幾何学的推論タスクにおいて優れた汎化性能を示しました。RealWorldQA、RoboSpatial (70.2%)、およびMMStarで最高スコアを記録しました。MMMUにおける改善は緩やかであり、この手法が純粋な知識集約型推論よりも、視覚的に接地されたタスクに最も効果的であることを示唆しています。
解釈可能性: LLM-as-a-Judgeによる評価において、H-GRPOの推論トレースは、すべての次元（関連性、一貫性、整合性、明快さ、解釈可能性）において最高のスコアを獲得し、R1-VL、ViGoRL、Reason-RFTを大幅に上回りました。
定性的分析: 例として、モデルがカテゴリレベル、空間、およびアクションの推論を特定の画像領域（例：白いジャケットとフードカウンターを通じてシェフを特定する）に正常に接地できていることが示され、根拠のない幻覚のリスクを低減していることが確認されました。

5. 意義と主張

本論文は、H-GRPOが推論の正確性とグラウンディングの忠実度の間のトレードオフを解決すると主張しています。すべての中間的な論理ステップが特定の視覚領域に固定されることを強制することで、本フレームワークは以下の特性を持つ推論パスを生成します：

検証可能: 人間や報酬関数が各ステップの視覚的証拠を検査できます。
忠実: 最終回答は、統計的な推測ではなく、検証された視覚的事実から導かれる論理的な帰結となります。
柔軟: 置換不変の報酬により、多様で有効な推論順序が可能となり、単にリファレンスとは異なるシーケンスに従っただけの正しい論理に対してペナルティを与えることを回避します。

著者らは、H-GRPOがローカライゼーション重視のタスクや空間推論タスクの性能を大幅に向上させる一方で、抽象的または科学的な推論（例：MMMU）に必要なドメイン知識のギャップを完全に補完するものではないと述べています。彼らは、証拠に基づいた視覚的演繹の可能性を最大限に引き出すためには、将来の研究において、シンボリック、チャートベース、およびロングコンテキストのマルチモーダル推論へとグラウンデッドな監督を拡張する必要があると結論付けています。