🤖 AI

Improving Generalization Robustness of Multimodal RLVR

本論文は、マルチモーダルモデルにおける標準的なRLVRの脆弱性を軽減するために、動的な三値報酬と埋め込み空間の一貫性正則化を組み合わせた堅牢なポストトレーニング手法であるPrompt-Invariant RLVR（PIRL）を提案し、それによって意味的に等価でありながら摂動を加えたプロンプトに対する汎化性能を大幅に向上させるものである。

原著者： Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に優秀だが融通の利かないロボットにパズルを解く方法を教えていると想像してください。あなたは猫の写真を見せて、「これは何の動物ですか？」と尋ねます。ロボットは完璧に「猫」と答えることを学びます。しかし、あなたが質問を少し変えて、「画像内のネコ科の動物を特定せよ」と言った途端、ロボットはフリーズするか、間違った答えを出してしまいます。これが、**マルチモーダル大規模言語モデル（MLLM）の世界です。これらは、画像を見ることとテキストを読むことを同時に行える、超スマートなAIシステムです。これらのロボットをさらに賢くするために、科学者たちは検証可能な報酬を用いた強化学習（RLVR）**という手法を用います。これは、ロボットが厳格なチェックリスト（特定の形式や正しい数値など）に回答が一致した場合にのみ「ポイント」を獲得できるビデオゲームのようなものです。目標は、ロボットがより良く推論し、より多くのポイントを獲得できるようにすることです。しかし、ここに落とし穴があります。もしロボットがパズルを真に理解するのではなく、チェックリストを「攻略」することだけを学んでしまった場合、そのシステムは脆弱になります。練習問題と全く同じ形式の質問であれば満点を取れるかもしれませんが、質問の言い回しを少し変えただけで、無残にも失敗してしまうのです。これは、医療診断や法律相談といった、言い回しが変わるだけで壊れてしまうロボットが危険を招く可能性がある実世界の用途において、非常に大きな問題となります。

この「脆さ」を解決しようとする新しい研究が登場しました。Pengfei Zhou氏らが率いる研究チームは、標準的な学習方法がAIに「フォーマット至上主義者（形式にうるさい者）」になるよう教えていることを発見しました。彼らは、AIが正解に対して報酬を受け取る際、報酬システムが二つの要素を混同していることが多いことを突き止めました。それは、「正解にたどり着くこと」と「フォーマットのルールに従うこと」（例えば、回答を特定の枠内に収めることなど）です。もしAIが回答を枠に入れ忘れた場合、たとえ回答の内容が完璧であっても、スコアはゼロになります。これがAIを混乱させ、数学や論理ではなく、枠の形式にばかり集中させてしまうのです。さらに、AIは極めて限定的で特定の質問スタイルでしか練習を行いません。そのため、現実世界で同じ質問が異なる方法で提示されたとき、AIはパニックに陥ります。

これを解決するために、チームは**プロンプト不変RLVR（PIRL）と呼ばれる新しい学習手法を提案しました。彼らは二つの主要なトリックを導入しました。第一に、AIに「動的三値報酬（Dynamic Trinary Reward）」を与えました。単純な「正解／不正解」のスコアではなく、AIは三段階のスコアを受け取るようになりました。すなわち、正しい形式での正解には「+1」、形式が間違っている場合の正解には「0」、そしてフォーマットの失敗には「-1」です。これにより、形式が乱れていても、回答の「内容」が重要であることをAIに教え込みます。第二に、学習に「スタントダブル（代役）」を加えました。彼らは、意味は変えずに、微妙な方法で質問を書き換える敵対的エージェント（adversarial agent）**を作成しました（例えば、言い回しや指示のスタイルを変えるなど）。そして、AIは質問がどのような姿をしていても、常に同じ正しい回答を出せるように強制されます。これは、単に特定のワークシートにある数学の問題を解くだけでなく、それが筆記体であれ、活字であれ、あるいは口頭で伝えられたものであれ、問題を解けるように生徒を訓練するようなものです。

結果は有望です。彼らがこの新手法を旧来の標準的な手法（GRPOと呼ばれます）と比較したところ、質問が言い換えられた際の「ストレス・テスト」において、旧手法のパフォーマンスは著しく低下しました。例えば、いくつかの数学ベンチマークにおいて、標準的な手法はプロンプトが変わると精度が約3%から4%低下しました。対照的に、新しいPIRL手法は驚くほど安定しており、精度の低下はわずか1%以下でした。信頼性が鍵となる医療や法律などの高リスク領域においても、PIRLは競合よりもはるかに高い精度を維持しました。この研究は、「正解であること」と「正しく見えること」の報酬を切り離し、より多様な質問スタイルで練習することで、単に賢いだけでなく、人間が実際に話すような、乱雑で予測不可能なやり方にも対応できる、堅牢で信頼性の高いAIを構築できることを示唆しています。

技術要約：マルチモーダルRLVRの汎化ロバスト性の向上

1. 問題提起

本論文は、検証可能な報酬を用いた強化学習（RLVR）を通じて微調整されたマルチモーダル大規模言語モデル（MLLM）におけるプロンプト・ロバスト性のギャップに対処している。RLRLは、決定論的なシグナル（例：正規表現によるマッチングや記号的検証）に対して最適化することで、標準的なベンチマークにおける精度を大幅に向上させるが、これらの利得は脆弱である。著者らは、質問の言い換えやプロンプト・テンプレートの変更を行うだけで性能が急激に低下することを観察しており、これは高リスクなデプロイメント（例：医療や法律のVQA）においてモデルを信頼できないものにする。

著者らは、標準的なRLVRの目的関数内に2つの根本的な原因を特定している：

報酬の絡み合い（Reward Entanglement）： 標準的なバイナリ・ベリファイア（例： $V = V_f \cdot V_c$ ）は、フォーマットの遵守（ $V_f$ ）と意味的な正しさ（ $V_c$ ）を混同している。報酬がゼロである場合、モデルがタスクを理解できなかったのか、単にアウトプットのフォーマットに従えなかったのかを区別できない。これにより、特にフォーマット遵守率が高い場合に、情報量の多い報酬の分散が失われ、勾配シグナルが一般的な推論ではなく、テンプレート固有の振る舞いに偏ってしまう。
プロンプト依存性（Prompt Dependency）： 標準的なRLVRは、固定された学習分布（ $P_{train}$ ）上で最適化を行う。理論的分析（命題 B.5）によれば、この目的関数は非識別的（non-identifiable）である。すなわち、訓練用のテンプレートでは完璧に機能するが、意味的に等価であっても未知のプロンプトでは失敗するポリシーも、訓練時の報酬を同等に達成できてしまう。その結果、モデルはプロンプトに不変な推論を学ぶのではなく、特定のプロンプト・テンプレートを悪用（exploit）することを学習してしまう。

2. 手法：プロンプト不変RLVR (PIRL)

これらの問題に対処するため、著者らは**プロンプト不変RLVR (PIRL)を提案し、2つの設計条件、すなわち報酬の分解 (C1)と不変性の制御 (C2)**を具現化している。

2.1. 動的三値報酬 (Dynamic Trinary Reward: DTR)

報酬の分解を満たすために、PIRLは標準的なバイナリ・ベリファイアを動的三値報酬に置き換える：
$R = R_t + \alpha_{rew} R_s$

$R_t$ (フォーマット認識型三値ベリファイア)： 正解かつ正しいフォーマットであれば $+1$ 、不正解だが正しいフォーマットであれば $0 $、フォーマット失敗であれば$ -1$ を割り当てる。これにより、フォーマットの遵守と意味的な正しさを分離する。
$R_s$ (意味的スコア)： フォーマットのバケット内で分散を提供する、有界な意味的スコア（NLIスコアラーから派生）。フォーマットが正しくても、 $R_s$ は意味的な正しさの度合いを区別できる。
分離型アドバンテージ正規化 (Decoupled Advantage Normalization: DAN)： グループ正規化の過程で意味的スコアのスケールが三値シグナルを支配することを防ぐため、著者らはロールアウト・グループ内で $R_t$ と $R_s$ を個別にzスコア化してから結合することを提案している。

2.2. 埋め込み空間における敵対的生成と一貫性正則化

不変性の制御を満たすために、PIRLは以下の敵対的学習ループを導入する：

敵対的エージェント： 敵対的エージェントは、限定された $\ell_2$ ボール（ $\|\delta\|_2 \le \epsilon_{emb}$ ）内で指示トークンの埋め込みを摂動させる。これは、視覚的入力や正解を変更することなく、指示の最悪のケースの言い換えをシミュレートするものである。敵対的エージェントは、ポリシーの期待DTR報酬を最小化することを目指す。
一貫性正則化： これらの摂動下でポリシーが崩壊しないように、一識性損失（consistency loss）が追加される。この損失は、クリーンなプロンプト下と敵対的（摂動された）プロンプト下でのポリシーのトークン分布間のKullback-Leibler (KL) ダイバージェンスを最小化する。これは、意味的等価クラス全体にわたる回答レベルの不変性を強制するための、扱いやすい代理指標として機能する。

2.3. 学習目的関数

全体の目的関数は、DTRから得られるDAN正規化されたアドバンテージを用いたクリップされたGRPO損失と、一貫性ペナルティを組み合わせたものである：
$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$
ここで、 $\bar{q}$ は射影上昇法（projected ascent）を介して生成された凍結された敵対的サンプルを表す。

3. 主な貢献

プロンプト・ロバスト性ギャップの特定： 本論文は、標準的なRLVRがプロンプトのフォーマットに対する過学習を引き起こし、訓練時の精度が高いにもかかわらず、言い換えられたプロンプトに対して性能が低下するという現象を正式に明らかにした。
理論的定式化： 著者らは、プロンプトのロバスト性を「意味的等価クラス」上の最適化として定式化した。標準的なバイナリ報酬が報酬の分散バイアスを引き起こし、訓練の目的関数がプロンプト不変なポリシーに関して非識別的であることを証明した。
PIRLフレームワーク： DTRによる報酬の分解と、埋め込み空間における敵対的生成および一貫性正則化による不変性の制御を具現化した具体的な手法（PIRL）を提案した。
実証的検証： Exam、Medical、Legal VQAのベンチマークにおける広範な実験により、PIRLがストレス・テストにおいて、標準的なGRPOやマルチ・テンプレート・ベースラインと比較して、性能低下を大幅に抑制することを示した。

4. 実験結果

著者らは、Qwen2.5-VL-7BおよびQwen3-VL-8Bを用いて、3つのドメインでPIRLを評価した：

テンプレート・ストレス・テスト (T-Stress)： 未知のテンプレート数（ $N=1$ $N = 1$ から $15$）を持つプロンプトでモデルをテストした。
- 標準的なGRPOは顕著な劣化を示した（例：Qwen2.5のMathVistaにおいて $\Delta T \approx -4.4\%$ ）。
- PIRLは安定性を維持し、しばしばプラスまたは無視できる程度の低下にとどまった（例：MathVistaにおいて $\Delta T \approx +0.3\%$ ）。
- PIRLは、問題を部分的にしか緩和できなかったMulti-Template (GRPO-MT) ベースラインを上回った。
動的評価 (D-Test)： オペレーターベースの変異（言い換え、レイアウト変更など）を用いた。
- PIRLは、GRPOおよびGRPO-MTと比較して、すべてのベンチマークにおいて一貫して最小の平均性能低下を達成した。
- 高リスクなドメイン（MedicalおよびLegal）において、PIRLはGRPOが大幅に低下する場面でも精度を維持した（例：PathVQAにおいて、GRPOは $-6.7\%$ 低下したが、PIRLの低下はわずか $-0.8\%$ であった）。
アブレーション研究： フル構成のPIRL (MT + ADV + DTR) が最良の結果をもたらした。アブレーションでは、すべての指標においてDTRや敵対的生成の個別の必要性をマルチ・テンプレート・ベースラインを超えて決定的に分離できなかったものの、その組み合わせが、検知可能なコストなしに最も堅牢な性能を提供した。

5. 意義と主張

本論文は、PIRLがRLVRでチューニングされたモデルのロバスト性を、ベースモデルと同等かそれ以上のレベルまで回復させ、プロンプト・ロバスト性のギャップを事実上解消すると主張している。

信頼性： この手法は、言い換えられた指示への対応不能がモデルの信頼性を損なう医療や法律などの高リスクな領域において特に重要である。
メカニズム： 本研究は、RLVRの脆弱性が強化学習自体の固有の限界ではなく、報酬の絡み合いと学習範囲の限定に起因することを示している。フォーマットと意味を分離し、不変性を強制することで、モデルはテンプレートを記憶するのではなく、意味的等価クラス全体にわたって汎化することを学習する。
謙虚な姿勢： 著者らは、ロバスト性が正解を保証するものではないこと（安定したモデルであっても、自信を持って間違える可能性があること）、および彼らの不変性目的関数が、離散的なトークン空間ではなく埋め込み空間で動作する、完全な意味的等価クラスの扱いやすい緩和策であることを認めている。彼らは、PIRLを、重要な領域における専門家の判断を代替するものではなく、それをサポートするための手法として位置づけている。