技術的概要：信頼性の高いマルチモーダル強化学習のためのランキング認識型較正

1. 問題定義

強化学習（RL）によるポストトレーニングは、ビジョン・ランゲージモデル（VLM）およびマルチモーダル大規模言語モデル（MLLM）の推論精度を大幅に向上させてきたが、これらのモデルはしばしば較正（calibration）が不十分である。具体的には、結果ベースの RL で一般的に用いられる終端正解報酬は、自信のある誤りを不確実な誤りよりも強く罰せず、また自信と支援となる視覚的証拠の質との間の関係を強制しない。

この構造的な不一致は、破損したまたは曖昧な視覚入力において決定的となる。そのようなシナリオでは、モデルは高い自信を維持しながら、流暢だが誤った根拠を生成することが多く、「権威ある誤推論」またはハルシネーションを引き起こす。事後の温度スケーリングや言語化された自信の引き出しなどの既存の較正手法は、凍結されたモデル上で動作し、自信に関するポリシーの学習された行動を変更することができない。さらに、テキストのみの標準的な目的関数は、視覚的証拠の劣化を考慮しておらず、これはマルチモーダル推論における固有の課題であり、証拠の質が低下するにつれて自信も減衰すべきである。

2. 手法：RAC フレームワーク

著者は、較正をマルチモーダル RL 内のネイティブな目的として統合するトレーニング時フレームワークである**ランキング認識型較正（RAC）**を提案する。RAC は、グループベースの RL（具体的には、グループ相対方策最適化、GRPO）の既存の構造を活用し、外部の自信アノテーションを必要とせずに監督信号を生成する。

このフレームワークは、RL サンプリングから導出された 2 つの相対的監督信号を導入する：

A. ランキング認識型グループ損失（同一プロンプト内）

この損失は、同一プロンプトに対する複数の候補解（ロールアウト）間の自信の順序付けに対処する。

• メカニズム: 与えられたプロンプト $x$ に対して、ポリシーが $n$ 個のロールアウトのグループをサンプリングする。この手法は、一方のロールアウトが正解（検証者スコアが高い）で他方が不正解であるペアを特定する。
• 目的: 正解のロールアウトは不正解のものよりも高い自信スコアを受け取るよう、マージンベースの制約を強制する（$c_{better} > c_{worse} + m_{rank}$）。
• 効果: これにより、ポリシーは正解と不正解の推論経路を区別することを強要される。モデルに正解に対して明確に高い自信を割り当てることを要求することで、基礎となる推論の質が強化され、正解報酬のみが達成するものを超えたタスク精度の向上がもたらされる。

B. クリーン－破損ペア損失（証拠間）

この損失は、自信と視覚的証拠の質との間の関係に対処する。

• メカニズム: 各クリーンプロンプト $x^{(0)}$ に対して、可変の重大度 $s$ を持つ ImageNet-C 演算子を用いて合成された破損版 $x^{(s)}$ が生成される。ポリシーは両バージョンに対してロールアウトをサンプリングする。
• 目的: 破損ビューに対する自信はクリーンビューに対するものより低くなるよう、方向性制約を強制する。ここで必要なギャップは破損の重大度に比例して拡大する（$c_{clean} > c_{corrupted} + m_{corr} + \alpha s$）。
• 効果: これにより、モデルは視覚的証拠が劣化した場合に自信を減衰させることを学習し、劣化した入力下での期待較正誤差（ECE）およびブライアースコアを低減する。

C. 統合最適化

これら 2 つの損失は、シーケンスレベルの形状付け報酬に変換され、標準的な GRPO 目的関数に統合される。ロールアウト $i$ に対する最終報酬は以下の通りである：
$$\tilde{r}_i = r_{task, i} + \lambda_{rank} r_{rank, i} + \lambda_{corr} r_{corr, i} + \lambda_{fmt} r_{fmt, i}$$
ここで、$r_{task}$ は標準的な正解報酬であり、他の項はランキング損失および破損損失から導出される。このアプローチは、基盤となるオプティマイザやモデルアーキテクチャの変更を必要としない。

3. 主要な貢献

1. 相対的監督の視点: 本論文は、標準的な結果ベースの RL が自信に対する方向性制約を欠いていることを特定する。RL サンプリングに既に内在する比較（プロンプト内ロールアウトグループおよびマッチしたクリーン－破損ペア）を用いてこれらの制約を監督できることを示し、外部の自信ラベルの必要性を排除する。
2. RAC フレームワーク: これらの監督軸をマージンベースのランキングおよびペア損失として形式化する。これらはシーケンスレベルの報酬に分散され、任意のグループベースの RL ポストトレーニングパイプラインと互換性のある統合された較正目的を創出する。
3. 破損下での実証的評価: Qwen2.5-VL および InternVL-3.5 バックボーンを用いた 6 つのマルチモーダル推論ベンチマークにおける広範な評価。クリーン入力および 5 段階の漸進的視覚破損（ImageNet-C）を網羅する。

4. 実験結果

著者は、3 つのモデルファミリー（Qwen2.5-VL-3B/7B および InternVL-3.5-8B）を 6 つのベンチマーク（M3CoT, ScienceQA, MathVerse, MMMU, We-Math, MathVision） across して RAC を評価した。

• 較正の改善: ペア破損損失（+Pair）は、タスク精度を大幅に変化させずに ECE およびブライアースコアを大幅に低減した（例：InternVL-3.5-8B において ECE が 13.4% 低減）。これは、回答の正解性を直接最適化するのではなく、自信の減衰を教える役割を担っていることを確認する。
• 精度の改善: ランキング認識型損失（+Rank）は、ポリシーに正解の推論経路に対して高い自信を割り当てるよう促すことで、タスク精度を一貫して向上させた（例：InternVL-3.5-8B で 11.9% の絶対的改善）。
• 組み合わせ性能: 両方の損失の組み合わせ（+Pair+Rank）は、ほとんどの設定で両方の次元において最良の性能を達成した。InternVL-3.5-8B において、この組み合わせは Vanilla-RL に対して ECE を 13.4%、ブライアースコアを 18.1% 低減すると同時に、精度を 24.2% 向上させた。
• トレーニング破損の重大度: 研究は、トレーニング破損強度と一般化との間に非単調な関係があることを発見した。軽度の破損（重大度 $T_{0.2}$）が最良の較正転移を提供する一方、過度の破損（$T_{0.6}$ 以上）は監督信号を不安定化させ、性能を劣化させた。

5. 意義と主張

本論文は、RAC が自信が推論の質や証拠の質に明示的に結びついていないマルチモーダル RL における構造的なギャップに対処すると主張する。較正を事後の修正ではなくネイティブな目的として扱うことで、RAC は以下の点を実現する：

• 信頼性の向上: 視覚的証拠が劣化した場合に自信が低下することを保証することで、権威ある誤推論のリスクを低減する。
• 精度の向上: 相対的自信の順序付けを強制することが、正解報酬のみよりも強力な識別信号として機能し、より優れた推論をもたらすことを実証する。
• 効率性: 外部アノテーションやアーキテクチャの変更なしに、グループベースの RL に固有のサンプリング幾何学のみを利用することでこれらの改善を達成する。

著者は、RAC は現在、二値の正解性が利用可能な多肢選択ベンチマークで評価されているが、このフレームワークは、特にノイズのあるまたは曖昧な視覚入力を含むシナリオにおいて、マルチモーダル推論システムの信頼性を向上させる有望な方向性を提供すると結論づける。今後の研究として、適応的破損カリキュラムの探求およびオープンエンド生成設定への応用が提案されている。