💻 computer science

NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

本論文は、視覚入力に制御可能なノイズを注入して探索を促進し、ベイズ推論を用いて利得推定を確率的にモデル化する「NoisyGRPO」という新しいマルチモーダル強化学習フレームワークを提案し、これにより小規模なマルチモーダル大規模言語モデルの汎用推論能力と頑健性の向上を実現したことを示しています。

原著者： Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎨 ざっくり言うと：「AI に『あえて雑音』を入れて、より強く育てる方法」

この研究の核心は、**「AI に完璧な画像を見せるのではなく、あえて少し『ノイズ（雑音）』を混ぜて見せる」**という発想にあります。

1. 従来の問題点：「同じ答えしか言わない AI」

これまでの AI のトレーニング（GRPO という方法）では、AI は「正解」を目指して何度も練習します。しかし、ある問題に直面すると、AI は**「同じような答えを何回も繰り返す」**傾向がありました。

例え話： 料理のレシピを覚える際、AI は「塩を少し入れる」という手順しか考えず、「塩を少し多めに入れる」「塩を後から入れる」といった**「バリエーション（試行錯誤）」**を全くしません。
結果： 練習用（トレーニング）のデータでは完璧な成績を出しますが、実戦（新しい画像や質問）に出ると、少し状況が変わるだけでパニックになって失敗してしまいます。

2. NoisyGRPO のアイデア：「あえて『汚れた』画像を見せる」

そこで、この論文の著者たちは**「あえて画像にノイズ（ざらざらした雑音）を混ぜて、AI に見せる」**という方法を取りました。

どんなこと？
画像に「ノイズ」を混ぜると、AI は「あれ？この猫の耳が少し見えにくいな」「背景がぼやけているな」と感じます。
効果：
AI は「完璧な画像」ではなく「少し歪んだ画像」から正解を導き出そうと必死になります。すると、**「画像の細部に頼りすぎず、本質的な論理（思考の筋道）」**を学ぶようになります。
- 例え話： 料理教室で、あえて「光が暗い部屋」や「少し汚れた包丁」を使って練習させます。そうすると、生徒（AI）は「包丁の形」や「光の加減」に頼らず、「食材の切り方そのもの」を深く理解するようになります。

3. 重要な工夫：「ノイズのせいで混乱しないようにする『賢い先生』」

ここで一つ問題が起きます。「あえてノイズを混ぜて練習させたのに、テストでは綺麗な画像を使う」というのは、AI にとって**「練習と本番が違う」**という混乱（バイアス）を生みます。

そこで、論文では**「ベイズ推定（Bayesian Estimation）」**という数学的な手法を使って、AI の評価を補正する「賢い先生」を導入しました。

どうやって補正する？
- ノイズの量を「事前の予想（先生が持っている知識）」として使います。
- AI の回答の正しさを「実際の結果（生徒の答案）」として使います。
- 先生の役割： 「この生徒は、ノイズが強い画像でも正解したから、本当に賢いんだな（評価アップ）」とか、「ノイズが弱いのに間違えたから、運が悪かっただけかもしれない（評価調整）」と、両方の情報を組み合わせて、AI の本当の能力を公平に評価します。
- 例え話： 生徒が「雨の日のテスト（ノイズあり）」で高得点を取った場合、先生は「普段の晴れた日（ノイズなし）ならもっとできるはずだ」と評価を上げます。逆に、「晴れた日で間違えた」場合は、「雨の日ならもっとできたはず」と評価を調整します。こうして、AI は「ノイズがあるからといって評価が下がる」ことを恐れず、**「どんな状況でも論理的に考える力」**を身につけます。

🏆 何がすごいのか？（成果）

この方法（NoisyGRPO）を使ってみると、以下のような素晴らしい変化が起きました。

より「本質」を捉えられるようになった
AI は、画像の細かいノイズに惑わされず、「この画像は『猫が走っている』という事実」を論理的に説明できるようになりました。
小さな AI でも強くなった
特に、計算能力が限られた小さな AI（30 億パラメータなどのモデル）でも、大きな AI に匹敵するくらい論理的な思考（CoT）ができるようになりました。
「幻覚（ハルシネーション）」が減った
AI が「見ていないもの」を勝手に作り出して話す（例：画像にないリンゴがあると言う）という失敗が大幅に減りました。

💡 まとめ

この論文は、**「AI を育てる時に、あえて『少し大変な環境（ノイズ）』にさらし、その中でどう正解を導くかを『賢い先生（ベイズ推定）』が公平に評価する」という、まるで「過酷な環境で鍛えられた選手」**を作るようなトレーニング法を提案しています。

これにより、AI は「練習用データ」に依存せず、**「どんな新しい状況でも、論理的に正しく考えられる」**ようになり、より現実世界で役立つ存在になったのです。

論文技術サマリー：NoisyGRPO

論文タイトル: NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation
著者: Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He (ShanghaiTech University 他)
発表予定: NeurIPS 2025

1. 背景と課題 (Problem)

マルチモーダル大規模言語モデル（MLLM）の推論能力を強化するために、強化学習（RL）、特にグループ相対方策最適化（GRPO）が注目されています。しかし、既存の GRPO フレームワークを MLLM の汎用的な Chain-of-Thought（CoT）推論の改善に適用する際、以下の主要な課題が指摘されています。

探索の不足 (Limited Policy Exploration): 生成モデルにおける RL は通常、温度サンプリングを用いて複数のロールアウト（生成候補）を作成しますが、トレーニング中にこれらがほぼ同一の出力に収束しやすく、探索が不十分になります。
プロセス監督の欠如 (Missing Process Supervision): ルールベースの報酬は最終回答の正誤のみを評価するため、中間推論ステップが監督されません。その結果、モデルは分布外（OOD）で機能しないショートカットや視覚的ハルシネーション（幻覚）を学習してしまいます。
一般化の困難さ: 訓練分布を超えた領域での性能が低下し、トレーニング時の報酬上昇が必ずしも評価指標の向上に繋がらない現象が観察されています。

2. 提案手法：NoisyGRPO (Methodology)

これらの課題を解決するため、著者らはNoisyGRPOを提案しました。これは、視覚入力に制御可能なノイズを注入して探索を促進し、ベイズ推論を用いて利得（Advantage）推定を明確にモデル化する統合フレームワークです。

2.1 ノイズ注入による探索方策 (Noise-Injected Exploration Policy)

仕組み: 画像入力に対して、拡散モデルのフォワードプロセスを模倣した多段階のガウスノイズを注入します。各ロールアウトにおいて、ノイズレベル $n_i$ を一様分布からサンプリングし、画像を $n_i$ に対応するノイズ量で攪乱します。
目的: 異なるノイズ強度に対して多様な応答を生成させることで、方策の探索範囲を広げます。また、視覚的に根拠のある推論（visually grounded reasoning）を暗黙的に促進し、ハルシネーションを抑制します。
注意点: ノイズ注入はロールアウト収集時のみ行い、方策更新時にはクリーンな入力を使用することで、学習の安定性を保ちます。

2.2 ベイズ的利得推定 (Bayesian Advantage Estimation)

ノイズ注入は「オフポリシー」な状況（ノイズ画像で収集した軌跡をクリーン画像で評価する方策）を生み出すため、従来の利得推定にバイアスが生じる可能性があります。これを補正するために、ベイズ推論の枠組みを導入します。

事前分布 (Prior): 注入されたノイズレベルを「推論の難易度」や「軌跡の品質」に関する事前情報として扱います。ノイズレベルが高いほど、正解の可能性が低い（品質が低い）という事前確率を仮定します。
尤度 (Likelihood): 観測された軌跡の報酬（正解度やフォーマット適合度）を尤度として扱います。
事後分布 (Posterior): 事前分布（ノイズレベルに基づく推定）と尤度（観測された報酬）を融合し、軌跡の真の利得の事後分布を計算します。
- 具体的には、ノイズレベルに基づく事前推定値と、セマンティックな報酬を正規化し、それぞれの不確実性（分散）を重みとして組み合わせた事後平均を利得として算出します。
- 動的な重み付け: 同一グループ内の報酬のばらつきが小さい場合（ノイズに関わらず結果が似ている）、事前分布の信頼性は低くなり、観測報酬への依存度が高まります。逆に、報酬のばらつきが大きい場合は、事前分布の情報がより重視されます。

3. 主な貢献 (Key Contributions)

NoisyGRPO フレームワークの提案: MLLM の汎用的な CoT 推論能力を強化するための新しい強化学習フレームワーク。
ノイズ注入とベイズ推定の統合: 探索を促進するノイズ注入戦略と、その副作用を軽減するベイズ的利得推定手法を組み合わせ、小規模モデルでも効果的に学習できる仕組みを提供。
計算コストの抑制: 追加の価値モデル（Value Model）や大規模な計算リソースを必要とせず、既存の GRPO を拡張する形で実装可能。

4. 実験結果 (Results)

標準的な CoT 品質、汎用能力、ハルシネーション評価ベンチマークにおいて、NoisyGRPO は既存の GRPO や他の SOTA モデルを上回る性能を示しました。

CoT 品質 (MME-CoT):
- Qwen2.5-VL 3B モデルにおいて、CoT 品質スコアが +4.4 向上。
- 3B モデルでも GPT-4o や Kimi k1.5 などの大規模プロプライエタリモデルに匹敵、あるいは上回るロバスト性を達成。
汎用能力 (MMStar):
- Qwen2.5-VL 3B で平均スコア +3.7、7B モデルでも +2.6 の改善。
- 細粒度の視覚理解やインスタンス推論タスクにおいて特に顕著な改善が見られました。
ハルシネーション (AMBER):
- 生成ハルシネーション（Cs）の減少と、推論の正確性の向上を確認。
学習ダイナミクス:
- 学習が進むにつれて、ノイズに基づく事前推定から、正解に基づく報酬信号への依存が徐々にシフトすることが確認されました。
- GRPO に比べ、より短く、効率的な CoT 生成を促す傾向があります。
アブレーション研究:
- 単にノイズを注入するだけでは性能が低下すること、また動的な重み付け（ベイズ推定）が不可欠であることを実証しました。
- 一様分布によるノイズ注入が最も安定した学習をもたらしました。

5. 意義と結論 (Significance)

NoisyGRPO は、MLLM における推論能力の強化において、**「探索の質」と「評価の信頼性」**の両面から画期的なアプローチを提供しています。

小規模モデルへの適用可能性: 大規模モデルに依存せず、3B や 7B といった小規模な MLLM でも、RL による推論能力の大幅な向上を実現できる点は、実用面でのコスト削減に寄与します。
視覚的根拠の重視: ノイズ注入を通じて、モデルが「画像のどの部分に基づいて推論しているか」をより厳密に学習させるメカニズムを確立しました。
理論的裏付け: 単なるヒューリスティックなノイズ追加ではなく、ベイズ推論という数学的に厳密な枠組みで不確実性を管理することで、オフポリシー学習のバイアスを理論的に解決しています。

この研究は、マルチモーダル RL の分野において、より頑健で一般化能力の高い推論モデルを構築するための新たな指針を示すものです。