🤖 machine learning

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

本論文は、実世界のノイズに強いマルチモーダル大規模言語モデル（MLLM）の学習を実現するため、探索段階でトークンレベルのエントロピー最大化を行い、その後の搾取段階で最小化へと移行する二段階のエントロピー最適化アプローチを提案し、既存手法を上回るロバストな性能を達成したことを報告しています。

原著者： Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎒 物語：間違った地図を渡された冒険家

Imagine you are training a brave explorer (the AI) to find a hidden treasure (the correct answer).
しかし、この冒険家には**「間違った地図（ノイズのあるラベルデータ）」**が渡されてしまいます。

本当は「東」に行くべきなのに、地図には「西」と書いてある。
本当は「山」に登るべきなのに、地図には「川」と書いてある。

🚫 今までの方法の失敗

これまでの AI の学習方法（GRPO など）は、この間違った地図を**「絶対的な正解」**だと信じて、一生懸命に西へ、川へと向かってしまいました。

結果： 地図が間違っているのに、AI は「あ、これが正解だ！」と固執してしまい、本当の宝（正解）にはたどり着けません。
また、AI が「西しか行かない」と決めつけると、他の道（多様な答え）を試さなくなるため、間違った情報に気づくチャンスも失われます。

✨ この論文の解決策：2 段階の「冒険と修行」

この論文が提案するのは、AI の成長を**「2 つの段階」**に分けて指導するという方法です。

第 1 段階：冒険家モード（Exploration / エントロピー最大化）

「まずは、地図を信じずに、あちこち飛び回れ！」

何をする？
AI に「答えは一つじゃないよ！いろんな可能性を試してみろ！」と命令します。
間違った地図（ノイズ）があっても、「もしかしたら東かもしれない、もしかしたら山かもしれない」と、多様なルートを試し続けます。
なぜ必要？
もし最初から「西に行け」と言われたら、AI はすぐに西へ行ってしまいます。でも、まずは「あちこち探検」させることで、AI は「あ、この地図（ラベル）は嘘をついているかも？」と気づく余地を作ります。
これを**「多様性の確保」**と言います。

第 2 段階：職人モード（Exploitation / エントロピー最小化）

「さて、探検が終わった。一番良さそうな道に集中して、完璧に仕上げよう！」

何をする？
冒険（探索）で得た情報を元に、「あ、やっぱり東に行くのが正解だったんだな」と気づいた AI に、**「その道に絞って、自信を持って進め！」**と命令します。
ここでは、迷いを捨てて、最も確実な答えを素早く、正確に出せるようにします。
なぜ必要？
ずっと「あれもこれも試して」だと、いつまで経っても決断できません。最後に「これだ！」と絞り込むことで、AI は賢く、正確な答えを出せるようになります。

🌟 具体的な効果：なぜこれがすごいのか？

この「冒険→修行」のスケジュール（2 ステージ・エントロピー最適化）を取り入れた AI は、以下のような素晴らしい成果を上げました。

間違った地図に騙されない：
データの半分が間違っていても、AI は「あれ？おかしいな」と探検段階で気づき、最終的に正解を見つけます。
どんな AI でも使える：
小さな AI でも大きな AI でも、画像認識でも文章生成でも、この方法は効果的でした。
他の方法より強い：
- 最初から「迷うな（最小化）」だけだと、間違った道に固執して失敗。
- ずっと「迷っていろ（最大化）」だけだと、決断できずに失敗。
- この論文の方法（まず迷って、その後決断）が一番強い！

📊 実生活での例え

料理の味付け：
- 冒険段階： 塩、砂糖、酢、醤油……いろんな調味料を少量ずつ入れて、「どんな味がするか」を全部試してみる（多様な味を探る）。
- 修行段階： 「あ、この組み合わせが一番美味しいな」と気づいたら、その配合に絞って、完璧な味に仕上げる。
- もし最初から「塩だけ入れろ」と言われたら、塩辛すぎて食べられなくなります（これが間違ったラベルに騙される状態）。

🏁 まとめ

この論文が伝えているのは、**「AI に正解を教えるとき、最初から『正解はこれだ』と押し付けず、まずは『いろんな可能性を探させてから、最後に絞り込ませる』のが、間違ったデータがあっても最強の学習法だ」**ということです。

AI 教育において、**「柔軟に探求する心（冒険）」と「確信を持って実行する力（修行）」**のバランスが、ノイズだらけの現実世界を生き抜くための鍵だったのです。

論文概要：ノイズ耐性のある MLLM 訓練のための「探索から利用へ」の二段階エントロピー RLVR 手法

本論文は、マルチモーダル大規模言語モデル（MLLM）における「検証可能な報酬を用いた強化学習（RLVR）」が、現実世界のノイズの多いラベルデータに対して脆弱であるという課題に焦点を当てています。著者らは、Group Relative Policy Optimization（GRPO）の訓練プロセスにおいて、トークンレベルのエントロピーを動的に制御する**「二段階エントロピー最適化手法」**を提案し、ノイズ耐性と汎化性能の向上を実現しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

RLVR（例：DeepSeek-R1 や GRPO）は、数学的推論やコード生成など、正解が検証可能なタスクで優れた性能を発揮します。しかし、MLLM を画像認識や GUI 操作などのマルチモーダルタスクに適用する際、以下の課題が存在します。

高品質なラベルデータの不足: 現実世界では、アノテーションにノイズ（誤ったラベル）が含まれることが一般的です。
既存手法の限界:
- 外部信号ベース: コンパイラや LLM による評価（LLM-as-a-Judge）は、タスク依存性が高く、評価モデル自体の能力に上限があります。
- 内部信号ベース: 形式やランダムな報酬を用いる手法は柔軟ですが、タスク固有の目的と整合性が取れず、効果が限定的です。
- エントロピーベース: 従来の手法は、エントロピーの「最小化」または「最大化」のどちらか一方に偏っています。
  - 最小化のみ: 早期に収束し、ノイズのあるラベルに過学習しやすい。また、GRPO が必要とする回答の多様性（Exploration）を抑制し、利益推定（Advantage Estimation）の精度を低下させます。
  - 最大化のみ: 収束が困難になり、確定的な高精度な出力が得られにくくなります。

核心的な課題: ノイズのあるデータ下で、どのようにして「探索（多様な出力の生成）」と「利用（確信度の高い出力への収束）」のバランスを動的に取るかです。

2. 提案手法：二段階エントロピー誘導 RLVR

著者らは、トレーニングの初期段階ではエントロピーを最大化し、後期段階では最小化する**「二段階（Two-Stage）」**のアプローチを提案しました。

手法の概要

トークンレベルのエントロピー制御:
シーケンス全体のエントロピーではなく、生成される各トークンごとの条件付き確率分布のエントロピーを計算し、これを損失関数として利用します。
$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}} + \lambda(\tau) \mathcal{L}_{\text{entropy}}$
二段階スケジュール:
- 第 1 段階（探索フェーズ）: 訓練の初期（ $\tau \le \tau_{\text{switch}}$ $τ \leq τ_{switch}$ ）において、エントロピー損失の係数 $\lambda$ $λ$ を正（ $\lambda_{\max}$ $λ_{m a x}$ ）に設定し、エントロピーを最大化します。
  - 目的: モデルが多様な出力を生成するように促し、ノイズのあるラベルへの過学習を防ぎます。また、GRPO におけるグループ内での回答の多様性を確保し、信頼性の高い利益推定を可能にします。
- 第 2 段階（利用フェーズ）: 訓練の後期（ $\tau > \tau_{\text{switch}}$ $τ > τ_{switch}$ ）において、係数を負（ $-\lambda_{\min}$ $- λ_{m i n}$ ）に切り替え、エントロピーを最小化します。
  - 目的: 探索フェーズで獲得した知識を確信度の高い出力に集約し、予測精度を向上させます。

このアプローチは、ノイズに強い探索を維持しつつ、最終的には高精度なモデルへ収束させることを可能にします。

3. 主要な貢献

包括的な実験評価:
- 異なるノイズ率（0%〜100%）、多様なモデルアーキテクチャ（Qwen2-VL, Qwen2.5-VL, InternVL など）、および複数のタスク（GUI グラウンディング、細粒度分類、オープンボキャブラリー物体検出）において、ノイズラベルが RLVR に与える影響を体系的に評価しました。
既存手法の限界の特定と解決:
- 単一のエントロピー操作（最小化のみ、最大化のみ）の限界を明らかにし、探索から利用への遷移を制御する二段階手法を提案しました。これにより、ノイズへの過学習を抑制しつつ、知識の定着を促進します。
優れた性能と汎用性:
- 標準的な GRPO や、既存のエントロピーベースの手法、外部/内部信号ベースの手法を、さまざまなノイズ条件やモデルサイズにおいて凌駕しました。

4. 実験結果

実験は、Qwen2.5-VL-3B および他のモデルを用いて、ScreenSpot（GUI グラウンディング）、Pets37（細粒度分類）、COCO（物体検出）などのデータセットで行われました。

ノイズ耐性の向上:
- GUI グラウンディング（ScreenSpot）: 50% のノイズラベル条件下で、標準 GRPO が 76.2% の精度だったのに対し、提案手法は**80.2%**を達成しました。100% ノイズ（すべて誤ったラベル）の条件下でも、ベースラインを大幅に上回る性能を示しました。
- モデルサイズへのスケーラビリティ: 大規模なバックボーン（例：Qwen2-VL-7B）ほど、二段階スケジュールによる性能向上が顕著でした（50% ノイズで 8.6% の改善）。
他の手法との比較:
- 単なるエントロピー最小化（GRPO w. Min.）や最大化（GRPO w. Max.）よりも、二段階手法（GRPO w. Two.）がすべてのノイズレベルで優位でした。
- 外部信号（TTRL など）や内部信号（形式報酬など）ベースの手法と比較しても、特にノイズ率が高い状況で安定した性能を発揮しました。
分布外（OOD）汎化:
- 訓練データとは異なる分布（ScreenSpot-Pro, OS-World-G, MMBench-GUI L2）に対する評価でも、提案手法は高い汎化性能を示しました。特に、ノイズデータを加えた場合でも、他の手法が性能を低下させる中、提案手法は安定した精度を維持しました。
定性的分析:
- 可視化結果から、エントロピー最小化のみではモデルがすぐに単一の誤った推論パスに収束してしまうのに対し、提案手法は探索フェーズで多様な推論経路を生成し、利用フェーズで正しい経路に収束させることが確認されました。

5. 意義と結論

本論文は、不完全なデータ（ノイズのあるラベル）から MLLM を学習させる際の重要な課題に対して、**「探索と利用の動的なバランス」**をエントロピー制御によって実現する新しいパラダイムを提示しました。

理論的意義: GRPO のグループ内正規化メカニズムがノイズに対してある程度の耐性を持つこと、そしてエントロピーのスケジュール制御がその耐性をさらに強化し、収束の安定性を高めることを実証しました。
実用的意義: 高品質なアノテーションが不足している現実世界のタスク（GUI 操作、医療、複雑な画像理解など）において、RLVR を実用的に適用するための堅牢な基盤を提供します。

結論として、提案された「二段階エントロピー誘導 RLVR」は、ノイズのある環境下でも高いロバスト性と汎化性能を実現し、マルチモーダル AI の学習における有望なアプローチであることが示されました。