💻 computer science

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

この論文は、アノテーションデータや外部報酬モデルに依存せず、画像に基づいた質問生成と内部一貫性による自己報酬プロセスを通じて大規模マルチモーダルモデルの推論能力を自律的に向上させる「EvoLMM」というフレームワークを提案し、マルチモーダル数学推論ベンチマークで最大約 3% の性能向上を実現したことを報告しています。

原著者： Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

公開日 2026-03-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🌟 EvoLMM: 画像だけで「独学」する AI の物語

この論文は、**「人間に教わらず、正解も教えてもらわずに、AI が自分自身で賢くなる」**という画期的な方法を紹介しています。

その名も**「EvoLMM（エボルム）」**。まるで子供が遊びながら成長するように、AI が自分自身で課題を作り、それを解くことで「知能」を進化させる仕組みです。

🧩 従来の AI との違い：「先生」は必要ない？

これまでの AI 学習は、まるで**「受験勉強」**のようでした。

人間（先生）が「この画像は犬です」「このグラフの答えは 5 です」という正解データを用意します。
AI はそれをひたすら暗記し、テストで正解率を上げようとします。

しかし、これには大きな問題があります。

正解データを作るのに、人間の手間と時間がかかる。
正解がない分野（新しい問題）では、AI は成長できない。

EvoLMM は、この「先生」を排除しました。代わりに、**「自分自身で先生と生徒になりきって、独学する」**という方法を採用しています。

🎭 2 つの分身：「提案役」と「解答役」

EvoLMM は、1 つの AI モデルの中に**2 つの役割（アバター）を作ります。まるで「一人二役」**の俳優さんのようなものです。

1. 🎨 提案役（Proposer）：「謎かけを作る人」

役割: 与えられた「何の画像か分からない（ラベルなしの）写真」を見て、**「これについてどんな質問ができるかな？」**と考える人です。
特徴: 最初は「この画像、何ですか？」のような簡単な質問しかできませんが、成長すると「このグラフの 2020 年の傾向と、2022 年の傾向を比較して、なぜこうなったか理由を説明して」といった難しい問題を作るようになります。

2. 🧠 解答役（Solver）：「謎を解く人」

役割: 提案役が出した質問に対して、**「答えはこれ！」**と答える人です。
特徴: 最初は適当に答えてしまいますが、何度も試行錯誤するうちに、論理的に正しく答えるようになります。

🔄 独学の魔法：「内なる評価」システム

ここが最も面白い部分です。通常、AI が「正解」を知るには、人間が「正解です」と言わなければなりませんが、EvoLMM は**「自分自身で正解かどうかを判断」**します。

🎲 仕組み：「5 回試して、意見が一致したら高評価！」

提案役が画像を見て質問を作る。
解答役が、その質問に対して5 回連続で答えを出します（例：A, B, C, D, E）。
評価の基準:
- もし 5 回の答えが**「ほぼ同じ（一致）」**なら → **「この質問はよく考えられた良い質問だ！」**と提案役に報酬（ご褒美）をあげます。
- もし 5 回の答えがバラバラなら → **「この質問は曖昧すぎるか、難しすぎる」**と判断し、報酬を減らします。

💡 重要なポイント：「連続的なご褒美」

これまでの研究では、「全部一致したら 100 点、少しでも違ったら 0 点」という**「0 か 100 か」の厳しい評価でした。
しかし、EvoLMM は「5 回中 3 回一致なら 60 点」のように、「部分的な正解」にも少しずつご褒美**を与えます。

🍎 アナロジー：リンゴ狩り

従来の方法: 「赤くて丸いリンゴ」しか採れない。少し緑がかってたり、形が歪んでたりすると「0 点」。

EvoLMM: 「赤くて丸いリンゴ」は 100 点、「少し緑」なら 80 点、「形が少し歪」なら 60 点。

これにより、AI は「完璧な答え」を目指して焦るのではなく、**「少しずつ答えを近づけていく」**という学習がスムーズに進みます。

📈 成長のプロセス：「適度な難しさ」の発見

このシステムは、AI にとって**「ちょうどいい難しさ」を自動で見つける「自動カリキュラム」**の役割も果たします。

初期: 提案役は「この画像、何？」という簡単な質問ばかり作ります。解答役はすぐに一致するので、簡単すぎます。
中盤: 提案役は「少し難しい質問」を作るようになり、解答役も少し迷うようになります。でも、5 回中 3 回くらい一致すれば「いい感じ！」とご褒美がもらえます。
後期: 提案役は「解答役が少し迷うけど、頑張れば解けるレベル」の質問を作るようになり、解答役は論理的な思考を磨いていきます。

まるで**「ゲームのレベル調整」**のように、AI 自身が「自分にとってちょうどいい練習問題」を作り出し、成長し続けるのです。

🏆 結果：画像だけで数学が得意に！

この方法で、有名な「Qwen2.5-VL」という AI を訓練したところ、人間が作った正解データは一切使わずに、以下の結果が出ました。

チャートやグラフの読み取り: 正解率が約 2〜3% 向上。
数学的な推理: 複雑な図形や数式の理解力が向上。
汎用性: 数学だけでなく、科学の図解や日常の質問にも強くなりました。

🌟 まとめ：AI が「自分で考えて」成長する時代へ

EvoLMM は、**「正解がわからない世界」でも、AI が「自分自身で問いを立て、試行錯誤し、内なる基準で成長する」**ことを可能にしました。

人間の手間: ほぼゼロ（ラベルなしの画像だけあれば OK）。
AI の成長: 自分自身で「難しいこと」に挑戦し、論理的思考を深める。

これは、AI が単なる「暗記マシン」から、**「自ら学び、進化していく知能」**へとステップアップした大きな一歩と言えるでしょう。まるで、子供が親の助けなしに、遊びの中で自然と言葉を覚え、論理を身につけていくような、そんな未来の入り口です。

EvoLMM: 連続報酬を用いた自己進化する大規模マルチモーダルモデル

本論文「EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards」は、人間の注釈や外部報酬モデルに依存することなく、大規模マルチモーダルモデル（LMM）が自己の推論能力を向上させるための新しいフレームワーク「EvoLMM」を提案するものです。

以下に、問題設定、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題設定と背景

近年、大規模マルチモーダルモデル（LMM）は画像キャプション生成や視覚的質問応答（VQA）などで顕著な進歩を遂げていますが、そのトレーニングパイプラインには以下の2つの根本的な依存関係が存在します。

人間が作成した注釈データへの依存: 学習には大量のラベル付きデータ（質問と回答のペア、メタデータなど）が必要。
外部報酬モデルへの依存: 強化学習などの手法では、人間の評価や知識蒸留された報酬モデルが正解判定に使われる。

これらの依存性は、スケーラビリティの制限、ドメイン汎化の困難さ、注釈や評価モデルが存在しない環境での展開を阻害しています。特に、視覚的推論（数学的推論など）において、人間の注釈なしでモデルが自律的に学習し、推論能力を向上させる手法は未解決の課題でした。

2. 手法：EvoLMM

EvoLMMは、単一のバックボーンモデルから2つの協調的なエージェント（役割）をインスタンス化し、**内部の一貫性（Internal Consistency）**のみに基づいて学習を進める完全な教師なし自己進化フレームワークです。

2.1. アーキテクチャ

モデルは以下の2つの役割に分解されます。

Proposer（提案者）: 未ラベルの画像から、多様で画像に根ざした（visually grounded）数学的・視覚的な質問を生成する。
Solver（解決者）: 生成された質問に対して、複数の回答サンプルを生成し、回答を試みる。

2.2. 連続自己報酬メカニズム（Continuous Self-Rewarding Mechanism）

従来の自己質問手法（LLM分野など）では、多数決による「一致/不一致」の離散的な報酬が使われていましたが、マルチモーダル領域では初期段階の回答が不安定で、離散報酬では学習信号が希薄になりがちです。EvoLMMはこの問題を解決するため、連続的な自己整合性報酬を導入しました。

Solver 報酬 ( $r_{sol}$ ):
Solver が生成した $N$ 個の回答サンプル間の一致度に基づいて計算されます。単なる一致/不一致ではなく、回答の確率分布や一致の度合いに応じて滑らかにスケーリングされる連続値となります。また、回答の長さに対するペナルティも組み込まれ、簡潔さを促します。
$r_{sol}^i = (p(y_i | x, q))^\gamma \cdot (1 - \lambda_{len} \cdot \max\{0, (w_i - \tau)/\tau\})$
これにより、完全な正解が得られなくても、部分的な一致や確信度の高い回答に対しても勾配が得られ、学習が安定します。
Proposer 報酬 ( $r_{prop}$ ):
Proposer が生成した質問の難易度を制御するために、Solver の回答のエントロピーに基づいた報酬が与えられます。
$r_{prop} = \exp\left(-\frac{(H(x, q) - \mu_H)^2}{2\sigma_H^2}\right)$
- エントロピーが低すぎる（質問が簡単すぎる、または誘導的）場合や、高すぎる（曖昧で解けない）場合は報酬が低くなります。
- **中程度のエントロピー（適度な難易度）**を持つ質問に対してのみ高い報酬が与えられます。
  これにより、Proposer は Solver の能力に合わせて質問の難易度を自動調整し、学習を促進する「暗黙のカリキュラム」が自然に形成されます。

2.3. 最適化

両方の役割は、REINFORCE 法に基づく方策勾配法でオンラインに更新されます。事前学習済みのモデルからの乖離を防ぐため、トークンレベルの KL 正則化項が導入されており、学習の安定性を保ちつつ、自己進化を可能にしています。

3. 主要な貢献

完全教師なしの自己進化フレームワークの提案: 人間の注釈、メタデータ、外部報酬モデルを一切使用せず、生画像のみから LMM の推論能力を向上させる「EvoLMM」を初めて実装しました。
連続自己報酬メカニズムの開発: 離散的な多数決報酬の代わりに、回答の一致度に応じた連続的な自己整合性シグナルを導入しました。これにより、学習の不安定性を解消し、滑らかな最適化と段階的な能力向上を実現しました。
広範なベンチマークでの有効性の実証: 数学的視覚推論タスクにおいて、ベースラインモデルに対して一貫した性能向上（約 2-3%）を達成しました。また、異なるバックボーンモデルやモデルサイズ（7B から 72B）においても汎用性があることを示しました。

4. 実験結果

実験は、Qwen2.5-VL-7B をベースモデルとして、ChartQA、MathVista、MathVision、ScienceQA などの 8 つのマルチモーダル数学・視覚推論ベンチマークで実施されました。

主要な結果:
- ChartQA: 84.00% → 86.70% (+2.7%)
- MathVista: 68.46% → 70.52% (+2.06%)
- ScienceQA: 88.30% → 89.50% (+1.2%)
- 離散的な報酬を用いたベースラインと比較して、EvoLMM（連続報酬）はすべてのベンチマークで安定した改善を示しました。
モデルサイズのスケーリング:
- 7B モデルだけでなく、72B モデルでも同様の改善が見られ、モデルサイズが大きいほど絶対的な性能向上幅が大きくなりました。
パラメータ効率:
- LoRA による微調整が最も効果的であり、フルファインチューニングや QLoRA に比べて安定性と性能のバランスが優れていました。
ゼロショット汎化:
- 学習に使用していない他のタスク（RefCOCOg, DocVQA など）でも性能が向上し、自己進化が構造化された推論能力の一般化に寄与していることが示されました。

5. 意義と結論

EvoLMM は、マルチモーダル AI における「自律的な学習」の新たな地平を開くものです。

データ依存からの脱却: 高品質な注釈データが不足している分野や、ドメイン特化型のタスクにおいて、生データのみでモデルを強化できる可能性を示しました。
学習の安定性: 離散的な報酬が抱える「学習信号の希薄さ」や「モデルの崩壊（Model Collapse）」の問題を、連続的な自己整合性報酬によって解決しました。
将来の展望: このアプローチは、長期的な推論能力の自律的発展や、教師なしでの大規模データ活用における基盤技術として、今後の研究の重要なベースラインとなるでしょう。

要約すれば、EvoLMM は「モデル自身が質問を作り、答え、その一貫性から学び続ける」という単純ながら強力なメカニズムにより、外部の監督なしに視覚的推論能力を自己進化させることに成功した画期的な研究です。