技術要約: TRON: 視覚的推論RLのための標的型・ルール検証可能オンライン環境

1. 問題提起

視覚的推論における強化学習（RL）は、決定的なボトルネックに直面している。それは、スケーラブルで検証可能、かつ制御可能な学習信号の欠如である。検証可能な報酬を用いた強化学習（RLVR）は、決定論的なチェックを通じて、テキストのみのドメイン（数学、コード）において推論能力を向上させることに成功しているが、視覚的推論タスク（例：遮蔽された物体のカウント、空間関係の推論、チャートの解釈）をスケールさせることは困難である。

既存の視覚的RLパイプラインは、静的にキュレーションされた画像・質問・回答（VQA）データセットに依存している。これらのアプローチには、主に以下の3つの制限がある：

1. スケーラビリティ: データセットのサイズはアノテーションや収集の予算によって制限されるため、生産的な学習データのボリュームが限定される。
2. 制御性: 静的なデータセットでは、モデルがトレーニングの各段階で練習すべき特定のスキルや難易度レベルを制御することがほとんどできない。
3. データの汚染: 現代の視覚言語モデル（VLM）は、事前学習や教師あり微調整（SFT）の過程で一般的な推論データセットを吸収するため、これらの静的なデータセットは、モデルが既にそれらを目にしている可能性が高く、RL信号としての有効性を失う。

2. 手法: TRONフレームワーク

著者らは、オンデマンドで新鮮かつ難易度制御されたトレーニングインスタンスを生成するために設計された、オンライン環境基盤であるTRON（Targeted, Rule-verifiable Online eNvironments）を導入する。

コアアーキテクチャ

TRONは、静的なデータセットを、ジェネレーター（生成器）とベリファイア（検証器）のプログラムのスイートに置き換える。各環境 $e$ は、タプル $(S, L, G, V)$ として定義される：

• 状態 ($S$): 潜在的な視覚的状態（例：キューブの構成、チャートのデータ、パズルの解法）。
• 難易度 ($L$): 離散的なレベルの梯子 $\ell \in \{0, \dots, 9\}$。高いレベルほど複雑さが増す（例：より長い推論チェーン、より大きなシーン、より多くの妨害要素）。
• ジェネレーター ($G$): 状態 $s$ とレベル $\ell$ をサンプリングし、画像をレンダリングし、質問 $q$ を構築し、レンダリング前にグラウンドトゥルースの回答 $a$ を計算する決定論的なプログラム。
• ベリファイア ($V$): モデルの予測 $\hat{a}$ を、事前に計算された $a$ と照合するルールベースのモジュール。これは、厳密な一致ルール（集合の等価性、シーケンスの等価性、またはパズル固有のソルバー）に基づいて、バイナリ報酬（0または1）を返す。

主要な設計原則:

• アンサー・ファースト（回答優先）: 回答は画像が描画される前に潜在状態から計算される。これにより、ベリファイアが正確かつノイズフリーであることが保証される（LLMによる判定ではない）。
• オンデマンド生成: トレーニングインスタンスはロールアウト中に新鮮に生成される。二度と同じトレーニングステップで全く同じインスタンスを見ることはない。
• カリキュラム制御: 難易度レベル $\ell$ は制御可能な入力である。システムはベリファイアの精度を追跡し、閾値に達すると自動的に環境をより高い難易度レベルへと昇格させ、モデルに合わせてカリキュラムを進めることを確実にする。

TRONスイート

現在の実装には、5つの能力バケットに分類された520個の異なる環境が含まれている：

1. 空間 (111個): 3D回転、キューブネット、ナビゲーション、経路探索。
2. 数学 (131個): 幾何学の定理、解析幾何学、視覚的量に基づく代数。
3. 図表 (144個): チャートの集計、表、グラフアルゴリズム、フローチャート。
4. パターン/論理 (104個): 制約パズル（数独、Binairo）、視覚的類推、状態空間プランニング。
5. カウント (30個): 視覚的列挙、経路カウント、特徴推定。

トレーニングレシピ

著者らは、RLのポストトレーニングとしてDAPO（GRPOの変種）を採用している。

• データ生成: 各ステップで、タプル $(env, \ell, seed)$ が選択され、新鮮な $(I, q, a)$ が生成される。
• 堅牢性: 一般化を向上させるために、画像に摂動（パディングのジッター、回転、ノイズ、ぼかし）を加える。
• カリキュラム: スライディングウィンドウが最近の精度を追跡し、難易度レベルを動的に調整する。
• 目的関数: グループフィルタリング（すべて正解、またはすべて不正解のプロンプトグループを破棄）とKL正則化を備えたDAPOスタイルの目的関数を最適化する。

3. 主な貢献

1. TRON基盤: ルール検証可能なジェネレーター・ベリファイア・プログラムからなる、新しいオンライン環境フレームワーク。これは、静的なデータ収集を不要にする、無制限で新鮮な画像・質問のロールアウトを生成する。
2. 能力の特化と転移: このフレームワークは、単一の「フルモデル」を全バケットにわたって訓練することと、単一のバケットに特化した「能力特化型モデル」を訓練することの両方をサポートする。これにより、特定の視覚的推論能力が異なる視覚形式間でどのように転移するかを分析できる。
3. 基盤の分析と検証: 著者らは、生成の信頼性、インスタンス/レベルの多様性、および難易度の梯子の妥当性（高いレベルがベースモデルにとって真に困難であることを保証する）を検証するための厳格な監査プロトコル（セクション5.1）を導入した。
4. 実証的検証: 10の外部マルチモーダル推論ベンチマークにおいて、3つの多様なVLMファミリー（Qwen3-VL-4B, Qwen2.5-VL-7B, MiMo-VL-7B）に対して一貫した性能向上を実証した。

4. 実験結果

環境監査

トレーニング前に、520の環境を監査した：

• 品質: 96.5%の環境が、生成の成功、レンダリングの妥当性、およびベリファイアの整合性において「A」グレードを獲得した。
• 難易度: 難易度の梯子は検証された。ベースモデルのパス率は、レベル0の72.8%からレベル9の41.3%へと単調に減少しており、カリキュラムが真の進展軸を持っていることを裏付けている。
• 多様性: シードとレベル間で高い多様性が観察され、重複に近い環境は最小限であった。

主要な結果（ベンチマーク性能）

TRONでのトレーニングは、10の外部ベンチマーク（WeMath, MM-HELIX, ChartQA, SpatialEvalなど）において一貫して性能を向上させた：

• Qwen3-VL-4B: 平均スコアが52.61から55.23へ増加（+2.62）。
• Qwen2.5-VL-7B: 平均スコアが40.85から43.35へ増加（+2.50）。
• MiMo-VL-7B-SFT: 平均スコアが63.37から66.50へ増加（+3.13）。
  数学、空間、チャート、パズル推論の全域で向上が見られ、これは環境がベンチマークのテンプレートを暗記しているのではなく、転移可能な操作を教えていることを示唆している。

能力特化型分析

著者らは、特定の視覚的フォーマット（バケット）でのトレーニングが、同じ基礎能力を共有する他のフォーマットへ転移するかどうかを調査した：

• バケット内での整合性: 特化型モデルは、自身の視覚的フォーマットを共有する外部サブタスクにおいて大幅に改善した（例：幾何学タスクにおける数学特化型モデル）。
• バケット間の転移: 特化型モデルは、異なる視覚的フォーマットであっても、共通の基礎能力を共有するタスクにおいても改善した（例：迷路ナビゲーションにおいて数学特化型モデルが改善したことは、多段階推論の転移を示唆している）。
• フォーマット整合性の限界: 視覚的フォーマットの整合性だけでは不十分である。場合によっては（例：MathVerse）、フォーマットが一致した特化型モデルよりも、異なるバケット（Diagram）で訓練された特化型モデルの方が優れた性能を示すことがあった。これは、タスクが特定の基礎能力（図の読み取り）を必要としており、一致したバケットではそれが孤立化されていなかったためである。

5. 意義と主張

本論文は、TRONが視覚的推論RLのための実用的でスケーラブルな基盤を提供すると主張している。これは、静的なVQAデータセットのキュレーションから、手続き的でルール検証可能な生成へと移行することで実現される。

• スケーラビリティ: データのボリュームをアノテーション予算から切り離すことで、TRONは新鮮なインスタンスの無制限なストリーム上でモデルを訓練することを可能にする。
• カリキュラム制御: 難易度レベルを動的に調整する能力により、モデルの向上に合わせて、トレーニング信号が常に挑戦的かつ関連的な状態に保たれる。
• 転移に関する洞察: 結果は、表面的な視覚的フォーマットよりも、基礎となる能力（例：多段階推論、空間推論）がベンチマーク間の転移の主要な原動力であることを示唆している。したがって、多様なメカニズムをカバーする多様な環境のスイートは、特定の視覚的フォーマットに絞ったものよりも堅牢である。
• 方法論的貢献: 本研究は、手続き的生成と厳密なベリファイアの組み合わせが、高性能なVLMを訓練するための静的なVQAデータセットに代わる実行可能な選択肢であることを確立し、より制御可能で効率的なRLポストトレーニングへの道筋を示した。

著者らは、合成環境が現実世界の写真データとは乖離する可能性があることや、難易度レベルが厳密に学習された指標ではなく著者の選択によるパラメータであることなど、限界についても謙虚に述べている。しかし、多様なモデルファミリーとベンチマークにわたる一貫した向上は、提案されたアプローチの有効性を支持している。