技術要約：OCR中心の強化学習による、多言語能力のベンチマークと向上

1. 問題提起

大規模視覚言語モデル（LVLM）の多言語能力を評価するにあたり、既存のベンチマークには現在、主に2つの手法的な欠陥が存在し、それが評価を妨げている。

1. 非並列コーパス： ほとんどのベンチマークは、翻訳されたデータや自然発生的な多言語データに依存しており、コンテンツ、レイアウト、および難易度が言語間で異なります。これにより制御不能な分散が生じ、性能の差が根本的なモデルの限界によるものなのか、それともデータセットの不一致によるものなのかを区別することが不可能になります。
2. テキストと画像の分離： 従来のベンチマークは、テキストプロンプトと画像を別々のストリームとして処理することがよくあります。これは、AIエージェントがスマートフォンやデスクトップのインターフェースと相互作用するような、テキストが視覚的シーン内に埋め込まれており、モデルが「画像内のテキスト」を読み取る必要がある現実的なデプロイメント・シナリオとは乖離しています。

その結果、クロスリンガルな性能格差の要因や、従来の「テキストベース」の設定から「ビジョン（視覚）」設定へ移行した際に生じる性能低下の具体的な原因が特定されないままとなっています。

2. 手法

A. PM4Bench：厳密に並列化された、ビジョン中心のベンチマーク

評価のギャップに対処するため、著者らは、厳密に並列化された10言語のコーパスに基づいた、初のマルチモーダル・マルチリンガル・マルチタスク・ベンチマークであるPM4Benchを導入します。

• 厳密に並列化されたコンテンツ： このベンチマークは10言語（英語、中国語、韓国語、タイ語、ベトナム語、ロシア語、ハンガリー語、セルビア語、チェコ語、アラビア語）をカバーしています。すべてのタスクにおいて、意味的に同一のコンテンツが、同一のレイアウト、フォント、背景でレンダリングされます。言語のみが変更されます。これにより、「アップル・トゥ・アップル（同等条件）」でのクロスリンガル比較が可能になります。
• ビジョン設定： テキストとクエリは画像上に直接「印字」されており、エージェントが個別のテキスト入力なしに画面上のテキストを解析しなければならない、統合された視覚的観察をシミュレートしています。
• 4つの診断タスク：
  1. MDUR (Multi-Discipline Understanding and Reasoning): MMMU-proから派生した、大学レベルのマルチモーダル推論（多肢選択式問題）。
  2. MIQA (Multi-Image Question Answering): 複数の画像に対するオープンエンドな質問応答。
  3. MSOCR (Multi-Scale OCR Challenge): 意味を持たない単語を、減少していくフォントサイズ（40ptから2ptまで）でレンダリングすることで、テキスト認識の限界を調査します。
  4. MGUI (Multilingual GUI Grounding): 合成されたウェブページ・テンプレート（例：航空券予約、銀行業務）上での座標ベースのグラウンディングを評価し、エージェントのインタラクション能力をテストします。

B. 診断：ボトルネックとしてのOCR

PM4Benchを用い、著者らは10種類の主要なLVLM（GPT-5、Geminiなどの商用APIや、Qwen3-VLなどのオープンソースモデルを含む）を評価しました。

• 知見： ビジョン設定は、従来の（テキストベースの）設定と比較して、一貫して性能の低下を引き起こし、言語間の格差を顕著にしました。
• 仮説の検証： 著者らは、OCRが共通のボトルネックであることを特定しました。証拠としては以下が挙げられます：
  • ビジョン入力に加えて正解テキスト（Ground-truth text）を提供すると、性能格差が大幅に縮小しました。
  • MSOCRスコアとダウンストリームのVQA性能との間に、言語ごとの強い相関が見られました。
  • 低リソースかつ視覚的に高密度なスクリプト（例：アラビア語、タイ語）は、一貫して後れを取っていました。

C. ソリューション：OCR中心のGRPO強化学習

この診断に基づき、著者らは、高価なタスク固有のVQA教師あり学習を行うことなく、多言語能力を向上させるトレーニング戦略を提案します。

• アプローチ： Qwen3-VL-8B-Thinkingモデルに対して、**グループ相対方策最適化（GRPO）**を適用します。
• データ： トレーニングには、完全に合成された、**ラベルフリー（ラベルなし）**のOCRデータを使用します。テキストは、意味的なバイアスを防ぐために、意味を持たない名詞の組み合わせを用いて、様々なフォントやサイズでランダムな背景上にレンダリングされます。
• 報酬設計： OCRを向上させつつ一般的な推論を維持するために、デュアル報酬関数を採用しています。
  1. OCR精度報酬 ($R_{acc}$): 予測されたテキストと正解テキストの間の正規化されたレーベンシュタイン距離に基づきます。
  2. フォーマット/長さ報酬 ($R_{fmt}$): 出力が短すぎる、長すぎる、または反復的すぎる場合にペナルティを課します。そして決定的なのは、純粋な精度最適化によって起こりがちな、Chain-of-Thought（CoT）推論の放棄を防ぐことです。
• 結果： 得られたモデルであるQGO-8Bは、PM4Benchの評価例を一切使用せずにトレーニングされており、得られた成果が真の汎化能力を反映していることを保証しています。

3. 主な結果

• 性能向上： QGO-8Bは、PM4Benchにおける4つの全タスクおよび全設定において、平均スコア（$S_{avg}$）を向上させています。特筆すべきは、特に最も弱い言語（アラビア語とタイ語）において、言語間の変動係数（$S_{cv}$）を大幅に減少させたことです。
• クロスタスク転移： 合成OCRデータのみでトレーニングされているにもかかわらず、QGO-8Bは非OCRタスク（MDUR、MIQA、MGUI）の性能も向上させており、OCRスキルの向上がマルチモーダル推論全体の能力を引き上げることを裏付けています。
• 外部ベンチマークへの転移： 改善は外部ベンチマークにも転移しています：
  • CC-OCR: 全体で+4.7 NEDの向上。学習した言語と未学習の言語の両方で改善が見られました。
  • OCRBench: ベースラインと同等の性能（791対789）を維持し、退行はありませんでした。
  • MTVQA: 学習した言語で+0.5の向上を実現しつつ、未学習の言語における性能を維持しました。
• アブレーション研究： デュアル報酬設計が極めて重要です。OCR精度（$R_{acc}$）のみでトレーニングした場合、複雑なタスクにおける推論性能が崩壊します（MDURが34.88から26.67に低下）。一方で、フォーマット報酬（$R_{fmt}$）のみでは限定的な効果しかありません。認識能力を向上させつつ推論の整合性を維持するには、両方の組み合わせが必要です。

4. 重要性と主張

本論文は、LVLM駆動型エージェントの公平なグローバル展開に向けて、評価と改善のループを閉じることを主張しています：

1. 公平な評価： PM4Benchは、モデルの能力をデータセットのバイアスから分離するための、初の厳密に並列化されたビジョン中心の尺度を提供します。
2. ボトルネックの特定： 純粋な言語モデリングよりも、OCRの堅牢性がビジョン設定におけるクロスリンガルな格差の主要な要因であることを確立しました。
3. 効率的な緩和策： 提案されたOCR中心のGRPOは、多言語性能を向上させるための低コストかつラベルフリーな経路を提供します。合成データと報酬制約付きのRLアプローチを使用することで、高価な人間による注釈付きVQAデータセットを必要とせずに、ダウンストリームタスクへの効果的な転移を実現します。

著者らは、OCR中心のRLはレバレッジの高い介入ではあるものの、真のクロスリンガル能力は最終的にはベースモデルの改善に依存すること、また、トレーニングデータの合成的な性質が現実世界のデプロイメントの複雑さを完全には捉えきれない可能性があることを指摘し、その範囲について謙虚な姿勢を保っています。