FireRed-OCR Technical Report

本論文は、一般の VLM を高品質な OCR 専門モデルへと変換する「FireRed-OCR」フレームワークを提案し、幾何学的特徴と意味情報を組み合わせたデータファクトリーと、3 段階の段階的学習戦略（マルチタスク事前整合、SFT、GRPO）を採用することで、OmniDocBench v1.5 において DeepSeek-OCR 2 や OCRVerse を凌ぐ SOTA 性能を達成したことを報告するものです。

要約

🔥 ファイアレッド OCR：文書を読み解く「天才的な新人」の育て方

こんにちは！今日は、Xiaohongshu（小紅書）社の研究チームが開発した**「FireRed-OCR（ファイアレッド OCR）」**というすごい技術について、難しい専門用語を使わずに、わかりやすくお話しします。

イメージしてください。
今、AI には「何でもできる天才（汎用 AI）」がたくさんいます。彼らは絵を見たり、話を聞いたりするのが得意です。でも、**「複雑な書類を、Excel の表や数式として完璧に読み取る」**という仕事になると、急にミスをするんです。

例えば、表の行がバラバラになったり、数式が意味不明な文字列になったりします。これを論文では**「構造的な幻覚（Structural Hallucination）」**と呼んでいます。「何かを見て、勝手に想像して答えてしまう」状態ですね。

FireRed-OCR は、この「何でもできる天才」を、**「書類の構造を完璧に理解するプロの職人」**へと変身させるためのトレーニング方法です。

---

🏭 1. 材料工場：「幾何学＋意味」のデータ工場で高品質な燃料を作る

AI を育てるには、たくさんの「勉強用教材（データ）」が必要です。でも、ただランダムに本を集めても、AI は偏った知識しか身につけません。

• 従来の方法： 本をランダムに選ぶ。→ 簡単な文章ばかり集まってしまう。
• FireRed-OCR の方法： 「幾何学＋意味」のデータ工場を作りました。

【アナロジー：料理の材料選び】
普通の料理人は「とりあえず野菜を袋から出す」かもしれませんが、この工場は違います。

1. 形（幾何学）で分類： 「表が多いページ」「縦書きのページ」「複雑なレイアウトのページ」を、AI が形だけで見分けて分類します。
2. 意味でタグ付け： 「法律文書」「数学の教科書」「手書きのメモ」など、内容もタグ付けします。

これにより、「難しいけど重要なページ（長尾のデータ）」を見逃さず、バランスの取れた「高品質な教材」を大量に作ります。さらに、AI 自体が「難しい問題」を見つけ出し、より高度な AI（先生）に添削させて、**「完璧な正解例」**に仕上げます。

---

🎓 2. 3 段階のトレーニング：「職人」になるまでの成長物語

FireRed-OCR は、AI を 3 つの段階で育てます。いきなり難しいことをさせるのではなく、段階を踏んで「しつける」のです。

ステージ 1：「目」を鍛える（マルチタスク・プリアライメント）

• 何をする？ AI に「この文字はどこにある？」「この枠はどこまで？」と、ピクセル単位で正確に指し示す練習をさせます。
• アナロジー： 料理人になる前に、まず「包丁の持ち方」や「食材の切り方」の基本を徹底的に練習する段階です。いきなり「高級料理を作れ」とは言いません。

ステージ 2：「型」を覚える（専門的な SFT）

• 何をする？ 読み取った文字を、「Markdown（マークダウン）」という決まったフォーマットで出力する練習をします。表なら表、数式なら数式として、きっちり整えるのです。
• アナロジー： 基本ができたので、次は「レシピ通りに料理を作る」練習です。「塩は小さじ 1」「火加減は中火」というルールを厳守するように訓練します。

ステージ 3：「厳格な審査」を通す（GRPO による強化学習）

• 何をする？ ここが最大の特徴です。AI が作った答えに対して、「ルール違反がないか」を自動でチェックする審査員がいます。
  • 表の行が揃っているか？
  • 数式がエラーなく動くか？
  • タグが閉じられているか？
• アナロジー： 料理人が作った料理を、「厳しいシェフ（審査員）」が試食します。「ソースが溢れている」「盛り付けが崩れている」と指摘され、**「ルール通りに作れたらご褒美、間違ったら減点」**というゲーム形式で、AI 自身に「自分で間違えを直す力」を身につけさせます。

---

🏆 3. 結果：小さな体が、巨大な天才に勝つ！

このトレーニングを受けた FireRed-OCR は、**「OmniDocBench v1.5」**という世界最高峰の書類読み取りテストで、92.94 点という驚異的なスコアを叩き出しました。

• 驚き： このモデルは、パラメータ数（脳のサイズ）が20 億（2B）と、GPT-4 や Gemini などの巨大モデル（数百億〜数千億）に比べて非常に小さいのに、最も高いスコアを記録しました。
• 意味： 「大きくて何でもできる AI」よりも、「書類読み取りに特化して厳しく鍛えられた AI」の方が、この分野では圧倒的に上手いことが証明されました。

🌟 まとめ

FireRed-OCR は、**「AI に『勘』ではなく『ルール』と『経験』を教える」**という新しいアプローチです。

• バランスの取れた教材で基礎を固め、
• 厳格なルールで型を覚えさせ、
• 自動審査でミスを修正させる。

この「3 段階トレーニング」によって、AI は複雑な書類でも、表や数式を完璧に再現できるようになりました。これは、AI を「何でもできる天才」から「特定の分野の超プロ」へと変えるための、新しい教科書のようなものです。

これで、将来の AI は、あなたの複雑な請求書や研究論文を、人間が手作業で直す必要なく、完璧な Excel や PDF に変換してくれるようになるかもしれませんね！

技術概要

FireRed-OCR 技術報告書：要約

本論文は、Xiaohongshu Inc. の Super Intelligence Team によって提出された「FireRed-OCR」に関する技術報告書です。これは、汎用的な大規模視覚言語モデル（VLM）を、高精度な構造化ドキュメント解析に特化した OCR モデルへと変換するための体系的なフレームワークを提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義：構造的ハルシネーション

近年の VLM（例：GPT-4V, Qwen-VL など）は一般的な画像認識や推論において優れた能力を示していますが、財務報告書や学術論文、複雑なフォームなどのドキュメント解析タスクにおいては、**「構造的ハルシネーション（Structural Hallucination）」**という重大な課題に直面しています。

• 現象: モデルは画像の「意味」を理解できても、厳密なフォーマット制約を守れません。具体的には、Markdown テーブルの行が乱れる、数式構文が存在しない、階層論理が欠落するなどのエラーが発生します。
• 課題: 従来の OCR パイプライン（検出→認識）はピクセル精度が高いものの論理構造の再構築が難しく、既存の End-to-End VLM は意味理解は得意ですが、微細な空間的 grounding や構造的整合性の維持が苦手です。
• 目的: モデルの振る舞いを「広義の意味解釈」から「厳密な論理ルールに基づく構造化生成」へと転換すること。

2. 手法：FireRed-OCR フレームワーク

FireRed-OCR は、**「高品質なデータエンジン」と「段階的なトレーニング戦略」**の 2 つの柱に基づいています。

2.1. データ：「幾何学＋意味」データファクトリー

既存の OCR データセットの不均衡（単純なレイアウトの偏り）やアノテーションの不一致を解決するため、独自のデータパイプラインを構築しました。

• 幾何学的特徴に基づくクラスタリングと二重インデックス:
  • テキスト内容ではなく、ドキュメントのレイアウトトポロジー（幾何学的特徴）に基づいて画像をクラスタリングし、希少なレイアウト（ネストされた表、不規則なフォーム等）を特定・抽出します。
  • 言語、レイアウトタイプ、ドキュメントソース、ジャンルなどの多次元タグ付けを行い、学習データの分布を制御します。
• 層別サンプリングと統一再アノテーション:
  • 希少なレイアウトを過剰サンプリングし、単純なテキストを制限することで、難易度の均一なデータセットを構築します。
  • 元の多様なアノテーションを破棄し、PaddleOCR-VL を用いて統一された Markdown 形式に再アノテーションすることで、モデルへの混乱を排除します。
• 合成データと品質管理:
  • HTML/CSS テンプレートを用いて、複雑な表や数式を含む合成データを生成し、構造的な事前知識を提供します。
  • 自動ヒューリスティック（構造的閉鎖性の確認）と LLM によるコンテンツ監査を行い、特に「ハードネガティブ（難しいケース）」を特定して、より高度なモデル（Teacher Model）によるリファインメント（修正）を行います。

2.2. トレーニング：3 段階の漸進的トレーニング

Qwen3-VL をベースモデルとし、以下の 3 つの段階でモデルを洗練させます。

1. 段階 1：マルチタスク事前アラインメント
   • 検出（バウンディングボックス）、領域 OCR、ページ全体の Markdown 変換を同時に学習させ、モデルにドキュメントの物理的構造とピクセルレベルの位置関係を理解させます。
2. 段階 2：専門的教師あり微調整（SFT）
   • 高品質な Markdown データを用いて、構造的整合性、階層表現の安定性、Markdown 形式の標準化、多言語・複雑レイアウトへの頑健性を強化します。
3. 段階 3：フォーマット制約付き GRPO（Group Relative Policy Optimization）
   • 強化学習（RL）を導入し、構造的整合性を強制します。
   • 報酬設計: 数式の構文正しさ、タグの閉鎖性、表の整合性（列数の一致）、テキストの正確さの 4 つの報酬関数を設計。
   • イテレーティブ SFT-GRPO: SFT と GRPO を交互に実行することで、意味的な忠実さと構造的厳密さの両立を図り、報酬ハッキングを防ぎます。

3. 主要な貢献

1. 構造的ハルシネーションの特定と解決: VLM ベースのドキュメント解析におけるボトルネックを特定し、「テキスト生成」から「構造化エンジニアリング」へのパラダイムシフトを提案しました。
2. 「幾何学＋意味」データファクトリーの開発: 解釈可能でバランスの取れた高品質な教師データを提供する自動化パイプラインを構築しました。
3. 3 段階トレーニング戦略の導入: 制約付き GRPO を組み込んだ漸進的学習により、複雑なレイアウト再構築における頑健性を大幅に向上させました。
4. SOTA 性能の達成: 2B パラメータのモデルでありながら、大規模な汎用モデルや既存の E2E モデルを凌駕する性能を達成しました。

4. 実験結果

OmniDocBench v1.5 などの主要ベンチマークでの評価結果は以下の通りです。

• 全体スコア: FireRed-OCR-2B は 92.94% のスコアを記録し、OmniDocBench v1.5 で SOTA を達成しました。
• 比較対象との差:
  • DeepSeek-OCR 2 (91.09%) や OCRVerse などの専門 E2E モデルを凌駕。
  • Qwen3-VL-235B (89.15%) や Gemini-3.0 Pro (90.33%) といった数百億パラメータ級の汎用 VLM を、2B パラメータのモデルで上回りました。
  • PaddleOCR-VL-1.5 などのパイプライン型システムとも互角、あるいはそれ以上の性能を示しました。
• 詳細な性能:
  • テキスト認識（Edit Distance）: 0.032（全モデル中最小）。
  • 表構造解析（Table TEDS）: 90.31（Qwen3-VL-235B の 86.21 を大きく上回る）。
  • 読み順序推論（R-orderEdit）: 0.041（最良）。
• FireRedBench（複雑レイアウト用ベンチマーク）: 歪んだスキャンや高密度な多列レイアウトなど、パイプライン型モデルが性能を低下させるようなタスクにおいても、安定した高い性能（74.62）を維持しました。

5. 意義と結論

FireRed-OCR は、**「汎用 VLM → 専門的な構造化エキスパート」**という転換の妥当性を証明しました。

• パラメータ効率性: 巨大なモデルサイズに依存せず、高品質なデータと適切なトレーニング戦略（特に GRPO による構造化制約）によって、小規模モデルでも SOTA 性能を達成できることを示しました。
• 産業応用への貢献: 構造的ハルシネーションを抑制し、厳密なフォーマット（Markdown, LaTeX, 表構造）を出力できるため、財務分析、学術研究、法務文書処理などの産業利用において、実用的な OCR ソリューションとして機能します。
• オープンソース化: コード、モデル重み、およびデータ処理パイプラインを公開し、コミュニティにおける構造化ドキュメント解析の発展を促進しています。

本論文は、ドキュメント理解において「意味の理解」だけでなく「構造の厳密さ」をどう保証するかという課題に対し、データと学習戦略の両面から包括的な解決策を提示した点で重要な意義を持ちます。