ICDAR 2025 Competition on End-to-End Document Image Machine Translation Towards Complex Layouts

ICDAR 2025 における複雑なレイアウトを持つ文書画像の機械翻訳コンペティションは、OCR 不要・OCR 利用の 2 つのトラックで 69 チームが参加し、大規模モデルが複雑な文書画像の翻訳において有望な新たなパラダイムを確立したことを示す結果を報告しています。

要約

ICDAR 2025 の「複雑なレイアウトを持つ文書画像の機械翻訳」コンペティションについて、まるで「魔法の翻訳屋」が活躍する物語のように、わかりやすく解説しますね。

📚 物語の舞台：「文書翻訳の難所」

想像してみてください。あなたは世界中のあらゆる「文書」を翻訳する魔法使いです。
しかし、翻訳したいのはただのテキストではありません。
**「新聞記事」「科学論文」「ウェブページ」など、写真の中に文字が混ざり、表があったり、脚注があったり、段落が飛び飛びになっている「ごちゃごちゃした文書画像」**です。

これまでの魔法（AI）は、まず文字を拾い上げる作業（OCR）をしてから翻訳していました。でも、文字がバラバラに飛び散っていたり、表の行がずれたりすると、魔法は失敗してしまいます。

そこで登場したのが、**「ICDAR 2025 文書翻訳コンペティション」です。
これは、「ごちゃごちゃした文書画像」を、OCR（文字認識）を使わずに、あるいは OCR の結果をうまく使って、「元のレイアウトを保ったまま、きれいな翻訳文書」**に変える魔法を競う大会でした。

---

🏆 2 つの挑戦ルート（トラック）

参加者は、自分の魔法の使い方で 2 つのルートから選べました。

1. ルート A：「OCR あり」の魔法使い
   • 設定: 事前に「文字を拾う道具（OCR）」で、画像から文字と「どこに文字があったか（座標）」をもらいます。
   • 課題: 道具が拾った文字は、まるで風で散らばったパズルのピースのように、順序がめちゃくちゃになっています。「これを元の文章の順番に並べ直し、かつ翻訳しなさい！」という、**「パズルを解きながら翻訳する」**難易度の高いミッションです。
2. ルート B：「OCR なし」の魔法使い
   • 設定: 文字を拾う道具は一切使えません。ただ「画像」だけを渡されます。
   • 課題: 画像をじっと見つめ、「ここはタイトル、ここは表、ここは脚注だ」とAI が自ら理解し、**「画像を直接、マークダウン形式のきれいな翻訳文書」**に変える、究極の「目視翻訳」です。

さらに、それぞれのルートで**「小さな魔法（軽量モデル）」と「巨大な魔法（大規模モデル）」**の 2 つの部門に分かれて戦いました。

---

🎭 大会の結果：何が起きた？

この大会には世界中から 69 チームが参加し、27 件の素晴らしい魔法が披露されました。

1. 巨大な魔法（大規模モデル）の圧勝

「InternVL」や「Qwen」といった、脳みそ（パラメータ）が巨大な AIが、圧倒的な強さを見せました。

• なぜ強かった？ 彼らは「文脈」を深く理解できます。例えば、「表の数字がここにあるから、この文章はここにつながるはずだ」という、人間のような推論が得意です。
• 結果: 巨大モデルを使ったチームが、ほぼすべての部門で 1 位を独占しました。特に「OCR なし」の部門でも、巨大モデルは驚くほど上手に画像を理解し、翻訳できました。

2. 小さな魔法（軽量モデル）の健闘

「10 億パラメータ以下」という、スマホでも動くような小さな AIも頑張りました。

• 工夫: 彼らは「特定の分野（ドメイン）のデータで徹底的に練習（ファインチューニング）」したり、「DPO（直接選好最適化）」という、人間の好みに合わせて学習する特殊なテクニックを使いました。
• 結果: 巨大モデルには負けますが、リソースが限られている現場（例えば、リアルタイム翻訳が必要な場合）では、十分戦える実力があることが証明されました。

3. 「OCR あり」vs「OCR なし」の格差

• 現状: 「文字を先に拾う（OCR あり）」方が、まだ圧倒的に正確でした。文字がバラバラでも、AI が並び替えるのは得意だからです。
• 未来: しかし、「OCR なし」の巨大モデルの成績はめざましく、以前なら不可能だったレベルに近づいています。「画像を直接見て翻訳する」時代が、もうすぐそこまで来ていることを示しています。

---

💡 この大会から学んだこと（教訓）

1. 「巨大な脳みそ」が複雑な問題を解く鍵:
   複雑なレイアウト（表や脚注が混在する文書）を扱うには、やはり大規模な AI が有利です。彼らは「全体の雰囲気」から「細部の意味」までを同時に理解できるからです。
2. 「練習（ファインチューニング）」は必須:
   どんなに優秀な AI でも、そのまま使うだけではダメです。「文書翻訳」に特化したデータで徹底的に練習させることで、性能が劇的に向上しました。
3. 「OCR なし」の未来:
   以前は「OCR なし」は難しすぎましたが、今は「画像を直接見て翻訳する」AI が急速に進化しています。近い将来、文字認識ソフトを使わずに、写真を見ただけで完璧な翻訳文書ができる日が来るでしょう。

🌟 まとめ

この大会は、「ごちゃごちゃした文書画像」を、AI がどうやって「きれいな翻訳文書」に変えるかという、未来の技術を探る実験場でした。

結果として、**「巨大な AI が、複雑なレイアウトを得意としつつも、小さな AI も工夫次第で戦える」**ことがわかりました。これは、将来的に、私たちが手にするスマホや PC が、どんなに複雑な書類でも、一瞬で読み取り、翻訳し、整理してくれるようになることを予感させる、素晴らしい一歩でした。

技術概要

ICDAR 2025 文書画像機械翻訳コンペティション（複雑なレイアウト向け）技術サマリー

本論文は、2025 年に開催された「ICDAR 2025 文書画像機械翻訳（DIMT）コンペティション」の報告書です。複雑なレイアウトを持つ文書画像を、OCR（光学文字認識）の有無にかかわらず、エンドツーエンドで翻訳するタスクに焦点を当て、大規模言語モデル（LLM）やマルチモーダルモデルの最新動向を分析しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

現実世界の文書画像（ウェブページ、学術論文など）は、多列形式、表、脚注、図版などが混在する「複雑なレイアウト」を持っています。従来の大規模言語モデル（LLM）や OCR 技術は、平文の翻訳や単純な文字認識では飛躍的な進歩を遂げましたが、これらの複雑な構造を維持しつつ、画像内のテキストを源言語から目標言語へ正確に翻訳する「文書画像機械翻訳（DIMT）」には依然として大きな課題がありました。

主な課題点は以下の通りです：

• マルチモーダル性とクロスリンガル性: 複雑なレイアウト、高密度なテキスト、視覚的要素の組み合わせを理解し、言語間変換を行う難しさ。
• ノイズ: 画像の欠陥や OCR 誤認識による入力ノイズが翻訳品質を低下させる。
• データとベンチマークの不足: 高コストなアノテーションと基準の不一致により、モデル間の公平な比較が困難だった。

2. コンペティションの概要と手法 (Methodology)

ICDAR 2025 では、これらの課題を解決するための包括的なベンチマークとして、以下の 2 つのトラック（競技部門）と、それぞれに小規模・大規模モデル用のサブタスクを設定しました。

トラック構成

1. OCR ベース DIMT (Track 1)

   • 入力: 文書画像 + OCR 結果（単語テキストとバウンディングボックス）。
   • タスク: 散乱した OCR 出力を再順序付けし、元のレイアウト構造を維持したまま目標言語へ翻訳する。
   • サブタスク:
     • 1.1: 大規模モデル（パラメータ数 > 10 億）
     • 1.2: 小規模モデル（パラメータ数 ≤ 10 億）

2. OCR フリー DIMT (Track 2)

   • 入力: 文書画像のみ（OCR 結果なし）。
   • タスク: 画像から直接、Markdown 形式の翻訳テキストを生成する。レイアウトや文脈を画像から直接理解する必要がある。
   • サブタスク:
     • 2.1: 大規模モデル（パラメータ数 > 10 億）
     • 2.2: 小規模モデル（パラメータ数 ≤ 10 億）

評価指標

• Document-level BLEU: 画像全体の翻訳出力を 1 つのテキスト列として扱い、Jieba（中国語分詞）と NLTK を用いて BLEU-4 スコアを計算。

主要な技術的アプローチ（優勝チームの手法など）

• 大規模モデルの活用: 上位チームは、InternVL2.5 や Qwen2.5-VL などのマルチモーダル大規模言語モデル（LLM）を基盤として採用しました。
• ファインチューニング戦略:
  • SFT (Supervised Fine-Tuning): ほとんどの上位モデルで採用。ドメイン固有データ（OCR データや翻訳文書）での微調整が性能向上に不可欠でした。
  • DPO (Direct Preference Optimization): 1 位と 2 位のチームが採用。生成された出力の品質を最適化し、幻覚（hallucination）を減らすために有効でした。
• OCR ベース vs OCR フリー:
  • OCR ベースでは、LayoutLM などのレイアウト認識モデルと LLM を組み合わせる手法や、OCR 結果を再順序付けする段階的アプローチが用いられました。
  • OCR フリーでは、画像を直接 Markdown へ変換する End-to-End トランスフォーマーモデルが主流でした。

3. 主要な貢献 (Key Contributions)

1. 初の包括的ベンチマークの確立: 複雑なレイアウトを持つ文書画像の翻訳に特化した、標準化された大規模データセット（Web 文書 30 万枚、arXiv 論文 12.4 万枚）と評価プロトコルを提供しました。
2. 多様なタスク設定: OCR 依存と非依存の両方のアプローチを比較可能にし、小規模モデルと大規模モデルの性能差を明確にしました。
3. データセットの構築:
   • DIMT-WebDoc-300K: Web 文書から抽出、OCR 結果と翻訳ペアを含む。
   • DIMT-arXiv-124K: 学術論文（PDF/LaTeX）から抽出、Markdown 形式の翻訳ペアを含む。

4. 結果 (Results)

コンペティションには 69 チームが参加し、27 件の有効な提出がありました。

• 参加傾向: OCR ベース（34 チーム）と OCR フリー（35 チーム）の参加者はほぼ同数でしたが、大規模モデル（LLM）トラックの方が小規模モデルトラックよりも参加が多かったです。
• 性能比較:
  • OCR ベース vs OCR フリー: OCR ベースのモデルが常に高い BLEU スコアを記録しました（例：Track 1.1 1 位 70.48 vs Track 2.1 1 位 60.78）。OCR によるテキスト抽出の信頼性が依然として優位であることを示しています。
  • 大規模モデル vs 小規模モデル: 大規模モデル（>1B）が小規模モデル（≤1B）を上回る性能を示しました。
    • OCR ベース大規模：70.48 (Hw-tsc, InternVL2.5-8B)
    • OCR ベース小規模：66.16 (Hw-tsc, InternVL2.5-1B)
    • OCR フリー大規模：60.78 (Hw-tsc)
    • OCR フリー小規模：59.96 (Intime & HY)
  • 小規模モデルのポテンシャル: 適切なファインチューニング（SFT, DPO）を行うことで、10 億パラメータ以下のモデルでも非常に競争力のある結果（59.96 点など）を達成できました。

5. 意義と将来展望 (Significance)

• 新しいパラダイムの確立: 複雑なレイアウトを持つ文書画像の翻訳において、大規模マルチモーダルモデルが有望な解決策であることを実証しました。
• OCR と NLP の融合: 従来の「OCR で文字を認識し、その後翻訳する」という分離されたパイプラインではなく、レイアウト理解と翻訳を統合したエンドツーエンドアプローチの重要性を浮き彫りにしました。
• 今後の研究方向:
  • OCR フリーモデルの性能は急速に向上しており、将来的には OCR ベースのシステムに追いつく可能性があります。
  • 小規模モデルでも、ドメイン特化型のファインチューニングや DPO などの最適化手法を用いることで、リソース制約のある環境でも実用的な翻訳が可能であることが示されました。
  • 今後は、さらに複雑なデータセットや、より高度なモデルアーキテクチャの探求が期待されます。

本コンペティションは、Document AI 分野における OCR と NLP の融合、および多言語文書理解の進展において重要なマイルストーンとなりました。