技術概要：画像内のテキストに対する機械翻訳システムの比較評価

問題定義

本論文は、コンピュータビジョン（CV）と自然言語処理（NLP）の交差点に位置する「テキスト画像機械翻訳（TIMT）」という課題に取り組む。中核的な課題は、画像内に埋め込まれたテキストを目標言語に翻訳することである。従来の機械翻訳（MT）は純粋なテキストを扱うが、TIMT はまず、複雑な背景、歪み、様々な照明条件を伴う自然なシーンなどの視覚データからテキストを検出し抽出した上で、それを翻訳しなければならない。著者らは、この課題を解決するための異なるアーキテクチャパラダイム、すなわちモジュール化されたパイプライン、マルチモーダル大規模言語モデル（MLLM）、およびエンドツーエンドの画像から画像へのモデルを評価・比較することを目的としている。

手法

データセット

実験には、Lan ら（2024）が導入した合成多言語データセットを使用し、これは画像内機械翻訳（IIMT）用に特別に設計されたものである。このデータセットは、IWSLT14（ドイツ語–英語）および IWSLT17（フランス語–英語、ルーマニア語–英語）の並列テキストをレンダリングして生成された 512×512 の画像で構成されている。テキストは Arial フォントでレンダリングされ、可読性を維持しつつ中程度の視覚的ノイズを導入するために、位置、回転、背景色にランダムな変異が加えられている。データセットは、4 つの言語ペア（De–En、Fr–En、Ro–En およびそれらの逆）にわたって訓練、検証、テストセットに分割されている。

評価されたアーキテクチャパラダイム

本研究は、3 つの異なるアプローチを比較する。

1. モジュール化されたパイプライン:

   • OCR ステージ: テキストは docTR を用いて抽出される（予備テストに基づき EasyOCR ではなく docTR が選択された）。このパイプラインは、検出には Faster Arbitrarily-Shaped Text Detector (FAST) を、認識には RNN を備えた VGG16-BN バックボーンを使用する。
   • 翻訳ステージ: 抽出されたテキストは、様々な翻訳モデルに入力される。
     • 従来の NMT: M2M100-1.2B。
     • LLM: Llama ファミリの指示調整済みモデル（3.2-1B、3.2-3B、3.1-8B）および EuroLLM（1.7B、9B）。これらのモデルは、クリーンで翻訳のみの出力を確保するために、特定のプロンプト戦略（例：JSON 形式または直接コマンド）を必要とする。

2. マルチモーダル大規模言語モデル（MLLM）:

   • Gemini-2.5 の 3 つの構成（flash-lite、flash、pro）が評価された。これらのモデルは、単一のステップで生画像とテキストプロンプトを共同処理し、独立した OCR ステージなしで OCR と翻訳を同時に行う。

3. エンドツーエンドモデル:

   • Translatotron-V: 翻訳された画像を直接生成する画像から画像へのモデル。このモデルの結果は、著者との非公開の通信を通じて得られたものであり、公開チェックポイントの欠如により特定の言語ペアに限定された。

評価フレームワーク

性能は以下の標準指標を用いて測定された。

• OCR 品質: 文字誤り率（CER）および単語誤り率（WER）。
• 翻訳品質: BLEU、chrF、および翻訳誤り率（TER）。
• 統計的有意性: システム間の有意な差異を判断するために、10,000 回の反復を用いた近似ランダム化テスト（ART）が使用された。

主要な結果

OCR 性能

予備評価において、docTR はすべての言語ペアで EasyOCR を大幅に上回り、単語誤り率を最大 13.9 ポイント、文字誤り率を最大 12.5 ポイント削減した。その結果、docTR は以降のすべてのモジュール化パイプライン実験で使用された。

翻訳性能

結果は、すべての言語ペア（De–En、En–De、Fr–En、En–Fr）で一貫した性能の階層を示している。

1. MLLM（Gemini-2.5）: マルチモーダルモデルが全体的に最高の性能を達成した。具体的には、Gemini-2.5-pro がすべての方向において一貫して最高の BLEU および chrF スコア、最低の TER スコアを確保した。これは、視覚情報と言語情報の共同処理の優位性を示している。
2. モジュール化されたパイプライン（LLM）: 大規模な LLM、特に EuroLLM-9B および Llama-3.1-8B は、従来の NMT ベースライン（M2M100）および小規模な LLM を大幅に上回った。EuroLLM-9B を使用したモジュール化パイプラインは、特定の指標において MLLM の性能に迫るか、それを上回ることもあったが、一般的には上位の Gemini 構成には及ばなかった。
3. 従来の NMT: M2M100-1.2B は信頼性の高いベースラインとして機能したが、一般的には大規模な LLM や MLLM よりも性能が劣った。
4. エンドツーエンド（Translatotron-V）: このアプローチは、モジュール化およびマルチモーダルアプローチの両方よりも著しく劣った。英語–ドイツ語方向では、BLEU スコアは約 17.9 であり、Gemini-2.5-pro の約 35.6 と比較して低かった。フランス語–英語では、NMT ベースライン（BLEU 約 34.2）よりも優れていたが、依然として LLM や MLLM よりも遅れていた。

意義と主張

本論文は、画像内のテキストを翻訳する際にマルチモーダル推論が極めて効果的であると主張している。主な発見は以下の通りである。

• MLLM の優位性: Gemini-2.5 などのマルチモーダルモデルは、視覚情報と言語情報を共同処理することで、優れた柔軟性と文脈理解を示し、最高の翻訳品質を達成する。
• モジュール化パイプラインの競争力: MLLM が先行しているものの、最先端の OCR（docTR）と大規模で専門的な LLM（EuroLLM など）を組み合わせるモジュール化パイプラインは、エンドツーエンドの画像から画像へのモデルを上回る、極めて競争力のある代替手段を提供する。
• エンドツーエンドアプローチの限界: 本研究は、Translatotron-V が試みたような直接の画像から画像への翻訳は、現在の技術では依然として困難な課題であり、テキスト抽出と翻訳を分離するか、マルチモーダル推論を利用するアプローチに比べて著しく低い品質しか生み出さないことを示唆している。

著者らは、モジュール化パイプラインは堅牢であるが、MLLM 内での視覚理解と言語生成の統合が、多言語画像翻訳の将来の研究のための堅固な基盤を提供すると結論づけている。本研究は、合成データへの依存とヨーロッパ言語ペアの狭いセットに限定されているため、実世界の堅牢性と低リソース言語の性能については、さらなる調査が必要である。