METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition

あなたが、世界のあらゆる角落ちた巨大で埃っぽい図書館の書籍を読み解く翻訳者のチームを雇うと想像してください。ある本は、完璧な英語で印刷された鮮明で現代的な新聞です。他の本は、色あせたインクで書かれた崩れかけた中世の写本で、奇妙な筆跡、不自然なレイアウト、そしてもはや誰も話さない言語で書かれています。

長らく、これらの翻訳者に対する「テスト」（この論文では自動テキスト認識、ATR と呼ばれています）は、空で晴れた高速道路での運転試験のようなものでした。車（AI モデル）は道路が簡単だったため、99% の完璧さで走行できました。人々は「運転は解決された！もうテストは不要だ」と言い始めました。

しかし、現実世界では、道路は穴ぼこ、霧、そして混乱を招く迂回路で満ちています。この論文の著者たちは、METATRと名付け、古いテストが私たちに嘘をついていたことに気づきました。彼らは、AI モデルが実際に厄介で現実的な図書館を処理できるかどうかを確認するため、はるかに困難な新しいテストコースを構築しました。

以下に、彼らの発見を簡潔に説明します。

1. 新しいテストコース（METATR）

単に清潔で現代的な英語テキストでテストするのではなく、著者たちはMETATRと呼ばれる「ストレステスト」を作成しました。

• 多様性: 彼らは 17 の異なるソースから 453 ページの文書を収集しました。これは困難な文書の「グレイテスト・ヒッツ」アルバムのようなものです。
• 混合: アラビア語からベトナム語まで 29 の異なる言語、古代ギリシャ語や日本語などの異なる文字体系、手書きの手紙、古い新聞、多列レイアウトなどの異なる条件が含まれています。
• 目的: 彼らは単に誰が最速かを知りたかったのではなく、特定の訓練を受けていない言語で、単語を捏造（ハルシネーション）したり、テキストを誤った順序で読んだりすることなく、厄介で手書きのページを読み解けるかを確認したかったのです。

2. レーサー（モデル）

彼らはこのコースに 3 種類の「ドライバー」を投入しました。

• 専門のメカニック（従来の OCR）: これらはテキストを読み取るために特別に作られた古典的なツールです。これらは特殊なフォークリフトのようです。箱（清潔で印刷されたテキスト）を移動させるのは得意ですが、混雑し散らかったリビングルーム（手書きで複雑なレイアウト）をナビゲートするのは苦手です。
• オープンソースのいじくり屋: これらはコミュニティによって構築されたモデルです。小さく高速なものもあれば、大きく強力なものもあります。これらはガレージのメカニックのチームのようです。驚くほど優れているものもありますが、一貫性がなく、時にはチャンピオンのように走行し、時には壁に激突することがあります。
• 巨大テック企業（独自モデル）: これらは Google（Gemini）、Anthropic（Claude）、OpenAI などの企業からの巨大で高価なモデルです。これらは最大のエンジンと最高の燃料を備えた F1 カーのようです。

3. レースの結果

彼らがこの困難なコースでレースを行ったとき、結果は明確でした。

• 巨大テック企業が勝利（主に）: 「F1 カー」（具体的にはGemini 3 ProとClaude Opus 4.5）が最も一貫していました。彼らは手書きの乱れ、奇妙なレイアウト、そして稀な言語を、他の誰よりもうまく処理しました。彼らは最も少ない間違いを犯しました。
• 専門のメカニックは苦戦: 古典的なツールは清潔で現代的な新聞の読み取りには優れていましたが、歴史的な手書きや複雑なレイアウトに直面すると崩壊しました。彼らは適応できませんでした。
• オープンソースのいじくり屋は混在: 大きなオープンソースモデル（QwenやolmOCRなど）は、一部のコースでは巨人と競合できましたが、はるかに予測不能でした。時には素晴らしい結果を出しましたが、他の時には大きな誤りを犯し、特にクメール語や日本語のような困難な文字体系ではそうでした。
• 「手書き」のハードル: 印刷されたテキストを読むことは誰にとっても簡単でした。しかし、手書きのテキストを読むことが真の難関でした。最高のモデルさえもここで苦戦しましたが、それでも巨大テック企業のモデルが失敗する可能性は最も低かったです。

4. 速度のコスト

この論文はまた、「燃料代」（計算コストと速度）も検討しました。

• 巨人は遅く高価: 最高性能のモデル（Gemini、Claude）はページを読み取るのに時間がかかり、使用には費用がかかります。これらは高級タクシーのようです。素晴らしいサービスですが、その分支払います。
• メカニックは速く安価: 専門ツール（PeroOCRなど）は信じられないほど高速で、小さなコンピューターで動作します。これらは自転車のようです。安価で速いですが、急な坂（複雑な文書）は登れません。
• 中間層: オープンソースモデルは中間に位置します。実行するには強力なコンピューター（高価なグラフィックカード）が必要で、メカニックよりは遅く、巨人よりは速いです。

結論

この論文は、「テキスト認識は解決された」という考えが誤りであると結論付けています。

もしあなたが清潔で現代的な英語だけでテストすれば、誤った安心感を得ることになります。しかし、もしこれらのシステムに厄介で歴史的、多言語の文書を投げかければ、パフォーマンスは大幅に低下します。

これらのツールを使おうとする人への教訓:
すべてに最適な単一の「最高」モデルは存在しません。

• 厄介で歴史的な文書で最高精度が必要で、費用や待ち時間を気にしない場合、現在巨大テック企業のモデルが最良の選択です。
• 清潔で現代的なページを数千枚読み、速度と低コストが必要な場合は、専門ツールがまだ最適です。
• オープンソースモデルは有望な中間層ですが、予測不能である可能性があるため注意が必要です。

著者たちはこのベンチマークを構築しました。これにより、将来、単に「英語を読めるか？」だけでなく、「何かを、どこで、捏造することなく読めるか？」という点で進歩を追跡できるようになります。