TongGuOCR: A Layout-Aware and Token-Augmented OCR Framework for Chinese Historical Documents

あなたは、千年前の日記を読もうとしている探偵だと想像してください。しかし、ページは埃に覆われ、インクは褪せ、筆跡があまりにも奇妙なため、あなたの最も賢い友人ですら、その文字が何を意味しているのか判別できません。これは、中国の歴史資料の秘密を解き明かそうとする歴史学者たちが日々直面している苦闘です。何世紀もの間、これらの貴重なテキストは、スキャンされた画像、つまりコンピュータには「画像」としては見えるものの、人間のように「読む」ことはできない紙の写真の中に閉じ込められてきました。これらの写真を検索可能なテキストへと変換するために、科学者たちはOCR（光学文字認識）と呼ばれる技術を使用しています。OCRを、ページの画像を見て、そこにある言葉をタイピングする超高速のロボット司書だと考えてください。しかし、このロボットが、複雑なレイアウトや奇妙な記号、そしてページ内を混乱したパターンで飛び回る文章を持つ古書に出会うと、しばしば道に迷ったり、行を飛ばしたり、あるいは意味不明な文字列を打ち込んだりしてしまいます。

ここで、TongGuOCRと呼ばれる巧妙な解決策を持つ新しい研究チームが登場します。彼らは、ロボットにこれらの本を教える従来の方法は、ピザを丸ごと一口で食べようとするようなもので、あまりにも乱雑で、ロボットは細部を扱うことができないことに気づきました。代わりに、彼らはまず、ピザを完璧で扱いやすいスライスに切り分け（レイ程認識型前処理）、次に、そのスライスの上にある奇妙で珍しい食材を理解するための特別な新しい言語をロボットに教え込みました（トークン拡張型認識）。これら2つのトリックを組み合わせることで、彼らは単に言葉を推測するだけでなく、たとえテキストが垂直方向の列であったり、ページ上に散らばっていたりしても、古代のテキストの流れを実際に理解できるロボットを作り上げたのです。

問題点：なぜ古書はロボットを壊してしまうのか

中国の歴史的文書は文化の宝箱のようなものですが、読むのが非常に困難です。それらは、テキストが垂直方向に流れていたり、注釈（小さなメモ）が行の間に押し込まれていたり、読み順が必ずしも左から右、あるいは上から下ではないといった、複雑なレイアウトを持っていることがよくあります。さらに、これらの本には「希少文字」――現代の辞書には存在しない古代の記号――が詰まっています。

標準的なAIモデルがこれらのページを読もうとすると、3つの大きな頭痛に見舞われます。

1. レイアウトの混乱: ロボットがページ全体を一度に見ると、画像がぼやけてしまい、近くにある言葉の文脈を見失います。逆に、一行ずつ見ると、全体像を見失い、次にどこへ進むべきか分からなくなります。
2. 希少文字の問題: 現代のAIは今日の言語で学習されています。古代の珍しい文字に出会うと、AIはそれを微細で無意味な断片へと分解してしまうことがよくあります（単語全体を認識する代わりに、個々の文字を推測して綴ろうとするようなものです）。これにより、文字を正確に特定することが難しくなります。
3. 「次はどこ？」という混乱: 一行を読み終えた後、ロボットは下の行に飛ぶべきか、右の行に進むべきか、あるいは余白のメモを読むべきなのか判断できなくなることがよくあります。明確な地図がなければ、行をスキップしたり、間違った順序で読んだりしてしまいます。

解決策：TongGuOCRの二段構えのマジック

南華理工大学とファーウェイの研究チームは、これらの古代のパズルに対処するために設計されたフレームワークであるTongGuOCRを提案しました。彼らは単に計算能力を投入したのではなく、ロボットがテキストをどのように「見て」、どのように「考えるか」を変えたのです。

ステップ1：スマート・スライサー（レイアウト認識型前処理）

混み合った新聞を読もうとしている場面を想像してください。ページ全体を読もうとすれば目が疲れますし、一つの単語ずつ読もうとすれば意味を見失います。TongGuOCRは、「スマート・スライサー」を使用して、ページを認識ブロックに切り分けます。

単に直線的に切るのではなく、システムはページを観察し、連続するテキスト行を整然とした一貫性のある塊としてグループ化します。それは、ケーキをランダムに叩き切るのではなく、シェフがケーキとフロスティングをバラバラにせず、完璧な一口サイズに丁寧にスライスするようなものです。

• 仕組み: システムはテキストの行を取り込み、視覚的に意味のあるブロックへとグループ化します。その後、これらのブロックをトリミングすることで、その特定の塊に属さない、注意をそらす要素を排除しますけ。
• 結果: ロボットは、テキストの小さなセクションの、クリーンで集中した画像を受け取ります。これにより、ノイズを排除しながらローカルな文脈（どの言葉が近くにあるか）を保持することができます。

ステップ2：特別翻訳機（トークン拡張型認識）

テキストが完璧なブロックにスライスされたら、次はロボットがそれを読む必要があります。ここで、TongGuOCRは、ロボットが古代のテキストをより良く理解できるように、2つの新しい言語を操る「特別翻訳機」を使用します。

• 言語1：希少文字辞書
  現代のAIトークナイザー（コンピュータが読むためにテキストを断片化するツール）は、しばしば希少な古代文字を、小さく混乱を招く断片へと切り刻んでしまいます。TongGuOCRは、すべての希少文字に独自のシングルトークンとしてのアイデンティティを与えることで、これを修正します。

  • 例え: あなたが新しい言語を学んでいると想像してください。難しい単語に出会うたびに、毎回一文字ずつ綴らなければならない代わりに、その単語全体が書かれた特別なステッカーをもらえるとしたらどうでしょう？ そのステッカーを貼るだけで完了です。これにより、ロボットは希少な文字をより速く、より正確に認識できるようになります。

• 言語2：「次はどこ？」マップ
  読み順の混乱を解決するために、システムは行の間に特別な遷移トークンを挿入します。これらは、次にどこを見るべきかを正確に指示する、小さな矢印や標識のようなものです。

  • 例え: コミックのパネルが飛び飛びになっている本を読んでいるとき、あなたには「このパネルの後は、右上へ移動してください」と教えてくれるガイドが必要です。TongGuOCRは、テキストストリームの中に、これらのデジタル標識（<right|down> や <left|up> など）を追加します。これにより、ロボットの視線を正しい経路へと導き、行をスキップしたり逆方向に読んだりすることを防ぎます。

結果：古代テキストにおける新記録

チームは、中国の歴史的文書に関する2つの主要なベンチマーク、MTHv2とM5HisDocを用いてTongGuOCRをテストしました。これらのデータセットは、困難なレイアウトや希少な文字に満ちた、古代テキスト認識における「オリンピック」のようなものです。

結果は目覚ましいものでした。TongGuOCRは単に「まずまずの結果」を出しただけでなく、大規模な汎用AIモデルや他の特化型OCRツールを含む、既存の最高の手法を打ち破りました。

• 困難なM5HisDocベンチマークにおいて、TongGuOCRは**93.76%の正確度（AR）**を達成しました。
• ロボットが犯した間違いの尺度である正規化編集距離（NED）を、10.43から6.15へと減少させました。
• 最も重要な読みのフローに関して、読み順編集距離（RO-ED）を7.53から3.49へと大幅に削減しました。これは、ロボットが正しい経路を辿る能力が格段に向上し、行を飛ばしたり迷ったりすることが極めて少なくなったことを意味します。

視覚的な比較（論文の図4に示されている通り）では、他のモデルが、行を見逃したり、誤った順序でテキストを読んだり、希少な文字を崩してしまったりする一方で、TongGuOCRはすべてのターゲット行を正常に復元し、歴史的なページの自然な読み順に従うことに成功しました。

これが意味すること

この論文は、古代のテキストを効果的に読むためには、単に大きく強力なAIモデルに頼るだけでは不十分であることを示唆しています。私たちは、モデルにデータをどのように「与えるか」について、より賢くなる必要があります。ページを論理的な塊に分割し（レイアウト認識型前処理）、モデルにより優れた語彙と明確な読み順のマップを与えること（トークン拡張型認識）によって、これまで読めない画像の中に閉じ込められていた歴史の秘密を解き明かすことができるのです。

研究者たちは、彼らのシステムは大きな進歩を遂げたものの、まだ完璧ではないとも指摘しています。システムは学習データに含まれる文字に依存しているため、完全に未知の、あるいは未解読の記号には依然として苦戦する可能性があります。しかし、大多数の中国の歴史的文書において、TongGuOCRは過去への強力な鍵となり、静止した画像を、歴史家や好奇心旺盛な人々が探索できる「生きた、検索可能なテキスト」へと変えてくれるのです。