FP-THD: Full page transcription of historical documents

あなたは、タイムマシンを使って、500年前の中世ラテン語で書かれた埃っぽい本の中にズームインしたところを想像してみてください。ページはしわくちゃで、インクは褪せ、その筆跡は、私たちが今日使っている文字とは似ても似似つかない、ループやうねり、奇妙な記号が入り混じった混沌としたものです。現代のコンピュータを使ってこれを読もうとすると、まるでロボットに教わっていない秘密のコードを理解するように頼んでいるようなものです。長い「s」を（「f」のように見えるため）「f」として読み取ったり、2つの文字をまとめて現代の「ae」にしてしまったりして、歴史的な趣を完全に台無しにしてしまうかもしれません。

そこで登場するのが、研究チームによって設計された、究極の「時空を旅する司書」となるデジタル・パイプライン、FP-THDです。彼らの目標は、単に言葉を読み取ることではなく、歴史家が頼りにするトリッキーな略語や特殊な記号を含め、オリジナルのページの見た目や雰囲気そのものを正確に保存することでした。

2ステップのダンス：行を見つけ、そして読む

著者たちは、めちゃくちゃなページ全体を一度に読もうとすることは、ピザを丸ごと一口で食べようとするようなものだと気づきました。そこで彼らは、専門家のチームのように、2つの明確なステップで機能するパイプラインを構築しました。

ステップ1：レイアウト探偵（ParseNet）
まず、システムはParseNetと呼ばれるツールを使用して、レイアウト探偵として機能します。これはページ全体の画像をスキャンし、行が曲線を描いていたり傾いていたりしても、あらゆるテキストの行の周りに見えないボックスを描き、段落がどこで始まりどこで終わるかを判断します。それは、混沌としたページ上のあらゆる文章の輪郭を丁寧に辿り、それらを整った細長いストリップへと切り出すロボット司書のようなものです。このステップは、コンピュータがどこを見るべきかを正確に伝えるマップ（PAGE XMLと呼ばれる形式）を作成します。

ステップ2：スーパー・リーダー（Masked Autoencoder）
切り出され、まっすぐに整えられた行は、2番目のスペシャリストである、Vision Transformerを搭載したMasked Autoencoderへと渡されます。このモデルは、いわば「穴埋めゲーム」をすることで読書を学んだ、非常に賢い学生のようなものです。

このゲームの仕組みはこうです。コンピュータはテキストの行を取り出し、ランダムに一部を隠します（数語の上に付箋を貼るようなものです）。そして、周囲の手がかりに基づいて、その下に何があるかを推測しようとします。このゲームをさまざまな種類の書き方に対して何百万回も練習することで、モデルは現代の文字だけでなく、奇妙な中世の記号、合字（「æ」のようなもの）、そして欠落した文字を示すチルダ（~）をも認識することを学習します。

大規模テスト：手書き vs 印刷

チームは単にこれを作っただけではありません。彼らはこれを3つの異なる「トレーニングキャンプ」（データセット）で徹底的にテストしました。

1. Rodrigo（手書き）: 1545年の古いスペイン語の手書き文字を集めた853ページのコレクション。
2. Bentham（手書き）: あらゆる種類の乱れた筆跡で知られる、哲学者ジェレミー・ベンサムの有名な書簡。
3. Molino（印刷）: チームが自ら作成した新しいデータセットで、1500年代から1600年代の法的なテキストの印刷物143ページを含み、ラテン語の略語が豊富に含まれています。

結果：どれほど上手くいったのか？

論文によれば、このアプローチは非常に効果的であり、特に他のツールと比較した場合に顕著でした。

• Rodridoの手書きに対して: バッチサイズ128でテストした際、モデルは文字エラー率（CER）1.30%、**単語エラー率（WER）6.97%**を達成しました。つまり、ほぼすべての文字を正しく読み取ったことを意味します！これは、間違いを修正するために追加の複雑なステップを使用する他のハイテクモデルよりも優れています。
• Benthamの手書きに対して: CER 4.46%、**WER 7.68%**を記録しました。これはRodrigoの結果よりは少し高いものの、著者らは、これが高度な後処理のテクニックや外部の言語ガイドなしで行われたことを指摘しています。これは効率性の面で大きな意味を持ちます。
• Molinoの印刷テキストに対して: これこそが真の見せ場でした。チームはMolinoデータセットの10ページに対してシステムをテストし、Pero-OCRと呼ばれる人気のあるオープンソースツールおよび、商業ソフトウェアを使用した**Biblioteca Virtual del Patrimonio Bibliográfico (BVPB)**による転写と比較しました。
  • BVPBの転写は、CERが0.3379、WERが0.6835でした。
  • Pero-OCRは、CERが0.0242、WERが0.2106でした。
  • FP-THDは、最も低いエラー率を叩き出しました：CER 0.0178、WER 0.0450。

平易な言葉で言えば、この新しいシステムは商業ソフトウェアや他のオープンソースツールよりも間違いが少なく、Pero-OCRと比較して単語レベルのエラーをほぼ**80%削減し、BVPBの転写と比較して90%**以上削減しました。また、重要な中世のチルダや略語を保持することにおいても、より優れた性能を発揮しました。

まだできないこと（現時点では）

著者たちは、自分たちの魔法の限界についても正直に述べています。このシステムはページの真ん中にあるメインテキストを読むのには優れていますが、以下のような場合には苦戦することがあります。

• 欄外注: ページの余白にある小さな書き込みは、見落とされたり、誤って転写されたりすることがあります。
• 単語: 行に単語が一つしかない場合、主に長い行に対して学習されているため、モデルが混乱することがあります。

まとめ

この論文は、歴史を読む問題を永遠に解決したと主張しているわけではありません。むしろ、レイアウト探偵と「穴埋め」式のリーダーを組み合わせることで、非常に正確で、自由に使用でき、かつ歴史的な文書のスタイルを尊重したツールを作成できることを示唆しています。これは、理解するために古いラテン語を現代のテキストに変える必要はなく、古いスタイルを維持したまま、コンピュータがそれを読むことができるということを証明しています。

チームは、トレーニングデータに孤立した単語をさらに追加し、最終的にはこのシステムを使用して略語を自動的に展開し、ラテン語をスペイン語に翻訳することを目指しています。しかし現時点では、適切なパイプラインがあれば、最も乱雑な中世のページであっても、その魂を失うことなく、クリーンなデジタルテキストに変換できることを彼らは示しました。