Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

書き言葉は脆いものである。紙は黄変し、インクは褪せ、歴史を刻んだ物理的なページはゆっくりと崩れ去っていく。これらの記録を保存するため、図書館やアーカイブは数十年にわたり、書籍をスキャンし、そのページの画像をコンピュータが読み取り検索可能なデジタルテキストへと変換してきた。光学文字認識（OCR）として知られるこのプロセスは、フォントが均一で紙が清潔な現代の書籍に対しては驚くほどうまく機能する。しかし、その情報源が、明治後期から昭和初期にかけての日本の書籍のように、標準化される前の時代のものである場合、その作業ははるかに困難になる。これらのテキストは、多様で混沌とした書体、摩耗した印刷、そして互いに驚くほど似通った文字を特徴としている。コンピュータがこれらを読み取ろうとすると、しばしば一つの文字を別の文字と見誤り、一見すると正しく見えるものの、実際には微細で静かな誤りが含まれており、本格的な研究には使い物にならないようなデジタルテキストを作り出してしまうのである。

奈良、京都、滋賀の大学の研究チームは、これら特定の誤りを修正するための新しい方法を開発した。彼らは、これらの損傷したデジタルテキストのための「二段階のエディター」として機能するシステムを構築した。まず、システムはテキストをスローニングし、どこにエラーが隠れているかを見つけ出す。この方法として単一の手法に頼るのではなく、彼らは二つの異なるアプローチを組み合わせた。一つは、既知のリストに単語が存在するかどうかを確認するもの、もう一つは、文章の流れと文脈を理解するように訓練されたコンピュータモデルを用いるものである。これら二つの手法を連携させることで、システムは一方の手法が見逃してしまうエラーを捉えつつ、もう一方の手法が起こし得る誤検知を無視することができる。エラーが見つかると、システムは強力な言語モデルを用いて、周囲のテキストに基づき最も可能性の高い単語を推測することで、置き換えるべき正しい文字を提案する。彼らの実験によれば、この複合的なアプローチは従来の手法よりも正確にエラーを見つけ出し、かなりの割合の誤りを修正することに成功しており、近代日本のデジタル化された歴史を学者や一般の人々にとってより信頼できるものにしている。

これらの古い書籍を読み解く課題は、単に紙の古さによるものではなく、印刷そのものの性質にある。フォントが一定である現代の本とは異なり、明治から昭和初期にかけての出版物は、出版社や、時には年ごとに変わる多様な書体を用いて印刷されていた。当時の印刷工程は、しばしば文字をぼやけさせたり、不均一にしたりした。現代のOCRソフトウェアは、清潔で標準的なテキストを用いて訓練されているため、これらのページを読み取ろうとすると、頻繁に似た文字を混同してしまう。例えば、わずかに余分な一画がある文字が、全く別の単語として読み取られることがある。これらの古いフォントを扱うための特化したソフトウェアも存在するが、それでも依然として約3パーセントの文字で間違いを起こす。長い文章においては、これは、ほぼすべての文章の半分に少なくとも一つのエラーが含まれていることを意味しており、コンピュータによる検索や、検証なしに研究者が信頼するにはあまりに多すぎる数値である。

これを解決するために、研究者たちは「検出」と「修正」という二つの明確な段階で作動するシステムを構築した。第一段階は最も重要な段階であり、システムは正しいものをエラーとしてフラグ立てすることなく、どの文字が間違っているかを正確に特定しなければならない。チームは、これらの間違いを見つけるために一つのツールだけを使うのでは不十分であることに気づいた。単純な辞書チェック（単語が既知の単語リストにあるかどうかを確認するもの）は、意味不明な単語を見つけることには非常に優れているが、実際には正しいものの珍しい単語や未知の単語に遭遇したときには失敗することが多い。一方で、文章の文脈から学習するコンピュータモデルは、言葉がどのように組み合わさるかを理解することには非常に長けているが、稀な名前や特定の用語に対しては混乱してしまうことがある。

研究者たちは、これら二つの強みを単一のアンサンブル手法へと統合することに決めた。彼らは、辞書ベースのチェッカーからの出力と、文脈を考慮したコンピュータモデルからの出力を取り出し、それらを連携させた。もし辞書が単語が欠落していると判断した場合、システムは文脈モデルもそれが間違っていると考えているかどうかを確認する。もし両者が一致すれば、システムはそれをエラーとしてマークする。もし片方だけが間違っていると考えている場合は、それは稀ではあるが正しい単語である可能性があると判断し、そのままにする。この戦略により、正しい単語を誤ってエラーとして告げてしまう回数が大幅に減少した。テストにおいて、この複合的なアプローチは、エラーを約75パーセントの確率で正しく特定し、かつ誤検知の数を単独のメソッドよりもはるかに低く抑えることができた。

システムがエラーを特定すると、次は第二段階である「修正」へと進む。研究者たちは、疑わしい誤った文字を空白、すなわち「マスク」に置き換え、洗練された言語モデルに対して、元の文字が何であったはずかを予測するように求めた。このモデルは、同時代の膨大な量のテキストを用いて訓練されており、空白の前後にある単語を見て、最も可能性の高い候補を推測する。予測が適切なものになったことを確実にするため、システムは新しい文字が古い誤った文字とどの程度似ているかもチェックした。なぜなら、OCRのエラーは通常、互いに似た形状の文字間で発生するからである。その後、システムはトップの推測をランク付けし、最良のものを選択する。

この新手法の結果は有望であった。研究者がデジタル化された書籍から数千の文章を用いてシステムをテストしたところ、検出されたエラーの約65パーセントを修正できることが分かった。これは、文脈モデルのみを使用した場合の修正率である約58パーセントと比較して、顕著な改善であった。システムは、エラーの正確な位置を混乱なく特定できた場合には特に効果的であり、その場合の修正成功率は90パーセントを超えた。しかし、研究者たちはトレードオフについても指摘している。誤検知を避けるために非常に慎重に設計されているため、システムは時としてエラーを見逃してしまうこともあり、つまり、テキスト内のすべての間違いを捉えきれないこともある。彼らは、訓練データに含まれていない非常に珍しい単語や固有名詞に対して、辞書も文脈モデルも十分な情報を持っておらず、システムが苦戦することを発見した。

こうした限界はあるものの、本研究は、異なる種類のチェックを組み合わせることが、歴史的テキストを浄化するための強力な手段であることを示している。研究者たちは、辞書と文脈を考慮したモデルを相互に照合させることで、より信頼性の高いツールを作成できることを示した。この研究は、古い日本の書籍を読み解く問題を完全に解決したと主張するものではないが、デジタル化されたこれらのテキストを、研究に耐えうるほど正確なものにするための重要な一歩を踏み出したものである。より多くの書籍がデジタル化されるにつれ、このような手法は、デジタルアーカイブが原文の忠実な反映となり、過去の真の声を次世代へと確実に保存していくために不可欠となるだろう。