Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

ドイツ中のオフィスや政府機関の静かな片隅では、依然として膨大な量の書類が、本来の物理的な形態のまま存在しています。デジタル時代にもかかわらず、ドイツの企業の約40パーセントがいまだに事務作業の半分を紙で行っており、それ以上に紙に依存している企業も少なくありません。これは執拗なボトルネックを生み出しています。すなわち、手書きのメモを、有用なものとするためにはデジタルデータへと変換しなければならないという問題です。コンピュータは印刷されたテキストを読み取ることは非常に得意になりましたが、人間の手書き文字、特に、連続した文章として流れるのではなく、ページ上の小さな孤立したボックスの中に散らばっているような文字には、著しく苦戦します。課題は単に文字を認識することだけではなく、どの単語が名前や日付、署名といった特定のフィールドに属しているのかを理解することにあります。機密性の高い個人情報を扱う組織にとって、解決策としてこれらの書類をクラウドサーバーに送信することはできません。データは組織自身の安全な壁の内側に留まっていなければならないのです。この制約により、専門的なカスタムソフトウェアを構築するか、あるいは、一度も見たことがない特定のフォームに対して強力な汎用人工知能を使用するかという、困難な選択を迫られることになります。

カールスルーエ応用科学大学の研究チームは、まさにこのシナリオのための新しいベンチマークを作成することで、このパズルを解こうと試みました。彼らは、95人の異なる人物によって記入された291の実際の行政様式を集め、「Handwritten German Administrative Forms（手書きドイツ行政様式）」と名付けたデータセットを作成しました。プライバシーを侵害せずにデータを公開できるように、内容は合成されたものであり、つまり名前や住所は架空のものですが、筆跡は本物で多様なものでした。研究者たちは、A、B、Cとラベル付けされた3つの異なるバージョンの同じフォームを設計しました。レイアウトAは広々としていて記入しやすいものであり、レイアウトBは人々により小さく書かせるコンパクトな表形式であり、レイアウトCはボックスがなく、書き手が回答を配置する場所を自分で決める形式でした。極めて重要なことに、すべての書き手が全く同じ情報を3つのレイアウトすべてに記入したため、チームは紙の形状や構造自体がコンピュータのテキスト読解能力にどのように影響するかを分離して検証することができました。

この研究では、フォームをデジタル化するための2つの異なるアプローチを比較しました。第一の手法は「スペシャリスト」パイプラインと呼ばれる伝統的な方法で、コンピュータプログラムがまず個々の手書きボックスを切り出し、クリーニングを行い、その後、数千の類似した例に基づいて特別に訓練されたモデルに送り込むというものです。第二の手法は「ビジョン・ランゲージ・モデル」を用いたもので、これは画像全体を見て、新しいタスクごとに再学習する必要なく、人間のように内容を理解できる一種の人工知能です。研究者たちは、どちらの手法がより正確であり、どちらの手法がフォームのデザイン変更に対して壊れることなく対処できるかを確認するために、これら3つのレイアウトでシステムをテストしました。

結果は、力のバランスにおける驚くべき変化を明らかにしました。単純で広々としたレイアウトAでは、汎用的な人工知能モデルが、高度に訓練されたスペシャリストを上回りました。2つのビジョン・ランゲージ・モデルは、スペシャリスト・パイプラインがその特定のレイアウトに対して特別に微調整（ファインチューニング）されていたにもかかわらず、スペシャリストよりも少ないエラーを出しました。スペシャリスト・モデルは、手書きが制約の少ない長い自由記述のコメント欄で最も苦戦しましたが、汎用モデルはこれらのセクションをより容易に処理しました。研究者がより困難なレイアウトであるBやCに移行すると、その差は広がりました。ボックスが正確にどこにあるかを知ることに依存していたスペシャリスト・モデルは、ボックスが小さくなったり、あるいはなくなったりすると、著しく失敗し始めました。それは新しい視覚的構造に適応できませんでしたが、汎用モデルは堅牢性を維持し、レイアウトの変化にもかかわらずテキストを正確に読み取り続けました。

最も重要な発見の一つは、出力の信頼性に関するものでした。汎用モデルは平均的にはより正確であったものの、研究者たちは、評価されたどのシステムも人間の査読者を完全に代替することはできないと結論付けました。オンプレミス環境で最も性能の高かったセットアップでも、エラーなしでフォームを転写できたのは、わずか約7.7パーセントのケースのみでした。これは、大多数のフォームにおいて、依然として人間によるチェックが必要であることを意味します。しかし、この研究は、柔軟性の面で汎用モデルが持つ大きな利点を強調しました。スペシャリスト・パイプラインを新しいフォームのデザインに適応させるには、エンジニアはモデルを再学習させ、テキストボックスを切り出すコードを書き直す必要があります。対照的に、汎用モデルは、再学習を行うことなく、与えられる指示を変更するだけで新しいレイアウトに適応できます。これは、多くの種類のフォームを扱う組織にとって、最終結果の検証に人間が必要であることを受け入れた上で、カスタムシステムを構築するよりも、柔軟な汎用モデルを使用する方が実用的である可能性を示唆しています。

研究は現在の技術の限界についても触れました。汎用モデルは良好なパフォーマンスを示した一方で、単語を繰り返したり、書き手が線を消したりしたことを認識できなかったりと、奇妙なエラーを出すこともありました。一方、スペシャリスト・モデルは脆弱であり、もし書き手が線の少し外側に書いたためにコンピュータがテキストボックスを完璧に特定できなかった場合、そのフィールド全体が誤読されてしまいます。研究者たちは、人工知能が大きな進歩を遂げているとはいえ、手書きフォームの完全自動かつエラーのないデジタル化という夢は、今のところ手の届かないところにあると結論付けました。最も効果的な道筋はハイブリッドなアプローチであるようです。つまり、強力な汎用モデルにテキストを読み取るという重労働をさせつつ、避けられない間違いを補うために人間の監視に頼り、同時に、機密データを組織のインフラ内に安全に保持し続けるという方法です。