何十年もの間、世界は紙とピクセルに溺れてきました。レシート、請求書、スキャンされたレポート、そしてスプレッドシートのスクリーンショットが、デジタルアーカイブの中に平坦な画像として静止しています。人間の目には、これらの画像は意味に満ちています。数字の列、データをグループ化するヘッダー、そして合計を示すために列をまたいで広がるセル。しかし、コンピュータにとって、画像は単なる色の点の集まりに過ぎません。コンピュータは表の形状は見えますが、その中の論理（ロジック）までは理解できません。結合されたセルがその下のすべての行に属していることや、ドル記号が文字ではなく数字のシンボルであることを、コンピュータは判別できないのです。このように、人間がデータの見方と、機械がデータを読み取る方法との間にある隔たりが、長らくボトルネックとなってきました。書類の写真を撮ることはできますが、その写真を、プログラムが実際にコストを合算したり日付をソートしたりできるような、機能するデータベースへと変えるには、通常、人間が情報を手入力するか、構造を推測するための複雑なスクリプトを書く必要がありました。

研究者たちは、コンピュータにページのレイアウトを認識させ、画像をテキストやテーブルのようなコードに変換させることで、この問題を解決しようと試みてきました。しかし、これらの手法は、多くの場合、視覚的なデザインを忠実にコピーするだけであり、基礎となるデータまでは再現できません。コンピュータは、あるセルが2つの行にまたがっていることを正しく識別できても、そのセル内の値がデータベースのどちらの行にも適用されるということを理解できないのです。それは画像を「記述すべき絵」として扱っており、「再構築すべき真実の源泉」としては扱っていません。この新しい研究の目的は、その最後の溝を埋めることです。つまり、ドキュメントの単一の画像から、標準的なコンピュータプログラムが人間の介入なしに、即座に使用、照会、分析できる、完全に機能するデータベースを生成することです。

このプロジェクトの背後にいる研究者、ムサ・ペケル（Musa Peker）氏は、コンピュータに、それが滅多にしないこと、すなわち「データ構造そのものについての難しい決断を下すこと」を求めることで、この問題にアプローチしました。単に目に見えるものを書き写すのではなく、システムが、行と列がどのように関連するか、結合されたセルをどのように扱うか、そしてドキュメントの異なる部分をどのように一つの論理的なシステムへと結合するかを決定するように訓練したのです。彼らは、PIX2DB（Picture to Database）と呼ばれるシステムを構築しました。このシステムの核となるのは、画像を見て、その中のテキストと構造を理解することができる一種の人工知能である「ビジョン・ランゲージ・モデル」です。研究者は、比較的規模の小さい、20億のパラメータを持つこのモデルに対し、表やレシートの画像を見て、「SQLダンプ」として知られる特定の指示セットを出力するように訓練しました。これは、データベースエンジンに対して、どのようにテーブルを構築するか、各列にどのような種類のデータが入るか、そしてテーブル同士がどのようにリンクするかを正確に伝える形式です。

モデルにこのスキルを教えるために、研究者は大きな困難に直面しました。出力されるべき姿の「完璧な例」が必要だったのです。既存のデータセットに頼ることはできませんでした。なぜなら、それらは通常、視覚的なレイアウトのみを含んでおり、正しいデータベース構造は含まれていないからです。そこで、彼らは独自のトレーニング環境を作り上げました。オンラインショップや不動産リスティングなどで使用されている実際のデータベースを取り込み、コンピュータプログラムを使用してそれらを画像としてレンダリングしました。彼らは、異なるフォント、色、結合セルを加え、さらに、わずかなブレや不均一な照明といった写真の不完全さをシミュレートすることで、難易度を変えた数千の画像を生成しました。また、既存のテーブルやレシートの公開データセットも、同じ厳格な形式に変換しました。生成されたすべての例は、結果として得られるコードを実行して、実際に動作するかどうかを確認されました。このプロセスにより、片側には画像、もう片側には完璧で実行可能なデータベースがあるという、「ゴールドスタンダード（黄金律）」のペアの膨大なライブラリが完成しました。

このトレーニングの結果は驚くべきものでした。3万6千の例を用いて訓練された、この20億パラメータという比較的小さなモデルは、その4倍のサイズを持つはるかに大きなモデルを凌駕しました。未学習のテーブル画像に対してテストを行った際、この小さなモデルは、高い精度でデータベース構造を再構築することに成功しました。結合セルを個々の行に分割する方法、2レベルのヘッダーを単一の列名に変換する方法、そしてアイテムのリストをメインの請求書ヘッダーに外部キー（2つのテーブルを接続するルール）を用いてリンクさせる方法を、正しく識別したのです。合成画像を用いたテストでは、モデルは86%のケースでテーブル構造の完全一致を達成しました。さらに印象的なことに、異なるテーブル間の接続をほぼ完璧に復元し、外部キーを99%の確率で正しく特定しました。

研究者はまた、レシートの写真やスキャンされた財務書類など、現実世界の画像を用いてシステムをテストしました。ここでは、モデルは引き続き強力な性能を発揮し、財務テーブルのデータの96%、レシート写真のデータの93%を正しく識別しました。このシステムは、結合セルから値を各行に繰り返すといった、ドキュメントの「乱れた現実」を扱うことに特に長けており、これはより大きなモデルや既存のツールを混乱させる作業でした。しかし、研究は明確な限界も明らかにしました。チームが、トレーニング中に見たものとは全く異なるテーブルのデータセットでモデルをテストしたところ、性能が低下したのです。モデルは、これらの新しい未知の画像内のテキストを読むことに苦戦し、数字や文字を読み間違えることがよくありました。これは、モデルがデータの構造化に関する論理を習得した一方で、テキスト自体の読み取り方については、依然としてトレーニングデータに依存していることを示唆しています。

この研究の重要な発見は、トレーニングデータ自体の重要性でした。研究者は、作成した合成画像のみを使用してモデルのバージョンを訓練するという実験を行いました。このバージョンは、合成テストでは完璧に機能しましたが、実際の書類の写真を見せられると惨めな失敗をしました。実際の写真に見られる乱れたテキストを扱うことができなかったのです。これは、合成データが「ゲームのルール」を教えた一方で、実データが「プレイヤーの読み方」を教えたことを証明しました。最終的なシステムは、構造を学ぶための合成データと、テキストを学ぶための実データを組み合わせたものでした。

研究者はまた、データベースが作成される前の最終チェックとして機能する、決定論的な「修復レイヤー（repair layer）」をシステムに追加しました。もしモデルが、カンマを含む単語に引用符を付け忘れるといった小さなミスをしたとしても、このレイヤーがエラーを自動的に修正します。このステップにより、出力が単に理論的に正しいだけでなく、標準的なデータベースプログラムによって実際に実行可能であることを保証しました。この修復ステップがなければ、多くの出力は実行に失敗していたでしょう。これがあることで、システムは、視覚的な画像を、即座に照会、ソート、分析できるツールへと変え、ほぼすべてのケースで動作するデータベースを生み出すことができました。

本研究は、写真から機能するデータベースへの道筋は、より大きく強力な「脳」を構築することではなく、特定のデータ構造のルールを、より小さく集中したモデルに教えることにあると結論付けています。研究者は、厳密な例によって訓練され、シンプルな修復メカニズムによってサポートされたコンパクトなモデルが、単に構造を推測するように求められた、より大規模で一般的なモデルを凌駕できることを見出しました。このシステムは、困難で未知の画像におけるテキストの読み取りには依然として課題を残していますが、ドキュメントの視覚的なレイアウトを論理的なリレーショナルデータベースへと変換するという問題を解決することに成功しました。これは、コンピュータが初めて、レシートやチャートの写真を見て、人間が質問を投げかけたり、合計を求めたり、傾向を追跡したりできるデータベースを即座に生成できることを意味しており、画像の中に閉じ込められたデータを事実上解き放つものなのです。