Seit Jahrzehnten ertrinkt die Welt in Papier und Pixeln. Belege, Rechnungen, gescannte Berichte und Screenshots von Tabellenkalkulationen liegen in unseren digitalen Archiven als flache Bilder. Für das menschliche Auge sind diese Bilder voller Bedeutung: Zahlenreihen, Überschriften, die Daten gruppieren, und Zellen, die sich über Spalten erstrecken, um eine Summe anzuzeigen. Aber für einen Computer ist ein Bild nur eine Ansammlung farbiger Punkte. Er sieht die Form einer Tabelle, aber nicht die Logik dahinter. Er kann nicht erkennen, dass eine verbundene Zelle zu jeder darunter liegenden Zeile gehört oder dass ein Dollarzeichen ein Symbol für eine Zahl und nicht für einen Buchstaben ist. Diese Lücke zwischen der Art und Weise, wie wir Daten sehen und wie Maschinen sie lesen, war lange Zeit ein Engpass. Wir können ein Foto eines Dokuments aufnehmen, aber das Foto in eine funktionierende Datenbank zu verwandeln – eine, in der ein Programm tatsächlich Kosten addieren oder Daten sortieren kann – erforderte bisher meistens, dass ein Mensch die Informationen manuell abtippt oder komplexe Skripte schreibt, um die Struktur zu erraten.

Forscher haben versucht, dies zu lösen, indem sie Computer darauf trainierten, das Layout einer Seite zu erkennen und Bilder in Text oder Code zu verwandeln, der wie eine Tabelle aussieht. Diese Methoden produzieren jedoch oft eine getreue Kopie des visuellen Designs statt der zugrunde liegenden Daten. Ein Computer erkennt zwar korrekt, dass eine Zelle zwei Zeilen überspannt, versteht aber nicht, dass der Wert in dieser Zelle für beide Zeilen in der Datenbank gilt. Er behandelt das Bild als ein Bild, das beschrieben werden soll, und nicht als eine Quelle der Wahrheit, die rekonstruiert werden muss. Das Ziel dieser neuen Arbeit ist es, diese letzte Lücke zu schließen: aus einem einzelnen Bild eines Dokuments eine voll funktionsfähige Datenbank zu erzeugen, die ein Standardcomputerprogramm sofort nutzen, abfragen und analysieren kann, ohne jegliches menschliches Eingreifen.

Der Forscher hinter diesem Projekt, Musa Peker, ging das Problem mit der Frage an, ob man einen Computer etwas tun lassen könne, das er selten tut: die schwierigen Entscheidungen über die Datenstruktur selbst zu treffen. Anstatt nur das zu transkribieren, was er sieht, wird das System darauf trainiert, zu entscheiden, wie Zeilen und Spalten zusammenhängen, wie mit verbundenen Zellen umzugehen ist und wie verschiedene Teile eines Dokuments zu einem einzigen, logischen System verbunden werden können. Sie entwickelten ein System namens PIX2DB, was für „Picture to Database“ steht. Der Kern dieses Systems ist ein Vision-Language-Modell, eine Art künstliche Intelligenz, die ein Bild betrachten und den Text sowie die Struktur darin verstehen kann. Der Forscher trainierte eine relativ kleine Version dieses Modells mit zwei Milliarden Parametern darauf, Bilder von Tabellen und Belegen zu betrachten und eine spezifische Reihe von Anweisungen auszuge eyes, die als SQL-Dump bekannt ist. Dies ist ein Format, das einer Datenbankengine genau sagt, wie die Tabellen aufgebaut werden sollen, welche Art von Daten in jede Spalte gehören und wie die Tabellen miteinander verknüpft sind.

Um dem Modell diese Fähigkeit beizubringen, stand der Forscher vor einer erheblichen Hürde: Er benötigte perfekte Beispiele dafür, wie die Ausgabe aussehen sollte. Er konnte sich nicht auf bestehende Datensätze verlassen, da diese meist nur das visuelle Layout enthalten, aber nicht die korrekte Datenbankstruktur. Also schuf er sein eigenes Trainingsgelände. Er nahm reale Datenbanken, wie sie etwa in Online-Shops oder Immobilienanzeigen verwendet werden, und nutzte ein Computerprogramm, um sie als Bilder darzustellen. Er erstellte tausende dieser Bilder und variierte den Schwierigkeitsgrad durch das Hinzufügen verschiedener Schriftarten, Farben, verbundener Zellen und simulierte sogar die Unvollkommenheiten einer Fotografie, wie leichte Unschärfen oder ungleichmäßige Beleuchtung. Er konvertierte auch bestehende öffentliche Datensätze von Tabellen und Belegen in dasselbe strikte Format. Jedes einzelne von ihm generierte Beispiel wurde durch das Ausführen des resultierenden Codes überprüft, um sicherzustellen, dass es tatsächlich funktionierte. Dieser Prozess lieferte ihm eine massive Bibliothek von „Goldstandard“-Paaren: einem Bild auf der einen Seite und der perfekten, ausführbaren Datenbank auf der anderen Seite.

Die Ergebnisse dieses Trainings waren überraschend. Das kleine Modell mit zwei Milliarden Parametern übertraf nach dem Training an diesen sechsunddreißigtausend Beispielen deutlich viel größere Modelle, die viermal so groß waren. Bei Tests mit Bildern von Tabellen, die es zuvor noch nie gesehen hatte, rekonstruierte das kleine Modell die Datenbankstruktur mit hoher Genauigkeit. Es identifizierte korrekt, wie verbundene Zellen in einzelne Zeilen aufzuteilen sind, wie man eine zweistufige Kopfzeile in einen einzelnen Spaltennamen umwandelt und wie man eine Liste von Artikeln mithilfe eines Foreign Keys – einer Regel, die zwei Tabellen verbindet – mit einem Hauptbeleg verknüpft. In Tests mit synthetischen Bildern erreichte das Modell eine exakte Übereinstimmung der Tabellenstruktur in sechsundachtzig Prozent der Fälle. Noch beeindruckender war, dass es die Verbindungen zwischen verschiedenen Tabellen fast perfekt wiederherstellte und die Foreign Keys in neunundneunzig Prozent der Fälle korrekt setzte.

Der Forscher testete das System auch mit realen Bildern, wie Fotos von Quittungen und gescannten Finanzdokumenten. Hier zeigte das Modell weiterhin eine starke Leistung und identifizierte die Daten in sechsundneunzig Prozent der Zellen für Finanztabellen sowie neununddreißig Prozent der Daten aus Quittungsfotos. Das System erwies sich als besonders geschickt im Umgang mit der chaotischen Realität von Dokumenten, wie etwa der Wiederholung eines Wertes aus einer verbundenen Zelle in jede von ihr abgedeckte Zeile – eine Aufgabe, die größere Modelle und andere bestehende Werkzeuge verwirrte. Die Studie zeigte jedoch auch eine klare Grenze auf. Als das Team das Modell mit einem Datensatz von Tabellen testete, der völlig anders war als alles, was es während des Trainings gesehen hatte, sank die Leistung. Das Modell hatte Schwierigkeiten, den Text in diesen neuen, unbekannten Fotografien zu lesen, und las oft Zahlen oder Buchstaben falsch. Dies deutete darauf an, dass das Modell zwar die Logik der Datenstruktur gemeistert hatte, aber immer noch auf die Trainingsdaten angewiesen war, um zu lernen, wie man den Text liest.

Eine zentrale Erkenntnis der Forschung war die Bedeutung der Trainingsdaten selbst. Der Forscher führte ein Experiment durch, bei dem er eine Version des Modells trainierte, die ausschließlich die von ihm erstellten synthetischen Bilder verwendete, ohne reale Fotos einzubeziehen. Diese Version funktionierte perfekt bei den synthetischen Tests, scheiterte aber kläglich, als sie mit echten Fotos von Dokumenten konfrontiert wurde. Sie konnte den unordentlichen Text in tatsächlichen Fotografien nicht handhaben. Dies bewies, dass die synthetischen Daten dem Modell zwar die Regeln des Spiels beibrachten, die realen Daten aber lehrten, wie man die Spieler liest. Das endgültige System kombinierte beides: die synthetischen Daten, um die Struktur zu lernen, und die realen Daten, um den Text zu lernen.

Der Forscher fügte seinem System auch ein Sicherheitsnetz hinzu, eine deterministische Reparaturschicht, die als letzte Prüfung fungiert, bevor die Datenbank erstellt wird. Wenn das Modell einen kleinen Fehler macht, wie etwa das Vergessen eines Anführungszeichens um ein Wort, das ein Komma enthält, korrigiert diese Schicht den Fehler automatisch. Dieser Schritt stellte sicher, dass die Ausgabe nicht nur theoretisch korrekt, sondern auch tatsächlich durch ein Standard-Datenbankprogramm ausführbar war. Ohret diese Reparaturstufe wäre viele der Ausgaben fehlgeschlagen. Mit ihr produzierte das System in fast allen Fällen funktionierende Datenbanken und verwandelte so ein visuelles Bild in ein Werkzeug, das sofort abgefragt, sortiert und analysiert werden kann.

Die Studie kommt zu dem Schluss, dass der Weg vom Bild zu einer funktionierenden Datenbank nicht darin besteht, ein größeres, mächtigeres Gehirn zu bauen, sondern ein kleineres, fokussiertes Modell mit den spezifischen Regeln der Datenstruktur zu trainieren. Der Forscher fand heraus, dass ein kompaktes Modell, das auf exakten Beispielen trainiert und durch einen einfachen Reparaturmechanismus unterstützt wurde, leistungsfähigere, allgemeinere Modelle übertreffen konnte, die lediglich gebeten wurden, die Struktur zu erraten. Obwohl das System immer noch damit kämpft, Text in schwierigen, unbekannten Fotografien zu lesen, hat es das Problem erfolgreich gelöst, das visuelle Layout eines Dokuments in eine logische, relationale Datenbank zu verwandeln. Das bedeutet, dass ein Computer zum ersten Mal ein Foto eines Belegs oder einer Grafik betrachten und sofort eine Datenbank erstellen kann, die ein Mensch nutzen kann, um Fragen zu stellen, Summen zu ermitteln oder Trends zu verfolgen – und damit die in dem Bild gefangenen Daten effektiv freisetzt.