Zeitungen sind das tägliche Protokoll des menschlichen Lebens und halten alles fest, von lokalen Wahlen bis hin zum Preis von Mehl, von Nachrufen bis hin zu Anzeigen für neue Erfindungen. Über Jahrhunderte hinweg wurden diese Geschichten auf zerbrechlichem Papier bewahrt, doch im digitalen Zeitalter haben Bibliotheken Millionen dieser Seiten gescannt, um sie zugänglich zu machen. Das Umwandeln eines Bildes einer Zeitungsseite in nützlichen, durchsuchbaren Text ist jedoch überraschend schwierig. Die Seiten sind dicht und unordentlich, gefüllt mit Textspalten, dekorativen Schlagzeilen und Anzeigen, die oft ineinander übergehen. Standard-Computerprogramme, die gut mit sauberen Dokumenten arbeiten, werden oft durch dieses Chaos verwirrt und produzieren Texte, die voller Fehler sind oder ganze Abschnitte vermissen lassen. Dies schafft eine Barriere für Forscher und Systeme der künstlichen Intelligenz, die aus der Geschichte lernen wollen, da sie nicht leicht lesen können, was auf der Seite geschrieben steht.

Ein Team von Forschern der Harvard Law School und der Boston Public Library hat einen neuen Weg entwickelt, um dieses Problem zu lösen. Sie haben ein schrittweises System entwickelt, das darauf ausgelegt ist, eine einzelne Zeitungsseite in ihre kleinsten, logischsten Teile zu zerlegen, den Text in jedem Teil mit hoher Genauigkeit zu lesen und dann alles so zu organisieren, dass ein Computer das Layout und den Inhalt verstehen kann. Ihr Ziel war es nicht nur, den Text zu digitalisieren, sondern einen sauberen, strukturierten Datensatz zu erstellen, der den wahren Inhalt von über einer Million Scans historischer Zeitungen offenbart. Indem sie jeden einzelnen Textblock oder jedes Bild als separates Element behandelten, gelang es ihnen, Milliarden von Wörtern aus Materialien zu extrahieren, die zuvor zu unordentlich waren, um effektiv genutzt werden zu können.

Der Prozess beginnt damit, dass ein digitales Bild einer Zeitungsseite genommen wird und ein Computer lernt, die Seite so zu sehen, wie ein menschlicher Leser es tut. Anstatt zu versuchen, die ganze Seite auf einmal zu lesen, identifiziert das System zuerst jeden einzelnen Inhaltsblock, wie etwa einen einzelnen Artikel, eine Fotografie oder eine Anzeige. Die Forscher trainierten ein Computermodell, um diese Blöcke oder „Crops“ zu erkennen, indem sie ihm tausende Beispiele zeigten. Dieses Modell lernte, den leeren weißen Raum am Rand und die komplexen Grenzen zwischen den Spalten zu ignorieren und sich stattdlich nur auf den eigentlichen Inhalt zu konzentrieren. Bei Tests erwies sich dieses Segmentierungswerkzeug als äußerst effektiv und identifizierte erfolgreich über 83 Millionen einzelne Blöcke auf mehr als 1,4 Millionen Zeitungsseiten. Im Durchschnitt wurde jede Seite in etwa 56 separate Teile zerlegt, was es dem System ermöglichte, die komplexen Layouts der Vergangenheit mit Präzision zu handhaben.

Sobald die Seite in diese handhabbaren Stücke unterteilt ist, liest das System den Text innerhalb dieser Stücke. Die Forscher verwendeten zwei verschiedene Methoden, um dies zu tun, und ließen sie nebeneinander laufen, um die besten Ergebnisse zu gewährleisten. Die erste Methode nutzt ein traditionelles Werkzeug, das seit Jahrzehnten verwendet wird, um Bilder von Text in digitale Buchstaben umzuwandeln. Die zweite Methode nutzt eine neuere, fortschrittlichere Art von Modell der künstlichen Intelligenz, die den Kontext eines Bildes besser verstehen kann. Dieses neuere Modell erwies sich als besonders gut darin, Text zu lesen, der beschädigt, verblasst oder in dekorativen Schriftarten geschrieben war, die das ältere Werk verwirrt hätten. In vielen Fällen konnte das fortschrittliche Modell sogar fehlende Buchstaben in einem zerrissenen Abschnitt einer Seite erraten und die Lücken füllen, um einen vollständigen Satz zu erstellen. Durch die Kombination der Ergebnisse beider Methoden generierte das Team eine massive Sammlung von Text, die insgesamt 16,3 Milliarden Token umfasst, was ausreicht, um tausende Bücher zu füllen.

Nachdem der Text extrahiert wurde, arbeitet das System daran, zu verstehen, was jedes Stück Inhalt tatsächlich ist. Es sortiert die Millionen von Blöcken in Kategorien ein und unterscheidet zwischen Nachrichtenartikeln, Anzeigen, Fotografien und Karikaturen. Um dies genau zu tun, betrachtet das System sowohl das visuelle Erscheinungsbild des Blocks als auch die darin enthaltenen Wörter. Zum Beispiel wird ein Block, der wie eine Fotografie aussieht, aber keinen Text enthält, als Bild identifiziert, während ein Block mit einer Schlagzeile und einer Geschichte als Nachricht identifiziert wird. Die Forscher fanden heraus, dass Anzeigen den größten Teil der dieser Blöcke ausmachten, aber die eigentlichen Nachrichten die Mehrheit der Wörter enthielten. Diese Unterscheidung ist entscheidend, da sie es Forschern ermöglicht zu untersuchen, wie sich das visuelle Wesen der Zeitungen im Laufe der Zeit verändert hat, wobei festgestellt wurde, dass Anzeigen zunehmend visueller wurden und mehr Platz auf der Seite einnahmen, während die Jahrzehnte voranschritten.

Das System organisiert den Text auch in der Reihenfolge, in der ein Mensch ihn natürlich lesen würde. Zeitungen haben oft Artikel, die in einer Spalte beginnen und in einer anderen fortgesetzt werden, oder Geschichten, die durch Bilder unterbrochen werden. Die Forscher entwickelten eine Methode, um diese Pfade nachzuzeichnen und zu bestimmen, welcher Block als nächstes kommt und welcher danach folgt. Obwohl dies eine komplexe Aufgabe ist, gelang es ihrem Ansatz, die Lesereihenfolge für einen signifikanten Teil der Seiten zu rekonstruieren, wobei eine Genauigkeit von 72,1 % auf einer Makroebene und 80,8 % auf einer Mikroebene erreicht wurde, was den Text logisch von Anfang bis Ende fließen lässt. Dieser Schritt verwandelt eine ungeordnete Sammlung von Bildfragmenten in eine kohärente Erzählung, die wie ein modernes Dokument durchsuchbar und analysierbar ist.

Über das bloße Lesen und Organisieren des Textes hinaus fügt das System jedem einzelnen Block nützliche Informationsebenen hinzu. Es identifiziert die verwendete Sprache und stellt fest, dass der Großteil der Sammlung auf Englisch ist, es aber auch bedeutende Teile in Jiddisch, Deutsch, Schwedisch und Französisch gibt, was die vielfältigen Einwanderergemeinschaften der damaligen Zeit widerspiegelt. Es scannt den Text zudem nach Namen von Personen, Orten und Organisationen und markiert Millionen von Erwähnungen von Orten wie Boston und New York oder Institutionen wie dem Kongress. Darüber hinaus weist das System jedem Block ein Thema zu und etikettiert einige als Wirtschaftsberichte, andere als politische Nachrichten und andere als wissenschaftliche Updates. Dieses reiche Tagging ermöglicht es Forschern, spezifische Fragen zu stellen, wie etwa: „Wie oft wurde das Wort ‚Boston‘ in Anzeigen im Vergleich zu Nachrichten erwähnt?“ oder „Welche Themen waren in den 1880er Jahren am häufigsten?“

Die gesamte Operation wurde so konzipiert, dass sie effizient genug ist, um auf Standard-Computerhardware zu laufen, anstatt massive, teure Supercomputer zu benötigen. Die Forscher verarbeiteten die Daten in Batches (Chargen) und optimierten jeden Schritt, um sicherzustellen, dass das System die enorme Menge an Material bewältigen konnte, ohne abzustürzen oder zu langsam zu werden. Die Gesamtkosten für den Betrieb dieser Pipeline auf gemieteter Rechenleistung wurden auf etwa 25.000 Dollar geschätzt, was nur ein Bruchteil dessen wäre, was die Verwendung der fortschrittlichsten, teuersten Modelle gekostet hätte. Diese Effizienz bedeutet, dass andere Bibliotheken und Institutionen potenziell dieselben Werkzeuge nutzen könnten, um ihre eigenen historischen Sammlungen zu erschließen.

Das Ergebnis dieser Arbeit ist ein massiver, offener Datensatz, der nicht nur den Text, sondern auch die Struktur und den Kontext von über einer Million Zeitungsseiten aus den Jahren 1795 bis 1930 umfasst. Die Forscher haben die Werkzeuge, die Modelle und die fertigen Daten der Öffentlichkeit zugänglich gemacht, um jedem die Möglichkeit zu geben, diese Geschichte auf neue Weise zu erkunden. Obwohl das System nicht perfekt ist und bei den schwierigsten Fällen noch menschliche Aufsicht erfordert, stellt es einen bedeutenden Fortschritt dar, um historische Zeitungen zugänglich zu machen. Indem sie chaotische, verrauschte Bilder in saubere, strukturierte Daten verwandelt haben, hat das Team ein Fenster in das tägliche Leben der Menschen der Vergangenheit geöffnet und eine Grundlage für zukünftige Forschung sowie eine neue Art und Weise geschaffen, wie die künstliche Intelligenz aus der menschlichen Geschichte lernen kann.