Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
Dieses Paper stellt „Enriched Text“ vor, eine anpassbare, Open-Source-Multilingual-Pipeline, die Metadaten bewahrt und eine benutzergesteuerte Filterung der 983.004 Bände der Institutional Books: Harvard Library Sammlung ermöglicht, indem sie OCR-Text durch Spracherkennung, Deduplizierungscluster und Qualitätsbewertungen anstatt durch die Anwendung aggressiver globaler Vorverarbeitung annotiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Bibliothek vor, die fast eine Million Bücher beherbergt, die über Jahrhunderte menschlichen Denkens hinweg in Hunderten verschiedener Sprachen verfasst wurden. Jahrzehntelang wurden diese Bände von Maschinen gescannt, um physische Seiten in digitalen Text zu verwandeln. Doch dieser digitale Text ist oft unordentlich. Er enthält das Rauschen des Scanvorgangs: Seitenzahlen, die am Ende jeder Seite wiederholt werden, Kopfzeilen, die über den oberen Rand laufen, und Wörter, die am Zeilenende ungeschickt unterbrochen sind. Für einen Computer, der aus diesem Text lernen soll, stellt ein solcher Lärm ein erhebliches Hindernnis dar. Standardmethoden zur Bereinigung solcher Daten beinhalten oft das Wegwerfen großer Informationsmengen, wie etwa das Entfernen aller Texte, die nicht auf Englisch sind, oder das Löschen jedes Absatzes, der einem anderen ähnlich sieht. Dies macht die Daten zwar sauberer, aber es beraubt sie der reichen, multilingualen Geschichte und des strukturellen Kontextes, der ein Buch zu einem Buch macht.
Ein Team von Forschern der Harvard Law School hat einen anderen Ansatz gewählt. Anstatt die unordentlichen Teile wegzuwerfen, haben sie ein System entwickelt, das sie sorgfältig organisiert. Sie nennen ihr Ergebnis „Enriched Text“ (angereicherten Text). Anstatt einen einzigen, vereinfachten Wortstrom zu erzeugen, behält ihre Pipeline den Originaltext intakt, fügt jedoch eine Ebene digitaler Annotationen hinzu. Man kann sich das wie das Hinzufügen einer Reihe unsichtbarer Etiketten zu jedem Absatz vorstellen, die einem Computer genau sagen, was dieser Absatz ist, in welcher Sprache er verfasst ist und ob es sich um ein Duplikat handelt. Dies ermöglicht es jedem, der die Daten verwendet, selbst zu entscheiden, was er behalten und was er ignorieren möchte, anstatt die Entscheidungen durch einen starren Filter vorgegeben zu bekommen.
Das Projekt begann mit einer massiven Sammlung von 983.004 Bänden aus der Harvard Library, die ursprünglich durch eine Partnerschaft mit Google digitalisiert wurden. Diese Sammlung enthält etwa 242 Milliarden Texteinheiten, sogenannte Token, die rund 250 verschiedene Sprachen abdecken. Die Forscher wollten diese Sammlung für moderne künstliche Intelligenz nutzbar machen, ohne die Integrität des Ausgangsmaterials zu verlieren. Sie standen vor einem Spannungsfeld: Standardpraktiken der Informatik zur Datenaufbereitung filtern oft aggressiv nicht-englische Texte heraus und löschen alles, was wie eine Kopie aussieht, um Platz zu sparen. Für eine historische Bibliothek jedoch würde das Löschen von nicht-englischen Texten bedeuten, die Hälfte der Sammlung zu verlieren, und das Löschen von Duplikaten würde die Kontinuität langer Bücher unterbrechen.
Um dies zu lösen, entwickelte das Team eine Verarbeitungspipeline, die wie ein akribischer Bibliothekar agiert. Zuerst bereinigten sie den Text, indem sie häufige Fehler korrigierten, die durch den Scanprozess entstanden waren. Sie entfernten die Seitenzahlen und Kopfzeilen, die oben und unten auf den Seiten erscheinen und oft mitten in Sätze hineingeraten. Sie korrigierten Wörter, die durch Bindestriche über Zeilen hinweg getrennt waren, und fügten sie korrekt wieder zusammen. Sie trennten auch die „Endmatter“ (die abschließenden Teile) – die Vorder- und Rückteile eines Buches wie das Inhaltsverzeichnis, den Index und das Literaturverzeichnis – von der eigentlichen Geschichte oder dem Argument in der Mitte. Entscheidend war dabei, dass sie diese Abschnitte nicht löschten. Stattdessen markierten sie diese, sodass ein Nutzer wählen konnte, ob er nur den Haupttext lesen oder den Index separat studieren möchte.
Das System zerlegte die Bücher anschließend in kleinere, bedeutungsvolle Einheiten. Es identifizierte einzelne Sätze und gruppierte sie in Absätze basierend auf dem behandelten Thema, anstatt nur nach dem Seitenumbruch zu gehen. Dies ist wichtig, da eine einzige Seite zwei verschiedene Themen enthalten kann oder ein einzelnes Thema sich über viele Seiten erstrecken kann. Durch die Gruppierung des Textes nach seiner Thematik ermöglichten die Forscher es Computern, den Fluss der Ideen besser zu verstehen. Sie identifizierten auch Absätze, die in mehreren Büchern vorkamen. Anstatt diese Duplikate zu löschen, markierten sie diese. Eine Version des Absatzes wird als „repräsentative“ Kopie hervorgehoben, während die anderen als Duplikate gekennzeichnet werden. Dies bewahrt die Geschichte darüber, wie Ideen über verschiedene Bücher und Sprachen hinweg wiederverwendet und geteilt wurden.
Einer der anspruchsvollsten Schritte beinhaltete die Messung der Textqualität. Die Forscher nutzten ein kleines Computermodell, um jeden Absatz zu lesen und ihm einen Wert basierend darauf zuzuweisen, wie vorhersehbar und flüssig die Sprache ist. Dieser Wert, bekannt als „Bits-per-Byte“, hilft dabei, Absätze zu identifizieren, die wahrscheinlich hochwertige Prosa darstellen, im Gegensatz zu jenen, die nur unverständliches Rauschen eines schlechten Scans sind, wie etwa eine Tabelle, die als ein einzener Textblock gelesen wurde. Dies ermöglicht es den Nutzern, die qualitativ schlechtesten Texte herauszufiltern, ohne die teure Berechnung selbst durchführen zu müssen.
Das Endergebnis ist ein Datensatz, der 217 Milliarden Token enthält, organisiert in über 1,3 Milliarden annotierten Absätzen. Die Forscher fanden heraus, dass dieser Ansatz den Text erfolgreich bereinigte und gleichzeitig seine Komplexität bewahrte. Beispielsweise entdeckten sie, dass während englische Texte den größten Teil der Sammlung ausmachten, das System korrekt identifizierte, dass viele nicht-englische Bücher signifikante Mengen an Latein oder Griechisch enthielten, die oft für Zitate oder wissenschaftliche Referenzen verwendet wurden. Sie fanden auch heraus, dass der Text für moderne Computer mit der Zeit vorhersehbarer wurde, wobei Bücher aus dem 19. und 20. Jahrhundert eher der Sprache, die wir heute verwenden, entsprachen als die Bücher aus dem 17. Jahrhundert.
Das Team veröffentlichte die gesamte Pipeline als Open-Source-Software, was bedeutet, dass jeder sie nutzen kann, um seine eigenen Buchsammlungen zu verarbeiten. Sie stellten zudem ein kleines Werkzeug bereit, das den Nutzern hilft, die Daten zu parsen, sodass sie die Annotationen entfernen können, wenn sie eine einfache Liste von Wörtern wünschen, oder die Annotationen behalten können, wenn sie die Struktur der Bücher studieren wollen. Durch die Entscheidung, zu annotieren statt zu löschen, haben die Forscher eine Ressource geschaffen, die sowohl für Maschinen sauberer als auch für den menschlichen Gebrauch reicher ist. Sie haben gezeigt, dass es möglich ist, historische Daten für moderne Technologie zugänglich zu machen, ohne die Nuancen und die Vielfalt zu opfern, die diese Geschichte wertvoll machen. Die Arbeit legt nahe, dass die Zukunft der Datenverarbeitung nicht darin liegt, die unordentlichen Teile wegzuwerfen, sondern darin, zu lernen, wie man sie organisiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.