Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

Bibliotheken sind gewaltige Repositorien der Menschheitsgeschichte, doch seit Jahrzehnten erzählen die digitalen Versionen ihrer Bücher nur die halbe Geschichte. Wenn Institutionen alte Bände scannen, um sie durchsuchbar zu machen, haben sie sich traditionell auf den Text konzentriert und Software verwendet, um die Wörter zu lesen und in Daten umzuwandeln. Dieser Prozess, bekannt als optische Zeichenerkennung, war ein Triumph, der es Forschern ermöglichte, Millionen von Seiten in Sekundenschnelle zu durchsuchen. Die Bilder in diesen Büchern – die Illustrationen, Fotografien, Gravuren und dekorativen Bordüren – blieben jedoch weitgehend für Maschinen unsichtbar. Diese visuellen Elemente enthalten eine einzigartige Ebene von Kontext und Nuancen, die der Text allein nicht erfassen kann, doch sie waren schwierig in großem Maßstab zu untersuchen, da sie nicht auf eine Weise strukturiert waren, die Computer leicht verstehen konnten. Da KI-Systeme immer fähiger werden, die Welt zu „sehen“ und zu interpretieren, ist eine signifikante Lücke entstanden: Diese Systeme werden hauptsächlich mit modernen Bildern aus dem Internet trainiert und haben oft Schwierigkeiten, die historische visuelle Kultur zu begreifen. Um diese Lücke zu schließen, benötigen Forscher eine massive, vielfältige Sammlung historischer Bilder, die organisiert und bereit ist, damit Maschinen daraus lernen können.

Ein Forschungsteam der Harvard University hat diese Herausforderung bewältigt, indem es ein neues, Open-Source-System entwickelt hat, das darauf ausgelegt ist, visuelle Elemente in fast einer Million digitalisierter Bücher zu finden, zu sortieren und zu beschreiben. Ihre Arbeit, die in einem technischen Bericht detailliert beschrieben wird, erstellt eine Pipeline, die wie ein hochqualifizierter Bibliothekar agiert, der ein Buch scannen, jedes Bild entdecken, herausfinden, was es ist, und eine kurze Beschreibung dafür verfassen kann – und das alles ohne menschliches Eingreifen. Das Ergebnis ist ein Datensatz mit über 22 Millionen visuellen Elementen, die aus 983.004 Bänden extrahiert wurden. Diese Sammlung umfasst alles von wissenschaftlichen Diagrammen und Noten bis hin zu Porträts und dekorativer Kunst, wobei jedes Element mit Informationen über seinen Typ und in vielen Fällen mit einer computergenerierten Bildunterschrift versehen wurde. Durch die Bereitstellung dieser Daten hofft das Team, KI-Modelle dabei zu unterstützen, historische Materialien besser zu verstehen, wodurch ein Kreislauf entsteht, in dem bessere Werkzeuge zu besseren Daten führen, was wiederum zu noch besseren Werkzeugen zur Erforschung unserer gemeinsamen Vergangenheit führt.

Der Prozess beginnt mit der grundlegendsten Aufgabe: dem Finden der Bilder. Die Forscher entwickelten ein System, das die digitalen Buchseiten scannt, um jede Region zu lokalisieren, die ein Bild enthält. Da die Sammlung so gewaltig ist und hunderte Millionen Seiten umfasst, musste das System unglaublich effizient sein. Sie trainierten ein spezialisiertes Computermodell, um visuelle Elemente zu erkennen, indem sie es mit tausenden Beispielen von Seiten mit und ohne Bilder zeigten. Dieses Modell lernte, den Text zu ignorieren und sich auf die visuellen Teile zu konzentrieren, indem es einen Kasten um jede gefundene Illustration, Fotografie oder jedes Diagramm zog. Im abschließenden Durchlauf verarbeitete das System die gesamte Sammlung und identifizierte über 28 Millionen potenzielle Bilder. Um eine hohe Qualität zu gewährleisten, wandten die Forscher strenge Filter an, um Fehlalarme wie Flecken oder Scanfehler zu entfernen, was zu einem endgültigen Satz von 22,6 Millionen distinkten visuellen Elementen führte.

Sobald die Bilder gefunden waren, bestand der nächste Schritt darin, zu verstehen, was sie darstellten. Das System sortierte die 22,6 Millionen Bilder in fünf Hauptkategorien ein: allgemeine Illustrationen und Fotografien, Musiknotation, dekorative Elemente wie Buchplatten, Diagramme und Grafiken sowie Scan-Artefakte wie versehentlich im Scan erschienene Finger oder Büroklammern. Die Forscher trainierten ein weiteres Modell, um diese Unterscheidungen vorzunehmen, und brachten es bei, zwischen einer Partitur und einer Textseite oder zwischen einer dekorativen Bordüre und einem wissenschaftlichen Diagramm zu unterscheiden. Das System erwies sich als hochpräzise und konnte die überwiegende Mehrheit der Bilder korrekt identifizieren. So konnte es beispielsweise Musiknotation mit nahezu perfekter Sicherheit unterscheiden, hatte jedoch gewisse Schwierigkeiten, Kategorien wie dekorative Bordüren von anderen Arten von Illustrationen abzugrenzen. Dieser Sortierungsprozess ist entscheidend, da er es Forschern ermöglicht, spezifische Fragen zu stellen, wie etwa: „Zeige mir alle Diagramme aus dem 18. Jahrhundert“ oder „Finde jedes Vorkommen einer spezifischen Buchplatte“.

Nach der Sortierung widmete sich das Team dem Problem der Duplikate. In großen Digitalisierungsprojekten erscheint dasselbe Bild oft mehrfach, entweder weil es in mehreren Editionen eines Buches verwendet wurde oder weil der Scanvorgang versehentlich dieselbe Seite doppelt erfasst hat. Um dies zu bereinigen, nutzten die Forscher zwei verschiedene Methoden, um übereinstimmende Bilder zu finden. Die erste Methode verglich die Pixelmuster der Bilder, um exakte Kopien zu finden, während die zweite Methode die tiefere Bedeutung der Bilder untersuchte, um nahezu identische Bilder zu finden, die aufgrund von Scan-Variationen etwas anders aussehen könnten. Durch die Kombination dieser Ansätze identifizierten und gruppierten sie Millionen von wiederholten Bildern und stellten so sicher, dass der endgültige Datensatz die einzigartigen visuellen Inhalte repräsentierte, anstatt nur eine Liste jedes einzelnen Auftretens eines Bildes zu sein. Dieser Schritt reduzierte die Gesamtzahl der Artikel um etwa 20 Prozent und hinterließ eine sauberere, wertvollere Sammlung für die Untersuchung.

Der letzte und experimentellste Teil des Projekts bestand darin, dem System beizubringen, Beschreibungen für die Bilder zu verfassen. Mithunter einem großen Sprachmodell baten die Forscher den Computer, eine kurze Bildunterschrift für jedes Bild zu generieren, die erklärt, was es zeigt. Um dem Computer den Kontext zu vermitteln, speisten sie den Text der umgebenden Seite zusammen mit dem Bild ein. Das System wurde angewiesen, präzise zu sein und keine Vermutungen anzustellen, sondern nur das zu beschreiben, was klar sichtbar war. Während die Forscher anmerkten, dass diese Bildunterschriften experimentell sind und mit Vorsicht verwendet werden sollten, generierten sie erfolgreich fast 18 Millionen Beschreibungen. Diese Bildunterschriften, die nach Möglichkeit in der Originalsprache des Buches verfasst wurden, bieten eine neue Möglichkeit, visuelle Inhalte zu durchsuchen, indem Nutzer Bilder basierend auf ihrem Inhalt statt nur nach Dateinamen oder Kategorien finden können.

Die Forscher achteten auch auf die praktische Seite dieses massiven Unterfangens und stellten sicher, dass der Prozess effizient ist und von anderen Institutionen wiederholt werden kann. Sie fanden heraus, dass der größte Engpass nicht die Fähigkeit des Computers zu denken war, sondern die Zeit, die benötigt wurde, um die Bilder zu laden und für die Verarbeitung vorzubereiten. Durch die Optimierung ihres Workflows gelang es ihnen, die gesamte Sammlung in wenigen Wochen mit Standard-Rechenressourcen zu verarbeiten. Das Team veröffentlichte die gesamte Pipeline, die trainierten Modelle und den daraus resultierenden Datensatz als Open-Source-Tools und lud andere Bibliotheken und Forscher ein, ihre Arbeit zu nutzen und zu verbessern. Sie fügten auch deutliche Warnungen bezüglich der Einschränkungen ihrer Daten hinzu, mit dem Hinweis, dass einige Bilder historische Vorurteile oder diskriminierende Sprache enthalten können, die die Zeit widerspiegeln, in der sie entstanden sind, und dass die computergenerierten Bildunterschriften nicht perfekt sind.

Dieses Projekt stellt einen bedeutenden Schritt dar, um die visuelle Geschichte der menschlichen Kultur sowohl für Menschen als auch für Maschinen zugänglich zu machen. Indem sie eine massive, unstrukturierte Sammlung von Buchbildern in einen durchsuchbaren, klassifizierten und beschriebenen Datensatz verwandelten, haben die Forscher ein neues Fundament für die Untersuchung der Vergangenheit geschaffen. Der Datensatz umfasst über 22 Millionen visuelle Elemente und bietet eine reiche Ressource für das Training künstlicher Intelligenz zum Verständnis historischer Kontexte sowie für die Ermöglichung neuer Formen der digitalen Geisteswissenschaften. Die Arbeit zeigt, dass mit sorgfältiger Planung und den richtigen Werkzeugen die visuellen Schätze, die in Millionen alter Bücher verborgen sind, ans Licht gebracht werden können, um frische Einblicke in die Geschichten zu gewinnen, die sie erzählen.