MajinBook: An open catalogue of digitally mediated world literature
Dieser Beitrag stellt MajinBook vor, einen offenen Katalog, der Metadaten aus Schattenbibliotheken mit Goodreads-Daten verknüpft, um ein hochpräzises, maschinenlesbares Korpus von über 539.000 digital vermittelten englischsprachigen Büchern zu erstellen, wobei traditionelle Korpusverzerrungen adressiert und die rechtliche Zulässigkeit des Projekts für Forschungszwecke im Rahmen der EU- und US-Gesetzgebung erörtert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Eine bessere Bibliothekskarte erstellen
Stellen Sie sich vor, Sie möchten untersuchen, wie Menschen lesen und welche Geschichten für die Welt wichtig sind. Dafür benötigen Sie eine riesige Karte der Bücher.
Lange Zeit nutzten Forscher HathiTrust, was wie eine riesige, offizielle Bibliothek ist, die von Universitäten aufgebaut wurde. Sie enthält Millionen von Büchern, hat aber zwei große Probleme:
- Sie ist verschlossen: Viele Bücher unterliegen dem Urheberrecht, sodass Sie den Volltext nicht lesen können; Sie können sie nur durch ein sicheres, eingeschränktes Fenster betrachten.
- Sie ist unordentlich: Viele Bücher wurden einfach von physischem Papier gescannt. Der Computer liest die Buchstaben oft falsch (z. B. verwechselt er ein „o" mit einer „0"), was den Text für fortgeschrittene Computeranalysen schwer nutzbar macht.
Die Autoren dieses Papiers wollten eine bessere Karte. Sie wandten sich an „Schattenbibliotheken" (wie Library Genesis und Z-Library). Denken Sie an diese als massive, unterirdische digitale Basare, auf denen Millionen von Büchern frei geteilt werden. Sie haben weit mehr Bücher als die offizielle Bibliothek, sind aber chaotisch. Die „Regale" sind unorganisiert, die Etiketten oft falsch oder fehlen, und es ist schwer zu erkennen, welches Buch welches ist.
MajinBook ist das Projekt, das dieses Chaos bereinigt hat. Es erstellte einen hochwertigen, organisierten Katalog von über 539.000 englischen Büchern (sowie Millionen weiterer auf Französisch, Deutsch und Spanisch), indem es die unordentlichen Dateien der „Schattenbibliotheken" mit den organisierten Daten von Goodreads (dem sozialen Netzwerk für Buchliebhaber) verband.
Die Zutaten: Wie sie es gebaut haben
1. Die „Nur-Digital"-Regel (Das Sieb)
Die Schattenbibliotheken haben Bücher in vielen Formaten. Einige sind PDFs (digitale Scans von Papierseiten), und einige sind EPUBs (native digitale Dateien, wie eine saubere Webseite).
Die Autoren beschlossen, alle PDFs wegzuwerfen.
- Die Analogie: Stellen Sie sich vor, Sie möchten den Geschmack einer Suppe untersuchen. Die PDFs sind wie ein Foto der Suppe zu machen und zu versuchen, das Bild zu schmecken. Es ist verschwommen und inkonsistent. Die EPUBs sind wie die eigentliche Suppe in einer Schüssel; Sie können jede Zutat klar schmecken.
- Das Ergebnis: Indem sie nur die „sauberen" digitalen Dateien (EPUBs) behielten, verloren sie einige sehr alte Bücher (da diese noch nicht digitalisiert waren), gewannen aber einen Datensatz, der viel sauberer, für Computer leichter lesbar und überraschend sprachlich vielfältig ist.
2. Das „Werk vs. Ausgabe"-Problem
In der Welt der Bücher gibt es einen Unterschied zwischen einem Werk (die Geschichte selbst, wie die Odyssee) und einer Ausgabe (eine spezifische Version, wie die Übersetzung von 1990 oder das Hörbuch von 2020).
- Das Problem: Schattenbibliotheken könnten 50 verschiedene Dateien für die Odyssee haben. Wenn man sie alle als 50 verschiedene Bücher zählt, ist Ihre Datenverzerrung.
- Die Lösung: Die Autoren nutzten Goodreads als „Gerüst" oder „Ablagesystem". Goodreads weiß bereits, dass alle 50 Versionen zum selben „Werk" gehören. Sie nutzten dieses Wissen, um die unordentlichen Dateien der Schattenbibliothek zu gruppieren, verknüpfte sie mit der richtigen Geschichte und ihrem ursprünglichen Veröffentlichungsdatum.
3. Das Zuordnungsspiel (Die Nadel im Heuhaufen finden)
Wie verbindet man eine unordentliche Datei aus einer Schattenbibliothek mit dem richtigen Eintrag auf Goodreads?
- Die Strategie: Sie versuchten nicht, die genaue Coverkunst oder die Seitenzahl zu matchen (was sich oft ändert). Stattdessen schauten sie sich Kennungen (wie ISBN-Nummern) und Titel an.
- Die Fuzzy-Logik: Manchmal ist ein Titel in der Schattenbibliothek leicht falsch geschrieben (z. B. „Harry Pottter"). Die Autoren nutzten einen Computertrick namens „Fuzzy Matching", um zu erkennen: „Hey, das ist wahrscheinlich Harry Potter."
- Die Sicherheitsprüfung: Sie testeten diese Methode, indem sie Menschen 200 zufällige Zuordnungen überprüfen ließen. Sie stellten fest, dass, wenn der Computer einen „Vertrauenswert" von 80 oder höher angab, es fast immer korrekt war. Sie setzten ihre endgültige Regel auf diese 80-Punkte-Schwelle, um sicherzustellen, dass ihr Katalog hochgenau ist.
Die Ergebnisse: Was haben sie gefunden?
- Eine riesige, saubere Sammlung: Sie erstellten eine Liste von 539.000 englischen Büchern, die für Computer zur Analyse bereit sind.
- Eine Zeitverzerrung (aber eine nützliche): Da sie nur „native digitale" Dateien behielten, enthält ihre Sammlung weniger Bücher aus dem 19. Jahrhundert und mehr aus den 2000er Jahren.
- Die Sicht des Papiers: Die Autoren geben zu, dass dies keine perfekte Geschichte aller Literatur ist. Stattdessen ist es eine perfekte Geschichte der digitalen Kultur des 21. Jahrhunderts. Es zeigt uns, welche Bücher gerade jetzt im digitalen Zeitalter populär sind.
- Mehr Sprachen: Überraschenderweise erhielten sie durch die Filterung nach digitalen Dateien tatsächlich eine vielfältigere Mischung an Sprachen. Der „PDF"-Haufen war hauptsächlich englisch, aber der „EPUB"-Haufen enthielt einen gesunden Anteil an Französisch, Deutsch, Spanisch und anderen.
Der rechtliche „Kleingedruckte"
Das Papier behandelt eine heikle Frage: Ist es legal, diese Schattenbibliotheken für die Forschung zu nutzen?
- Das Argument: Die Autoren argumentieren, dass sie die Bücher nicht verkaufen oder die Geschichten verbreiten. Sie veröffentlichen nur eine Liste von Fakten (Titel, Autoren, Daten).
- Die Analogie: Es ist wie ein Bibliothekar, der einen Kartenkatalog erstellt. Der Kartenkatalog enthält nicht die Geschichte; er sagt Ihnen nur, wo die Geschichte ist und wer sie geschrieben hat. Die Autoren behaupten, dass das Erstellen dieses „Kartenkatalogs" für Forschungszwecke unter rechtliche Ausnahmen für „Text- und Data-Mining" sowohl in den USA als auch in der EU fällt.
Zusammenfassung
MajinBook ist ein Werkzeug, das die chaotische, massive und oft unordentliche Welt der „Schattenbibliotheken" aufnimmt und unter Verwendung der sozialen Weisheit von Goodreads organisiert. Das Ergebnis ist eine super-saubere, computerfreundliche Liste von Büchern, die Forschern hilft, Kultur, Literatur und Lesegewohnheiten im digitalen Zeitalter zu untersuchen, und dabei gleichzeitig die komplexe rechtliche Landschaft des Urheberrechts navigiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.