📊 statistics

MajinBook: An open catalogue of digitally mediated world literature

Dit artikel introduceert MajinBook, een open catalogus die metadata van schaduwbibliotheken koppelt aan Goodreads-gegevens om een corpus van meer dan 539.000 digitaal gemedieerde Engelstalige boeken met hoge precisie en machineleesbaarheid te creëren, waarbij traditionele corpusbiases worden aangepakt en de wettelijke toelaatbaarheid van het project voor onderzoek binnen de EU- en VS-kaders wordt besproken.

Oorspronkelijke auteurs: Antoine Mazières, Thierry Poibeau

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antoine Mazières, Thierry Poibeau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Betere Kaart van de Bibliotheek

Stel je voor dat je wilt onderzoeken hoe mensen lezen en welke verhalen belangrijk zijn voor de wereld. Om dit te doen, heb je een enorme kaart van boeken nodig.

Lange tijd gebruikten onderzoekers HathiTrust, wat vergelijkbaar is met een gigantische, officiële bibliotheek opgericht door universiteiten. Het bevat miljoenen boeken, maar kent twee grote problemen:

Het is vergrendeld: Veel boeken staan onder copyright, dus je kunt de volledige tekst niet lezen; je kunt ze alleen bekijken via een beveiligd, beperkt venster.
Het is rommelig: Veel boeken zijn gewoon gescand van fysiek papier. De computer leest de letters vaak verkeerd (zoals een 'o' verwarren met een '0'), waardoor de tekst moeilijk bruikbaar is voor geavanceerde computeranalyse.

De auteurs van dit paper wilden een betere kaart. Zij wendden zich tot "Shadow Libraries" (zoals Library Genesis en Z-Library). Denk hierbij aan enorme, ondergrondse digitale bazaars waar miljoenen boeken gratis worden gedeeld. Ze hebben veel meer boeken dan de officiële bibliotheek, maar ze zijn chaotisch. De "planken" zijn ongeordend, de labels zijn vaak verkeerd of ontbreken, en het is moeilijk te zeggen welk boek welk is.

MajinBook is het project dat dit chaos opruimde. Het creëerde een hoogwaardige, georganiseerde catalogus van meer dan 539.000 Engelse boeken (plus miljoenen andere in het Frans, Duits en Spaans) door de rommelige bestanden van de "shadow library" te koppelen aan de georganiseerde gegevens van Goodreads (het sociale netwerk voor boekenliefhebbers).

De Ingrediënten: Hoe Ze Het Bouwden

1. De "Alleen Digitaal"-Regel (Het Zeefje)

De shadow libraries hebben boeken in vele formaten. Sommige zijn PDF's (digitale scans van papieren pagina's) en sommige zijn EPUB's (ingebouwde digitale bestanden, zoals een schone webpagina).

De auteurs besloten om alle PDF's weg te gooien.

De Analogie: Stel je voor dat je de smaak van een soep wilt bestuderen. De PDF's zijn dan alsof je een foto van de soep maakt en probeert de foto te proeven. Het is wazig en inconsistent. De EPUB's zijn dan de daadwerkelijke soep in een kom; je kunt elk ingrediënt duidelijk proeven.
Het Resultaat: Door alleen de "schone" digitale bestanden (EPUB's) te behouden, verloren ze sommige zeer oude boeken (omdat deze nog niet gedigitaliseerd waren), maar kregen ze een dataset die veel schoner is, makkelijker voor computers te lezen, en verrassend divers qua talen.

2. Het "Werk versus Editie"-Probleem

In de wereld van boeken is er een verschil tussen een Werk (het verhaal zelf, zoals De Odyssee) en een Editie (een specifieke versie, zoals de vertaling uit 1990 of het audioboek uit 2020).

Het Probleem: Shadow libraries kunnen 50 verschillende bestanden voor De Odyssee hebben. Als je ze allemaal telt als 50 verschillende boeken, is je data vertekend.
De Oplossing: De auteurs gebruikten Goodreads als een "skelet" of een "archiefsysteem". Goodreads weet al dat alle 50 versies tot hetzelfde "Werk" behoren. Ze gebruikten deze kennis om de rommelige shadow library-bestanden samen te groeperen, ze te koppelen aan het juiste verhaal en de oorspronkelijke publicatiedatum.

3. Het Matchspel (De Naald in de Hooiberg Vinden)

Hoe verbind je een rommelig bestand van een shadow library met het juiste item op Goodreads?

De Strategie: Ze probeerden niet de exacte coverkunst of het paginagetal te matchen (wat vaak verandert). In plaats daarvan keken ze naar identificatoren (zoals ISBN-nummers) en titels.
De Vage Logica: Soms is een titel in de shadow library lichtjes verkeerd gespeld (bijvoorbeeld "Harry Pottter"). De auteurs gebruikten een computertekentje genaamd "fuzzy matching" om te beseffen: "Hé, dat is waarschijnlijk Harry Potter."
De Veiligheidscontrole: Ze testten deze methode door mensen 200 willekeurige matches te laten controleren. Ze ontdekten dat als de computer een "vertrouwensscore" van 80 of hoger gaf, het bijna altijd correct was. Ze stelden hun definitieve regel op die 80-punten drempel om ervoor te zorgen dat hun catalogus zeer nauwkeurig is.

De Resultaten: Wat Vonden Ze?

Een Enorme, Schone Collectie: Ze creëerden een lijst van 539.000 Engelse boeken die klaar zijn voor analyse door computers.
Een Tijdsbias (Maar een Nuttige): Omdat ze alleen "ingebouwde digitale" bestanden behielden, heeft hun collectie minder boeken uit de 1800-er jaren en meer uit de 2000-er jaren.
- De Visie van het Paper: De auteurs geven toe dat dit geen perfecte geschiedenis is van alle literatuur. In plaats daarvan is het een perfecte geschiedenis van 21e-eeuwse digitale cultuur. Het laat zien welke boeken nu populair zijn in het digitale tijdperk.
Meer Talen: Verrassend genoeg kregen ze, door te filteren op digitale bestanden, een diversere mix van talen. De "PDF"-stapel was voornamelijk Engels, maar de "EPUB"-stapel bevatte een gezonde hoeveelheid Frans, Duits, Spaans en anderen.

De Juridische "Kleine Lettertjes"

Het paper behandelt een lastige vraag: Is het legaal om deze shadow libraries voor onderzoek te gebruiken?

Het Argument: De auteurs stellen dat ze de boeken niet verkopen of de verhalen niet verspreiden. Ze publiceren alleen een lijst met feiten (titels, auteurs, data).
De Analogie: Het is alsof een bibliothecaris een kaartcatalogus maakt. De kaartcatalogus bevat niet het verhaal; het vertelt je alleen waar het verhaal staat en wie het schreef. De auteurs stellen dat het maken van deze "kaartcatalogus" voor onderzoeksdoeleinden valt onder juridische uitzonderingen voor "Tekst- en Datamining" in zowel de VS als de EU.

Samenvatting

MajinBook is een tool die de chaotische, enorme en vaak rommelige wereld van "shadow libraries" ordent met behulp van de sociale wijsheid van Goodreads. Het resultaat is een superschone, computer-vriendelijke lijst van boeken die onderzoekers helpt cultuur, literatuur en leesgewoonten in het digitale tijdperk te bestuderen, terwijl ze tegelijkertijd navigeren door het complexe juridische landschap van auteursrecht.

Technische Samenvatting van MajinBook: Een Open Catalogus van Digitaal Gemedieerde Wereldliteratuur

Probleemstelling
Het artikel behandelt een kritieke knelpunt in de Computergestuurde Sociale Wetenschappen (CSS) en culturele analytics: het gebrek aan hoogwaardige, machine-leesbare en precies geïdentificeerde boekcorpora afkomstig van "shadow libraries" (bijvoorbeeld Library Genesis, Z-Library). Hoewel deze archieven tientallen miljoenen items bevatten, is hun metadata vaak van slechte kwaliteit, wat de precieze steekproefneming en identificatie van specifieke werken vereist voor diachrone analyse belemmert. Daarentegen lijden gevestigde institutionele corpora zoals HathiTrust aan aanzienlijke beperkingen, waaronder fouten bij Optische Karakterherkenning (OCR), representatieve vertekeningen die grote onderzoeksinstellingen bevoordelen, en restrictieve toegangscontroles (het "data capsule"-model) die de ontwikkeling van samenwerkende tools belemmeren. Bovendien leiden de juridische en technische uitdagingen bij het verwerken van PDF's uit gescande corpora vaak tot inconsistente tekstkwaliteit. De auteurs betogen dat, hoewel Large Language Models (LLM's) deze shadow libraries zijn gaan gebruiken als bulktrainingsdata, hun toepassing in rigoureuze CSS-onderzoek nog onderontwikkeld blijft vanwege het onvermogen om specifieke digitale bestanden te koppelen aan hun corresponderende abstracte "werken" en eerste publicatiedata.

Methodologie
De auteurs stellen een methodologie voor die prioriteit geeft aan natively digitale formaten om machine-leesbaarheid te waarborgen en een "bibliografisch steiger" construeert door metadata van shadow libraries te koppelen aan gestructureerde data van het sociale leesplatform Goodreads.

Dataselectie en Filtering:
- Bron: De studie aggregeert metadata van Library Genesis (LibGen) en Z-Library (toegankelijk via Anna's Archive) per begin 2025, met in totaal meer dan 77 miljoen items.
- Formatfilter: Een beslissende methodologische keuze was het verwijderen van alle PDF-bestanden (77,9% van de brondata) vanwege parsing-moeilijkheden en OCR-inkonsistenties. De studie richt zich uitsluitend op natively digitale formaten (voornamelijk EPUB, inclusief .mobi, .azw, .fb2), die 19,2% van de bron uitmaken. Deze "productieve zeef" introduceert een temporele bias ten opzichte van recente publicaties en commercieel levensvatbare herdrukken, maar waarborgt wel hoge tekstkwaliteit en linguïstische diversiteit.
- Goodreads-crawl: Om het bibliografische steiger op te bouwen, voerden de auteurs een uitgebreide crawl van Goodreads uit. Beginnend met 1,2 miljoen zaadeditie's afgeleid van tags, planken, genres en prijzen, breidden ze de dataset recursief uit via auteur-gebaseerde en aanbevelingsgebaseerde ontdekking. De crawl werd beëindigd toen de ontdekking van nieuwe items plateauerde, wat resulteerde in een dataset van 4,78 miljoen werken, 28,1 miljoen editie's en 2,15 miljoen auteurs.
Koppelstrategie:
- Preprocessing: Shadow library EPUB-bestanden werden omgezet naar ruwe tekst. Voor elk item werd een MinHash-ondertekening van 128 elementen berekend, en Locality-Sensitive Hashing (LSH) werd gebruikt om bijna-duplicaten te clusteren (Jaccard-similariteit $\ge$ 0,8), waardoor verschillende editie's van hetzelfde werk in een specifieke taal werden gegroepeerd.
- Matching: De strategie koppelde shadow library-clusters aan Goodreads "Works" (abstracte entiteiten) in plaats van specifieke editie's. Matching berustte op de doorsnede van boekidentificatoren (ISBN, ASIN) die zowel in de shadow library-cluster als in de editie's van het Goodreads-werk werden aangetroffen.
- Verificatie: Een secundaire verificatiestap vergeleek titels met behulp van een partiële ratio fuzzy match. Een menselijke evaluatiestudie aan 200 Engelse kandidaten bepaalde de optimale drempel voor titelscores. Een drempel van 80 werd geselecteerd om precisie te maximaliseren (bijna 1,0) terwijl een robuuste datasetgrootte werd behouden.
Datasetconstructie:
- De definitieve primaire dataset richt zich op Engelse taalovereenkomsten, wat resulteert in een hoogprecisie catalogus van 539.530 referenties.
- Secundaire datasets werden vrijgegeven voor Frans (47.960), Duits (35.559) en Spaans (30.169) op basis van volume en vergelijkbaarheid van de titelscoreverdeling, hoewel deze niet over dezelfde mate van menselijk geverifieerde precisie beschikken.

Belangrijkste Resultaten

Corpusgrootte en Kwaliteit: Het resulterende MajinBook-corpus bevat meer dan 539.000 Engelstalige referenties die drie eeuwen bestrijken. Het is verrijkt met eerste publicatiedata, genres en populariteitsmetrieken (beoordelingen, recensies).
Linguïstische Diversiteit: Door te filteren op EPUB's bereikten de auteurs een aanzienlijk linguïstisch diverser corpus dan de PDF-subset van shadow libraries of de HathiTrust-collectie. De EPUB-subset heeft een genormaliseerde Herfindahl Index (HI) van 0,24, vergeleken met 0,74 voor de PDF-subset en 0,32 voor HathiTrust. Engelstalige inhoud daalt van 85,97% in de PDF-set naar 47,93% in het EPUB-gebaseerde MajinBook-corpus, wat de representativiteit van de dataset voor culturele analytics verbetert.
Temporele Bias: Het corpus vertoont een "super-exponentiële" groeicurve naar het heden, wat de beschikbaarheid van natively digitale formaten weerspiegelt. De auteurs kaderen dit niet als een gebrek, maar als een bepalend kenmerk van de "digitaal gemedieerde canon".
Matchnauwkeurigheid: De menselijke evaluatie bevestigde dat de gekozen titelscore-drempel van 80 een precisie van bijna 1,0 oplevert. Zelfs voor visueel ambigu bestanden (zonder titelpagina's) bleek de titelscore een robuuste voorspeller van correcte matches.

Betekenis en Aanspraken
Het artikel claimt de eerste open catalogus te introduceren die specifiek is ontworpen om de metadata-uitdagingen van shadow libraries voor de computergestuurde sociale wetenschappen op te lossen. De betekenis hiervan ligt in:

Het Overbruggen van de Kloof: Het verbindt enorme, door de gemeenschap gegenereerde archieven met gestructureerde bibliografische data, waardoor onderzoekers kunnen navigeren tussen abstracte culturele werken en hun specifieke digitale instanties.
Methodologische Innovatie: Het toont aan dat het verwijderen van het grootste deel van een corpus (PDF's) ten gunste van natively digitale formaten (EPUB's) een dataset oplevert die schoner, beter gestructureerd en linguïstisch diverser is, en geschikt voor hoogprecisie culturele analytics.
Juridische en Ethische Positionering: De auteurs situeren hun werk binnen de juridische kaders van de EU (uitzonderingen voor Text and Data Mining) en de VS (Fair Use), en betogen dat hun output een metadata-only index is van feitelijke data (titels, auteurs, data) in plaats van een distributie van auteursrechtelijk beschermd materiaal. Ze benadrukken het niet-commerciële, academische karakter van het project en zijn rol in het stimuleren van publieke kennis.
Open Science: Het project geeft de primaire catalogus, secundaire taaldatasets en de onderliggende ruwe metadata en MinHash-ondertekeningen openbaar vrij, wat toekomstig onderzoek in CSS en digitale geesteswetenschappen faciliteert.

De auteurs merken bescheiden op dat het corpus niet "wereldliteratuur" in zijn historische totaliteit vertegenwoordigt, maar eerder een specifieke, hedendaagse selectie van cultuur zoals deze in de 21e eeuw wordt gecureerd en geconsumeerd via digitale kanalen.