📊 statistics

MajinBook: An open catalogue of digitally mediated world literature

Este artículo presenta MajinBook, un catálogo abierto que vincula metadatos de bibliotecas sombra con datos de Goodreads para crear un corpus de alta precisión y legible por máquina de más de 539.000 libros en inglés mediados digitalmente, al tiempo que aborda los sesgos tradicionales de los corpus y discute la permisibilidad legal del proyecto para la investigación en el marco de la UE y de EE. UU.

Autores originales: Antoine Mazières, Thierry Poibeau

Publicado 2026-05-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Antoine Mazières, Thierry Poibeau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: Construir un Mapa de Biblioteca Mejor

Imagina que quieres estudiar cómo lee la gente y qué historias importan para el mundo. Para hacer esto, necesitas un mapa masivo de libros.

Durante mucho tiempo, los investigadores utilizaron HathiTrust, que es como una biblioteca gigante y oficial construida por universidades. Tiene millones de libros, pero tiene dos grandes problemas:

Está bloqueada: Muchos libros están bajo derechos de autor, por lo que no puedes leer el texto completo; solo puedes verlos a través de una ventana segura y restringida.
Está desordenada: Muchos libros fueron simplemente escaneados a partir de papel físico. La computadora a menudo lee mal las letras (como confundir una 'o' con un '0'), lo que hace que el texto sea difícil de usar para análisis informáticos avanzados.

Los autores de este artículo querían un mapa mejor. Se volvieron hacia las "Bibliotecas Sombras" (como Library Genesis y Z-Library). Piensa en estas como bazares digitales masivos y subterráneos donde se comparten millones de libros libremente. Tienen muchos más libros que la biblioteca oficial, pero son caóticas. Las "estanterías" están desorganizadas, las etiquetas a menudo son incorrectas o faltan, y es difícil distinguir un libro de otro.

MajinBook es el proyecto que limpió este caos. Creó un catálogo de alta calidad y organizado de más de 539,000 libros en inglés (además de millones de otros en francés, alemán y español) conectando los archivos desordenados de la "biblioteca sombra" con los datos organizados de Goodreads (la red social para amantes de los libros).

Los Ingredientes: Cómo lo Construyeron

1. La Regla "Solo Digital" (El Tamiz)

Las bibliotecas sombras tienen libros en muchos formatos. Algunos son PDF (escaneos digitales de páginas de papel) y otros son EPUB (archivos digitales nativos, como una página web limpia).

Los autores decidieron descartar todos los PDF.

La Analogía: Imagina que intentas estudiar el sabor de una sopa. Los PDF son como tomar una foto de la sopa e intentar saborear la imagen. Está borrosa e inconsistente. Los EPUB son como la sopa real en un tazón; puedes saborear cada ingrediente claramente.
El Resultado: Al mantener solo los archivos digitales "limpios" (EPUB), perdieron algunos libros muy antiguos (porque aún no habían sido digitalizados), pero ganaron un conjunto de datos mucho más limpio, más fácil de leer para las computadoras y sorprendentemente diverso en idiomas.

2. El Problema de "Obra vs. Edición"

En el mundo de los libros, hay una diferencia entre una Obra (la historia en sí, como La Odisea) y una Edición (una versión específica, como la traducción de 1990 o el audiolibro de 2020).

El Problema: Las bibliotecas sombras podrían tener 50 archivos diferentes para La Odisea. Si los cuentas a todos como 50 libros diferentes, tus datos están sesgados.
La Solución: Los autores utilizaron Goodreads como un "esqueleto" o un "sistema de archivo". Goodreads ya sabe que todas las 50 versiones pertenecen a la misma "Obra". Utilizaron este conocimiento para agrupar los archivos desordenados de la biblioteca sombra, vinculándolos a la historia correcta y a su fecha de publicación original.

3. El Juego de Emparejar (Encontrar la Aguja en el Heno)

¿Cómo conectas un archivo desordenado de una biblioteca sombra con la entrada correcta en Goodreads?

La Estrategia: No intentaron emparejar el arte de la portada exacto ni el número de páginas (que a menudo cambian). En su lugar, miraron los identificadores (como los números ISBN) y los títulos.
La Lógica Difusa: A veces un título está ligeramente mal escrito en la biblioteca sombra (por ejemplo, "Harry Pottter"). Los autores utilizaron un truco informático llamado "coincidencia difusa" para darse cuenta: "Oye, eso probablemente sea Harry Potter".
La Verificación de Seguridad: Probaron este método haciendo que humanos revisaran 200 coincidencias al azar. Descubrieron que si la computadora daba una "puntuación de confianza" de 80 o superior, era casi siempre correcta. Establecieron su regla final en ese umbral de 80 puntos para asegurar que su catálogo fuera altamente preciso.

Los Resultados: ¿Qué Encontraron?

Una Colección Masiva y Limpia: Crearon una lista de 539,000 libros en inglés listos para que las computadoras los analicen.
Un Sesgo Temporal (Pero Útil): Como solo mantuvieron archivos "digitales nativos", su colección tiene menos libros de los años 1800 y más de los 2000.
- La Postura del Artículo: Los autores admiten que esto no es una historia perfecta de toda la literatura. En cambio, es una historia perfecta de la cultura digital del siglo XXI. Nos muestra qué libros son populares ahora mismo en la era digital.
Más Idiomas: Sorprendentemente, al filtrar por archivos digitales, obtuvieron una mezcla más diversa de idiomas. La pila de "PDF" era mayoritariamente en inglés, pero la pila de "EPUB" incluía una cantidad saludable de francés, alemán, español y otros.

La "Letra Pequeña" Legal

El artículo aborda una pregunta complicada: ¿Es legal usar estas bibliotecas sombras para investigación?

El Argumento: Los autores argumentan que no están vendiendo los libros ni distribuyendo las historias. Solo están publicando una lista de hechos (títulos, autores, fechas).
La Analogía: Es como un bibliotecario que hace un catálogo de tarjetas. El catálogo de tarjetas no contiene la historia; solo te dice dónde está la historia y quién la escribió. Los autores afirman que crear este "catálogo de tarjetas" con fines de investigación cae bajo las excepciones legales de "Minería de Texto y Datos" tanto en EE. UU. como en la UE.

Resumen

MajinBook es una herramienta que toma el mundo caótico, masivo y a menudo desordenado de las "bibliotecas sombras" y lo organiza utilizando la sabiduría social de Goodreads. El resultado es una lista de libros superlimpia y amigable para las computadoras que ayuda a los investigadores a estudiar la cultura, la literatura y los hábitos de lectura en la era digital, todo mientras navegan el complejo panorama legal de los derechos de autor.

Resumen Técnico de MajinBook: Un Catálogo Abierto de Literatura Mundial Mediada Digitalmente

Planteamiento del Problema
El artículo aborda un cuello de botella crítico en la Ciencia Social Computacional (CSS) y el análisis cultural: la falta de corpus de libros de alta calidad, legibles por máquina y precisamente identificados derivados de "bibliotecas sombra" (por ejemplo, Library Genesis, Z-Library). Aunque estos archivos contienen decenas de millones de elementos, sus metadatos suelen ser deficientes, lo que dificulta el muestreo preciso y la identificación de obras específicas requeridos para el análisis diacrónico. Por el contrario, los corpus institucionales establecidos como HathiTrust sufren limitaciones significativas, incluidos errores de Reconocimiento Óptico de Caracteres (OCR), sesgos representativos que favorecen a las grandes instituciones de investigación y controles de acceso restrictivos (el modelo de "cápsula de datos") que inhiben el desarrollo de herramientas colaborativas. Además, los desafíos legales y técnicos de procesar PDFs de corpus escaneados a menudo resultan en una calidad de texto inconsistente. Los autores argumentan que, si bien los Modelos de Lenguaje Grandes (LLM) han comenzado a utilizar estas bibliotecas sombra como datos de entrenamiento masivos, su aplicación en investigaciones rigurosas de CSS sigue siendo subdesarrollada debido a la incapacidad de vincular archivos digitales específicos con sus correspondientes "obras" abstractas y fechas de primera publicación.

Metodología
Los autores proponen una metodología que prioriza formatos nativamente digitales para garantizar la legibilidad por máquina y construye un "andamiaje bibliográfico" vinculando metadatos de bibliotecas sombra con datos estructurados de la plataforma de lectura social Goodreads.

Selección y Filtrado de Datos:
- Fuente: El estudio agrega metadatos de Library Genesis (LibGen) y Z-Library (accedidos a través de Anna's Archive) a principios de 2025, totalizando más de 77 millones de elementos.
- Filtro de Formato: Se tomó una decisión metodológica decisiva de descartar todos los archivos PDF (77,9 % de los datos de origen) debido a las dificultades de análisis y las inconsistencias del OCR. El estudio se centra exclusivamente en formatos nativamente digitales (principalmente EPUB, incluyendo .mobi, .azw, .fb2), que constituyen el 19,2 % de la fuente. Este "tamiz productivo" introduce un sesgo temporal hacia publicaciones recientes y reediciones comercialmente viables, pero garantiza alta calidad de texto y diversidad lingüística.
- Rastreo de Goodreads: Para construir el andamiaje bibliográfico, los autores realizaron un rastreo exhaustivo de Goodreads. Comenzando con 1,2 millones de ediciones semilla derivadas de etiquetas, estantes, géneros y premios, expandieron recursivamente el conjunto de datos mediante descubrimiento basado en autores y recomendaciones. El rastreo terminó cuando el descubrimiento de nuevos elementos se estabilizó, resultando en un conjunto de datos de 4,78 millones de obras, 28,1 millones de ediciones y 2,15 millones de autores.
Estrategia de Vinculación:
- Preprocesamiento: Los archivos EPUB de las bibliotecas sombra se convirtieron a texto sin formato. Se calculó una firma MinHash de 128 elementos para cada elemento, y se utilizó Hashing Sensible a la Localidad (LSH) para agrupar duplicados cercanos (similitud de Jaccard $\ge$ 0,8), agrupando diferentes ediciones de la misma obra en un idioma específico.
- Emparejamiento: La estrategia vinculó los grupos de bibliotecas sombra con las "Obras" de Goodreads (entidades abstractas) en lugar de ediciones específicas. El emparejamiento se basó en la intersección de identificadores de libros (ISBN, ASIN) encontrados tanto en el grupo de la biblioteca sombra como en las ediciones de la obra de Goodreads.
- Verificación: Un paso de verificación secundario comparó títulos utilizando una coincidencia difusa de ratio parcial. Un estudio de evaluación humana sobre 200 candidatos en inglés determinó el umbral óptimo para las puntuaciones de títulos. Se seleccionó un umbral de 80 para maximizar la precisión (casi 1,0) mientras se mantenía un tamaño de conjunto de datos robusto.
Construcción del Conjunto de Datos:
- El conjunto de datos principal final se centra en coincidencias en inglés, resultando en un catálogo de alta precisión de 539.530 referencias.
- Se publicaron conjuntos de datos secundarios para francés (47.960), alemán (35.559) y español (30.169) basados en la similitud de la distribución de volumen y puntuación de títulos, aunque carecen del mismo nivel de precisión verificada por humanos.

Resultados Clave

Escala y Calidad del Corpus: El corpus MajinBook resultante contiene más de 539.000 referencias en inglés que abarcan tres siglos. Se enriquece con fechas de primera publicación, géneros y métricas de popularidad (calificaciones, reseñas).
Diversidad Lingüística: Al filtrar por EPUBs, los autores lograron un corpus significativamente más diverso lingüísticamente que el subconjunto de PDFs de las bibliotecas sombra o la colección de HathiTrust. El subconjunto de EPUB tiene un Índice de Herfindahl (HI) normalizado de 0,24, en comparación con 0,74 para el subconjunto de PDF y 0,32 para HathiTrust. El contenido en inglés disminuye del 85,97 % en el conjunto de PDF al 47,93 % en el corpus MajinBook basado en EPUB, mejorando la representatividad del conjunto de datos para el análisis cultural.
Sesgo Temporal: El corpus exhibe una curva de crecimiento "superexponencial" hacia el presente, reflejando la disponibilidad de formatos nativamente digitales. Los autores enmarcan esto no como un defecto, sino como una característica definitoria del "cánón mediado digitalmente".
Precisión del Emparejamiento: La evaluación humana confirmó que el umbral de puntuación de títulos elegido de 80 arroja una precisión de casi 1,0. Incluso para archivos visualmente ambiguos (sin páginas de título), la puntuación de títulos demostró ser un predictor robusto de coincidencias correctas.

Significado y Afirmaciones
El artículo afirma introducir el primer catálogo abierto diseñado específicamente para resolver los desafíos de metadatos de las bibliotecas sombra para la ciencia social computacional. Su significado radica en:

Cerrar la Brecha: Conecta vastos archivos generados por crowdsourcing con datos bibliográficos estructurados, permitiendo a los investigadores navegar entre obras culturales abstractas y sus instancias digitales específicas.
Innovación Metodológica: Demuestra que descartar la mayoría de un corpus (PDFs) en favor de formatos nativamente digitales (EPUBs) produce un conjunto de datos más limpio, mejor estructurado y lingüísticamente más diverso, adecuado para análisis cultural de alta precisión.
Posicionamiento Legal y Ético: Los autores sitúan su trabajo dentro de los marcos legales de la UE (excepciones de Minería de Texto y Datos) y de EE. UU. (Uso Justo), argumentando que su resultado es un índice solo de metadatos de datos fácticos (títulos, autores, fechas) en lugar de una distribución de texto con derechos de autor. Enfatizan la naturaleza académica y no comercial del proyecto y su papel en fomentar el conocimiento público.
Ciencia Abierta: El proyecto publica el catálogo principal, los conjuntos de datos secundarios de idiomas y los metadatos sin procesar subyacentes y las firmas MinHash de manera abierta, facilitando investigaciones futuras en CSS y humanidades digitales.

Los autores notan modestamente que el corpus no representa la "literatura mundial" en su totalidad histórica, sino una selección específica y contemporánea de la cultura tal como se cura y consume en el siglo XXI a través de canales digitales.