📊 statistics

MajinBook: An open catalogue of digitally mediated world literature

본 논문은 EU 및 US 체계 하에서 연구의 법적 허용성을 논의하고 전통적인 말뭉치 편향을 해소하면서 539,000 권 이상의 디지털 매개 영어 서적에 대한 고정밀 기계 판독 가능 말뭉치를 구축하기 위해 그림자 도서관의 메타데이터와 Goodreads 데이터를 연결하는 오픈 카탈로그인 MajinBook 을 소개한다.

원저자: Antoine Mazières, Thierry Poibeau

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Antoine Mazières, Thierry Poibeau

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 MajinBook 논문에 대한 설명으로, 개념을 명확히 하기 위해 일상적인 언어와 비유를 사용하여 번역한 것입니다.

큰 그림: 더 나은 도서관 지도 구축하기

사람들이 어떻게 책을 읽고, 어떤 이야기들이 세계에 중요한지 연구하고 싶다고 상상해 보세요. 이를 위해서는 방대한 책 지도가 필요합니다.

오랫동안 연구자들은 HathiTrust를 사용해 왔습니다. 이는 대학들이 건립한 거대한 공식 도서관과 같습니다. 수백만 권의 책이 있지만, 두 가지 큰 문제가 있습니다.

잠겨 있습니다: 많은 책이 저작권 보호를 받고 있어 전체 텍스트를 읽을 수 없습니다. 대신 안전하고 제한된 창구를 통해만 볼 수 있습니다.
정리가 안 되어 있습니다: 많은 책이 물리적인 종이에서 단순히 스캔되었습니다. 컴퓨터가 종종 글자를 잘못 읽습니다 (예: 'o'를 '0'으로 혼동). 이로 인해 고급 컴퓨터 분석에 텍스트를 사용하기 어렵습니다.

이 논문의 저자들은 더 나은 지도를 원했습니다. 그들은 "섀도우 라이브러리"(Library Genesis 및 Z-Library 등) 로 눈을 돌렸습니다. 이는 수백만 권의 책이 자유롭게 공유되는 거대한 지하 디지털 바자르와 같습니다. 공식 도서관보다 훨씬 더 많은 책을 보유하고 있지만, 혼란스럽습니다. "선반"은 정리되어 있지 않고, 라벨은 종종 잘못되었거나 누락되어 있으며, 어떤 책이 어떤 책인지 구분하기 어렵습니다.

MajinBook은 이 혼란을 정리한 프로젝트입니다. 이는 정리되지 않은 "섀도우 라이브러리" 파일들을 책 애호가들의 소셜 네트워크인 Goodreads의 정리된 데이터와 연결하여 539,000 권 이상의 영어 책(그리고 프랑스어, 독일어, 스페인어로 된 수백만 권의 다른 책) 의 고품질 정리된 목록을 만들었습니다.

재료: 어떻게 만들었는가

1. "디지털 전용" 규칙 (체)

섀도우 라이브러리에는 다양한 형식의 책이 있습니다. 일부는 PDF(종이 페이지의 디지털 스캔) 이고, 일부는 EPUB(깨끗한 웹페이지와 같은 네이티브 디지털 파일) 입니다.

저자들은 모든 PDF 를 폐기하기로 결정했습니다.

비유: 수프의 맛을 연구하려고 한다고 상상해 보세요. PDF 는 수프의 사진을 찍고 그 그림을 맛보는 것과 같습니다. 흐릿하고 일관성이 없습니다. EPUB 은 그릇에 담긴 실제 수프와 같습니다. 모든 재료를 명확하게 맛볼 수 있습니다.
결과: "깨끗한" 디지털 파일 (EPUB) 만 유지함으로써 아직 디지털화되지 않은 매우 오래된 책들은 잃었지만, 훨씬 더 깨끗하고 컴퓨터가 읽기 쉬우며 놀랍도록 다양한 언어를 가진 데이터 세트를 얻었습니다.

2. "작품 대 판" 문제

책의 세계에서는 작품(《오디세이》와 같은 이야기 자체) 과 판(1990 년 번역본이나 2020 년 오디오북과 같은 특정 버전) 사이에 차이가 있습니다.

문제: 섀도우 라이브러리에는《오디세이》에 대한 50 개의 서로 다른 파일이 있을 수 있습니다. 이를 모두 50 권의 서로 다른 책으로 계산하면 데이터가 왜곡됩니다.
해결책: 저자들은 Goodreads를 "뼈대"나 "파일 시스템"으로 사용했습니다. Goodreads 는 이미 모든 50 가지 버전이 동일한 "작품"에 속한다는 것을 알고 있습니다. 그들은 이 지식을 활용하여 정리되지 않은 섀도우 라이브러리 파일들을 그룹화하고, 올바른 이야기와 원래 출판 날짜에 연결했습니다.

3. 매칭 게임 (건초더미 속의 바늘 찾기)

정리되지 않은 섀도우 라이브러리 파일을 Goodreads 의 올바른 항목에 어떻게 연결합니까?

전략: 그들은 종종 변하는 표지 아트나 페이지 수를 정확히 매칭하려고 시도하지 않았습니다. 대신 식별자(ISBN 번호 등) 와 제목을 확인했습니다.
모호한 논리 (Fuzzy Logic): 때때로 섀도우 라이브러리에서 제목이 약간 철자가 틀립니다 (예: "Harry Pottter"). 저자들은 "Hey, 그건 아마《해리 포터》일 거야"라고 깨닫기 위해 "모호한 매칭 (fuzzy matching)"이라는 컴퓨터 트릭을 사용했습니다.
안전 점검: 그들은 이 방법을 테스트하기 위해 인간이 200 개의 무작위 매칭을 확인하게 했습니다. 컴퓨터가 "신뢰도 점수"가 80 이상을 주면 거의 항상 정확하다는 것을 발견했습니다. 그들은 카탈로그의 정확도를 극도로 높이기 위해 최종 규칙을 그 80 점 임계값으로 설정했습니다.

결과: 무엇을 발견했는가

거대하고 깨끗한 컬렉션: 컴퓨터가 분석할 준비가 된 539,000 권의 영어 책 목록을 만들었습니다.
시간 편향 (하지만 유용한 편향): 그들은 "네이티브 디지털" 파일만 유지했기 때문에, 그들의 컬렉션에는 1800 년대의 책이 적고 2000 년대의 책이 더 많습니다.
- 논문의 견해: 저자들은 이것이 모든 문학의 완벽한 역사는 아니라고 인정합니다. 대신 이는 21 세기 디지털 문화의 완벽한 역사입니다. 이는 디지털 시대에 현재 어떤 책이 인기 있는지 보여줍니다.
더 많은 언어: 놀랍게도 디지털 파일을 필터링함으로써, 그들은 실제로 더 다양한 언어의 혼합을 얻었습니다. "PDF" 더미는 대부분 영어였지만, "EPUB" 더미에는 프랑스어, 독일어, 스페인어 및 기타 언어가 상당량 포함되어 있었습니다.

법적 "세부 사항"

이 논문은 까다로운 질문을 다룹니다: 연구 목적으로 이러한 섀도우 라이브러리를 사용하는 것이 합법적인가?

주장: 저자들은 책을 판매하거나 이야기를 배포하지 않는다고 주장합니다. 그들은 단지 사실 목록(제목, 저자, 날짜) 만 출판합니다.
비유: 이는 사서가 카드 카탈로그를 만드는 것과 같습니다. 카드 카탈로그에는 이야기가 포함되어 있지 않습니다. 단지 이야기가 어디에 있고 누가 썼는지 알려줄 뿐입니다. 저자들은 연구 목적으로 이 "카드 카탈로그"를 만드는 것이 미국과 EU 모두에서 "텍스트 및 데이터 마이닝"을 위한 법적 예외에 해당한다고 주장합니다.

요약

MajinBook은 혼란스럽고 거대하며 종종 정리되지 않은 "섀도우 라이브러리"의 세계를 Goodreads의 사회적 지혜를 사용하여 정리하는 도구입니다. 그 결과로 나온 것은 초정리되고 컴퓨터 친화적인 책 목록으로, 연구자들이 디지털 시대의 문화, 문학 및 독서 습관을 연구하는 데 도움을 주며, 저작권의 복잡한 법적 지형을 항해할 수 있게 합니다.

마진북 (MajinBook): 디지털 매개 세계문학의 오픈 카탈로그에 대한 기술적 요약

문제 제기
본 논문은 계산 사회과학 (CSS) 과 문화 분석 분야에서 중요한 병목 현상인 '그림자 도서관 (shadow libraries, 예: Library Genesis, Z-Library)'에서 파생된 고품질, 기계 판독 가능, 그리고 정밀하게 식별된 도서 코퍼스의 부재를 다룹니다. 이러한 아카이브에는 수천만 건의 자료가 포함되어 있으나, 메타데이터가 종종 부실하여 동시적 분석에 필요한 특정 작품의 정밀한 표본 추출과 식별을 방해합니다. 반면, 하티트러스트 (HathiTrust) 와 같은 기존 기관 코퍼스는 광학 문자 인식 (OCR) 오류, 대형 연구 기관을 우대하는 대표성 편향, 그리고 협업 도구 개발을 저해하는 제한적인 접근 통제 ('데이터 캡슐' 모델) 등 상당한 한계를 겪고 있습니다. furthermore, 스캔된 코퍼스의 PDF 를 처리하는 과정에서 발생하는 법적 및 기술적 도전 과제는 종종 일관되지 않은 텍스트 품질로 이어집니다. 저자들은 대규모 언어 모델 (LLM) 이 이러한 그림자 도서관을 대량 학습 데이터로 활용하기 시작했으나, 특정 디지털 파일을 해당 추상적 '작품 (works)' 및 초판 발행일과 연결할 수 없는 능력 부족으로 인해 엄격한 CSS 연구에서의 적용은 아직 미흡하다고 주장합니다.

방법론
저자들은 기계 판독 가능성을 보장하기 위해 네이티브 디지털 형식을 우선시하는 방법론을 제안하며, 그림자 도서관 메타데이터를 소셜 리딩 플랫폼인 Goodreads 의 구조화된 데이터와 연결하여 '문헌학적 발판 (bibliographic scaffold)'을 구축합니다.

데이터 선정 및 필터링:
- 출처: 본 연구는 2025 년 초 기준 Library Genesis(LibGen) 와 Z-Library(Anna's Archive 를 통해 접근) 의 메타데이터를 집계하여 총 7,700 만 건 이상의 자료를 확보했습니다.
- 형식 필터: 파싱의 어려움과 OCR 불일치로 인해 모든 PDF 파일 (원천 데이터의 77.9%) 을 폐기하기로 결정했습니다. 연구는 원천 데이터의 19.2% 를 차지하는 네이티브 디지털 형식 (주로 EPUB, .mobi, .azw, .fb2 포함) 에만 집중합니다. 이 '생산적인 체 (productive sieve)'는 최근 출판물과 상업적으로 재발행 가능한 자료에 대한 시간적 편향을 도입하지만, 높은 텍스트 품질과 언어적 다양성을 보장합니다.
- Goodreads 크롤링: 문헌학적 발판을 구축하기 위해 저자들은 Goodreads 를 포괄적으로 크롤링했습니다. 태그, 선반, 장르, 그리고 수상 내역에서 파생된 120 만 개의 시드 에디션으로 시작하여 저자 기반 및 추천 기반 발견을 통해 데이터셋을 재귀적으로 확장했습니다. 새로운 항목 발견이 정점에 도달했을 때 크롤링을 종료하여 478 만 개의 작품, 2,810 만 개의 에디션, 215 만 명의 저자로 구성된 데이터셋을 확보했습니다.
연계 전략:
- 전처리: 그림자 도서관의 EPUB 파일을 원시 텍스트로 변환했습니다. 각 항목에 대해 128 요소 MinHash 서명을 계산하고, 국지 민감 해싱 (Locality-Sensitive Hashing, LSH) 을 사용하여 유사한 중복 (자카드 유사도 $\ge$ 0.8) 을 클러스터링하여 특정 언어의 동일 작품에 대한 서로 다른 에디션을 그룹화했습니다.
- 매칭: 그림자 도서관 클러스터를 특정 에디션이 아닌 Goodreads 의 '작품 (Works, 추상적 개체)'과 연결하는 전략을 취했습니다. 매칭은 그림자 도서관 클러스터와 Goodreads 작품의 에디션에서 모두 발견된 도서 식별자 (ISBN, ASIN) 의 교집합에 의존했습니다.
- 검증: 2 차 검증 단계에서는 부분 비율 퍼지 매칭을 사용하여 제목을 비교했습니다. 200 개의 영어 후보에 대한 인간 평가 연구를 통해 제목 점수에 대한 최적 임계값을 결정했습니다. 정밀도 (약 1.0) 를 극대화하면서 견고한 데이터셋 크기를 유지하기 위해 80 의 임계값을 선택했습니다.
데이터셋 구축:
- 최종 주 데이터셋은 영어 매칭에 초점을 맞춰 539,530 개의 참조로 구성된 고정밀 카탈로그를 산출했습니다.
- 볼륨 및 제목 점수 분포의 유사성을 기반으로 프랑스어 (47,960), 독일어 (35,559), 스페인어 (30,169) 에 대한 보조 데이터셋도 공개되었으나, 이러한 데이터셋은 동일한 수준의 인간 검증 정밀도를 갖추지 못했습니다.

주요 결과

코퍼스 규모 및 품질: 결과적으로 생성된 마진북 코퍼스는 3 세기에 걸친 539,000 건 이상의 영어 참조를 포함합니다. 초판 발행일, 장르, 그리고 인기 지표 (평가, 리뷰) 가 풍부하게 포함되어 있습니다.
언어적 다양성: EPUB 형식을 필터링함으로써 저자들은 그림자 도서관의 PDF 하위 집합이나 하티트러스트 컬렉션보다 훨씬 더 언어적으로 다양한 코퍼스를 달성했습니다. EPUB 하위 집합의 정규화 헤르핀다일 지수 (HI) 는 0.24 인 반면, PDF 하위 집합은 0.74, 하티트러스트는 0.32 입니다. 영어 콘텐츠의 비중은 PDF 세트의 85.97% 에서 EPUB 기반 마진북 코퍼스의 47.93% 로 감소하여 문화 분석을 위한 데이터셋의 대표성을 강화했습니다.
시간적 편향: 코퍼스는 네이티브 디지털 형식의 가용성을 반영하여 현재를 향해 '초지수적 (super-exponential)' 성장 곡선을 보입니다. 저자들은 이를 결함이 아닌 '디지털 매개 정전 (digitally mediated canon)'의 정의적 특징으로 규정합니다.
매칭 정확도: 인간 평가는 선택된 제목 점수 임계값 80 이 약 1.0 의 정밀도를 산출함을 확인했습니다. 제목 페이지가 없는 시각적으로 모호한 파일조차도 제목 점수가 올바른 매칭에 대한 강력한 예측 변수임이 입증되었습니다.

의의 및 주장
본 논문은 계산 사회과학을 위해 그림자 도서관의 메타데이터 문제를 해결하도록 특별히 설계된 최초의 오픈 카탈로그를 도입했다고 주장합니다. 그 의의는 다음과 같습니다:

격차 해소: 방대한 크라우드 소싱 아카이브를 구조화된 문헌 데이터와 연결하여 연구자들이 추상적 문화 작품과 특정 디지털 인스턴스 사이를 탐색할 수 있게 합니다.
방법론적 혁신: 코퍼스의 대부분 (PDF) 을 폐기하고 네이티브 디지털 형식 (EPUB) 을 선호하는 것이 더 깨끗하고 구조화되며 언어적으로 다양한 데이터셋을 산출하여 고정밀 문화 분석에 적합함을 보여줍니다.
오픈 사이언스: 프로젝트는 주 카탈로그, 보조 언어 데이터셋, 그리고 기초 원시 메타데이터 및 MinHash 서명을 공개하여 향후 CSS 및 디지털 인문학 연구를 촉진합니다.

저자들은 겸손하게도 이 코퍼스가 역사적 전체로서의 '세계문학'을 대표하는 것이 아니라, 21 세기에 디지털 채널을 통해 큐레이션되고 소비되는 문화의 특정, 현대적 선별임을 지적합니다.