기술 요약: Infini-News

문제 제기

대규모 뉴스 코퍼스는 국경을 초월한 제도적 정보 흐름, 의제 설정, 프레이밍 효과 분석을 위해 계산 사회과학 (CSS) 과 자연어 처리 (NLP) 에 필수적인 자원입니다. 그러나 이러한 데이터에 대한 접근은 상당한 재정적 및 기술적 장벽으로 인해 제한받고 있습니다. 상업적 아카이브 (예: Factiva, LexisNexis) 는 금지된 수준의 비용과 제한적인 라이선스 조건을 부과하여 재현성과 데이터 재배포를 제한합니다. 반면, Common Crawl News(CC-News) 아카이브와 같은 오픈 대안은 무료이지만, 다른 일련의 과제를 제시합니다: 원시 데이터는 수백 테라바이트의 HTML 파일로 구성되어 있어 파싱, 정제, 구조화하는 데 상당한 엔지니어링 노력과 컴퓨팅 자원이 필요합니다. 이로 인해 전문 인프라가 부족한 연구자들에게 대규모, 종단적, 국경 간 미디어 연구는 접근 불가능한 상태가 됩니다.

방법론

저자들은 전체 CC-News 아카이브 (2016 년 8 월부터 최신 스냅샷까지) 를 전체 데이터셋을 로컬에 저장할 필요 없이 효율적으로 쿼리할 수 있도록 설계된 검색 우선 (retrieval-first) 툴킷 및 인덱스인 INFINI-NEWS를 소개합니다. 시스템 아키텍처는 세 가지 주요 구성 요소로 구성됩니다:

1. 데이터 수집 및 전처리

저자들은 CC-News 아카이브의 180TB 원시 WARC 파일을 처리했습니다.

• 추출: fastwarc 를 사용하여 아카이브를 스트리밍하고 trafilatura 로 콘텐츠를 추출하여 HTML 보일러플레이트 (내비게이션, 광고) 를 제거하고 깨끗한 기사 텍스트, 제목, 저자, 출판 날짜를 분리합니다. trafilatura 는 비로마자 스크립트를 강력하게 처리하며 우수한 성능 (0.91 F1) 을 보였기 때문에 선택되었습니다.
• 저장: 추출된 레코드는 JSONL 파일로 직렬화되어 원시 WARC 파일 대비 저장 공간 요구 사항을 약 두 자릿수 (orders of magnitude) 줄였습니다.
• 보존: 파이프라인은 콘텐츠 syndicaton 과 "churnalism(뉴스의 단순 재가공)"을 연구하기 위해 자연스러운 빈도 분포를 보존하기 위해 의도적으로 중복 콘텐츠를 유지하며, 언어 모델 훈련 데이터를 왜곡할 수 있는 중복 제거의 함정을 피합니다.

2. 메타데이터 풍부화

필터링 및 비교 연구를 지원하기 위해 두 가지 주석 파이프라인이 적용되었습니다:

• 언어 식별: 단일 분류기 접근법의 한계를 해결하기 위해 저자들은 세 가지 최첨단 분류기를 활용합니다:
  • GlotLID v3: 2,102 개 언어 - 스크립트 레이블을 커버하는 fastText 기반 분류기로, 50 자 이상의 기사에 적용됩니다.
  • lingua: 75 개 언어를 커버하는 짧은 입력 (< 1,000 자) 에 최적화된 n-gram 통계 감지기입니다.
  • CommonLingua: 334 개 언어로 훈련된 235 만 파라미터 바이트 레벨 CNN+어텐션 모델로, 모든 비빈 기사에 적용됩니다.
  • 이러한 레이블은 단일 "최적" 레이블로 축소되지 않고 별도의 열로 제공되어 연구자가 특정 작업 부하에 적합한 운영 지점 (커버리지 대 정밀도) 을 선택할 수 있도록 합니다.
• 지리적 귀속: 도메인의 원산국을 할당하기 위해 다섯 가지 소스의 캐스케이드가 적용됩니다: (i) 국가 코드 최상위 도메인 (TLD), (ii) 뉴스 조직에 대한 Wikidata 캐시, (iii) 네 가지 큐레이션된 매체 목록, (iv) 구조적 HTML 증거 (JSON-LD, 푸터), (v) 코퍼스 언어 규칙입니다. 이는 222 개 국가의 기사 중 83.4% 에 대해 국가를 해결합니다.

3. 쿼리 가능한 인덱스 (Infini-gram)

핵심 혁신은 접미사 배열 구조 (특히 FM-인덱스 변형을 사용하는 infini-gram-mini 엔진) 를 기반으로 한 Infini-gram 인덱스 구축에 있습니다.

• 메커니즘: 표준 역색인과는 달리, 이러한 구조는 압축된 형태로 코퍼스 접미사를 저장하여 이진 검색을 통해 $O(m \log n)$ 시간에 임의의 텍스트 패턴에 대한 정확한 부분 문자열 검색을 지원합니다.
• 기능: 이 엔진은 토큰화, 어간 추출 또는 사전 계산된 n-gram 없이 직접 바이트로 작동하여 임의의 부분 문자열을 지원합니다. 이를 통해 언어 및 스크립트 경계를 초월한 검색이 가능합니다.
• 성능: 쿼리는 메모리 매핑 로딩을 사용하여 전체 13.57 억 개 기사 코퍼스에 대해 중앙값 지연 시간 6.48ms 의 초단위 시간 내에 결과를 반환하며, 특정 쿼리를 위해 테라바이트 규모의 데이터를 다운로드할 필요가 없습니다.

주요 기여

1. 처리된 코퍼스: 전체 CC-News 아카이브의 정제되고 메타데이터가 풍부한 버전으로, 13.5 억 개 이상의 기사를 포함하며 커스텀 파싱 인프라의 필요성을 제거합니다.
2. 다중 소스 풍부화: 코퍼스에는 세 가지 다른 분류기에서 가져온 언어 태그와 기사의 83.4% 에 대한 지리적 귀속이 포함되어 있어, 일반적으로 상업적 집계기에서 제공되는 30~40 개 언어를 훨씬 넘어선 커버리지를 크게 확장합니다.
3. 효율적인 검색 인프라: 연구자들이 초단위 시간에 전체 아카이브에서 임의의 텍스트 패턴을 검색하고 필요에 따라 데이터셋을 구성할 수 있도록 하는 연간 및 전체 아카이브 Infini-gram 인덱스 구축.
4. FAIR 준수: 지속적인 DOI, 버전 관리, 문서화를 제공하며 책임 있는 사용을 보장하기 위해 기관 소속 및 연구 목적에 따라 접근을 제한하는 FAIR 원칙을 준수하여 출시되었습니다.

결과 및 통계

• 규모: 코퍼스는 약 10 년 (2016 년 8 월~2026 년 4 월) 에 걸친 1,357,027,742 개 기사를 포함하며, 월평균 1,160 만 건의 기사를 기록합니다.
• 다양성: 데이터셋은 133,565 개의 고유한 호스트네임(103,052 개 도메인) 과 1,172 개의 고유한 ISO 639-3 언어 코드(GlotLID 를 통해) 를 커버하며, 그중 166 개 언어는 최소 10,000 건의 기사를 포함합니다.
• 지리적 커버리지: 222 개 국가의 59,885 개 도메인(58.1%) 과 11.32 억 개 기사(83.4%) 에 대해 귀속이 성공적으로 해결되었습니다. 볼륨 기준 상위 국가는 미국 (22.2%), 독일 (5.5%), 이탈리아 (4.5%) 입니다.
• 성능 벤치마크:
  • 쿼리 지연 시간: 전체 코퍼스 (117 개 샤드) 에 대한 부분 문자열 쿼리는 메모리 매핑 I/O 를 사용하여 중앙값 (p50) 지연 시간이 6.48ms이며 p99 지연 시간은 7.73ms입니다.
  • 비교: 이러한 쿼리는 DuckDB 를 통해 기본 Parquet 파일에 대해 실행된 동등한 SQL LIKE 쿼리 (월당 800~1,050ms 소요) 보다 두 자릿수만큼 빠릅니다.
• 커버리지 검증: 코퍼스 볼륨은 고자원 언어 (예: 영어 기사 5 억 700 만 건 대 Factiva 의 3 억 8,800 만 건) 에 대해 상업적 집계기 Factiva 와 일치하거나 초과하는 반면, 상업적 제품에는 없는 수백 개의 저자원 언어를 커버합니다.

중요성 및 주장

본 논문은 INFINI-NEWS가 전체 아카이브의 로컬 저장을 필요로 하지 않고 효율적인 검색과 표적 뉴스 데이터셋의 온디맨드 구축을 가능하게 하는 최초의 FAIR 준수 툴킷이라고 주장합니다. "검색 우선" 설계를 채택함으로써 시스템은 종단적, 국경 간 미디어 연구의 장벽을 낮추어 연구자들이 다음과 같은 작업을 수행할 수 있게 합니다:

• 기본 파일을 다운로드하지 않고 코퍼스를 쿼리합니다.
• 특정 키워드, 시간 범위, 도메인 또는 언어를 기반으로 필요에 따라 데이터셋을 구성합니다.
• 도메인 전반에 걸쳐 문자 그대로의 문자열 발생을 추적하여 콘텐츠 흐름, syndicaton, 조정된 정보 작전을 분석합니다.
• 데이터 부족 또는 비용으로 인해 이전에 접근 불가능했던 미디어 시스템 및 언어 간 비교 연구를 수행합니다.

저자들은 이 자원을 단일 국가 또는 단일 언어 연구에 내재된 표본 편향을 극복하는 광범위하고 다국어이며 지리적으로 다양한 데이터를 제공함으로써 미디어 연구의 외부 타당성과 일반화 가능성을 보장하는 중요한 단계로 위치시킵니다. 이 툴킷은 허위 정보와 프레이밍 효과 연구부터 대규모 언어 모델 훈련 데이터 오염 감사 및 검색 증강 생성 (RAG) 시스템 구축에 이르기까지 다양한 연구 응용을 지원하도록 설계되었습니다.