💬 NLP

Infini-News: Efficiently Queryable Access to 1.3 Billion Processed Common Crawl News Articles

Het artikel introduceert Infini-News, een uitgebreide toolkit en index die meer dan 1,3 miljard Common Crawl-nieuwsartikelen verwerkt met verrijkte metadata en taalherkenning, waardoor onderzoekers het volledige archief efficiënt kunnen doorzoeken op willekeurige tekstpatronen in minder dan een seconde.

Oorspronkelijke auteurs: Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je wilt onderzoeken hoe de wereld in het afgelopen decennium heeft gesproken over grote gebeurtenissen. Je hebt een enorme bibliotheek van nieuwsartikelen nodig.

In het verleden had je twee slechte opties:

De betaalmuur: Ga naar een commercieel nieuwsarchief (zoals een hoogwaardige bibliotheek). Het heeft alles, maar het kost een fortuin, en je mag de boeken niet delen met je vrienden of ze zelfs het gebouw uitdragen.
De ruwe dump: Ga naar de "Common Crawl", een gigantisch, gratis magazijn van het hele internet. Het heeft alles, maar het is een chaotische puinhoop van terabytes aan ruwe HTML-bestanden. Om één artikel te vinden, zou je je eigen bulldozer moeten bouwen, door bergen digitale rommel moeten zeven en maanden moeten besteden aan het schoonmaken van de data voordat je zelfs maar kunt beginnen met lezen.

Infini-News is de oplossing die de auteurs hebben gebouwd om dit op te lossen. Denk hierbij aan een superkrachtige, vooraf schoongemaakte en direct doorzoekbare index voor 's werelds grootste gratis nieuwsarchief.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst in simpele onderdelen:

1. De Grote Schoonmaak (Het "Voorverwerkte Corpus")

De auteurs namen de ruwe, rommelige magazijn (180 terabytes aan data) en voerden het door een geavanceerde schoonmaakmachine.

Wat ze deden: Ze verwijderden de advertenties, de "Abonneer Nu"-pop-ups, de navigatiebalken en de gebroken code.
Het Resultaat: Ze kwamen uit op 1,35 miljard schone nieuwsartikelen van augustus 2016 tot vandaag. Het is alsof je een hoop ongeordend schrootmetaal omzet in een netjes georganiseerd magazijn met afgewerkte auto's. Je hoeft geen monteur meer te zijn om het te gebruiken; je rijdt gewoon de auto.

2. De Slimme Labels (Metadata-verrijking)

Een hoop van 1,35 miljard artikelen is nog steeds overweldigend. Je moet weten wat je bekijkt. De auteurs voegden drie lagen aan "slimme labels" toe aan elk artikel:

Taallabels: Ze gokten niet zomaar de taal; ze gebruikten drie verschillende "detectives" (AI-classificators) om de taal te labelen. Als één detective onzeker is, controleren de anderen het dubbel. Dit dekt meer dan 1.000 talen, van Engels en Spaans tot zeldzame dialecten.
Waar het vandaan komt: Ze probeerden uit te vinden uit welk land elk artikel kwam. Ze gebruikten aanwijzingen zoals het website-adres (bijv. .de voor Duitsland), het adres van de uitgever in de footer, en lijsten met bekende nieuwsbronnen. Ze slaagden erin om de herkomst te labelen voor 83% van de artikelen verspreid over 222 landen.
Waarom dit belangrijk is: Dit stelt onderzoekers in staat vragen te stellen zoals: "Hoe zag nieuws over de oorlog in Oekraïne eruit in Duitsland versus Brazilië?" zonder elk enkel artikel handmatig te hoeven lezen.

3. De Magische Zoekmachine (Infini-gram Indexen)

Dit is de meest indrukwekkende truc. Normaal gesproken zou het doorzoeken van 1,35 miljard artikelen uren of dagen duren.

De Analogie: Stel je voor dat je probeert een specifieke zin te vinden in een bibliotheek met een miljard boeken. Een normale zoekmachine zou elk boek moeten openen, elke pagina moeten lezen en controleren of de woorden overeenkomen. Dat is traag.
De Infini-News-truc: Ze bouwden een suffix-array-index. Denk hierbij aan een magische, ultra-gedetailleerde kaart van elk enkel woord en elke frase in de bibliotheek.
De Snelheid: Met deze kaart kun je een frase invoeren (zelfs iets vreemds als "klimaatverandering" of een specifieke quote), en het systeem vindt elke instantie ervan in minder dan een seconde.
Geen Download Nodig: Je hoeft de hele bibliotheek niet te downloaden om deze te doorzoeken. Je vraagt gewoon de kaart op, krijgt een lijst met "boek-ID's" en downloadt vervolgens alleen de specifieke artikelen die je nodig hebt. Dit bespaart onderzoekers de noodzaak van enorme harde schijven.

Wat Kun Je Er Mee Doen?

Het artikel benadrukt een paar specifieke manieren waarop onderzoekers deze tool kunnen gebruiken:

Tijdsreizen: Je kunt volgen hoe een verhaal zich in 10 jaar heeft veranderd (longitudinale analyse).
Volg het Gerucht: Je kunt zien hoe een specifiek stuk nieuws of een nepquote zich van de ene krant naar de andere verspreidde (content-syndicatie).
Wereldwijde Vergelijking: Je kunt vergelijken hoe verschillende landen hetzelfde evenement hebben behandeld.
AI-veiligheid: Je kunt controleren of een nieuwe AI-chatbot is getraind op specifieke nieuwsverhalen door te zoeken naar exacte overeenkomsten.

De Haken en Ogen (Beperkingen)

De auteurs zijn eerlijk over wat deze tool niet kan doen:

Het is niet live: Het nieuws komt uit het archief, dus er is een lichte vertraging. Je kunt het niet gebruiken om breaking news te monitoren terwijl het op dit exacte moment gebeurt.
Ontbrekende betaalmuren: Het bevat alleen gratis nieuws. Als een krant een artikel achter een "betaalmuur" zet, heeft Infini-News het niet.
Het "Robots"-probleem: Rond 2023 begonnen veel nieuwswebsites AI-crawlers te blokkeren. De auteurs merkten een daling op in nieuwe artikelen van bepaalde sites daarna, dus de data is voor zeer recente tijden mogelijk iets minder compleet.
Niet perfecte labels: De land- en taallabels zijn zeer goed (ongeveer 89% accuraat), maar ze zijn niet 100% perfect. Van onderzoekers wordt verwacht dat ze dubbelchecken als ze absolute precisie nodig hebben.

De Conclusie

Infini-News is een "retrieval-first"-toolkit. In plaats van onderzoekers te dwingen een bibliotheek ter grootte van een kleine stad te downloaden, geeft het hen een sleutel waarmee ze direct de exacte pagina's vinden die ze nodig hebben en alleen die downloaden. Het verandert een chaotische, ontoegankelijke berg data in een schone, doorzoekbare en gratis bron voor het bestuderen van hoe de wereld communiceert.

Technische Samenvatting: Infini-News

Probleemstelling

Grootschalige nieuwscorpora zijn essentiële bronnen voor Computational Social Science (CSS) en Natural Language Processing (NLP), met name voor het analyseren van institutionele informatiestromen, agendasetting en framing-effecten over landsgrenzen heen. De toegang tot dergelijke data blijft echter beperkt door aanzienlijke financiële en technische barrières. Commerciële archieven (bijv. Factiva, LexisNexis) leggen verbodsbepalende kosten en restrictieve licentievoorwaarden op die reproducibiliteit en dataherverdeling beperken. Omgekeerd vertonen open alternatieven zoals het Common Crawl News (CC-News) archief, hoewel gratis, een andere reeks uitdagingen: de ruwe data bestaat uit honderden terabytes aan HTML-bestanden die aanzienlijke engineeringinspanning en rekenkracht vereisen om te parseren, te schonen en te structureren. Dit maakt grootschalig, longitudinaal en grensoverschrijdend mediabestuderen ontoegankelijk voor onderzoekers zonder gespecialiseerde infrastructuur.

Methodologie

De auteurs introduceren INFINI-NEWS, een toolkit en index met een 'retrieval-first' aanpak die het volledige CC-News archief (van augustus 2016 tot de nieuwste snapshot) efficiënt querybaar maakt zonder dat lokale opslag van het volledige dataset vereist is. De systeemarchitectuur bestaat uit drie hoofdcomponenten:

1. Data-acquisitie en Preprocessing

De auteurs verwerkten 180 TB aan ruwe WARC-bestanden uit het CC-News archief.

Extractie: Met behulp van fastwarc om archieven te streamen en trafilatura voor contentextractie, verwijdert de pijplijn HTML-boilerplate (navigatie, advertenties) om schone artikeltekst, titels, auteurs en publicatiedata te isoleren. trafilatura werd geselecteerd vanwege zijn superieure prestaties (0,91 F1) en robuuste verwerking van niet-Latijnse scripts.
Opslag: Geëxtraheerde records worden gesequenced in JSONL-bestanden, wat de opslagvereisten met ongeveer twee ordes van grootte verlaagt ten opzichte van ruwe WARC-bestanden.
Behoud: De pijplijn behoudt opzettelijk dubbele content om natuurlijke frequentieverdelingen te bewaren voor het bestuderen van content-syndicatie en "churnalism", en vermijdt zo de valkuilen van de-duplicatie die taalmodeltrainingsdata kunnen vervormen.

2. Metadata-verrijking

Twee annotatiepijplijnen werden toegepast om filtering en vergelijkend onderzoek te ondersteunen:

Taalidentificatie: Om de beperkingen van benaderingen met één classifier aan te pakken, maken de auteurs gebruik van drie geavanceerde classifiers:
- GlotLID v3: Een op fastText gebaseerde classifier die 2.102 taal-scriptlabels bestrijkt, toegepast op artikelen van $\ge$ 50 tekens.
- lingua: Een op n-gram statistiek gebaseerde detector geoptimaliseerd voor korte inputs (< 1.000 tekens), die 75 talen bestrijkt.
- CommonLingua: Een byte-level CNN+attention-model met 2,35M parameters, getraind op 334 talen, toegepast op alle niet-lege artikelen.
- Deze labels worden als aparte kolommen aangeboden in plaats van samengevoegd tot één "beste" label, zodat onderzoekers het operationele punt (dekking versus precisie) kunnen kiezen dat geschikt is voor hun specifieke workload.
Geografische toewijzing: Een cascade van vijf bronnen wijst een land van herkomst toe aan domeinen: (i) landcode-TLD's, (ii) een Wikidata-cache van nieuwsorganisaties, (iii) vier verzorgde lijsten van nieuwsuitgaven, (iv) structurele HTML-bewijzen (JSON-LD, voeten) en (v) een corpus-taalregel. Dit lost een land op voor 83,4% van de artikelen verspreid over 222 landen.

3. Querybare Indexen (Infini-gram)

De kerninnovatie ligt in de constructie van Infini-gram-indexen gebaseerd op suffix-array-structuren (specifiek de infini-gram-mini-engine die FM-indexvarianten gebruikt).

Mechanisme: In tegenstelling tot standaard omgekeerde indexen, slaan deze structuren corpus-suffixen in gecomprimeerde vorm op, wat exacte substring-zoekopdrachten voor willekeurige tekstpatronen ondersteunt in $O(m \log n)$ tijd via binaire zoekopdrachten.
Mogelijkheden: De engine werkt direct op bytes, ondersteunt willekeurige substrings zonder tokenisatie, stemming of vooraf berekende n-grams. Dit maakt zoekopdrachten over taal- en scriptgrenzen heen mogelijk.
Prestaties: Query's leveren resultaten op in sub-seconde tijd (mediaan latentie van 6,48 ms voor het volledige corpus van 1,357 miljard artikelen) met behulp van memory-mapped loading, waardoor de noodzaak om terabytes aan data voor specifieke query's te downloaden wordt geëlimineerd.

Belangrijkste Bijdragen

Verwerkt Corpus: Een opgeschoonde, met metadata verrijkte versie van het volledige CC-News archief met meer dan 1,35 miljard artikelen, waardoor de behoefte aan aangepaste parsing-infrastructuur wordt weggenomen.
Meerdere Bronnen Verrijking: Het corpus bevat taaltags van drie verschillende classifiers en geografische toewijzing voor 83,4% van de artikelen, wat de dekking aanzienlijk uitbreidt ten opzichte van de 30–40 talen die doorgaans beschikbaar zijn in commerciële aggregators.
Efficiënte Retrieval-infrastructuur: De constructie van jaarlijkse en volledige archief Infini-gram-indexen die onderzoekers in staat stellen het volledige archief te doorzoeken naar willekeurige tekstpatronen in sub-seconde tijd en datasets op aanvraag te construeren.
FAIR-Compliance: De release voldoet aan FAIR-principes, met persistente DOI's, versiebeheer en documentatie, waarbij toegang alleen wordt geblokkeerd door institutionele affiliatie en onderzoeksdoel om verantwoord gebruik te waarborgen.

Resultaten en Statistieken

Schaal: Het corpus bevat 1.357.027.742 artikelen die ongeveer tien jaar bestrijken (augustus 2016 – april 2026), met een gemiddelde van 11,6 miljoen artikelen per maand.
Diversiteit: Het dataset bestrijkt 133.565 unieke hostnamen (103.052 domeinen) en 1.172 unieke ISO 639-3 taalcodes (via GlotLID), inclusief 166 talen met ten minste 10.000 artikelen.
Geografische Dekking: Toewijzing werd succesvol opgelost voor 59.885 domeinen (58,1%) en 1,132 miljard artikelen (83,4%) verspreid over 222 landen. De top-landen qua volume zijn de VS (22,2%), Duitsland (5,5%) en Italië (4,5%).
Prestatiebenchmarks:
- Query-latentie: Substring-query's op het volledige corpus (117 shards) bereiken een mediaan (p50) latentie van 6,48 ms en een p99-latentie van 7,73 ms met behulp van memory-mapped I/O.
- Vergelijking: Deze query's zijn twee ordes van grootte sneller dan het uitvoeren van equivalente SQL LIKE-query's tegen de onderliggende Parquet-bestanden via DuckDB (wat 800–1.050 ms per maand kostte).
Dekkingvalidatie: Het corpusvolume komt overeen met of overtreft dat van de commerciële aggregator Factiva voor talen met hoge resources (bijv. 507 miljoen Engelse artikelen versus 388 miljoen in Factiva), terwijl het honderden talen met lage resources bestrijkt die ontbreken in commerciële aanbiedingen.

Betekenis en Claims

Het artikel claimt dat INFINI-NEWS de eerste FAIR-compliant toolkit is die efficiënt zoeken en het op aanvraag construeren van gerichte nieuwsdatasets mogelijk maakt zonder dat lokale opslag van het volledige archief vereist is. Door een "retrieval-first" ontwerp toe te passen, verlaagt het systeem de drempel voor longitudinaal, grensoverschrijdend mediabestuderen, waardoor onderzoekers kunnen:

Het corpus bevragen zonder onderliggende bestanden te downloaden.
Datasets op aanvraag construeren op basis van specifieke trefwoorden, tijdreeksen, domeinen of talen.
Contentstroom, syndicatie en gecoördineerde informatieoperaties analyseren door het bijhouden van letterlijke stringvoorkomens over domeinen heen.
Comparatief onderzoek uitvoeren over mediasystemen en talen die eerder ontoegankelijk waren vanwege data-schaarste of kosten.

De auteurs positioneren deze bron als een kritieke stap naar het waarborgen van de externe validiteit en generaliseerbaarheid van mediastudies door brede, meertalige en geografisch diverse data te bieden die de bemonsteringsbias inherent aan studies van één land of één taal overwint. De toolkit is ontworpen om diverse onderzoeksapplicaties te ondersteunen, van het bestuderen van desinformatie en framing-effecten tot het auditen van verontreiniging van trainingsdata voor Large Language Models en het bouwen van Retrieval-Augmented Generation (RAG)-systemen.