💬 NLP

Infini-News: Efficiently Queryable Access to 1.3 Billion Processed Common Crawl News Articles

Il documento presenta Infini-News, un toolkit e un indice completi che elaborano oltre 1,3 miliardi di articoli di notizie di Common Crawl con metadati arricchiti e rilevamento della lingua, consentendo ai ricercatori di interrogare in modo efficiente l'intero archivio per pattern di testo arbitrari in meno di un secondo.

Autori originali: Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler studiare come il mondo ha parlato dei grandi eventi nell'ultimo decennio. Hai bisogno di una biblioteca massiccia di articoli di giornale.

In passato, avevi due opzioni pessime:

Il Paywall: Vai a un archivio di notizie commerciale (come una biblioteca di alto livello). Ha tutto, ma costa una fortuna, e non ti è permesso condividere i libri con i tuoi amici o persino spostarli fuori dall'edificio.
Il Dump Grezzo: Vai su "Common Crawl", un gigantesco magazzino gratuito di tutto il web. Ha tutto, ma è un caos terribile di terabyte di file HTML grezzi. Per trovare un singolo articolo, dovresti costruire il tuo bulldozer, setacciare montagne di spazzatura digitale e passare mesi solo a pulire i dati prima di poter anche solo iniziare a leggere.

Infini-News è la soluzione che gli autori hanno costruito per risolvere questo problema. Pensala come un indice potenziato, pre-pulito e immediatamente ricercabile per il più grande archivio di notizie gratuito al mondo.

Ecco come funziona, scomposto in parti semplici:

1. La Grande Pulizia (Il "Corpus Pre-elaborato")

Gli autori hanno preso il magazzino grezzo e disordinato (180 terabyte di dati) e lo hanno fatto passare attraverso una macchina di pulizia sofisticata.

Cosa hanno fatto: Hanno rimosso gli annunci, i popup "Iscriviti Ora", le barre di navigazione e il codice rotto.
Il Risultato: Sono arrivati a 1,35 miliardi di articoli di notizie puliti da agosto 2016 a oggi. È come trasformare un mucchio di rottami metallici non ordinati in un magazzino ordinato di auto finite. Non devi più essere un meccanico per usarlo; ti limiti a guidare l'auto.

2. Le Etichette Intelligenti (Arricchimento dei Metadati)

Un mucchio di 1,35 miliardi di articoli è ancora schiacciante. Devi sapere cosa stai guardando. Gli autori hanno aggiunto tre livelli di "etichette intelligenti" a ogni articolo:

Tag Linguistici: Non hanno solo indovinato la lingua; hanno usato tre diversi "detective" (classificatori AI) per etichettare la lingua. Se un detective non è sicuro, gli altri fanno un doppio controllo. Questo copre oltre 1.000 lingue, dall'inglese e dallo spagnolo ai dialetti rari.
Da dove proviene: Hanno cercato di capire da quale paese proveniva ogni articolo. Hanno usato indizi come l'indirizzo del sito web (ad esempio, .de per la Germania), l'indirizzo dell'editore nel piè di pagina e elenchi di noti organi di stampa. Hanno etichettato con successo l'origine per l'83% degli articoli in 222 paesi.
Perché è importante: Questo permette ai ricercatori di fare domande come: "Com'era la notizia sulla guerra in Ucraina in Germania rispetto al Brasile?" senza dover leggere manualmente ogni singolo articolo.

3. Il Motore di Ricerca Magico (Indici Infini-gram)

Questo è il trucco più impressionante. Di solito, cercare tra 1,35 miliardi di articoli richiederebbe ore o giorni.

L'Analogia: Immagina di cercare una frase specifica in una biblioteca con un miliardo di libri. Un motore di ricerca normale dovrebbe aprire ogni libro, leggere ogni pagina e controllare se le parole corrispondono. È lento.
Il Trucco di Infini-News: Hanno costruito un indice a suffisso-array. Pensalo come una mappa magica, ultra-dettagliata di ogni singola parola e frase nella biblioteca.
La Velocità: Con questa mappa, puoi digitare una frase (anche qualcosa di strano come "cambiamento climatico" o una citazione specifica) e il sistema trova ogni sua istanza in meno di un secondo.
Nessun Download Necessario: Non devi scaricare l'intera biblioteca per cercarla. Interrogi solo la mappa, ottieni una lista di "ID libro" e poi scarichi solo gli articoli specifici di cui hai bisogno. Questo salva i ricercatori dalla necessità di avere dischi rigidi massicci.

Cosa Puoi Farci?

Il documento evidenzia alcuni modi specifici in cui i ricercatori possono utilizzare questo strumento:

Viaggio nel Tempo: Puoi tracciare come una storia è cambiata nel corso di 10 anni (analisi longitudinale).
Segui il Rumore: Puoi vedere come una specifica notizia o una citazione falsa si è diffusa da un giornale all'altro (sindacazione dei contenuti).
Confronto Globale: Puoi confrontare come paesi diversi hanno coperto lo stesso evento.
Sicurezza dell'AI: Puoi verificare se un nuovo chatbot AI è stato addestrato su specifiche storie di notizie cercando corrispondenze esatte.

Il Rovescio della Medaglia (Limiti)

Gli autori sono onesti su ciò che questo strumento non può fare:

Non è in tempo reale: Le notizie provengono dall'archivio, quindi c'è un leggero ritardo. Non puoi usarlo per monitorare le notizie di ultima istanza mentre accadono in questo preciso secondo.
Paywall Mancanti: Contiene solo notizie gratuite. Se un giornale mette un articolo dietro un "paywall", Infini-News non ce l'ha.
Il Problema dei "Robot": Intorno al 2023, molti siti web di notizie hanno iniziato a bloccare i crawler AI. Gli autori hanno notato un calo di nuovi articoli da alcuni siti dopo di allora, quindi i dati potrebbero essere leggermente meno completi per i tempi molto recenti.
Etichette Non Perfette: Le etichette di paese e lingua sono molto buone (circa l'89% di accuratezza), ma non sono perfette al 100%. Ci si aspetta che i ricercatori facciano un doppio controllo se hanno bisogno di una precisione assoluta.

La Conclusione

Infini-News è un toolkit "retrieval-first" (priorità al recupero). Invece di costringere i ricercatori a scaricare una biblioteca grande quanto una piccola città, offre loro una chiave che permette di trovare istantaneamente le pagine esatte di cui hanno bisogno e scaricare solo quelle. Trasforma una montagna caotica e inaccessibile di dati in una risorsa pulita, ricercabile e gratuita per studiare come il mondo comunica.

Riepilogo Tecnico: Infini-News

Enunciato del Problema

I grandi corpora di notizie sono risorse essenziali per le Scienze Sociali Computazionali (CSS) e l'Elaborazione del Linguaggio Naturale (NLP), in particolare per analizzare i flussi di informazioni istituzionali, l'agenda-setting e gli effetti di framing attraverso i confini nazionali. Tuttavia, l'accesso a tali dati rimane vincolato da significativi ostacoli finanziari e tecnici. Gli archivi commerciali (ad esempio Factiva, LexisNexis) impongono costi proibitivi e condizioni di licenza restrittive che limitano la riproducibilità e la ridistribuzione dei dati. Al contrario, le alternative open source come l'archivio Common Crawl News (CC-News), pur essendo gratuite, presentano un diverso insieme di sfide: i dati grezzi consistono in centinaia di terabyte di file HTML che richiedono un notevole sforzo ingegneristico e risorse computazionali per essere analizzati, puliti e strutturati. Ciò rende la ricerca mediatica su larga scala, longitudinale e transnazionale inaccessibile ai ricercatori privi di infrastrutture specializzate.

Metodologia

Gli autori presentano INFINI-NEWS, un toolkit e un indice basati su un approccio "retrieval-first" progettati per rendere l'intero archivio CC-News (da agosto 2016 all'ultimo snapshot) efficientemente interrogabile senza richiedere l'archiviazione locale dell'intero dataset. L'architettura del sistema comprende tre componenti principali:

1. Acquisizione e Preprocessing dei Dati

Gli autori hanno elaborato 180 TB di file WARC grezzi dall'archivio CC-News.

Estrazione: Utilizzando fastwarc per lo streaming degli archivi e trafilatura per l'estrazione dei contenuti, la pipeline rimuove il boilerplate HTML (navigazione, pubblicità) per isolare il testo pulito degli articoli, i titoli, gli autori e le date di pubblicazione. trafilatura è stato selezionato per le sue prestazioni superiori (F1 0,91) e la gestione robusta degli script non latini.
Archiviazione: I record estratti sono serializzati in file JSONL, riducendo i requisiti di archiviazione di circa due ordini di grandezza rispetto ai file WARC grezzi.
Preservazione: La pipeline mantiene intenzionalmente i contenuti duplicati per preservare le distribuzioni di frequenza naturali per lo studio della syndication dei contenuti e del "churnalism", evitando le insidie della de-duplicazione che possono distorcere i dati di addestramento dei modelli linguistici.

2. Arricchimento dei Metadati

Due pipeline di annotazione sono state applicate per supportare il filtraggio e la ricerca comparativa:

Identificazione della Lingua: Per affrontare le limitazioni degli approcci basati su un singolo classificatore, gli autori impiegano tre classificatori all'avanguardia:
- GlotLID v3: Un classificatore basato su fastText che copre 2.102 etichette lingua-script, applicato agli articoli con $\ge$ 50 caratteri.
- lingua: Un rilevatore statistico basato su n-grammi ottimizzato per input brevi (< 1.000 caratteri), che copre 75 lingue.
- CommonLingua: Un modello CNN+attention a livello di byte con 2,35 milioni di parametri addestrato su 334 lingue, applicato a tutti gli articoli non vuoti.
- Queste etichette sono fornite come colonne separate anziché collassate in un'unica etichetta "migliore" per permettere ai ricercatori di scegliere il punto operativo (copertura vs. precisione) adatto al loro carico di lavoro specifico.
Attribuzione Geografica: Una cascata di cinque fonti assegna un paese di origine ai domini: (i) TLD a codice paese, (ii) una cache di Wikidata delle organizzazioni di notizie, (iii) quattro liste curate di testate, (iv) evidenze strutturali HTML (JSON-LD, footer) e (v) una regola basata sulla lingua del corpus. Ciò risolve un paese per l'83,4% degli articoli in 222 paesi.

3. Indici Interrogabili (Infini-gram)

L'innovazione principale risiede nella costruzione di indici Infini-gram basati su strutture di array di suffissi (in particolare il motore infini-gram-mini che utilizza varianti dell'FM-index).

Meccanismo: A differenza degli indici invertiti standard, queste strutture memorizzano i suffissi del corpus in forma compressa, supportando ricerche esatte di sottostringhe per pattern di testo arbitrari in tempo $O(m \log n)$ tramite ricerca binaria.
Capacità: Il motore opera direttamente sui byte, supportando sottostringhe arbitrarie senza tokenizzazione, stemming o n-grammi pre-calcolati. Ciò permette ricerche attraverso i confini linguistici e di script.
Prestazioni: Le query restituiscono risultati in tempi sub-secondo (latenza mediana di 6,48 ms per l'intero corpus di 1,357 miliardi di articoli) utilizzando il caricamento memory-mapped, eliminando la necessità di scaricare terabyte di dati per query specifiche.

Contributi Chiave

Corpus Elaborato: Una versione pulita e arricchita di metadati dell'intero archivio CC-News contenente oltre 1,35 miliardi di articoli, eliminando la necessità di infrastrutture di parsing personalizzate.
Arricchimento Multi-Sorgente: Il corpus include tag linguistici da tre classificatori distinti e attribuzione geografica per l'83,4% degli articoli, ampliando significativamente la copertura oltre le 30-40 lingue tipicamente disponibili negli aggregatori commerciali.
Infrastruttura di Recupero Efficiente: La costruzione di indici Infini-gram annuali e dell'intero archivio che permettono ai ricercatori di cercare l'intero archivio per pattern di testo arbitrari in tempi sub-secondo e di costruire dataset su richiesta.
Conformità FAIR: Il rilascio aderisce ai principi FAIR, fornendo DOI persistenti, versionamento e documentazione, con l'accesso vincolato solo all'affiliazione istituzionale e allo scopo di ricerca per garantire un uso responsabile.

Risultati e Statistiche

Scala: Il corpus contiene 1.357.027.742 articoli che coprono circa dieci anni (agosto 2016 – aprile 2026), con una media di 11,6 milioni di articoli al mese.
Diversità: Il dataset copre 133.565 hostname distinti (103.052 domini) e 1.172 codici lingua ISO 639-3 distinti (tramite GlotLID), inclusi 166 lingue con almeno 10.000 articoli.
Copertura Geografica: L'attribuzione è stata risolta con successo per 59.885 domini (58,1%) e 1,132 miliardi di articoli (83,4%) in 222 paesi. I paesi principali per volume includono gli USA (22,2%), la Germania (5,5%) e l'Italia (4,5%).
Benchmark di Prestazioni:
- Latenza di Query: Le query di sottostringa sull'intero corpus (117 shard) raggiungono una latenza mediana (p50) di 6,48 ms e una latenza p99 di 7,73 ms utilizzando I/O memory-mapped.
- Confronto: Queste query sono due ordini di grandezza più veloci rispetto all'esecuzione di equivalenti query SQL LIKE sui file Parquet sottostanti tramite DuckDB (che richiedevano 800–1.050 ms al mese).
Validazione della Copertura: Il volume del corpus corrisponde o supera quello dell'aggregatore commerciale Factiva per le lingue ad alta risorsa (ad esempio, 507 milioni di articoli in inglese contro 388 milioni in Factiva) coprendo al contempo centinaia di lingue a bassa risorsa assenti nelle offerte commerciali.

Significato e Affermazioni

Il paper afferma che INFINI-NEWS è il primo toolkit conforme ai principi FAIR che consente una ricerca efficiente e la costruzione on-demand di dataset di notizie mirati senza richiedere l'archiviazione locale dell'intero archivio. Adottando un design "retrieval-first", il sistema abbassa la barriera per la ricerca mediatica longitudinale e transnazionale, permettendo ai ricercatori di:

Interrogare il corpus senza scaricare i file sottostanti.
Costruire dataset su richiesta basati su parole chiave specifiche, intervalli temporali, domini o lingue.
Analizzare il flusso dei contenuti, la syndication e le operazioni di informazione coordinate tracciando le occorrenze di stringhe testuali alla lettera attraverso i domini.
Condurre ricerche comparative tra sistemi mediatici e lingue precedentemente inaccessibili a causa della scarsità di dati o dei costi.

Gli autori posizionano questa risorsa come un passo critico verso la garanzia della validità esterna e della generalizzabilità degli studi sui media, fornendo dati ampi, multilingue e geograficamente diversificati che superano i bias di campionamento intrinseci negli studi su un singolo paese o su una singola lingua. Il toolkit è progettato per supportare diverse applicazioni di ricerca, dallo studio della disinformazione e degli effetti di framing all'audit della contaminazione dei dati di addestramento dei Large Language Model e alla costruzione di sistemi di Retrieval-Augmented Generation (RAG).