💬 NLP

Infini-News: Efficiently Queryable Access to 1.3 Billion Processed Common Crawl News Articles

L'article présente Infini-News, une boîte à outils et un index complets qui traitent plus de 1,3 milliard d'articles de presse du Common Crawl avec des métadonnées enrichies et une détection de langue, permettant aux chercheurs d'interroger efficacement l'ensemble de l'archive pour des motifs textuels arbitraires en moins d'une seconde.

Auteurs originaux : Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitiez étudier la façon dont le monde a parlé des événements majeurs au cours de la dernière décennie. Vous avez besoin d'une bibliothèque massive d'articles de presse.

Dans le passé, vous aviez deux mauvaises options :

Le mur de paiement : Accédez à une archive de presse commerciale (comme une bibliothèque haut de gamme). Elle contient tout, mais elle coûte une fortune, et vous n'êtes pas autorisé à partager les livres avec vos amis ni même à les sortir du bâtiment.
Le vidage brut : Accédez au « Common Crawl », un immense entrepôt gratuit de l'intégralité d'internet. Il contient tout, mais c'est un chaos de téraoctets de fichiers HTML bruts. Pour trouver un seul article, vous devriez construire votre propre bulldozer, tamiser des montagnes de déchets numériques et passer des mois à nettoyer les données avant même de pouvoir commencer à lire.

Infini-News est la solution que les auteurs ont construite pour résoudre ce problème. Imaginez-le comme un index surpuissant, pré-nettoyé et instantanément consultable pour la plus grande archive de presse gratuite au monde.

Voici comment cela fonctionne, décomposé en parties simples :

1. Le grand nettoyage (Le « corpus prétraité »)

Les auteurs ont pris l'entrepôt brut et désordonné (180 téraoctets de données) et l'ont fait passer dans une machine de nettoyage sophistiquée.

Ce qu'ils ont fait : Ils ont retiré les publicités, les fenêtres contextuelles « Abonnez-vous maintenant », les barres de navigation et le code cassé.
Le résultat : Ils ont obtenu 1,35 milliard d'articles de presse propres d'août 2016 à aujourd'hui. C'est comme transformer un tas de ferraille non triée en un entrepôt soigneusement organisé de voitures finies. Vous n'avez plus besoin d'être mécanicien pour l'utiliser ; vous conduisez simplement la voiture.

2. Les étiquettes intelligentes (Enrichissement des métadonnées)

Un tas de 1,35 milliard d'articles reste encore écrasant. Vous devez savoir ce que vous regardez. Les auteurs ont ajouté trois couches d'« étiquettes intelligentes » à chaque article :

Balises de langue : Ils n'ont pas simplement deviné la langue ; ils ont utilisé trois « détectives » différents (classificateurs d'IA) pour étiqueter la langue. Si un détective est incertain, les autres vérifient. Cela couvre plus de 1 000 langues, de l'anglais et de l'espagnol aux dialectes rares.
Origine : Ils ont tenté de déterminer de quel pays provenait chaque article. Ils ont utilisé des indices comme l'adresse du site web (par exemple, .de pour l'Allemagne), l'adresse de l'éditeur dans le pied de page et des listes de médias connus. Ils ont étiqueté avec succès l'origine pour 83 % des articles répartis dans 222 pays.
Pourquoi cela compte : Cela permet aux chercheurs de poser des questions comme « Comment la couverture de la guerre en Ukraine s'est-elle présentée en Allemagne par rapport au Brésil ? » sans avoir à lire manuellement chaque article.

3. Le moteur de recherche magique (Index Infini-gram)

C'est l'astuce la plus impressionnante. Habituellement, parcourir 1,35 milliard d'articles prendrait des heures ou des jours.

L'analogie : Imaginez essayer de trouver une phrase spécifique dans une bibliothèque contenant un milliard de livres. Un moteur de recherche normal devrait ouvrir chaque livre, lire chaque page et vérifier si les mots correspondent. C'est lent.
L'astuce Infini-News : Ils ont construit un index de tableau suffixal. Imaginez cela comme une carte magique, ultra-détaillée, de chaque mot et phrase de la bibliothèque.
La vitesse : Avec cette carte, vous pouvez taper une phrase (même quelque chose d'étrange comme « changement climatique » ou une citation spécifique), et le système trouve chaque occurrence en moins d'une seconde.
Aucun téléchargement nécessaire : Vous n'avez pas besoin de télécharger toute la bibliothèque pour la rechercher. Vous interrogez simplement la carte, obtenez une liste d'« identifiants de livres », puis téléchargez uniquement les articles spécifiques dont vous avez besoin. Cela évite aux chercheurs d'avoir besoin de disques durs massifs.

Que pouvez-vous faire avec cela ?

L'article met en évidence quelques façons spécifiques dont les chercheurs peuvent utiliser cet outil :

Voyage dans le temps : Vous pouvez suivre l'évolution d'une histoire sur 10 ans (analyse longitudinale).
Suivre la rumeur : Vous pouvez voir comment une nouvelle spécifique ou une fausse citation s'est propagée d'un journal à l'autre (syndication de contenu).
Comparaison mondiale : Vous pouvez comparer la façon dont différents pays ont couvert le même événement.
Sécurité de l'IA : Vous pouvez vérifier si un nouveau chatbot d'IA a été entraîné sur des articles de presse spécifiques en recherchant des correspondances exactes.

Le hic (Limites)

Les auteurs sont honnêtes sur ce que cet outil ne peut pas faire :

Ce n'est pas en direct : Les nouvelles proviennent de l'archive, il y a donc un léger délai. Vous ne pouvez pas l'utiliser pour surveiller l'actualité en temps réel à l'instant même.
Mur de paiement manquant : Il ne contient que des nouvelles gratuites. Si un journal place un article derrière un « mur de paiement », Infini-News ne l'a pas.
Le problème des « robots » : Vers 2023, de nombreux sites de presse ont commencé à bloquer les robots d'exploration d'IA. Les auteurs ont noté une baisse du nombre de nouveaux articles provenant de certains sites après cela, de sorte que les données pourraient être légèrement moins complètes pour les périodes très récentes.
Étiquettes imparfaites : Les étiquettes de pays et de langue sont très bonnes (environ 89 % de précision), mais elles ne sont pas 100 % parfaites. Les chercheurs sont censés vérifier par eux-mêmes s'ils ont besoin d'une précision absolue.

La conclusion

Infini-News est une boîte à outils « axée sur la récupération ». Au lieu de forcer les chercheurs à télécharger une bibliothèque de la taille d'une petite ville, elle leur donne une clé qui leur permet de trouver instantanément les pages exactes dont ils ont besoin et de ne télécharger que celles-ci. Elle transforme une montagne de données chaotique et inaccessible en une ressource propre, consultable et gratuite pour étudier la façon dont le monde communique.

Résumé Technique : Infini-News

Énoncé du Problème

Les corpus de nouvelles à grande échelle sont des ressources essentielles pour les Sciences Sociales Computations (CSS) et le Traitement Automatique des Langues (NLP), en particulier pour l'analyse des flux d'information institutionnels, de la fixation de l'agenda et des effets de cadrage à travers les frontières nationales. Cependant, l'accès à ces données reste contraint par des barrières financières et techniques significatives. Les archives commerciales (par exemple, Factiva, LexisNexis) imposent des coûts prohibitifs et des conditions de licence restrictives qui limitent la reproductibilité et la redistribution des données. À l'inverse, les alternatives ouvertes comme l'archive Common Crawl News (CC-News), bien que gratuites, présentent un ensemble différent de défis : les données brutes consistent en des centaines de téraoctets de fichiers HTML qui nécessitent un effort d'ingénierie substantiel et des ressources informatiques pour être analysés, nettoyés et structurés. Cela rend la recherche médiatique à grande échelle, longitudinale et transnationale inaccessible aux chercheurs dépourvus d'infrastructures spécialisées.

Méthodologie

Les auteurs présentent INFINI-NEWS, une boîte à outils et un index conçus selon une approche « retrieval-first » (priorité à la récupération) pour rendre l'ensemble de l'archive CC-News (d'août 2016 à la dernière capture) interrogeable efficacement sans nécessiter le stockage local de l'ensemble du jeu de données. L'architecture du système comprend trois composants principaux :

1. Acquisition et Prétraitement des Données

Les auteurs ont traité 180 To de fichiers WARC bruts provenant de l'archive CC-News.

Extraction : En utilisant fastwarc pour diffuser les archives et trafilatura pour l'extraction de contenu, le pipeline élimine le code HTML superflu (navigation, publicités) pour isoler le texte de l'article propre, les titres, les auteurs et les dates de publication. trafilatura a été sélectionné pour ses performances supérieures (F1 de 0,91) et sa gestion robuste des scripts non latins.
Stockage : Les enregistrements extraits sont sérialisés dans des fichiers JSONL, réduisant les besoins de stockage d'environ deux ordres de grandeur par rapport aux fichiers WARC bruts.
Préservation : Le pipeline conserve intentionnellement le contenu dupliqué pour préserver les distributions de fréquence naturelles afin d'étudier la syndication de contenu et le « churnalisme », évitant ainsi les écueils de la déduplication qui peuvent fausser les données d'entraînement des modèles de langage.

2. Enrichissement des Métadonnées

Deux pipelines d'annotation ont été appliqués pour soutenir le filtrage et la recherche comparative :

Identification de la Langue : Pour remédier aux limitations des approches à classifieur unique, les auteurs emploient trois classifieurs de pointe :
- GlotLID v3 : Un classifieur basé sur fastFast couvrant 2 102 étiquettes de langue-script, appliqué aux articles d'une longueur $\ge$ 50 caractères.
- lingua : Un détecteur statistique n-gramme optimisé pour les entrées courtes (< 1 000 caractères), couvrant 75 langues.
- CommonLingua : Un modèle CNN+attention au niveau des octets de 2,35 millions de paramètres entraîné sur 334 langues, appliqué à tous les articles non vides.
- Ces étiquettes sont fournies sous forme de colonnes distinctes plutôt que regroupées en une seule étiquette « meilleure » pour permettre aux chercheurs de choisir le point de fonctionnement (couverture vs précision) adapté à leur charge de travail spécifique.
Attribution Géographique : Une cascade de cinq sources attribue un pays d'origine aux domaines : (i) les extensions de domaine de niveau supérieur (TLD) de codes pays, (ii) un cache Wikidata des organisations de presse, (iii) quatre listes de médias curatées, (iv) des preuves structurelles HTML (JSON-LD, pieds de page) et (v) une règle basée sur la langue du corpus. Cela résout un pays pour 83,4 % des articles répartis sur 222 pays.

3. Index Interrogeables (Infini-gram)

L'innovation centrale réside dans la construction d'index Infini-gram basés sur des structures de tableau de suffixes (spécifiquement le moteur infini-gram-mini utilisant des variantes d'index FM).

Mécanisme : Contrairement aux index inversés standard, ces structures stockent les suffixes du corpus sous forme compressée, prenant en charge les recherches exactes de sous-chaînes pour des motifs textuels arbitraires en temps $O(m \log n)$ via une recherche binaire.
Capacités : Le moteur opère directement sur les octets, prenant en charge des sous-chaînes arbitraires sans tokenisation, racinisation (stemming) ou n-grammes pré-calculés. Cela permet des recherches à travers les frontières linguistiques et scripturales.
Performance : Les requêtes retournent des résultats en une fraction de seconde (latence médiane de 6,48 ms pour le corpus complet de 1,357 milliard d'articles) en utilisant un chargement mappé en mémoire, éliminant ainsi la nécessité de télécharger des téraoctets de données pour des requêtes spécifiques.

Contributions Clés

Corpus Traité : Une version nettoyée et enrichie de métadonnées de l'ensemble de l'archive CC-News contenant plus de 1,35 milliard d'articles, éliminant le besoin d'infrastructures de parsing personnalisées.
Enrichissement Multi-Sources : Le corpus inclut des balises de langue provenant de trois classifieurs distincts et une attribution géographique pour 83,4 % des articles, élargissant considérablement la couverture au-delà des 30 à 40 langues généralement disponibles dans les agrégateurs commerciaux.
Infrastructure de Récupération Efficace : La construction d'index Infini-gram annuels et d'archive complète permettant aux chercheurs de rechercher dans l'archive complète des motifs textuels arbitraires en une fraction de seconde et de construire des jeux de données à la demande.
Conformité FAIR : La publication respecte les principes FAIR, fournissant des DOI persistants, une gestion des versions et une documentation, avec un accès conditionné uniquement à l'affiliation institutionnelle et à l'objectif de recherche pour assurer une utilisation responsable.

Résultats et Statistiques

Échelle : Le corpus contient 1 357 027 742 articles couvrant environ dix ans (août 2016 – avril 2026), soit une moyenne de 11,6 millions d'articles par mois.
Diversité : Le jeu de données couvre 133 565 noms d'hôte distincts (103 052 domaines) et 1 172 codes de langue ISO 639-3 distincts (via GlotLID), incluant 166 langues avec au moins 10 000 articles.
Couverture Géographique : L'attribution a été résolue avec succès pour 59 885 domaines (58,1 %) et 1,132 milliard d'articles (83,4 %) répartis sur 222 pays. Les principaux pays par volume incluent les États-Unis (22,2 %), l'Allemagne (5,5 %) et l'Italie (4,5 %).
Benchmarks de Performance :
- Latence de Requête : Les requêtes de sous-chaînes sur le corpus complet (117 fragments) atteignent une latence médiane (p50) de 6,48 ms et une latence p99 de 7,73 ms en utilisant des E/S mappées en mémoire.
- Comparaison : Ces requêtes sont deux ordres de grandeur plus rapides que l'exécution de requêtes SQL LIKE équivalentes sur les fichiers Parquet sous-jacents via DuckDB (qui prenaient 800–1 050 ms par mois).
Validation de la Couverture : Le volume du corpus correspond ou dépasse celui de l'agrégateur commercial Factiva pour les langues à ressources élevées (par exemple, 507 millions d'articles en anglais contre 388 millions dans Factiva) tout en couvrant des centaines de langues à faibles ressources absentes des offres commerciales.

Importance et Revendications

L'article revendique que INFINI-NEWS est la première boîte à outils conforme FAIR permettant une recherche efficace et la construction à la demande de jeux de données de nouvelles ciblés sans nécessiter le stockage local de l'archive complète. En adoptant une conception « retrieval-first », le système abaisse la barrière à la recherche médiatique longitudinale et transnationale, permettant aux chercheurs de :

Interroger le corpus sans télécharger les fichiers sous-jacents.
Construire des jeux de données à la demande basés sur des mots-clés spécifiques, des plages temporelles, des domaines ou des langues.
Analyser le flux de contenu, la syndication et les opérations d'information coordonnées en suivant les occurrences de chaînes de caractères verbatim à travers les domaines.
Mener des recherches comparatives à travers les systèmes médiatiques et les langues précédemment inaccessibles en raison de la rareté des données ou des coûts.

Les auteurs positionnent cette ressource comme une étape cruciale vers la garantie de la validité externe et de la généralisabilité des études médiatiques en fournissant des données larges, multilingues et géographiquement diversifiées qui surmontent les biais d'échantillonnage inhérents aux études monoculturelles ou monolingues. La boîte à outils est conçue pour soutenir diverses applications de recherche, de l'étude de la désinformation et des effets de cadrage à l'audit de la contamination des données d'entraînement des Grands Modèles de Langage et à la construction de systèmes de Génération Augmentée par Récupération (RAG).