💬 NLP

Infini-News: Efficiently Queryable Access to 1.3 Billion Processed Common Crawl News Articles

El artículo presenta Infini-News, un kit de herramientas e índice integrales que procesa más de 1.300 millones de artículos de noticias de Common Crawl con metadatos enriquecidos y detección de idiomas, permitiendo a los investigadores consultar de manera eficiente todo el archivo en busca de patrones de texto arbitrarios en menos de un segundo.

Autores originales: Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruggero Marino Lazzaroni, Jana Lasser, Kirill Solovev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres estudiar cómo ha hablado el mundo sobre eventos importantes durante la última década. Necesitas una biblioteca masiva de artículos periodísticos.

En el pasado, tenías dos malas opciones:

El muro de pago: Acude a un archivo comercial de noticias (como una biblioteca de alto nivel). Tiene todo, pero cuesta una fortuna, y no se te permite compartir los libros con tus amigos ni siquiera sacarlos del edificio.
El volcado crudo: Acude a "Common Crawl", un almacén gigante y gratuito de todo el internet. Tiene todo, pero es un caos desordenado de terabytes de archivos HTML crudos. Para encontrar un solo artículo, tendrías que construir tu propia bulldozer, tamizar montañas de basura digital y pasar meses limpiando los datos antes de poder siquiera empezar a leer.

Infini-News es la solución que los autores construyeron para arreglar esto. Imagínalo como un índice súper potenciado, pre-limpio y buscable instantáneamente para el archivo de noticias gratuito más grande del mundo.

Así es como funciona, desglosado en partes simples:

1. La Gran Limpieza (El "Corpus Pre-procesado")

Los autores tomaron el almacén crudo y desordenado (180 terabytes de datos) y lo pasaron por una máquina de limpieza sofisticada.

Lo que hicieron: Eliminaron los anuncios, las ventanas emergentes de "Suscríbete ahora", las barras de navegación y el código roto.
El resultado: Terminaron con 1.350 millones de artículos de noticias limpios desde agosto de 2016 hasta hoy. Es como convertir un montón de chatarra metálica sin clasificar en un almacén ordenado de coches terminados. Ya no necesitas ser mecánico para usarlo; solo conduces el coche.

2. Las Etiquetas Inteligentes (Riqueza de Metadatos)

Un montón de 1.350 millones de artículos sigue siendo abrumador. Necesitas saber qué estás viendo. Los autores añadieron tres capas de "etiquetas inteligentes" a cada artículo:

Etiquetas de idioma: No solo adivinaron el idioma; utilizaron tres "detectives" diferentes (clasificadores de IA) para etiquetar el idioma. Si un detective no está seguro, los otros lo verifican. Esto cubre más de 1.000 idiomas, desde el inglés y el español hasta dialectos raros.
De dónde es: Intentaron averiguar de qué país provenía cada artículo. Utilizaron pistas como la dirección del sitio web (por ejemplo, .de para Alemania), la dirección del editor en el pie de página y listas de medios de comunicación conocidos. Etiquetaron con éxito el origen del 83% de los artículos en 222 países.
Por qué importa: Esto permite a los investigadores hacer preguntas como: "¿Cómo se veían las noticias sobre la guerra en Ucrania en Alemania frente a Brasil?" sin tener que leer manualmente cada artículo individual.

3. El Motor de Búsqueda Mágico (Índices Infini-gram)

Este es el truco más impresionante. Normalmente, buscar entre 1.350 millones de artículos tomaría horas o días.

La analogía: Imagina intentar encontrar una frase específica en una biblioteca con mil millones de libros. Un motor de búsqueda normal tendría que abrir cada libro, leer cada página y verificar si las palabras coinciden. Eso es lento.
El truco de Infini-News: Construyeron un índice de sufijos. Imagina esto como un mapa mágico, ultra detallado, de cada palabra y frase de la biblioteca.
La velocidad: Con este mapa, puedes escribir una frase (incluso algo extraño como "cambio climático" o una cita específica) y el sistema encuentra cada instancia en menos de un segundo.
No se necesita descarga: No necesitas descargar toda la biblioteca para buscarla. Solo consultas el mapa, obtienes una lista de "IDs de libros" y luego descargas solo los artículos específicos que necesitas. Esto ahorra a los investigadores la necesidad de tener discos duros masivos.

¿Qué puedes hacer con esto?

El artículo destaca algunas formas específicas en que los investigadores pueden usar esta herramienta:

Viaje en el tiempo: Puedes rastrear cómo cambió una historia a lo largo de 10 años (análisis longitudinal).
Sigue el rumor: Puedes ver cómo una pieza específica de noticias o una cita falsa se propagó de un periódico a otro (sindicalización de contenidos).
Comparación global: Puedes comparar cómo cubrieron diferentes países el mismo evento.
Seguridad de la IA: Puedes verificar si un nuevo chatbot de IA fue entrenado con historias de noticias específicas buscando coincidencias exactas.

El inconveniente (Limitaciones)

Los autores son honestos sobre lo que esta herramienta no puede hacer:

No es en vivo: Las noticias son del archivo, por lo que hay un ligero retraso. No puedes usarlo para monitorear noticias de última hora mientras suceden en este mismo segundo.
Muros de pago faltantes: Solo contiene noticias gratuitas. Si un periódico pone un artículo detrás de un "muro de pago", Infini-News no lo tiene.
El problema de los "robots": Alrededor de 2023, muchos sitios web de noticias comenzaron a bloquear los rastreadores de IA. Los autores notaron una caída en los artículos nuevos de ciertos sitios después de eso, por lo que los datos podrían estar ligeramente menos completos para tiempos muy recientes.
Etiquetas no perfectas: Las etiquetas de país e idioma son muy buenas (aproximadamente 89% de precisión), pero no son 100% perfectas. Se espera que los investigadores verifiquen de nuevo si necesitan precisión absoluta.

La conclusión

Infini-News es un conjunto de herramientas "priorizado por recuperación". En lugar de obligar a los investigadores a descargar una biblioteca del tamaño de una ciudad pequeña, les da una llave que les permite encontrar instantáneamente las páginas exactas que necesitan y descargar solo esas. Convierte una montaña caótica e inaccesible de datos en un recurso limpio, buscable y gratuito para estudiar cómo se comunica el mundo.

Resumen Técnico: Infini-News

Declaración del Problema

Los corpus de noticias a gran escala son recursos esenciales para la Ciencia Social Computacional (CSS) y el Procesamiento del Lenguaje Natural (PLN), particularmente para analizar flujos de información institucional, fijación de agendas y efectos de encuadre a través de fronteras nacionales. Sin embargo, el acceso a dichos datos sigue estando restringido por barreras financieras y técnicas significativas. Los archivos comerciales (por ejemplo, Factiva, LexisNexis) imponen costos prohibitivos y términos de licencia restrictivos que limitan la reproducibilidad y la redistribución de datos. Por el contrario, las alternativas abiertas como el archivo Common Crawl News (CC-News), aunque son gratuitas, presentan un conjunto diferente de desafíos: los datos crudos consisten en cientos de terabytes de archivos HTML que requieren un esfuerzo de ingeniería sustancial y recursos computacionales para analizar, limpiar y estructurar. Esto hace que la investigación mediática a gran escala, longitudinal y transnacional sea inaccesible para los investigadores que carecen de infraestructura especializada.

Metodología

Los autores introducen INFINI-NEWS, un kit de herramientas y un índice basados en la recuperación, diseñados para hacer que todo el archivo CC-News (desde agosto de 2016 hasta la instantánea más reciente) sea consultable de manera eficiente sin requerir el almacenamiento local del conjunto de datos completo. La arquitectura del sistema comprende tres componentes principales:

1. Adquisición y Preprocesamiento de Datos

Los autores procesaron 180 TB de archivos WARC crudos del archivo CC-News.

Extracción: Utilizando fastwarc para transmitir archivos y trafilatura para la extracción de contenido, el flujo de trabajo elimina el código HTML de relleno (navegación, anuncios) para aislar el texto limpio del artículo, títulos, autores y fechas de publicación. trafilatura fue seleccionado por su rendimiento superior (0.91 F1) y su manejo robusto de scripts no latinos.
Almacenamiento: Los registros extraídos se serializan en archivos JSONL, reduciendo los requisitos de almacenamiento en aproximadamente dos órdenes de magnitud en comparación con los archivos WARC crudos.
Preservación: El flujo de trabajo retiene intencionalmente el contenido duplicado para preservar las distribuciones de frecuencia naturales para estudiar la sindicación de contenidos y el "churnalismo", evitando las trampas de la desduplicación que pueden distorsionar los datos de entrenamiento de los modelos de lenguaje.

2. Enriquecimiento de Metadatos

Se aplicaron dos flujos de trabajo de anotación para apoyar la filtración y la investigación comparativa:

Identificación de Idioma: Para abordar las limitaciones de los enfoques de clasificador único, los autores emplean tres clasificadores de vanguardia:
- GlotLID v3: Un clasificador basado en fastText que cubre 2,102 etiquetas de idioma-escrito, aplicado a artículos de ≥ 50 caracteres.
- lingua: Un detector estadístico de n-gramas optimizado para entradas cortas (< 1,000 caracteres), que cubre 75 idiomas.
- CommonLingua: Un modelo CNN+atención a nivel de bytes de 2.35M de parámetros entrenado en 334 idiomas, aplicado a todos los artículos no vacíos.
- Estas etiquetas se proporcionan como columnas separadas en lugar de colapsarse en una sola etiqueta "mejor" para permitir que los investigadores elijan el punto de operación (cobertura vs. precisión) adecuado para su carga de trabajo específica.
Atribución Geográfica: Una cascada de cinco fuentes asigna un país de origen a los dominios: (i) dominios de nivel superior de código de país, (ii) una caché de Wikidata de organizaciones de noticias, (iii) cuatro listas curadas de medios, (iv) evidencia estructural de HTML (JSON-LD, pies de página) y (v) una regla basada en el idioma del corpus. Esto resuelve un país para el 83.4% de los artículos en 222 países.

3. Índices Consultables (Infini-gram)

La innovación central reside en la construcción de índices Infini-gram basados en estructuras de sufijos (específicamente el motor infini-gram-mini que utiliza variantes de índice FM).

Mecanismo: A diferencia de los índices invertidos estándar, estas estructuras almacenan sufijos del corpus en forma comprimida, soportando búsquedas exactas de subcadenas para patrones de texto arbitrarios en un tiempo $O(m \log n)$ mediante búsqueda binaria.
Capacidades: El motor opera directamente sobre bytes, soportando subcadenas arbitrarias sin tokenización, reducción a raíz o n-gramas precalculados. Esto permite búsquedas a través de límites de idioma y escritura.
Rendimiento: Las consultas devuelven resultados en tiempos subsegundos (latencia mediana de 6.48 ms para el corpus completo de 1.357 mil millones de artículos) utilizando carga con asignación de memoria, eliminando la necesidad de descargar terabytes de datos para consultas específicas.

Contribuciones Clave

Corpus Procesado: Una versión limpia y enriquecida con metadatos de todo el archivo CC-News que contiene más de 1.35 mil millones de artículos, eliminando la necesidad de infraestructura de análisis personalizada.
Enriquecimiento Multi-fuente: El corpus incluye etiquetas de idioma de tres clasificadores distintos y atribución geográfica para el 83.4% de los artículos, expandiendo significativamente la cobertura más allá de los 30–40 idiomas típicamente disponibles en agregadores comerciales.
Infraestructura de Recuperación Eficiente: La construcción de índices Infini-gram anuales y de archivo completo que permiten a los investigadores buscar en todo el archivo patrones de texto arbitrarios en tiempos subsegundos y construir conjuntos de datos bajo demanda.
Cumplimiento FAIR: La publicación se adhiere a los principios FAIR, proporcionando DOIs persistentes, control de versiones y documentación, con el acceso limitado únicamente por afiliación institucional y propósito de investigación para garantizar un uso responsable.

Resultados y Estadísticas

Escala: El corpus contiene 1,357,027,742 artículos que abarcan aproximadamente diez años (agosto de 2016 – abril de 2026), promediando 11.6 millones de artículos por mes.
Diversidad: El conjunto de datos cubre 133,565 nombres de host distintos (103,052 dominios) y 1,172 códigos de idioma ISO 639-3 distintos (vía GlotLID), incluyendo 166 idiomas con al menos 10,000 artículos.
Cobertura Geográfica: La atribución se resolvió exitosamente para 59,885 dominios (58.1%) y 1.132 mil millones de artículos (83.4%) en 222 países. Los principales países por volumen incluyen EE. UU. (22.2%), Alemania (5.5%) e Italia (4.5%).
Puntos de Referencia de Rendimiento:
- Latencia de Consulta: Las consultas de subcadenas en el corpus completo (117 fragmentos) logran una latencia mediana (p50) de 6.48 ms y una latencia p99 de 7.73 ms utilizando E/S con asignación de memoria.
- Comparación: Estas consultas son dos órdenes de magnitud más rápidas que ejecutar consultas SQL LIKE equivalentes contra los archivos Parquet subyacentes mediante DuckDB (que tardaron 800–1,050 ms por mes).
Validación de Cobertura: El volumen del corpus coincide o supera al del agregador comercial Factiva para idiomas de alto recurso (por ejemplo, 507M de artículos en inglés frente a 388M en Factiva) mientras cubre cientos de idiomas de bajo recurso ausentes en las ofertas comerciales.

Significado y Afirmaciones

El artículo afirma que INFINI-NEWS es la primera herramienta conforme a FAIR que permite la búsqueda eficiente y la construcción bajo demanda de conjuntos de datos de noticias dirigidos sin requerir el almacenamiento local de todo el archivo. Al emplear un diseño de "recuperación primero", el sistema reduce la barrera para la investigación mediática longitudinal y transnacional, permitiendo a los investigadores:

Consultar el corpus sin descargar los archivos subyacentes.
Construir conjuntos de datos bajo demanda basados en palabras clave específicas, rangos de tiempo, dominios o idiomas.
Analizar el flujo de contenido, la sindicación y las operaciones de información coordinadas rastreando la ocurrencia de cadenas literales a través de dominios.
Realizar investigación comparativa a través de sistemas mediáticos e idiomas previamente inaccesibles debido a la escasez de datos o al costo.

Los autores posicionan este recurso como un paso crítico hacia la garantía de la validez externa y la generalizabilidad de los estudios mediáticos al proporcionar datos amplios, multilingües y geográficamente diversos que superan los sesgos de muestreo inherentes a los estudios de un solo país o de un solo idioma. El kit de herramientas está diseñado para apoyar diversas aplicaciones de investigación, desde el estudio de la desinformación y los efectos de encuadre hasta la auditoría de la contaminación de datos de entrenamiento de Modelos de Lenguaje Grandes y la construcción de sistemas de Generación Aumentada por Recuperación (RAG).