Resumo Técnico: Infini-News

Declaração do Problema

Corpora de notícias em grande escala são recursos essenciais para a Ciência Social Computacional (CSS) e o Processamento de Linguagem Natural (PLN), particularmente para analisar fluxos de informação institucional, definição de agenda e efeitos de enquadramento através das fronteiras nacionais. No entanto, o acesso a esses dados permanece limitado por barreiras financeiras e técnicas significativas. Arquivos comerciais (por exemplo, Factiva, LexisNexis) impõem custos proibitivos e termos de licenciamento restritivos que limitam a reprodutibilidade e a redistribuição de dados. Por outro lado, alternativas abertas como o arquivo Common Crawl News (CC-News), embora gratuitas, apresentam um conjunto diferente de desafios: os dados brutos consistem em centenas de terabytes de arquivos HTML que exigem esforço de engenharia substancial e recursos computacionais para analisar, limpar e estruturar. Isso torna a pesquisa midiática em grande escala, longitudinal e transnacional inacessível a pesquisadores que não possuem infraestrutura especializada.

Metodologia

Os autores introduzem INFINI-NEWS, um toolkit e índice orientado à recuperação projetado para tornar todo o arquivo CC-News (de agosto de 2016 até o snapshot mais recente) eficientemente consultável sem exigir o armazenamento local do conjunto de dados completo. A arquitetura do sistema compreende três componentes principais:

1. Aquisição e Pré-processamento de Dados

Os autores processaram 180 TB de arquivos WARC brutos do arquivo CC-News.

• Extração: Utilizando fastwarc para transmitir arquivos e trafilatura para extração de conteúdo, o pipeline remove o código HTML supérfluo (navegação, anúncios) para isolar texto limpo do artigo, títulos, autores e datas de publicação. O trafilatura foi selecionado por seu desempenho superior (0,91 F1) e tratamento robusto de scripts não latinos.
• Armazenamento: Registros extraídos são serializados em arquivos JSONL, reduzindo os requisitos de armazenamento em aproximadamente duas ordens de grandeza em comparação com arquivos WARC brutos.
• Preservação: O pipeline retém intencionalmente conteúdo duplicado para preservar distribuições de frequência naturais para o estudo de sindicalização de conteúdo e "churnalismo", evitando as armadilhas da deduplicação, que pode distorcer dados de treinamento de modelos de linguagem.

2. Enriquecimento de Metadados

Dois pipelines de anotação foram aplicados para suportar filtragem e pesquisa comparativa:

• Identificação de Idioma: Para abordar as limitações de abordagens de classificador único, os autores empregam três classificadores de ponta:
  • GlotLID v3: Um classificador baseado em fastText cobrindo 2.102 rótulos de idioma-escrita, aplicado a artigos com $\ge$ 50 caracteres.
  • lingua: Um detector estatístico de n-gramas otimizado para entradas curtas (< 1.000 caracteres), cobrindo 75 idiomas.
  • CommonLingua: Um modelo CNN+atenção em nível de byte com 2,35 milhões de parâmetros treinado em 334 idiomas, aplicado a todos os artigos não vazios.
  • Esses rótulos são fornecidos como colunas separadas em vez de serem consolidados em um único rótulo "melhor" para permitir que os pesquisadores escolham o ponto de operação (cobertura vs. precisão) adequado à sua carga de trabalho específica.
• Atribuição Geográfica: Uma cascata de cinco fontes atribui um país de origem aos domínios: (i) TLDs de código de país, (ii) um cache do Wikidata de organizações de notícias, (iii) quatro listas curadas de veículos, (iv) evidência estrutural de HTML (JSON-LD, rodapés) e (v) uma regra de idioma do corpus. Isso resolve um país para 83,4% dos artigos em 222 países.

3. Índices Consultáveis (Infini-gram)

A inovação central reside na construção de índices Infini-gram baseados em estruturas de sufixo-array (especificamente o motor infini-gram-mini usando variantes de FM-index).

• Mecanismo: Ao contrário de índices invertidos padrão, essas estruturas armazenam sufixos do corpus em forma comprimida, suportando buscas exatas de substrings para padrões de texto arbitrários em tempo $O(m \log n)$ via busca binária.
• Capacidades: O motor opera diretamente em bytes, suportando substrings arbitrários sem tokenização, redução a raiz ou n-gramas pré-computados. Isso permite buscas através de fronteiras de idioma e escrita.
• Desempenho: Consultas retornam resultados em tempo subsegundo (latência mediana de 6,48 ms para o corpus completo de 1,357 bilhão de artigos) usando carregamento mapeado em memória, eliminando a necessidade de baixar terabytes de dados para consultas específicas.

Contribuições Principais

1. Corpus Processado: Uma versão limpa e enriquecida com metadados de todo o arquivo CC-News contendo mais de 1,35 bilhão de artigos, removendo a necessidade de infraestrutura de análise personalizada.
2. Enriquecimento Multi-fonte: O corpus inclui tags de idioma de três classificadores distintos e atribuição geográfica para 83,4% dos artigos, expandindo significativamente a cobertura além dos 30–40 idiomas tipicamente disponíveis em agregadores comerciais.
3. Infraestrutura de Recuperação Eficiente: A construção de índices Infini-gram anuais e de arquivo completo que permitem aos pesquisadores pesquisar o arquivo completo por padrões de texto arbitrários em tempo subsegundo e construir conjuntos de dados sob demanda.
4. Conformidade FAIR: O lançamento aderiu aos princípios FAIR, fornecendo DOIs persistentes, versionamento e documentação, com acesso limitado apenas por afiliação institucional e propósito de pesquisa para garantir uso responsável.

Resultados e Estatísticas

• Escala: O corpus contém 1.357.027.742 artigos abrangendo aproximadamente dez anos (agosto de 2016 – abril de 2026), com média de 11,6 milhões de artigos por mês.
• Diversidade: O conjunto de dados cobre 133.565 hostnames distintos (103.052 domínios) e 1.172 códigos de idioma ISO 639-3 distintos (via GlotLID), incluindo 166 idiomas com pelo menos 10.000 artigos.
• Cobertura Geográfica: A atribuição foi resolvida com sucesso para 59.885 domínios (58,1%) e 1,132 bilhão de artigos (83,4%) em 222 países. Os principais países por volume incluem EUA (22,2%), Alemanha (5,5%) e Itália (4,5%).
• Benchmarks de Desempenho:
  • Latência de Consulta: Consultas de substring no corpus completo (117 shards) alcançam uma latência mediana (p50) de 6,48 ms e latência p99 de 7,73 ms usando I/O mapeado em memória.
  • Comparação: Essas consultas são duas ordens de grandeza mais rápidas do que executar consultas SQL LIKE equivalentes contra os arquivos Parquet subjacentes via DuckDB (que levaram de 800 a 1.050 ms por mês).
• Validação de Cobertura: O volume do corpus iguala ou excede o do agregador comercial Factiva para idiomas de alto recurso (por exemplo, 507 milhões de artigos em inglês vs. 388 milhões no Factiva), enquanto cobre centenas de idiomas de baixo recurso ausentes em ofertas comerciais.

Significado e Alegações

O artigo afirma que INFINI-NEWS é o primeiro toolkit compatível com FAIR que permite busca eficiente e construção sob demanda de conjuntos de dados de notícias direcionados sem exigir o armazenamento local de todo o arquivo. Ao empregar um design "orientado à recuperação", o sistema reduz a barreira para pesquisa midiática longitudinal e transnacional, permitindo que os pesquisadores:

• Consultem o corpus sem baixar arquivos subjacentes.
• Construam conjuntos de dados sob demanda com base em palavras-chave específicas, intervalos de tempo, domínios ou idiomas.
• Analisem fluxo de conteúdo, sindicalização e operações de informação coordenadas rastreando ocorrências de strings literais através de domínios.
• Realizem pesquisa comparativa entre sistemas midiáticos e idiomas anteriormente inacessíveis devido à escassez de dados ou custo.

Os autores posicionam esse recurso como um passo crítico para garantir a validade externa e a generalizabilidade dos estudos midiáticos, fornecendo dados amplos, multilíngues e geograficamente diversos que superam os vieses de amostragem inerentes a estudos de um único país ou idioma. O toolkit foi projetado para suportar diversas aplicações de pesquisa, desde o estudo de desinformação e efeitos de enquadramento até auditoria de contaminação de dados de treinamento de Modelos de Linguagem de Grande Escala e construção de sistemas de Geração Aumentada por Recuperação (RAG).