🔬 physics

Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections

Este artigo propõe um método simples e autônomo para estimar a cobertura absoluta de um crawl da web utilizando apenas dados longitudinais de interseções entre múltiplos arquivamentos, modelados por um processo de urna e inferidos via regressão linear, permitindo quantificar a completude sem necessidade de conjuntos de dados externos.

Autores originais: Michael Paris, Grigori Paris, Fabian Baumann

Publicado 2026-03-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Michael Paris, Grigori Paris, Fabian Baumann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o curador de uma biblioteca gigante que tenta guardar todos os livros de um país. O problema é que essa biblioteca não sabe quantos livros existem no total no país, nem sabe se ela já pegou a maioria deles ou apenas uma pequena fração. Além disso, os livros mudam de lugar, alguns são queimados e outros novos são escritos o tempo todo.

Como saber se sua biblioteca está "completa" sem ter uma lista oficial de todos os livros do país?

Este artigo apresenta uma solução inteligente e elegante para esse problema, usando apenas os registros da própria biblioteca. Vamos explicar como funciona, passo a passo, com analogias do dia a dia.

1. O Problema: A Biblioteca que não sabe o tamanho do mundo

Os pesquisadores do "Web Archive" (um arquivo da internet) fazem "crawls" (varreduras) para salvar páginas da web. Eles sabem exatamente quantas páginas salvaram (digamos, 100 milhões). Mas eles não sabem quantas páginas poderiam ter sido salvas no total.

Sem saber o total, eles não conseguem calcular a porcentagem de cobertura. É como tentar adivinhar quantos peixes existem em um lago enorme, mas você só consegue contar quantos pescou hoje.

2. A Solução: O "Jogo das Bolinhas" (O Modelo Urn)

Os autores propõem uma ideia genial: em vez de tentar contar tudo de uma vez, vamos olhar para como as coisas mudam com o tempo.

Eles usam uma analogia chamada Modelo da Urna (uma urna é um pote onde se colocam bolas):

Imagine uma urna gigante cheia de bolas coloridas (cada bola é um link da internet).
A cada meio ano, você tira uma amostra de bolas (uma varredura/crawl).
Mas, entre uma varredura e outra, a urna muda: algumas bolas antigas somem (links quebrados) e novas bolas aparecem (novos links).
A pergunta é: Quanto da urna você consegue ver em cada sorteio?

3. A Mágica: Comparando "Eu de Hoje" com "Eu de Ontem"

A grande sacada do artigo é que você não precisa de uma lista externa. Você só precisa comparar o que você pegou hoje com o que você pegou no mês passado, no ano passado, etc.

Se você pegar as mesmas bolas de sempre: Significa que a urna é pequena e você já pegou quase tudo.
Se as bolas mudarem muito rápido: Significa que a urna é enorme e as bolas antigas somem rápido.

Os pesquisadores olharam para a "Internet Acadêmica Alemã" (universidades alemãs) por 8 anos. Eles viram que, quanto mais tempo passava entre duas varreduras, menos links elas tinham em comum.

4. A Receita de Bolo (A Matemática Simplificada)

Eles criaram uma fórmula simples baseada nessa lógica:

A Interseção: Eles mediram quantos links apareciam em duas varreduras diferentes.
O Decaimento: Eles viram que essa sobreposição cai de forma previsível com o tempo (como uma bola de neve derretendo).
O Pulo do Gato: Se você estender essa linha de "derretimento" de volta para o tempo zero (quando duas varreduras acontecem ao mesmo tempo), o ponto onde ela começa te diz a cobertura real.

É como se você olhasse para a sombra de um prédio em diferentes horas do dia e, sabendo a posição do sol, conseguisse calcular a altura exata do prédio, mesmo sem ter uma fita métrica.

5. O Resultado: O Que Eles Descobriram?

Aplicando isso à Internet Acadêmica Alemã, eles descobriram:

Cobertura: Cada varredura consegue pegar cerca de 46% de toda a internet acadêmica que existe e é acessível. Ou seja, quase metade está sendo salva, mas a outra metade ainda está "fora".
Estabilidade: Os links acadêmicos são relativamente estáveis. Cerca de 73% dos links de um ano continuam existindo no ano seguinte (o que significa que 27% somem ou mudam).

6. Por que isso é importante?

Antes, para saber se um arquivo da internet era bom, era preciso:

Ter uma lista secreta de todos os sites (o que é impossível).
Ou comparar com outro arquivo gigante (o que só dá uma ideia relativa, não absoluta).

Agora, com esse método, qualquer arquivo da internet pode olhar para seus próprios registros passados e dizer: "Ok, eu capturei X% do mundo que eu deveria capturar".

Resumo da Ópera:
Os autores criaram um "termômetro de completude" que usa apenas o histórico da própria biblioteca. Eles provaram que, ao observar o quanto os links se repetem ou desaparecem ao longo do tempo, é possível calcular matematicamente o tamanho total do que foi capturado, sem precisar de nenhum dado externo. É uma forma de medir o tamanho do oceano apenas observando as ondas que batem na praia ao longo dos anos.

Resumo Técnico: Estimativa de Cobertura Absoluta de Web Crawl a partir de Interseções de Conjuntos Longitudinais

1. O Problema

Arquivos da web preservam porções da internet, mas quantificar a completude (cobertura) dessas coleções permanece um desafio significativo.

Limitação Fundamental: Um único crawl (varredura) isolado define um conjunto de URLs coletadas ( $M$ ), mas não revela o tamanho total do espaço de URLs que poderiam ser coletadas ( $N$ ) sob aquela configuração. Consequentemente, a cobertura absoluta ( $c = M/N$ ) é desconhecida.
Limitações das Abordagens Anteriores:
- Comparação entre Motores: Métodos como os de Bharat e Broder (1998) comparam múltiplos motores de busca para obter tamanhos relativos, mas não determinam a fração absoluta da web capturada.
- Dados de Verdade Terrestre (Ground Truth): Abordagens baseadas em entidades exigem conjuntos de dados externos e específicos de domínio, medindo apenas a cobertura para aquela classe de entidade, não para todo o espaço de URLs.
- Falta de Autoavaliação: Não existia um método simples que permitisse a um único arquivo de web estimar sua própria cobertura absoluta utilizando apenas seus próprios dados históricos, sem depender de comparadores externos.

2. Metodologia

Os autores propõem um método para estimar a cobertura absoluta utilizando exclusivamente dados longitudinais (uma série temporal de crawls subsequentes do mesmo arquivo).

Modelo Teórico (Processo de Urna):
- O espaço de URLs coletáveis é modelado como uma "urna" contendo $N$ URLs únicas.
- O tempo avança em passos discretos (cada crawl). Em cada passo, ocorre uma rotatividade (turnover): uma fração $(1-\alpha)$ das URLs existentes é removida e substituída por novas URLs, mantendo $N$ constante. O parâmetro $\alpha$ representa a persistência temporal das URLs.
- Um crawl amostra $M$ URLs uniformemente da urna.
Derivação Matemática:
- A interseção esperada entre dois crawls separados por um intervalo de tempo $T$ é dada por:
  $E[|u_1 \cap u_T|] = \frac{M^2}{N} \alpha^{T-1}$
- Ao dividir por $M$ (tamanho do crawl), obtém-se a fração esperada de sobreposição (contenção):
  $f(T) = c \cdot \alpha^{T-1}$
  Onde $c = M/N$ é a cobertura absoluta e $\alpha$ é a taxa de persistência.
Estimação Prática:
- A equação acima pode ser linearizada aplicando logaritmos: $\log(f(T)) = \log(c) + (T-1)\log(\alpha)$ .
- Os autores utilizam regressão linear (mínimos quadrados ordinários) sobre os dados empíricos de interseção entre pares de crawls longitudinais para inferir os parâmetros $c$ (intercepto) e $\alpha$ (inclinação).
- O método lida com viés do crawler (não uniformidade) através da análise de resíduos, onde um coeficiente de viés $R_{ij}$ mede a correlação positiva (ex: sementes persistentes que forçam o crawler a revisitar os mesmos subgrafos).

3. Contribuições Principais

Estimativa de Cobertura Absoluta sem Dados Externos: É a primeira abordagem capaz de calcular a fração absoluta da web capturada ( $c$ ) usando apenas a interseção temporal de um único arquivo de web longitudinal.
Fundamentação Teórica Simples: Conecta o processo de crawling a um modelo de urna simples, permitindo a derivação analítica da relação entre sobreposição temporal e cobertura.
Generalização: O método é aplicável a qualquer crawl focado longitudinal, não dependendo de comparações entre múltiplos motores de busca ou conjuntos de dados de referência externos.

4. Resultados (Caso de Estudo: Web Acadêmica Alemã - GAW)

O método foi aplicado a 15 crawls semestrais da Web Acadêmica Alemã (GAW), realizados entre 2013 e 2021, cobrindo cerca de 150 domínios de universidades alemãs.

Cobertura Estimada: O modelo estima que cada crawl captura aproximadamente 46% do espaço de URLs coletáveis da Web Acadêmica Alemã ( $c \approx 0.46$ ).
Taxa de Persistência: A taxa de persistência anual de URLs foi estimada em $\alpha \approx 0.73$ , o que implica uma taxa de rotatividade (turnover) de 27% ao ano. Isso corresponde a uma "meia-vida" de URLs de aproximadamente 2,2 anos, alinhando-se com estudos anteriores sobre a estabilidade da web.
Validação: A regressão linear sobre os dados log-transformados apresentou um alto ajuste ( $R^2 = 0.95$ ). Simulações estocásticas do modelo de urna com os parâmetros estimados reproduziram perfeitamente os padrões observados nos dados reais.
Tendência Temporal: A análise mostrou que a cobertura ( $c$ ) aumentou ao longo do período de observação (2013–2021), sugerindo melhorias na eficiência do crawl ou redução no tamanho da população coletável.

5. Significado e Implicações

Autonomia para Arquivos de Web: Permite que operadores de arquivos (como o Common Crawl ou arquivos nacionais) avaliem a qualidade e a completude de suas coleções de forma autônoma, sem necessidade de dados externos ou comparação com concorrentes.
Confiança em Tarefas Descendentes: Fornece uma métrica crucial para pesquisadores que utilizam dados da web para treinar modelos de IA (LLMs) ou realizar análises sociais, indicando qual fração do universo de interesse foi efetivamente capturada.
Diagnóstico de Dinâmica da Web: A análise da inclinação ( $\alpha$ ) e do intercepto ( $c$ ) ao longo do tempo ajuda a distinguir se uma população alvo está em regime de crescimento, estabilidade ou declínio, auxiliando na decisão sobre a frequência ideal de novos crawls.
Limitações: O método assume que o tamanho da população ( $N$ ) é relativamente estável durante o período de análise e que o crawl amostra de forma aproximadamente uniforme (ou que o viés é constante). Não mede a qualidade do conteúdo (apenas a existência da URL), e requer múltiplos crawls ao longo do tempo para ser aplicável.

Em suma, o artigo oferece uma ferramenta matemática elegante e prática para transformar a análise de sobreposição temporal de dados de crawling em uma estimativa quantitativa e absoluta da cobertura da web, preenchendo uma lacuna crítica na avaliação de arquivos digitais.