Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Este artigo revela que as estatísticas do corpus web-PDF sofrem de um "viés de unidade" significativo ao reportar métricas por documento em vez de por token, o que obscurece o fato de que uma pequena fração de documentos grandes contém a maioria do texto e que as atuais políticas de truncamento resultam na perda de mais da metade do conteúdo total do corpus.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na vasta e caótica biblioteca da internet, um novo tipo de livro tornou-se essencial para ensinar a inteligência artificial a pensar. Estes não são os sites que navegamos com um mouse, mas documentos digitais em um formato chamado PDF, o padrão para compartilhar relatórios, artigos acadêmicos e formulários oficiais. Durante anos, pesquisadores que constroem esses sistemas inteligentes trataram cada arquivo digital como uma unidade única e igual. Se um conjunto de dados continha um milhão de documentos, eles assumiam que ele continha um milhão de porções iguais de informação, independentemente de um arquivo ser um panfleto de uma única página e outro uma enciclopédia de quinhentas páginas. Essa suposição moldou a forma como medimos o tamanho e a qualidade dos dados usados para treinar os modelos computacionais mais avançados do mundo. Mas um olhar mais atento revela que contar arquivos é uma forma pobre de contar palavras, e a diferença entre as duas unidades muda tudo o que sabíamos sobre os dados.
Um estudo recente de Luca Foppiano, da Common Crawl Foundation, desafia a maneira padrão pela qual os pesquisadores descrevem essas coleções massivas de texto. A equipe examinou um recorte específico da internet de 2021, um conjunto de dados contendo quase oito milhões de PDFs da web. Enquanto os criadores originais desses dados reportaram seu tamanho em termos de número de documentos, Foppiano e seus colegas decidiram medi-lo pelo volume real de texto dentro desses arquivos. Eles descobriram um desequilíbrio surpreendente: os documentos não eram intercambiáveis de forma alguma. Uma fração minúscula dos arquivos, especificamente aqueles que eram muito longos, continha a vasta maioria das palavras. De fato, pouco mais de três por cento dos documentos detinham metade de todo o texto, enquanto os noventa e sete por cento restantes compartilhavam a outra metade. Isso significa que, se você olhar para a coleção pelo número de arquivos, ela parece ser uma biblioteca de notas curtas e formulários, mas se olhar para ela pelo número de palavras, é uma biblioteca dominada por volumes massivos e extensos.
Esse desvio de comprimento tem consequências profundas para a forma como os dados são processados e para o que é perdido ao longo do caminho. O arquivo da internet que forneceu esses arquivos tem uma regra para economizar espaço de armazenamento: ele corta qualquer arquivo maior que um certo tamanho. Por muito tempo, esse limite foi de um megabyte. O estudo mostra que essa regra afetou quase um quarto dos documentos na coleção, o que parece gerenciável. No entanto, como os documentos mais longos foram os que sofreram o corte, esses arquivos truncados continham quase dois terços de todo o texto. Quando os pesquisadores tentaram reconstruir as partes ausentes desses arquivos cortados, descobriram que o dano era frequentemente permanente. Usando duas ferramentas padrão diferentes para ler os arquivos quebrados, descobriram que uma ferramenta conseguia recuperar apenas cerca de onze por cento das palavras perdidas, enquanto a outra recuperava mal um por cento. Para a vasta maioria desses arquivos danificados, as ferramentas não consegravam extrair nenhum texto, deixando os modelos computacionais com uma lacuna significativa em seu conhecimento.
Os pesquisadores também observaram o que acontece quando o limite de armazenamento é aumentado, uma mudança que ocorreu em 2025, quando o limite foi elevado para cinco megabytes. Embora esse ajuste tenha reduzido o número de arquivos cortados, não resolveu o problema do texto perdido. Mesmo com o limite mais alto, quase trinta por cento do total de palavras na coleção ainda seriam cortadas. O estudo demonstra que simplesmente aumentar o limite de tamanho não é suficiente para salvar o conteúdo mais valioso, porque os maiores documentos são frequentemente tão massivos que mesmo uma fatia de cinco megabytes é pequena demais para capturar seu início. Os pesquisadores concluíram que a maneira como falamos sobre essas coleções de dados é enganosa. Reportar estatísticas apenas pelo número de documentos esconde a realidade de que alguns arquivos gigantescos detêm quase toda a informação. Para compreender verdadeiramente o que esses sistemas de inteligência artificial estão aprendendo, devemos contar as palavras, não apenas os arquivos, e reconhecer que os métodos atuais de armazenar e filtrar a internet estão descartando o grosso do texto de que precisamos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.