Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Cet article révèle que les statistiques du corpus web-PDF souffrent d'un « biais d'unité » significatif en rapportant des métriques par document plutôt que par jeton, ce qui occulte le fait qu'une petite fraction de documents volumineux contient la majorité du texte et que les politiques de troncature actuelles entraînent la perte de plus de la moitié du contenu total du corpus.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la vaste et chaotique bibliothèque d'Internet, un nouveau type de livre est devenu essentiel pour apprendre à l'intelligence artificielle comment penser. Il ne s'agit pas des pages web que nous parcourons avec une souris, mais de documents numériques dans un format appelé PDF, le standard pour le partage de rapports, d'articles académiques et de formulaires officiels. Pendant des années, les chercheurs construisant ces systèmes intelligents ont traité chaque fichier numérique comme une unité unique et égale. Si un ensemble de données contient un million de documents, ils supposaient qu'il contenait un million de portions d'informations égales, que l'un des fichiers soit un prospectus d'une seule page et l'autre une encyclopédie de cinq cents pages. Cette supposition a façonné la manière dont nous mesurons la taille et la qualité des données utilisées pour entraîner les modèles informatiques les plus avancés au monde. Mais un examen plus approfondi révèle que compter les fichiers est une piètre façon de compter les mots, et que la différence entre ces deux unités change tout ce que nous pensions savoir sur les données.
Une étude récente de Luca Foppiano, de la Common Crawl Foundation, remet en question la manière standard dont les chercheurs décrivent ces collections massives de texte. L'équipe a examiné un instantané spécifique d'Internet datant de 2021, un ensemble de données contenant près de huit millions de PDF web. Alors que les créateurs originaux de ces données rapportaient leur taille en termes de nombre de documents, Foppiano et ses collègues ont décidé de la mesurer par la quantité réelle de texte à l'intérieur de ces fichiers. Ils ont découvert un déséquilibre frappant : les documents n'étaient pas interchangeables du tout. Une infime fraction des fichiers, spécifiquement ceux qui étaient très longs, contenait la grande majorité des mots. En fait, un peu plus de trois pour cent des documents détenaient la moitié de l'ensemble du texte, tandis que les quatre-vingt-dix-sept pour cent restants se partageaient l'autre moitié. Cela signifie que si vous regardez la collection par nombre de fichiers, elle semble être une bibliothèque de notes courtes et de formulaires, mais si vous la regardez par nombre de mots, c'est une bibliothèque dominée par de massifs et longs volumes.
Ce biais de longueur a des conséquences profondes sur la manière dont les données sont traitées et sur ce qui est perdu en cours de route. L'archive Internet qui a fourni ces fichiers possède une règle pour économiser de l'espace de stockage : elle coupe tout fichier dépassant une certaine taille. Pendant longtemps, cette limite était d'un mégaoctet. L'étude montre que cette règle a affecté près d'un quart des documents de la collection, ce qui semble gérable. Cependant, comme les documents les plus longs étaient ceux qui étaient coupés, ces fichiers tronqués contenaient près des deux tiers de tout le texte. Lorsque les chercheurs ont tenté de reconstruire les parties manquantes de ces fichiers coupés, ils ont découvert que les dommages étaient souvent permanents. En utilisant deux outils standards différents pour lire les fichiers endommagés, ils ont constaté qu'un outil ne pouvait récupérer qu'environ onze pour cent des mots manquants, tandis que l'autre n'en récupérait à peine un pour cent. Pour la grande majorité de ces fichiers endommagés, les outils ne pouvaient extraire aucun texte, laissant les modèles informatiques avec une lacune significative dans leurs connaissances.
Les chercheurs ont également examiné ce qui se passe lorsque la limite de stockage est augmentée, un changement survenu en 2025 lorsque la limite a été portée à cinq mégaoctets. Bien que cet ajustement ait réduit le nombre de fichiers coupés, il n'a pas résolu le problème de la perte de texte. Même avec la limite plus élevée, près de trente pour cent du total des mots de la collection seraient encore coupés. L'étude démontre que simplement augmenter la limite de taille ne suffit pas pour sauver le contenu le plus précieux, car les documents les plus volumineux sont souvent si massifs qu'une tranche de cinq mégaoctets est trop petite pour en capturer le début. Les chercheurs ont conclu que la façon dont nous parlons de ces collections de données est trompeuse. Rapporter des statistiques uniquement par le nombre de documents cache la réalité selon laquelle quelques fichiers énormes détiennent presque toute l'information. Pour comprendre véritablement ce que ces systèmes d'intelligence artificielle apprennent, nous devons compter les mots, et non seulement les fichiers, et reconnaître que les méthodes actuelles de stockage et de filtrage d'Internet rejettent la majeure partie du texte dont nous avons besoin.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.