Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Este artículo revela que las estadísticas del corpus de PDF web sufren un significativo "sesgo de unidad" al reportar métricas por documento en lugar de por token, lo que oculta el hecho de que una pequeña fracción de los documentos grandes contiene la mayor parte del texto y que las políticas de truncamiento actuales resultan en la pérdida de más de la mitad del contenido total del corpus.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la vasta y caótica biblioteca de internet, un nuevo tipo de libro se ha vuelto esencial para enseñar a la inteligencia artificial a pensar. Estos no son las páginas web que navegamos con un ratón, sino documentos digitales en un formato llamado PDF, el estándar para compartir informes, artículos académicos y formularios oficiales. Durante años, los investigadores que construyen estos sistemas inteligentes han tratado cada archivo digital como una unidad única e igual. Si un conjunto de datos contiene un millón de documentos, asumían que contenía un millón de porciones iguales de información, sin importar si un archivo era un folleto de una sola página y otro era una enciclopedia de quinientas páginas. Esta suposición ha moldeado la forma en que medimos el tamaño y la calidad de los datos utilizados para entrenar los modelos informáticos más avanzados del mundo. Pero una mirada más cercana revela que contar archivos es una mala forma de contar palabras, y la diferencia entre ambas unidades cambia todo lo que creíamos saber sobre los datos.
Un estudio reciente de Luca Foppiano, de la Common Crawl Foundation, desafía la forma estándar en que los investigadores describen estas enormes colecciones de texto. El equipo examinó una instantánea específica de internet de 2021, un conjunto de datos que contiene casi ocho millones de PDFs web. Mientras que los creadores originales de estos datos informaron su tamaño en términos del número de documentos, Foppiano y sus colegas decidieron medirlo por la cantidad real de texto dentro de esos archivos. Encontraron un desequilibrio sorprendente: los documentos no eran intercambiables en absoluto. Una pequeña fracción de los archivos, específicamente aquellos que eran muy largos, contenía la gran mayoría de las palabras. De hecho, poco más del tres por ciento de los documentos poseía la mitad de todo el texto, mientras que el noventa y siete por ciento restante compartía la otra mitad. Esto significa que, si se observa la colección por recuento de archivos, parece ser una biblioteca de notas cortas y formularios, pero si se observa por recuento de palabras, es una biblioteca dominada por volúmenes masivos y extensos.
Este sesgo en la longitud tiene consecuencias profundas para la forma en que se procesan los datos y lo que se pierde en el camino. El archivo de internet que proporcionó estos archivos tiene una regla para ahorrar espacio de almacenamiento: corta cualquier archivo que sea mayor que un tamaño determinado. Durante mucho tiempo, ese límite fue de un megabyte. El estudio muestra que esta regla afectó a casi una cuarta parte de los documentos de la colección, lo cual suena manejable. Sin embargo, debido a que los documentos más largos fueron los que se cortaron, esos archivos truncados contenían casi dos tercios de todo el texto. Cuando los investigadores intentaron reconstruir las partes faltantes de estos archivos cortados, descubrieron que el daño era a menudo permanente. Utilizando dos herramientas estándar diferentes para leer los archivos dañados, descubrieron que una herramienta podía recuperar solo alrededor del once por ciento de las palabras faltantes, mientras que la otra apenas recuperaba el uno por ciento. Para la gran mayoría de estos archivos dañados, las herramientas no podían extraer nada de texto, dejando a los modelos informáticos con un vacío significativo en su conocimiento.
Los investigadores también observaron qué sucede cuando se aumenta el límite de almacenamiento, un cambio que ocurrió en 2025 cuando el límite aumentó a cinco megabytes. Si bien este ajuste redujo el número de archivos cortados, no resolvió el problema del texto perdido. Incluso con el límite más alto, casi el treinta por ciento del total de las palabras en la colección todavía se cortaría. El estudio demuestra que simplemente aumentar el límite de tamaño no es suficiente para salvar el contenido más valioso, porque los documentos más grandes son a menudo tan masivos que incluso una porción de cinco megabytes es demasiado pequeña para capturar su inicio. Los investigadores concluyeron que la forma en que hablamos de estas colecciones de datos es engañosa. Informar estadísticas solo por el número de documentos oculta la realidad de que unos pocos archivos enormes poseen casi toda la información. Para comprender verdaderamente qué están aprendiendo estos sistemas de inteligencia artificial, debemos contar las palabras, no solo los archivos, y reconocer que los métodos actuales de almacenamiento y filtrado de internet están descartando la mayor parte del texto que necesitamos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.