Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Dit artikel onthult dat de statistieken van web-PDF-corpora lijden aan een significante "eenheidsbias" door metrieken per document in plaats van per token te rapporteren, wat het feit verhult dat een klein deel van de grote documenten de meerderheid van de tekst bevat en dat huidige afkapbeleid resulteert in het verlies van meer dan de helft van de totale inhoud van het corpus.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, chaotische bibliotheek van het internet is een nieuw soort boek essentieel geworden om kunstmatige intelligentie te leren denken. Dit zijn niet de webpagina's die we met een muis doorbladeren, maar digitale documenten in een formaat dat PDF wordt genoemd, de standaard voor het delen van rapporten, academische papers en officiële formulieren. Jarenlang hebben onderzoekers die deze intelligente systemen bouwen, elk digitaal bestand behandeld als een enkele, gelijke eenheid. Als een dataset een miljoen documenten bevat, gingen zij ervan uit dat deze een miljoen gelijke porties informatie bevatte, ongeacht of één bestand een eendelige flyer was en een ander een vijfhonderd pagina tellende encyclopedie. Deze aanname heeft bepaald hoe we de omvang en kwaliteit van de data meten die wordt gebruikt om de meest geavanceerde computermodellen ter wereld te trainen. Maar een nadere blik onthult dat het tellen van bestanden een slechte manier is om woorden te tellen, en dat het verschil tussen de twee eenheden alles verandert wat we dachten te weten over de data.
Een recente studie door Luca Foppiano van de Common Crawl Foundation daagt de standaardmanier uit waarop onderzoekers deze enorme collecties tekst beschrijven. Het team onderzocht een specifieke snapshot van het internet uit 2021, een dataset die bijna acht miljoen web-PDF's bevat. Terwijl de oorspronkelijke makers van deze data de omvang ervan rapporteerden in termen van het aantal documenten, besloten Foppiano en zijn collega's de omvang te meten aan de hand van de werkelijke hoeveelheid tekst in die bestanden. Ze ontdekten een verbijsterende onbalans: de documenten waren helemaal niet uitwisselbaar. Een klein deel van de bestanden, specifiek die welke zeer lang waren, bevatte de overgrote meerderheid van de woorden. Sterker nog, slechts iets meer dan drie procent van de documenten bevatte de helft van de totale tekst, terwijl de resterende negentig zeven procent de andere helft deelde. Dit betekent dat als je naar de collectie kijkt op basis van het aantal bestanden, het lijkt op een bibliotheek van korte notities en formulieren, maar als je ernaar kijkt op basis van het aantal woorden, is het een bibliotheek die gedomineerd wordt door enorme, omvangrijke volumes.
Deze scheefgroei in lengte heeft diepgaande gevolgen voor hoe de data wordt verwerkt en wat er onderweg verloren gaat. Het internetarchief dat deze bestanden leverde, heeft een regel om opslagruimte te besparen: het kapt elk bestand af dat groter is dan een bepaalde omvang. Lange tijd was die limiet één megabyte. De studie laat zien dat deze regel bijna een kwart van de documenten in de collectie beïnvloedde, wat beheersbaar klinkt. Echter, omdat juist de langste documenten degenen waren die werden afgekapt, bevatten deze afgekapte bestanden bijna twee derde van alle tekst. Toen de onderzoekers probeerden de ontbrekende delen van deze afgekapte bestanden te reconstrueren, ontdekten ze dat de schade vaak permanent was. Met behulp van twee verschillende standaardtools om de beschadigde bestanden te lezen, ontdekten ze dat de ene tool slechts ongeveer elf procent van de ontbrekende woorden kon herstellen, terwijl de andere nauwelijks één procent herstelde. Voor de overgrote meerderheid van deze beschadigde bestanden konden de tools helemaal geen tekst extraheren, waardoor de computermodellen met een aanzienlijk gat in hun kennis achterbleven.
De onderzoekers keken ook naar wat er gebeurt wanneer de opslaglimiet wordt verhoogd, een verandering die plaatsvond in 2025 toen de limiet werd verhoogd naar vijf megabyte. Hoewel deze aanpassing het aantal afgekapte bestanden verminderde, loste het het probleem van verloren tekst niet op. Zelfs met de hogere limiet zou nog steeds bijna dertig procent van de totale woorden in de collectie worden afgekapt. De studie toont aan dat het simpelweg verhogen van de omvanglimiet niet genoeg is om de meest waardevolle inhoud te redden, omdat de grootste documenten vaak zo massief zijn dat zelfs een segment van vijf megabyte te klein is om hun begin te vangen. De onderzoekers concludeerden dat de manier waarop we over deze datacollecties spreken misleidend is. Het rapporteren van statistieken enkel op basis van het aantal documenten verbergt de realiteit dat een paar enorme bestanden bijna alle informatie bevatten. Om echt te begrijpen wat deze kunstmatige intelligentiesystemen leren, moeten we de woorden tellen, niet alleen de bestanden, en erkennen dat de huidige methoden voor het opslaan en filteren van het internet het grootste deel van de tekst die we nodig hebben, weggooien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.