Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Questo articolo rivela che le statistiche del corpus web-PDF soffrono di un significativo "bias di unità" riportando le metriche per documento anziché per token, il che oscura il fatto che una piccola frazione di documenti grandi contiene la maggior parte del testo e che le attuali politiche di troncamento comportano la perdita di oltre la metà del contenuto totale del corpus.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nella vasta e caotica biblioteca di internet, un nuovo tipo di libro è diventato essenziale per insegnare all'intelligenza artificiale come pensare. Questi non sono i siti web che navighiamo con un mouse, ma documenti digitali in un formato chiamato PDF, lo standard per la condivisione di rapporti, articoli accademici e moduli ufficiali. Per anni, i ricercatori che costruiscono questi sistemi intelligenti hanno trattato ogni file digitale come un'unica unità uguale. Se un dataset contiene un milione di documenti, assumevano che contenesse un milione di porzioni di informazione uguali, indipendentemente dal fatto che un file fosse un volantino di una singola pagina e un altro un'enciclopedia di cinquecento pagine. Questa ipotesi ha plasmato il modo in cui misuriamo la dimensione e la qualità dei dati utilizzati per addestrare i modelli informatici più avanzati del mondo. Ma un esame più attento rivela che contare i file è un modo scadente per contare le parole, e la differenza tra le due unità cambia tutto ciò che credevamo di sapere sui dati.
Uno studio recente di Luca Foppiano della Common Crawl Foundation mette in discussione il modo standard in cui i ricercatori descrivono queste enormi collezioni di testo. Il team ha esaminato uno specifico istante dell'internet del 2021, un dataset contenente quasi otto milioni di PDF web. Mentre i creatori originali di questi dati ne riportavano la dimensione in termini di numero di documenti, Foppiano e i suoi colleghi hanno deciso di misurarla in base all'effettiva quantità di testo all'interno di quei file. Hanno scoperto uno squilibrio sorprendente: i documenti non erano affatto intercambiabili. Una piccolissima frazione dei file, specificamente quelli molto lunghi, conteneva la stragrande maggioranza delle parole. Infatti, poco più del tre percento dei documenti conteneva la metà dell'intero testo, mentre il restante novantasette percento condivideva l'altra metà. Ciò significa che se si guarda la collezione per numero di file, sembra essere una biblioteca di brevi note e moduli, ma se la si guarda per numero di parole, è una biblioteca dominata da volumi massicci e lunghi.
Questa asimmetria nella lunghezza ha conseguenze profonde su come i dati vengono elaborati e su ciò che si perde lungo il percorso. L'archivio internet che ha fornito questi file ha una regola per risparmiare spazio di archiviazione: interrompe qualsiasi file più grande di una certa dimensione. Per molto tempo, quel limite è stato di un megabyte. Lo studio mostra che questa regola ha interessato quasi un quarto dei documenti nella collezione, il che sembra gestibile. Tuttavia, poiché i documenti più lunghi erano proprio quelli che venivano tagliati, quei file troncati contenevano quasi due terzi di tutto il testo. Quando i ricercatori hanno cercato di ricostruire le parti mancanti di questi file tagliati, hanno scoperto che il danno era spesso permanente. Utilizzando due diversi strumenti standard per leggere i file danneggiati, hanno scoperto che uno strumento poteva recuperare solo circa l'undici percento delle parole mancanti, mentre l'altro recuperava appena l'uno percento. Per la stragrande maggioranza di questi file danneggiati, gli strumenti non riuscivano a estrarre alcun testo, lasciando ai modelli informatici un vuoto significativo nella loro conoscenza.
I ricercatori hanno anche osservato cosa succede quando il limite di archiviazione viene alzato, un cambiamento avvenuto nel 2025 quando il limite è stato aumentato a cinque megabyte. Sebbene questo aggiustamento abbia ridotto il numero di file tagliati, non ha risolto il problema del testo perso. Anche con il limite più alto, quasi il trenta percento del totale delle parole nella collezione sarebbe comunque stato tagliato. Lo studio dimostra che semplicemente aumentare il limite di dimensione non è sufficiente per salvare il contenuto più prezioso, perché i documenti più grandi sono spesso così massicci che anche una fetta di cinque megabyte è troppo piccola per catturarne l'inizio. I ricercatori hanno concluso che il modo in cui parliamo di queste collezioni di dati è fuorviante. Riportare le statistiche solo per numero di documenti nasconde la realtà per cui pochi file enormi contengono quasi tutte le informazioni. Per comprendere veramente cosa stiano imparando questi sistemi di intelligenza artificiale, dobbiamo contare le parole, non solo i file, e riconoscere che gli attuali metodi di archiviazione e filtraggio di internet stanno scartando la parte principale del testo di cui abbiamo bisogno.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.