Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

Per decenni, scienziati e ingegneri si sono affidati a una piccola e obsoleta collezione di file digitali per testare l'efficacia con cui i computer possono comprimere i dati senza perdere un singolo bit di informazione. Questi file, assemblati tra la fine degli anni '80 e la metà degli anni 2000, fungono da metro universale. Poiché sono piccoli, stabili e facili da trovare, i ricercatori possono confrontare i loro nuovi strumenti di compressione con i risultati di trent'anni fa. Tuttavia, un problema silenzioso è cresciuto attorno a questi file. Sebbene i dati stessi siano pubblici, il permesso legale di copiarli, condividerli o modificarli è spesso mancante. Nel mondo della ricerca digitale, se non puoi dimostrare di avere il diritto di condividere un file, non puoi costruire un nuovo, affidabile set di test sopra di esso. Questa incertezza crea una base fragile: un benchmark costruito su file che potrebbero legalmente appartenere a qualcun altro non può essere distribuito, replicato o aggiornato in sicurezza.

Questa incertezza non è solo un tecnicismo legale; è una barriera al progresso. Quando i ricercatori vogliono creare un set di test moderno per sostituire questi vecchi file, si trovano di fronte a un compito arduo. Devono controllare lo stato legale di ogni singolo file, uno per uno, per garantire che possa essere condiviso. Non esisteva un metodo stabilito per farlo, e nessuno aveva effettuato un audit delle collezioni più famose per vedere cosa comunicassero effettivamente agli utenti riguardo ai loro diritti. Senza risposte chiare, il campo rischia di costruire una nuova scienza su una base che potrebbe essere rimossa sotto i piedi in qualsiasi momento.

Eugen Spivak, un ricercatore indipendente, si è dato il compito di colmare questa lacuna. Ha prima condotto un audit approfondito di nove collezioni di test ampiamente utilizzate che costituiscono l'ossatura della ricerca sulla compressione dei dati. Ha esaminato le loro pagine pubbliche e gli archivi di download per vedere quali informazioni fornissero sull'origine, la proprietà e le regole specifiche per l'uso di ciascun file. I risultati sono stati netti. Su nove collezioni esaminate, otto non fornivano alcuna dichiarazione di licenza per nessuno dei loro file. In totale, 76 classici file di test circolavano senza alcun permesso dichiarato per la ridistribuzione. Sebbene alcune collezioni offrissero descrizioni vaghe su provenienza dei file, nessuna forniva il testo legale specifico necessario per dimostrare che un file potesse essere condiviso. Inoltre, nessuna di queste collezioni registrava i comandi informatici esatti utilizzati per creare o modificare i file, e nessuna offriva un link permanente e immutabile ai dati che potesse sopravvivere al cambiamento di internet.

Per risolvere questo problema, Spivak ha sviluppato una nuova, rigorosa procedura per la pubblicazione dei dati. Invece di trattare un'intera collezione come un'unica unità con una licenza generica, il suo metodo tratta ogni singolo file come un'entità legale a sé stante. Per ogni file, il ricercatore deve raccogliere un "record di lignaggio". Questo record include il link diretto alla provenienza del file, un'impronta digitale della fonte originale per dimostrare che non sia stata alterata e il comando informatico esatto utilizzato per generare il file, qualora fosse stato creato da un software. Fondamentalmente, il ricercatore deve anche trovare e salvare la frase specifica dalla pagina della licenza della fonte che autorizza esplicitamente la ridistribuzione, insieme alla data in cui è stata letta. Questa prova viene salvata in modo che, anche se il sito web originale dovesse cambiare o scomparire anni dopo, la prova del permesso rimanga.

La procedura include un meccanismo di sicurezza rigoroso: un file è ammesso nel record pubblico solo se due revisori indipendenti concordano sul suo stato. Il primo revisore compila un elenco di candidati, e un secondo revisore, che non vede il primo elenco, controlla ogni singolo file partendo da zero. Questa seconda revisione "cieca" è progettata per intercettare errori che un semplice sguardo al nome della licenza potrebbe mancare. Quando Spivak ha applicato questo metodo a un nuovo set di dati relativi ai videogiochi — specificamente texture, modelli 3D e file audio utilizzati nei videogiochi — il processo ha funzionato esattamente come previsto. Da un pool iniziale di 774 file candidati, il secondo revisore ha rimosso 30 file, un tasso di rifiuto di quasi il 4 percento. Questi non erano file con il nome di licenza errato; erano file con problemi sottili, come crediti d'autore poco chiari, foto contenenti persone identificabili o fonti in cui il titolare dei diritti non poteva essere confermato. Un processo a revisione singola avrebbe pubblicato questi 30 file, solo per vederli ritirati in seguito, danneggiando la fiducia nell'intera collezione.

Il risultato finale è stato due record pubblici di asset di gioco, per un totale di oltre un miliardo di byte di dati. Un record conteneva 744 file che erano liberi per chiunque di essere utilizzati senza restrizioni, e un altro conteneva 13 file che richiedevano un semplice credito all'autore originale. La pubblicazione includeva un manifesto, un elenco dettagliato che funge da mappa per i dati, mostrando esattamente come ogni file è stato creato e quale permesso legale lo copriva. Per garantire che i dati potessero essere ritenuti affidabili, il ricercatore ha anche testato se gli archivi digitali potessero essere ricostruiti esattamente come erano. Ha scoperto che l'impronta digitale di un archivio è incredibilmente sensibile; anche una minima, invisibile differenza nel modo in cui il software scrive il file — come un'impostazione che cambia in base al fatto che il computer stia eseguendo Windows o un altro sistema — cambierebbe l'impronta digitale. Ciò significava che, affinché i dati siano davvero riproducibili, la pubblicazione deve elencare ogni singola impostazione utilizzata per creare l'archivio, non solo i file contenuti in esso.

Dopo la pubblicazione dei dati, un controllo successivo ha riscontrato errori minori nella documentazione, come nomi di strumenti errati o dettagli mancanti nell'elenco dei comandi. Questi sono stati corretti rilasciando una nuova versione del record, invece di cambiare silenziosamente i file originali. Questo approccio assicura che chiunque consulti i dati possa vedere esattamente cosa era disponibile in qualsiasi momento. Lo studio conclude che è possibile pubblicare un corpus di test con una chiara prova legale file per file, ma ciò richiede un investimento significativo di tempo e una seconda revisione indipendente per intercettare gli errori sottili che sfuggono a un controllo singolo. Le collezioni classiche utilizzate da decenni rimangono in uno stato di incertezza legale, ma questa nuova procedura offre un percorso chiaro per chiunque desideri costruire la prossima generazione di dati affidabili e condivisibili per la ricerca scientifica.