Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

Ogni volta che un ricercatore scarica un file digitale per testare una nuova teoria, o un programmatore copia un set di dati per addestrare un'intelligenza artificiale, sta entrando in una catena di custodia che è spesso invisibile. Questi file sono le materie prime della scoperta moderna, eppure le regole che ne governano l'uso sono frequentemente poco chiare. Un file può provenire da un'università, da un archivio governativo o da un'azienda privata, e ogni fonte ha il proprio set di permessi. Alcune permettono a chiunque di usare i dati liberamente; altre vietano l'uso commerciale o richiedono che venga dato il credito al creatore originale. Quando un file viene copiato, spostato o mescolato con altri, questi permessi devono viaggiare con esso. Se non lo fanno, la persona che detiene il file non può sapere se è autorizzata a condividerlo, da dove provenga realmente o come sia stato creato. Senza questa conoscenza, l'intera catena della ricerca diventa fragile, costruita su supposizioni piuttosto che su fatti.

Per anni, gli audit di queste collezioni digitali si sono concentrati sul quadro generale. Hanno contato quanti grandi dataset mancassero di regole chiare, riscontrando che la maggior parte delle grandi collezioni era priva della documentazione necessaria. Tuttavia, questi controlli ampi spesso trascurano i dettagli che contano di più per la persona che detiene effettivamente un singolo file. Trattano una collezione come un unico contenitore, assumendo che se il contenitore ha un'etichetta, ogni elemento all'interno condivida le stesse regole. Ma in realtà, un singolo dataset può contenere file provenienti da decine di fonti diverse, ognuna con la propria storia unica e il proprio stato legale. Quando un file viene estratto da quel contenitore e utilizzato in un nuovo progetto, l'etichetta grande esterna non racconta più tutta la storia.

Un recente studio del ricercatore indipendente Eugen Spivak sposta l'attenzione dal contenitore ai singoli elementi al suo interno. La ricerca pone una domanda semplice ma difficile: dove risiede effettivamente l'evidenza? La prova dell'origine di un file e dei suoi permessi vive a livello dell'intera collezione, o è registrata per ogni specifico file? Per rispondere a questo, il ricercatore ha esaminato ventinove collezioni pubbliche di dati utilizzate in campi che vanno dall'apprendimento automatico alla preservazione digitale. Queste collezioni sono state scelte per rappresentare diverse comunità: quelle che comprimono i dati per risparmiare spazio, quelle che addestrano l'intelligenza artificiale e quelle che preservano i formati digitali a lungo termine. Lo studio ha anche esaminato diciassette diversi standard e framework — essenzialmente i manuali di istruzioni e i modelli che i ricercatori usano per descrivere i loro dati — per vedere cosa siano in grado di registrare.

L'indagine ha rivelato un divario significativo tra ciò che è possibile e ciò che sta effettivamente accadendo. I manuali di istruzioni, noti come standard di metadati, sono sorprendentemente capaci. Molti di essi hanno già la capacità tecnica di allegare un permesso specifico, un link alla fonte o un'impronta digitale a un singolo file. Alcuni di questi standard possono persino registrare una revisione del file o un record di come sia stato creato. Tuttavia, lo studio ha scoperto che quasi nessuno utilizza queste capacità. Nelle ventinove collezioni esaminate, nemmeno una riportava un identificatore unico e permanente per la collezione stessa, uno strumento che permetterebbe ai ricercatori di trovare la versione esatta dei dati anni dopo. Solo cinque delle ventinove collezioni registravano un permesso specifico per ogni singolo file. Nella maggior parte dei casi, i permessi erano o del tutto assenti, o scritti in testo semplice che un computer non può leggere, o applicati all'intera collezione indipendentemente dalle differenze tra i file al suo interno.

Il ricercatore ha anche testato se gli strumenti progettati per controllare questi record funzionino effettivamente. Anche quando un file ha un permesso allegato in un formato standard, il software utilizzato per validare questi record spesso lo ignora. Ad esempio, uno standard popolare permette a un file di avere la propria licenza, ma il software che controlla il file non verifica se tale licenza sia valida o anche se sia una licenza reale. Si limita ad accettare qualsiasi testo sia presente. Questo crea una situazione in cui la tecnologia esiste per risolvere il problema, ma gli strumenti che ne applicano le regole non sono ancora pronti a usarla. Lo studio ha concluso che la parte mancante non è una mancanza di vocabolario o di capacità degli standard, ma una mancanza di adozione e di strumenti di controllo affidabili.

Per dimostrare che un sistema migliore è possibile, il ricercatore ha costruito un piccolo toolkit pratico. Questo kit permette a un costruttore di creare una lista semplice per ogni file in una collezione, annotandone la dimensione, un'impronta digitale unica, la fonte e i relativi permessi specifici. Il kit converte poi questa lista in un formato che il software standard possa leggere. Testato su tre diversi tipi di collezioni di dati, il kit ha registrato con successo ciò che era noto, ciò che era sconosciuto e dove le regole erano in conflitto. Ha dimostrato che, sebbene il lavoro richieda impegno, è gestibile. Il costo non risiede nell'elaborazione di milioni di file, ma nel tempo umano necessario per raccogliere le informazioni per le diverse fonti e trasformazioni coinvolte.

I risultati suggeriscono che la soluzione risiede in un cambio di prospettiva. Inveve di sperare che un'unica etichetta su un dataset copra tutto, i ricercatori devono registrare l'evidenza al livello in cui il file viene effettivamente utilizzato. Ciò significa allegare un record specifico a ogni file che viaggi con esso, ovunque vada. Lo studio offre nove raccomandazioni specifiche per far sì che ciò accada. Chiede ai creatori di collezioni di dati di pubblicare una lista dettagliata per ogni file che rilasciano. Chiede alle piattaforme che ospitano queste collezioni di smettere di sovrascrivere i record dei creatori con i propri riassunti generici. Esorta i manutentori degli standard tecnici ad aggiornare i propri strumenti affinché controllino effettivamente questi dettagli a livello di file. Infine, chiede ai revisori di articoli scientifici di controllare questi cinque elementi chiave di evidenza prima di accettare uno studio.

La strada da seguire è chiara ma richiede coordinamento. La tecnologia per tracciare la storia e i permessi di ogni file esiste già nei manuali di istruzioni. La sfida è fare in modo che le persone che creano i dati, le piattaforme che li ospitano e gli strumenti che li controllano concordino tutti sull'utilizzo di essa. Portando l'evidenza dalla descrizione generale di una collezione al record specifico di ogni file, la comunità scientifica può garantire che i materiali digitali di oggi rimangano affidabili, utilizzabili e legalmente solidi per le scoperte di domani. Lo studio non pretende di aver risolto il problema delle licenze dei dati, ma ha mappato esattamente dove risiede l'evidenza e ha dimostrato che il divario è di pratica, non di possibilità.