Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

Elke keer dat een onderzoeker een digitaal bestand downloadt om een nieuwe theorie te testen, of een ontwikkelaar een dataset kopieert om een kunstmatige intelligentie te trainen, stapt hij in een keten van bewaring die vaak onzichtbaar is. Deze bestanden zijn de grondstoffen van moderne ontdekkingen, maar de regels die het gebruik ervan beheersen zijn vaak onduidelijk. Een bestand kan afkomstig zijn van een universiteit, een overheidsarchief of een privaat bedrijf, en elke bron heeft zijn eigen set permissies. Sommige staan toe dat iedereen de data vrij gebruikt; andere verbieden commercieel gebruik of vereisen dat er krediet wordt gegeven aan de oorspronkelijke maker. Wanneer een bestand wordt gekopieerd, verplaatst of gemengd met anderen, moeten deze permissies ermee mee reizen. Als dat niet gebeurt, kan de persoon die het bestand bezit niet weten of hij het mag delen, waar het werkelijk vandaan komt of hoe het is gemaakt. Zonder deze kennis wordt de gehele onderzoeksketen fragiel, gebouwd op aannames in plaats van feiten.

Jarenlang hebben audits van deze digitale collecties zich gericht op het grote plaatje. Ze hebben geteld hoeveel grote datasets geen duidelijke regels hebben, waarbij werd vastgesteld dat de meeste grote collecties de noodzakelijke documentatie missen. Deze brede controles missen echter vaak de details die er het meest toe doen voor de persoon die daadwerkelijk een enkel bestand vasthoudt. Ze behandelen een collectie als één enkele doos, uitgaande van de veronderstelling dat als de doos een label heeft, elk item binnenin dezelfde regels deelt. Maar in werkelijkheid kan een enkele dataset bestanden bevatten van tientallen verschillende bronnen, elk met zijn eigen unieke geschiedenis en juridische status. Wanneer een bestand uit die doos wordt gehaald en in een nieuw project wordt gebruikt, vertelt het grote label aan de buitenkant niet langer het hele verhaal.

Een recent onderzoek door onafhankelijk onderzoeker Eugen Spivak verschuift de focus van de doos naar de individuele items binnenin. Het onderzoek stelt een eenvoudige maar moeilijke vraag: waar bevindt het bewijs zich daadwerkelijk? Maakt het bewijs van de herkomst en de permissies van een bestand deel uit van de gehele collectie, of wordt het per specifiek bestand geregistreerd? Om dit te beantwoorden, onderzocht de onderzoeker tweeëntwintig publieke datacollecties die worden gebruikt in velden variërend van machine learning tot digitale bewaring. Deze collecties werden gekozen om verschillende gemeenschappen te vertegenwoordigen: zij die data comprimeren om ruimte te besparen, zij die kunstmatige intelligentie trainen, en zij die digitale formaten voor de lange termijn bewaren. De studie bestudeerde ook zeventien verschillende standaarden en kaders — in essentie de regelboeken en sjablonen die onderzoekers gebruiken om hun data te beschrijven — om te zien wat zij in staat zijn te registreren.

Het onderzoek onthulde een significante kloof tussen wat mogelijk is en wat er in de praktijk gebeurt. De regelboeken, bekend als metadatastandaarden, zijn verrassend bekwaam. Veel van hen hebben al de technische capaciteit om een specifieke permissie, een bronlink of een digitale vingerafdruk aan een enkel bestand te koppelen. Sommige van deze standaarden kunnen zelfs een beoordeling van het bestand of een verslag van hoe het is gemaakt registreren. Echter, de studie vond dat bijna niemand deze mogelijkheden benut. In de tweeëntwintig onderzochte collecties droeg geen enkele een permanente, unieke identifier voor de collectie zelf, een hulpmiddel dat onderzoekers in staat zou stellen om de exacte versie van de data jaren later terug te vinden. Slechts vijf van de tweeëntwintig collecties registreerden een specifieke permissie voor elk individueel bestand. Meestal ontbraken de permissies volledig, waren ze geschreven in platte tekst die een computer niet kan lezen, of werden ze toegepast op de hele collectie, ongeacht de verschillen tussen de bestanden binnenin.

De onderzoeker testte ook of de tools die ontworpen zijn om deze records te controleren, daadwerkelijk werken. Zelfs wanneer een bestand een permissie aan zich heeft gekoppeld in een standaardformaat, negeert de software die deze records valideert de informatie vaak. Bijvoorbeeld: een populaire standaard staat toe dat een bestand zijn eigen licentie heeft, maar de software die het bestand controleert, verifieert niet of die licentie geldig is of zelfs maar een echte licentie is. Het accepteert simpelweg welke tekst er ook staat. Dit creëert een situatie waarin de technologie bestaat om het probleem op te lossen, maar de tools die de regels handhaven nog niet klaar zijn om het te gebruiken. De studie concludeerde dat het ontbrekende stuk niet een gebrek aan vocabulaire of capaciteit in de standaarden is, maar een gebrek aan adoptie en een gebrek aan betrouwbare controle-instrumenten.

Om aan te tonen dat een beter systeem mogelijk is, bouwde de onderzoeker een kleine, praktische toolkit. Deze kit stelt een bouwer in staat om een eenvoudige lijst voor elk bestand in een collectie te maken, waarbij de grootte, een unieke digitale vingerafdruk, de bron en de specifieke permissies worden genoteerd. De kit zet deze lijst vervolgens om in een formaat dat standaardsoftware kan lezen. Bij testen op drie verschillende soorten datacollecties, slaagde de kit erin om te registreren wat bekend was, wat onbekend was en waar de regels conflicterden. Het toonde aan dat hoewel het werk inspanning vereist, het beheersbaar is. De kosten zitten niet in het verwerken van miljoenen bestanden, maar in de menselijke tijd die nodig is om de informatie voor de verschillende bronnen en transformaties te verzamelen.

De bevindingen suggereren dat de oplossing ligt in een verschuiving van perspectief. In plaats van te hopen dat een enkel label op een dataset alles dekt, moeten onderzoekers bewijs vastleggen op het niveau waar het bestand daadwerkelijk wordt gebruikt. Dit betekent het koppelen van een specifiek record aan elk bestand dat met het bestand meereist, waar het ook naartoe gaat. De studie biedt negen specifieke aanbevelingen om dit te realiseren. Het roept makers van datacollecties op om een gedetailleerde lijst te publiceren voor elk bestand dat zij vrijgeven. Het vraagt de platforms die deze collecties hosten om niet de records van de makers te overschrijven met hun eigen generieke samenvattingen. Het dringt bij de beheerders van de technische standaarden aan om hun tools bij te werken zodat ze daadwerkelijk controleren op deze details op bestandsniveau. Ten slotte vraagt het aan beoordelaars van wetenschappelijke artikelen om te controleren op deze vijf cruciale stukken bewijs voordat zij een studie accepteren.

De weg vooruit is duidelijk, maar vereist coördinatie. De technologie om de geschiedenis en de permissies van elk bestand te volgen, bestaat al in de regelboeken. De uitdaging is om ervoor te zorgen dat de mensen die de data bouwen, de platforms die het hosten en de tools die het controleren, allemaal instemmen om het te gebruiken. Door het bewijs te verplaatsen van de algemene beschrijving van een collectie naar het specifieke record van elk bestand, kan de wetenschappelijke gemeenschap ervoor zorgen dat de digitale materialen van vandaag betrouwbaar, bruikbaar en juridisch sluitend blijven voor de ontdekkingen van morgen. De studie beweert niet het probleem van datalicenties te hebben opgelost, maar heeft exact in kaart gebracht waar het bewijs zich bevindt en aangetoond dat de kloof een kwestie is van praktijk, niet van mogelijkheid.