Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

Decennialang hebben wetenschappers en ingenieurs vertrouwd op een kleine, verouderde collectie digitale bestanden om te testen hoe goed computers gegevens kunnen verkleinen zonder een enkel bit aan informatie te verliezen. Deze bestanden, samengesteld tussen de late jaren '80 en het midden van de jaren 2000, fungeren als een universele meetlat. Omdat ze klein, stabiel en gemakkelijk te vinden zijn, kunnen onderzoekers hun nieuwe compressietools vergelijken met resultaten van dertig jaar geleden. Er is echter een stil probleem ontstaan rond deze bestanden. Hoewel de gegevens zelf publiek zijn, ontbreekt het vaak aan de juridische toestemming om ze te kopiëren, te delen of aan te passen. In de wereld van digitaal onderzoek geldt: als je niet kunt bewijzen dat je het recht hebt om een bestand te delen, kun je geen nieuwe, betrouwbare testset op basis daarvan bouwen. Deze onzekerheid creëert een kwetsbare fundering: een benchmark gebouwd op bestanden die juridisch gezien misschien aan iemand anders toebehoren, kan niet veilig worden gedistribueerd, gespiegeld of bijgewerkt.

Deze onzekerheid is niet slechts een juridische formaliteit; het is een barrière voor vooruitgang. Wanneer onderzoekers een moderne testset willen creëren om deze oude bestanden te vervangen, staan ze voor een ontmoedigende taak. Ze moeten de juridische status van elk afzonderlijk bestand controleren om er zeker van te zijn dat het gedeeld mag worden. Er was geen gevestigde methode voor om dit te doen, en niemand had de beroemdste collecties gecontroleerd om te zien wat ze gebruikers daadwerkelijk vertelden over hun rechten. Zonder duidelijke antwoorden loopt het vakgebied het risico nieuwe wetenschap te bouwen op een fundament dat op elk moment onder hen vandaan getrokken kan worden.

Eugen Spivak, een onafhankelijk onderzoeker, zette zich in om dit gat te dichten. Hij voerde eerst een grondige audit uit van negen veelgebruikte testcollecties die de ruggengraat vormen van onderzoek naar datacompressie. Hij onderzocht hun publieke pagina's en downloadarchieven om te zien welke informatie zij boden over eigendom, herkomst en de specifieke regels voor het gebruik van elk bestand. De resultaten waren schokkend. Van de negen door hem onderzochte collecties bood geen enkele een licentieclausule voor de bestanden. In totaal circuleerden 76 klassieke testbestanden zonder enige vermelding van toestemming voor herdistributie. Hoewel enkele collecties vage beschrijvingen boden over waar bestanden vandaan kwamen, bood geen enkele de specifieke juridische tekst die nodig is om te bewijzen dat een bestand gedeeld mag worden. Bovendien legde geen van deze collecties de exacte computeropdrachten vast die werden gebruikt om de bestanden te maken of aan te passen, en bood geen enkele een permanente, onveranderlijke link naar de gegevens die zou blijven bestaan wanneer het internet verandert.

Om dit op te lossen, ontwikkelde Spivak een nieuwe, rigoureuze procedure voor het publiceren van gegevens. In plaats van een hele collectie te behandelen als één eenheid met één algemene licentie, behandelt zijn methode elk afzonderlijk bestand als een eigen juridische entiteit. Voor elk bestand moet de onderzoeker een "lineage record" (afkomstregister) verzamelen. Dit record bevat de directe link naar de bron van het bestand, een digitale vingerafdruk van de oorspronkelijke bron om te bewijzen dat het niet is gewijzigd, en de exacte computeropdracht die werd gebruikt om het bestand te genereren als het door software is gemaakt. Cruciaal is dat de onderzoeker ook de specifieke zin uit de licentiepagina van de bron moet vinden en opslaan die expliciet herdistributie toestaat, samen met de datum waarop deze is gelezen. Dit bewijs wordt bewaard, zodat zelfs als de oorspronkelijke website jaren later verandert of verdwijnt, het bewijs van toestemming behouden blijft.

De procedure bevat een strikt veiligheidsmechanisme: een bestand mag alleen in het publieke register worden opgenomen als twee onafhankelijke beoordelaars het eens zijn over de status ervan. De eerste beoordelaar stelt een lijst met kandidaten samen, en een tweede beoordelaar, die de eerste lijst niet ziet, controleert elk bestand opnieuw vanaf nul. Deze "blinde" tweede controle is ontworpen om fouten te vangen die een eenvoudige blik op een licentienaam zou missen. Toen Spivak deze methode toepaste op een nieuwe set game-gerelateerde gegevens—specifiek texturen, 3D-modellen en audiobestanden die in videogames worden gebruikt—werkte het proces precies zoals bedoeld. Van een initiële pool van 774 kandidaatbestanden verwijderde de tweede beoordelaar 30 bestanden, een afwijzingspercentage van bijna 4 procent. Dit waren niet bestanden met de verkeerde licentienaam; het waren bestanden met subtiele problemen, zoals onduidelijke auteursvermeldingen, foto's met identificeerbare personen, of bronnen waarbij de rechtenhouder niet kon worden bevestigd. Een proces met één beoordeling zou deze 30 bestanden hebben gepubliceerd, om ze later weer in te trekken, wat het vertrouwen in de gehele collectie zou schaden.

Het eindresultaat was twee publieke registers van game-assets, met in totaal meer dan één miljard bytes aan gegevens. Eén register bevatte 744 bestanden die zonder beperkingen door iedereen gebruikt mogen worden, en een ander bevatte 13 bestanden die een eenvoudige vermelding van de oorspronkelijke maker vereisen. De publicatie omvatte een manifest, een gedetailleerde lijst die fungeert als een kaart voor de gegevens, die laat zien hoe elk bestand is gemaakt en welke juridische toestemming het dekte. Om te garanderen dat de gegevens betrouwbaar zijn, testte de onderzoeker ook of de digitale archieven exact zo herbouwd konden worden als ze waren. Hij ontdekte dat de digitale vingerafdruk van een archief extreem gevoelig is; zelfs een minuscuul, onzichtbaar verschil in de manier waarop de computersoftware het bestand schrijft—zoals een instelling die verandert afhankelijk van de vraag of de computer op Windows of een ander systeem draait—zou de vingerafdruk veranderen. Dit betekende dat voor gegevens die werkelijk reproduceerbaar zijn, de publicatie elke instelling moet vermelden die werd gebruikt om het archief te maken, en niet alleen de bestanden die erin zitten.

Nadat de gegevens waren gepubliceerd, vond een vervolgcontrole kleine fouten in de documentatie, zoals onjuiste werktuignamen of ontbrekende details in de lijst met opdrachten. Deze werden gecorrigeerd door een nieuwe versie van het record uit te brengen, in plaats van de oorspronkelijke bestanden stilletjes te wijzigen. Deze aanpak zorgt ervoor dat iedereen die terugkijkt op de gegevens, precies kan zien wat er op elk gegeven moment beschikbaar was. De studie concludeert dat het mogelijk is om een testcorpus te publiceren met duidelijk, bestand-per-bestand juridisch bewijs, maar dat dit een aanzienlijke investering van tijd en een tweede, onafhankelijke beoordeling vereist om de subtiele fouten te vangen die door een enkele controle heen glippen. De klassieke collecties die al decennia worden gebruikt, blijven in een staat van juridische onzekerheid, maar deze nieuwe procedure biedt een duidelijke weg voorwaarts voor iedereen die de volgende generatie betrouwbare, deelbare gegevens voor wetenschappelijk onderzoek wil bouwen.