Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

Seit Jahrzehnten verlassen sich Wissenschaftler und Ingenieure auf eine kleine, alternde Sammlung digitaler Dateien, um zu testen, wie gut Computer Daten schrumpfen können, ohne ein einziges Bit an Information zu verlieren. Diese Dateien, die zwischen den späten 1980er und den mittleren 2000er Jahren zusammengestellt wurden, dienen als universeller Maßstab. Da sie klein, stabil und leicht zu finden sind, können Forscher ihre neuen Komprimierungswerkzeuge mit Ergebnissen von vor dreißig Jahren vergleichen. Doch um diese Dateien herum ist ein stilles Problem gewachsen. Während die Daten selbst öffentlich sind, fehlt oft die rechtliche Erlaubnis, sie zu kopieren, zu teilen oder zu modifizieren. In der Welt der digitalen Forschung gilt: Wenn man nicht nachweisen kann, dass man das Recht hat, eine Datei zu teilen, kann man kein neues, zuverlässiges Testset darauf aufbauen. Diese Unsicherheit schafft ein fragiles Fundament: Ein Benchmark, der auf Dateien basiert, die rechtlich gesehen jemand anderem gehören könnten, kann nicht sicher verbreitet, gespiegelt oder aktualisiert werden.

Diese Unsicherheit ist nicht nur eine juristische Formalität; sie ist eine Barriere für den Fortschritt. Wenn Forscher ein modernes Testset erstellen wollen, um diese alten Dateien zu ersetzen, stehen sie vor einer gewaltigen Aufgabe. Sie müssen den rechtlichen Status jeder einzelnen Datei prüfen, um sicherzustellen, dass sie geteilt werden darf. Es gab keine etablierte Methode dafür, und niemand hatte die berühmtesten Sammlungen auditiert, um zu sehen, was diese den Nutzern tatsächlich bezüglich ihrer Rechte mitteilten. Ohne klare Antworten läuft das Fachgebiet Gefahr, eine neue Wissenschaft auf einem Fundament aufzubauen, das ihr jederzeit entzogen werden könnte.

Eugen Spivak, ein unabhängiger Forscher, setzte sich zum Ziel, diese Lücke zu schließen. Zuerst führte er eine gründliche Prüfung von neun weit verbreiteten Testsammlungen durch, die das Rückgrat der Datenkompressionsforschung bilden. Er untersuchte deren öffentliche Seiten und Download-Archive, um zu sehen, welche Informationen sie über Eigentum, Herkunft und die spezifischen Regeln für die Verwendung jeder Datei bereitstellten. Die Ergebnisse waren ernüchternd. Von den neun von ihm überprüften Sammlungen lieferte keine einzige eine Lizenzerklärung für ihre Dateien. Insgesamt zirkulierten 76 klassische Testdateien ohne eine deklarierte Erlaubnis zur Weiterverbreitung. Obwohl einige Sammlungen vage Beschreibungen darüber boten, woher die Dateien stammten, lieferte keine den spezifischen rechtlichen Text, der den Nachweis erbringen würde, dass eine Datei geteilt werden darf. Zudem dokumentierte keine dieser Sammlungen die exakten Computerbefehle, die verwendet wurden, um die Dateien zu erstellen oder zu modifizieren, und keine bot einen permanenten, unveränderlichen Link zu den Daten an, der mit dem Wandel des Internets Bestand hätte.

Um dies zu lösen, entwickelte Spivak ein neues, strenges Verfahren zur Veröffentlichung von Daten. Anstatt eine ganze Sammlung als eine einzige Einheit mit einer pauschalen Lizenz zu behandeln, behandelt seine Methode jede einzelne Datei als ein eigenes rechtliches Objekt. Für jede Datei muss der Forscher ein „Lineage-Record“ (Herkunftsnachweis) sammeln. Dieser Datensatz enthält den direkten Link zur Quelle der Datei, einen digitalen Fingerabdruck der ursprünglichen Quelle, um zu beweisen, dass sie nicht verändert wurde, und den exakten Computerbefehl, der verwendet wurde, falls die Datei durch Software erstellt wurde. Entscheidend ist, dass der Forscher auch den spezifischen Satz aus der Lizenzseite der Quelle finden und speichern muss, der die Weiterverbreitung explizit erlaubt, zusammen mit dem Datum, an dem dies gelesen wurde. Dieser Beweis wird so gespeichert, dass selbst wenn die ursprüngliche Website Jahre später geändert wird oder verschwindet, der Nachweis der Erlaubnis erhalten bleibt.

Das Verfahren beinhaltet einen strengen Sicherheitsmechanismus: Eine Datei darf nur dann in den öffentlichen Datensatz aufgenommen werden, wenn zwei unabhängige Prüfer ihren Status bestätigen. Der erste Prüfer erstellt eine Liste von Kandidaten, und ein zweiter Prüfer, der die erste Liste nicht sieht, überprüft jede einzelne Datei noch einmal von Grund auf neu. Diese „blinde“ Zweitprüfung ist darauf ausgelegt, Fehler abzufangen, die ein einfacher Blick auf einen Lizenznamen übersehen könnte. Als Spivak diese Methode auf einen neuen Satz von spielbezogenen Daten anwandte – insbesondere Texturen, 3D-Modelle und Audiodateien aus Videospielen – funktionierte der Prozess genau wie vorgesehen. Aus einem ursprünglichen Pool von 774 Kandidatendateien entfernte der zweite Prüfer 30 Dateien, eine Ablehnungsrate von fast 4 Prozent. Dies waren nicht Dateien mit dem falschen Lizenznamen; es waren Dateien mit subtilen Problemen, wie etwa unklaren Urheberangaben, Fotos mit identifizierbaren Personen oder Quellen, bei denen der Rechteinhaber nicht bestätigt werden konnte. Ein Prozess mit nur einer Prüfung hätte diese 30 Dateien veröffentlicht, nur um sie später wieder zurückziehen zu müssen, was das Vertrauen in die gesamte Sammlung beschädigt hätte.

Das Endergebnis waren zwei öffentliche Datensätze von Spiel-Assets mit insgesamt über einer Milliarde Bytes an Daten. Ein Datensatz enthielt 744 Dateien, die jeder ohne Einschränkung nutzen darf, und ein anderer enthielt 13 Dateien, die lediglich eine einfache Nennung des ursprünglichen Erstellers erfordern. Die Veröffentlichung beinhaltete ein Manifest, eine detaillierte Liste, die als Karte für die Daten dient und zeigt, wie jede Datei erstellt wurde und welche rechtliche Erlaubnis dafür galt. Um sicherzustellen, dass die Daten vertrauenswürdig sind, testete der Forscher auch, ob die digitalen Archive exakt so wiederaufgebaut werden konnten, wie sie waren. Er stellte fest, dass der digitale Fingerabdruck eines Archivs unglaublich empfindlich ist; selbst ein winziger, unsichtbarer Unterschied darin, wie die Computer-Software die Datei schreibt – etwa eine Einstellung, die sich ändert, je nachdem, ob der Computer unter Windows oder einem anderen System läuft – würde den Fingerabdruck verändern. Dies bedeutete, dass für eine echte Reproduzierbarkeit die Publikation jede einzelne Einstellung auflisten muss, die zur Erstellung des Archivs verwendet wurde, und nicht nur die Dateien innerhalb des Archivs.

Nach der Veröffentlichung der Daten ergab eine Nachkontrolle geringfügige Fehler in der Dokumentation, wie etwa falsche Werkzeugnamen oder fehlende Details in der Befehlsliste. Diese wurden korrigiert, indem eine neue Version des Datensatzes veröffentlicht wurde, anstatt die ursprünglichen Dateien stillschweigend zu ändern. Dieser Ansatz stellt sicher, dass jeder, der auf die Daten zurückblickt, genau sehen kann, was zu jedem beliebigen Zeitpunkt verfügbar war. Die Studie kommt zu dem Schluss, dass es möglich ist, einen Testkorpus mit klaren, dateibasierten Rechtsnachweisen zu veröffentlichen, aber dies erfordert einen erheblichen Zeitaufwand und eine zweite, unabhängige Prüfung, um die subtilen Fehler abzufangen, die bei einer einfachen Prüfung durchrutschen. Die klassischen Sammlungen, die seit Jahrzehnten genutzt werden, verbleiben in einem Zustand rechtlicher Unsicherheit, aber dieses neue Verfahren bietet einen klaren Weg für jeden, der die nächste Generation zuverlässiger, teilbarer Daten für die wissenschaftliche Forschung aufbauen möchte.