Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

Jedes Mal, wenn ein Forscher eine digitale Datei herunterlädt, um eine neue Theorie zu testen, oder ein Entwickler einen Datensatz kopiert, um eine künstliche Intelligenz zu trainieren, betritt er eine Kette der Zuständigkeit (Chain of Custody), die oft unsichtbar ist. Diese Dateien sind die Rohstoffe moderner Entdeckungen, doch die Regeln, die ihre Verwendung regeln, sind häufig unklar. Eine Datei kann von einer Universität, einem Regierungsarchiv oder einem privaten Unternehmen stamchen, und jede Quelle hat ihre eigenen Berechtigungen. Einige erlauben es jedem, die Daten frei zu nutzen; andere verbieten die kommerzielle Nutzung oder verlangen, dass der ursprüngliche Schöpfer genannt wird. Wenn eine Datei kopiert, verschoben oder mit anderen vermischt wird, müssen diese Berechtigungen sie begleiten. Wenn dies nicht geschieht, kann die Person, die die Datei hält, nicht wissen, ob sie berechtigt ist, sie zu teilen, woher sie wirklich stammt oder wie sie erstellt wurde. Oh

Ohne dieses Wissen wird die gesamte Forschungskette fragil, gebaut auf Annahmen statt auf Fakten.

Jahrelang konzentrierten sich Audits dieser digitalen Sammlungen auf das große Ganze. Sie zählten, wie viele große Datensätze keine klaren Regeln aufweisen, und stellten fest, dass den meisten großen Sammlungen die notwendigen Unterlagen fehlen. Diese breiten Überprüfungen übersehen jedoch oft die Details, die für die Person, die tatsächlich eine einzelne Datei hält, am wichtigsten sind. Sie behandeln eine Sammlung wie einen einzelnen Karton und gehen davon aus, dass, wenn der Karton ein Etikett trägt, alle darin enthaltenen Artikel dieselben Regeln teilen. In der Realität kann ein einzelner Datensatz jedoch Dateien aus Dutzenden verschiedener Quellen enthalten, jede mit ihrer eigenen einzigartigen Geschichte und ihrem rechtlichen Status. Wenn eine Datei aus diesem Karton extrahiert und in einem neuen Projekt verwendet wird, erzählt das große Etikett auf der Außenseite nicht mehr die ganze Geschichte.

Eine aktuelle Studie des unabhängigen Forschers Eugen Spivak verlagert den Fokus vom Karton auf die einzelnen Gegenstände darin. Die Forschung stellt eine einfache, aber schwierige Frage: Wo liegt der Beweis tatsächlich? Liegt der Nachweis über den Ursprung und die Berechtigungen einer Datei auf der Ebene der gesamten Sammlung, oder wird er für jede spezifische Datei aufgezeichnet? Um dies zu beantworten, untersuchte der Forscher neunundzwanzig öffentliche Datensammlungen, die in Bereichen von maschinellem Lernen bis hin zur digitalen Archivierung eingesetzt werden. Diese Sammlungen wurden gewählt, um verschiedene Gemeinschaften zu repräsentieren: solche, die Daten zur Platzersparnis komprimieren, solche, die künstliche Intelligenz trainieren, und solche, die digitale Formate langfristig bewahren. Die Studie überprüfte zudem siebzehn verschiedene Standards und Frameworks – im Wesentlichen die Regelwerke und Vorlagen, die Forscher verwenden, um ihre Daten zu beschreiben – um zu sehen, wozu sie in der Lage sind.

Die Untersuchung ergab eine signifikante Lücke zwischen dem, was möglich ist, und dem, was tatsächlich geschieht. Die Regelwerke, bekannt als Metadaten-Standards, sind überraschend leistungsfähig. Viele von ihnen besitzen bereits die technische Fähigkeit, eine spezifische Berechtigung, einen Quellenlink oder einen digitalen Fingerabdruck an eine einzelne Datei anzuhängen. Einige dieser Standards können sogar eine Bewertung der Datei oder einen Datensatz darüber aufzeichnen, wie sie erstellt wurde. Die Studie stellte jedoch fest, dass fast niemand diese Fähigkeiten nutzt. In den untersuchten neunundzwanzig Sammlungen trug keine einzige eine permanente, eindeutige Kennung für die Sammlung selbst, ein Werkzeug, das es Forschern ermöglichen würde, die exakte Version der Daten Jahre später wiederzufinden. Nur fünf der neunundzwanzig Sammlungen zeichneten eine spezifische Berechtigung für jede einzelne Datei auf. Meistens fehlten die Berechtigungen ganz, waren in reinem Text verfasst, den ein Computer nicht lesen kann, oder wurden auf die gesamte Sammlung angewendet, ungeachtet der Unterschiede zwischen den Dateien im Inneren.

Der Forscher testete auch, ob die Werkzeuge, die dazu dienen, diese Datensätze zu prüfen, tatsächlich funktionieren. Selbst wenn eine Datei in einem Standardformat mit einer Berechtigung versehen ist, ignoriert die Software, die diese Datensätze validiert, diese oft. Beispielsweise erlaubt einer der populären Standards einer Datei, eine eigene Lizenz zu besitzen, aber die Software, die die Datei prüft, verifiziert nicht, ob diese Lizenz gültig oder überhaupt eine echte Lizenz ist. Sie akzeptiert einfach den vorhandenen Text. Dies schafft eine Situation, in der die Technologie existiert, um das Problem zu lösen, aber die Werkzeuge, die die Regeln durchsetzen sollen, noch nicht bereit sind, sie zu nutzen. Die Studie kam zu dem Schluss, dass das fehlende Puzzleteil nicht ein Mangel an Vokabular oder Kapazität in den Standards ist, sondern ein Mangel an Anwendung und an zuverlässigen Prüfwerkzeugen.

Um zu demonstrieren, dass ein besseres System möglich ist, baute der Forscher ein kleines, praktisches Toolkit. Dieses Kit ermöglicht es einem Ersteller, eine einfache Liste für jede Datei in einer Sammlung zu erstellen, wobei Größe, ein eindeutiger digitaler Fingerabdruck, die Quelle und die spezifischen Berechtigungen vermerkt werden. Das Kit wandelt diese Liste dann in ein Format um, das von Standardsoftware gelesen werden kann. Bei Tests an drei verschiedenen Arten von Datensammlungen zeichnete das Kit erfolgreich auf, was bekannt, was unbekannt und wo die Regeln im Konflikt standen. Es zeigte, dass die Arbeit zwar Aufwand erfordert, aber handhabbar ist. Die Kosten liegen nicht in der Verarbeitung von Millionen von Dateien, sondern in der menschlichen Zeit, die benötigt wird, um die Informationen für die verschiedenen Quellen und Transformationen zu sammeln.

Die Ergebnisse legen nahe, dass die Lösung in einem Perspektivwechsel liegt. Anstatt zu hoffen, dass ein einzelnes Etikett auf einem Datensatz alles abdeckt, müssen Forscher die Belege auf der Ebene erfassen, auf der die Datei tatsächlich verwendet wird. Das bedeutet, einen spezifischen Datensatz an jede Datei anzuhängen, der sie begleitet, egal wohin sie geht. Die Studie bietet neun spezifische Empfehlungen, um dies zu erreichen. Sie ruft die Ersteller von Datensammlungen dazu auf, eine detaillierte Liste für jede von ihnen freigegebene Datei zu veröffentlichen. Sie bittet die Plattformen, die diese Sammlungen hosten, damit aufzuhören, die Datensätze der Ersteller mit ihren eigenen generischen Zusammenfassungen zu überschreiben. Sie fordert die Verwalter der technischen Standards auf, ihre Werkzeuge zu aktualisieren, damit sie tatsächlich für diese Details auf Dateiebene prüfen. Schließlich bittet sie die Rezensenten wissenschaftlicher Arbeiten, vor der Annahme einer Studie fünf entscheidende Belege zu prüfen.

Der Weg nach vorn ist klar, erfordert aber Koordination. Die Technologie, um die Geschichte und die Berechtigungen jeder Datei zu verfolgen, existiert bereits in den Regelwerken. Die Herausforderung besteht darin, sicherzustellen, dass die Menschen, die die Daten erstellen, die Plattformen, die sie hosten, und die Werkzeuge, die sie prüfen, alle zustimmen, dies auch zu nutzen. Indem die Beweise von der allgemeinen Beschreibung einer Sammlung zum spezifischen Datensatz jeder einzelnen Datei verlagert werden, kann die wissenschaftliche Gemeinschaft sicherstellen, dass die digitalen Materialien von heute für die Entdeckungen von morgen vertrauenswürdig, nutzbar und rechtlich fundiert bleiben. Die Studie behauptet nicht, das Problem der Datenlizenzierung gelöst zu haben, aber sie hat genau kartiert, wo der Beweis liegt, und gezeigt, dass die Lücke in der Praxis und nicht in der Möglichkeit liegt.