Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

Chaque fois qu'un chercheur télécharge un fichier numérique pour tester une nouvelle théorie, ou qu'un développeur copie un ensemble de données pour entraîner une intelligence artificielle, il pénètre dans une chaîne de responsabilité qui est souvent invisible. Ces fichiers sont les matières premières de la découverte moderne, pourtant les règles régissant leur utilisation sont fréquemment obscures. Un fichier peut provenir d'une université, d'une archive gouvernementale ou d'une entreprise privée, et chaque source possède son propre ensemble de permissions. Certaines permettent à n'importe qui d'utiliser les données librement ; d'autres interdisent l'usage commercial ou exigent que le crédit soit attribué au créateur original. Lorsqu'un fichier est copié, déplacé ou mélangé à d'autres, ces permissions doivent l'accompagner. Si elles ne le font pas, la personne qui détient le fichier ne peut savoir s'il est autorisé à le partager, d'où il provient réellement, ou comment il a été fabriqué. Sans cette connaissance, toute la chaîne de recherche devient fragile, bâtie sur des suppositions plutôt que sur des faits.

Pendant des années, les audits de ces collections numériques se sont concentrés sur la vue d'ensemble. Ils ont comptabilisé combien de grands ensembles de données manquaient de règles claires, constatant que la plupart des collections majeures manquaient de la documentation nécessaire. Cependant, ces vérifications globales passent souvent à côté des détails qui importent le plus à la personne qui détient réellement un seul fichier. Elles traitent une collection comme une boîte unique, supposant que si la boîte porte une étiquette, chaque article à l'intérieur partage les mêmes règles. Mais en réalité, un seul ensemble de données peut contenir des fichiers provenant de dizaines de sources différentes, chacune ayant sa propre histoire et son statut juridique unique. Lorsqu'un fichier est extrait de cette boîte et utilisé dans un nouveau projet, la grande étiquette à l'extérieur ne raconte plus toute l'histoire.

Une étude récente du chercheur indépendant Eugen Spivak déplace le focus de la boîte vers les articles individuels qu'elle contient. La recherche pose une question simple mais difficile : où se trouve réellement la preuve ? La preuve de l'origine d'un fichier et de ses permissions réside-t-elle au niveau de l'ensemble de la collection, ou est-elle enregistrée pour chaque fichier spécifique ? Pour répondre à cela, le cherchenaire a examiné vingt-neuf collections publiques de données utilisées dans des domaines allant de l'apprentissage automatique à la préservation numérique. Ces collections ont été choisies pour représenter différentes communautés : celles qui compressent les données pour gagner de l'espace, celles qui entraînent l'intelligence artificielle, et celles qui préservent les formats numériques sur le long terme. L'étude a également passé en revue dix-sept normes et cadres différents — essentiellement les manuels de règles et les modèles que les chercheurs utilisent pour décrire leurs données — afin de voir ce qu'ils sont capables d'enregistrer.

L'enquête a révélé un écart significatif entre ce qui est possible et ce qui se passe réellement. Les manuels de règles, appelés normes de métadonnées, sont étonnamment capables. Beaucoup d'entre eux possèdent déjà la capacité technique d'attacher une permission spécifique, un lien de source ou une empreinte numérique à un seul fichier. Certaines de ces normes peuvent même enregistrer un examen du fichier ou un registre de la façon dont il a été créé. Cependant, l'étude a constaté que presque personne n'utilise ces capacités. Dans les vingt-neuf collections examinées, aucune ne portait d'identifiant unique et permanent pour la collection elle-même, un outil qui permettrait aux chercheurs de retrouver la version exacte des données des années plus tard. Seules cinq des vingt-neuf collections enregistraient une permission spécifique pour chaque fichier individuel. La plupart du temps, les permissions étaient soit totalement absentes, soit écrites en texte brut qu'un ordinateur ne peut pas lire, ou appliquées à l'ensemble de la collection sans tenir compte des différences entre les fichiers à l'intérieur.

Le chercheur a également testé si les outils conçus pour vérifier ces registres fonctionnent réellement. Même lorsqu'un fichier possède une permission attachée dans un format standard, le logiciel utilisé pour valider ces registres l'ignore souvent. Par exemple, une norme populaire permet à un fichier d'avoir sa propre licence, mais le logiciel qui vérifie le fichier ne vérifie pas si cette licence est valide ou même s'il s'agit d'une véritable licence. Il accepte simplement n'importe quel texte présent. Cela crée une situation où la technologie existe pour résoudre le problème, mais où les outils qui appliquent les règles ne sont pas encore prêts à l'utiliser. L'étude a conclu que la pièce manquante n'est pas un manque de vocabulaire ou de capacité des normes, mais un manque d'adoption et un manque d'outils de vérification fiables.

Pour démontrer qu'un meilleur système est possible, le chercheur a construit un petit kit d'outils pratiques. Ce kit permet à un constructeur de créer une liste simple pour chaque fichier d'une collection, notant sa taille, une empreinte numérique unique, sa source et ses permissions spécifiques. Le kit convertit ensuite cette liste en un format lisible par les logiciels standards. Testé sur trois types différents de collections de données, le kit a réussi à enregistrer ce qui était connu, ce qui était inconnu et là où les règles entraient en conflit. Il a montré que si le travail demande des efforts, il est gérable. Le coût ne réside pas dans le traitement de millions de fichiers, mais dans le temps humain nécessaire pour rassembler les informations relatives aux différentes sources et transformations impliquées.

Les conclusions suggèrent que la solution réside dans un changement de perspective. Au lieu d'espérer qu'une étiquette unique sur un ensemble de données couvre tout, les chercheurs doivent enregistrer les preuves au niveau où le fichier est réellement utilisé. Cela signifie attacher un registre spécifique à chaque fichier qui l'accompagne, peu importe où il va. L'étude propose neuf recommandations spécifiques pour y parvenir. Elle appelle les créateurs de collections de données à publier une liste détaillée pour chaque fichier qu'ils publient. Elle demande aux plateformes qui hébergent ces collections de cesser d'écraser les registres des créateurs avec leurs propres résumés génériques. Elle exhorte les responsables des normes techniques à mettre à jour leurs outils afin qu'ils vérifient réellement ces détails au niveau du fichier. Enfin, elle demande aux examinateurs d'articles scientifiques de vérifier ces cinq éléments clés de preuve avant d'accepter une étude.

La voie à suivre est claire mais nécessite de la coordination. La technologie pour suivre l'historique et les permissions de chaque fichier existe déjà dans les manuels de règles. Le défi est de s'assurer que les personnes qui construisent les données, les plateformes qui les hébergent et les outils qui les vérifient acceptent tous de l'utiliser. En déplaçant la preuve de la description générale d'une collection vers le registre spécifique de chaque fichier, la communauté scientifique peut garantir que les matériaux numériques d'aujourd'hui resteront dignes de confiance, utilisables et juridiquement solides pour les découvertes de demain. L'étude ne prétend pas avoir résolu le problème de la licence des données, mais elle a cartographié précisément où se situe la preuve et a montré que l'écart est une question de pratique, et non de possibilité.