Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

Depuis des décennies, les scientifiques et les ingénieurs s'appuient sur une petite collection vieillissante de fichiers numériques pour tester l'efficacité avec laquelle les ordinateurs peuvent compresser les données sans perdre un seul bit d'information. Ces fichiers, assemblés entre la fin des années 1980 et le milieu des années 2000, servent de jauge universelle. Parce qu'ils sont petits, stables et faciles à trouver, les chercheurs peuvent comparer leurs nouveaux outils de compression aux résultats d'il y a trente ans. Cependant, un problème silencieux s'est développé autour de ces fichiers. Bien que les données elles-mêmes soient publiques, la permission légale de les copier, de les partager ou de les modifier fait souvent défaut. Dans le monde de la recherche numérique, si vous ne pouvez pas prouver que vous avez le droit de partager un fichier, vous ne pouvez pas construire un nouvel ensemble de tests fiable par-dessus lui. Cette incertitude crée une fondation fragile : un étalon de référence construit sur des fichiers qui pourraient légalement appartenir à quelqu'un d'autre ne peut pas être distribué, dupliqué ou mis à jour en toute sécurité.

Cette incertitude n'est pas seulement une technicité juridique ; c'est une bar ?) à la progression. Lorsque les chercheurs veulent créer un ensemble de tests moderne pour remplacer ces vieux fichiers, ils font face à une tâche colossale. Ils doivent vérifier le statut juridique de chaque fichier, un par un, pour s'assurer qu'il peut être partagé. Il n'existait aucune méthode établie pour faire cela, et personne n'avait audité les collections les plus célèbres pour voir ce qu'elles indiquaient réellement aux utilisateurs concernant leurs droits. Sans réponses claires, le domaine risque de bâtir une nouvelle science sur une fondation qui pourrait être retirée sous ses pieds à tout moment.

Eugen Spivak, un chercheur indépendant, a entrepris de combler cette lacune. Il a d'abord mené un audit approfondi de neuf collections de tests largement utilisées qui constituent l'épine dorsale de la recherche sur la compression de données. Il a examiné leurs pages publiques et leurs archives de téléchargement pour voir quelles informations elles fournissaient sur la propriété, l'origine et les règles spécifiques d'utilisation de chaque fichier. Les résultats ont été frappants. Sur les neuf collections qu'il a examinées, huit ne fournissaient aucune déclaration de licence pour aucun de leurs fichiers. Au total, 76 fichiers de test classiques circulaient sans aucune mention de permission de redistribution. Bien que quelques collections offraient des descriptions vagues sur l'origine des fichiers, aucune ne fournissait le texte juridique spécifique nécessaire pour prouver qu'un fichier pouvait être partagé. De plus, aucune de ces collections n'enregistrait les commandes informatiques exactes utilisées pour créer ou modifier les fichiers, et aucune n'offrait de lien permanent et immuable vers les données qui survivrait aux changements d'Internet.

Pour résoudre ce problème, Spivak a développé une nouvelle procédure rigoureuse pour la publication de données. Au lieu de traiter une collection entière comme une seule unité avec une licence globale, sa méthode traite chaque fichier comme sa propre entité juridique. Pour chaque fichier, le chercheur doit rassembler un « dossier de lignée ». Ce dossier comprend le lien direct vers la source du fichier, une empreinte numérique de la source originale pour prouver qu'elle n'a pas été altérée, et la commande informatique exacte utilisée pour générer le fichier s'il a été créé par un logiciel. Crucialement, le chercheur doit également trouver et sauvegarder la phrase spécifique de la page de licence de la source qui autorise explicitement la redistribution, ainsi que la date à laquelle elle a été lue. Cette preuve est sauvegardée afin que, même si le site web d'origine change ou disparaît des années plus tard, la preuve de la permission demeure.

La procédure inclut un mécanisme de sécurité strict : un fichier n'est autorisé dans le registre public que si deux examinateurs indépendants sont d'accord sur son statut. Le premier examinateur compile une liste de candidats, et un second examinateur, qui ne voit pas la première liste, vérifie à nouveau chaque fichier en partant de zéro. Ce second examen « en aveugle » est conçu pour détecter les erreurs qu'un simple coup d'œil sur un nom de licence pourrait manquer. Lorsque Spivak a appliqué cette méthode à un nouvel ensemble de données liées aux jeux — spécifiquement des textures, des modèles 3D et des fichiers audio utilisés dans les jeux vidéo — le processus a fonctionné exactement comme prévu. À partir d'un pool initial de 774 fichiers candidats, le second examinateur en a supprimé 30, soit un taux de rejet de près de 4 pour cent. Il ne s'agissait pas de fichiers avec un mauvais nom de licence ; c'étaient des fichiers présentant des problèmes subtils, tels que des crédits d'auteur peu clairs, des photos contenant des personnes identifiables ou des sources dont le détenteur des droits ne pouvait être confirmé. Un processus à examen unique aurait publié ces 30 fichiers, pour ne les voir retirés plus tard, nuisant ainsi à la confiance dans l'ensemble de la collection.

Le résultat final fut deux registres publics d'actifs de jeux, totalisant plus d'un milliard d'octets de données. Un registre contenait 744 fichiers qui sont libres d'utilisation sans restriction, et un autre contenait 13 fichiers qui nécessitent simplement de créditer le créateur original. La publication comprenait un manifeste, une liste détaillée qui sert de carte pour les données, montrant exactement comment chaque fichier a été fabriqué et quelle permission légale le couvrait. Pour garantir que les données puissent être fiables, le chercheur a également testé si les archives numériques pouvaient être reconstruites exactement telles qu'elles étaient. Il a découvert que l'empreinte numérique d'une archive est incroyablement sensible ; même une différence minuscule et invisible dans la façon dont le logiciel informatique écrit le fichier — comme un paramètre qui change selon que l'ordinateur fonctionne sous Windows ou un autre système — changerait l'empreinte. Cela signifiait que pour que les données soient véritablement reproductibles, la publication doit lister chaque paramètre utilisé pour créer l'archive, et pas seulement les fichiers qu'elle contient.

Après la publication des données, une vérification ultérieure a révélé des erreurs mineures dans la documentation, telles que des noms d'outils incorrects ou des détails manquants dans la liste des commandes. Celles-ci ont été corrigées en publiant une nouvelle version du registre, plutôt qu'en modifiant silencieusement les fichiers originaux. Cette approche garantit que quiconque consulte les données puisse voir exactement ce qui était disponible à n'importe quel moment donné. L'étude conclut qu'il est possible de publier un corpus de test avec des preuves juridiques claires, fichier par fichier, mais que cela nécessite un investissement important en temps et un second examen indépendant pour détecter les erreurs subtiles qui échappent à un contrôle unique. Les collections classiques utilisées depuis des décennies restent dans un état d'incertitude juridique, mais cette nouvelle procédure offre une voie claire pour quiconque souhaite construire la prochaine génération de données fiables et partageables pour la recherche scientifique.