Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

Durante décadas, científicos e ingenieros han dependido de una pequeña y envejecida colección de archivos digitales para probar qué tan bien pueden las computadoras reducir los datos sin perder ni un solo bit de información. Estos archivos, ensamblados entre finales de la década de 1980 y mediados de la de 2000, actúan como una vara de medir universal. Debido a que son pequeños, estables y fáciles de encontrar, los investigadores pueden comparar sus nuevas herramientas de compresión con resultados de hace treinta años. Sin embargo, un problema silencioso ha crecido en torno a estos archivos. Si bien los datos en sí son públicos, el permiso legal para copiar, compartir o modificar los archivos suele estar ausente. En el mundo de la investigación digital, si no puedes demostrar que tienes el derecho de compartir un archivo, no puedes construir un nuevo y confiable conjunto de pruebas sobre él. Esta incertidumbre crea una base frágil: un punto de referencia construido sobre archivos que podrían pertenecer legalmente a alguien más no puede ser distribuido, replicado o actualizado de forma segura.

Esta incertidumbre no es solo un tecnicismo legal; es una barrera para el progreso. Cuando los investigadores quieren crear un conjunto de pruebas moderno para reemplazar estos viejos archivos, se enfrentan a una tarea desalentadora. Deben verificar el estatus legal de cada uno de los archivos, uno por uno, para asegurar que puedan ser compartidos. No había un método establecido para hacer esto, y nadie había auditado las colecciones más famosas para ver qué es lo que realmente le decían a los usuarios sobre sus derechos. Sin respuestas claras, el campo corre el riesgo de construir nueva ciencia sobre una base que podría ser retirada de debajo de ellos en cualquier momento.

Eugen Spivak, un investigador independiente, se propuso cerrar esta brecha. Primero llevó a cabo una auditoría exhaustiva de nueve colecciones de prueba ampliamente utilizadas que forman la columna vertebral de la investigación en compresión de datos. Examinó sus páginas públicas y archivos de descarga para ver qué información proporcionaban sobre la propiedad, el origen y las reglas específicas para el uso de cada archivo. Los resultados fueron contundentes. De las nueve colecciones que revisó, ocho no proporcionaron ninguna declaración de licencia para ninguno de sus archivos. En total, 7 letales archivos de prueba clásicos circulaban sin ningún permiso declarado para su redistribución. Si bien algunas colecciones ofrecían descripciones vagas de dónde provenían los archivos, ninguna proporcionó el texto legal específico necesario para demostrar que un archivo podía ser compartido. Además, ninguna de estas colecciones registraba los comandos exactos de la computadora utilizados para crear o modificar los archivos, y ninguna ofrecía un enlace permanente e inalterable a los datos que sobreviviera a medida que internet cambiara.

Para resolver esto, Spivak desarrolló un nuevo y riguroso procedimiento para publicar datos. En lugar de tratar a toda una colección como una sola unidad con una licencia general, su método trata a cada uno de los archivos como su propia entidad legal. Para cada archivo, el investigador debe reunir un "registro de linaje". Este registro incluye el enlace directo a donde proviene el archivo, una huella digital de la fuente original para demostrar que no ha sido alterado, y el comando exacto de la computadora utilizado para generar el archivo si fue creado por software. Crucialmente, el investigador también debe encontrar y guardar la oración específica de la página de licencia de la fuente que permite explícitamente la redistribución, junto con la fecha en que fue leída. Esta evidencia se guarda de modo que, incluso si el sitio web original cambia o desaparece años después, la prueba del permiso permanezca.

El procedimiento incluye un mecanismo de seguridad estricto: un archivo solo puede entrar en el registro público si dos revisores independientes están de acuerdo con su estatus. El primer revisor compila una lista de candidatos, y un segundo revisor, que no ve la primera lista, verifica cada uno de los archivos nuevamente desde cero. Esta segunda revisión "ciega" está diseñada para detectar errores que una simple mirada a un nombre de licencia podría pasar por alto. Cuando Spivk aplicó este método a un nuevo conjunto de datos relacionados con juegos —específicamente texturas, modelos 3D y archivos de audio utilizados en videojuegos— el proceso funcionó exactamente como se esperaba. De un grupo inicial de 774 archivos candidatos, el segundo revisor eliminó 30 archivos, una tasa de rechazo de casi el 4 por ciento. Estos no eran archivos con el nombre de licencia incorrecto; eran archivos con problemas sutiles, como créditos de autoría poco claros, fotos que contenían personas identificables o fuentes donde el titular de los derechos no podía ser confirmado. Un proceso de una sola revisión habría publicado estos 30 archivos, solo para que fueran retirados más tarde, dañando la confianza en toda la colección.

El resultado final fueron dos registros públicos de activos de juegos, que totalizan más de mil millones de bytes de datos. Un registro contenía 744 archivos que estaban libres para que cualquiera los usara sin restricciones, y otro contenía 13 archivos que requerían un simple crédito al creador original. La publicación incluyó un manifiesto, una lista detallada que actúa como un mapa para los datos, mostrando exactamente cómo se hizo cada archivo y qué permiso legal lo cubría. Para asegurar que los datos pudieran ser confiables, el investigador también probó si los archivos digitales podían reconstruirse exactamente como eran. Descubrió que la huella digital de un archivo es increíblemente sensible; incluso una diferencia diminuta e invisible en cómo el software de la computadora escribe el archivo —como un ajuste que cambia dependiendo de si la computadora está ejecutando Windows o un sistema diferente— cambiaría la huella digital. Esto significaba que, para que los datos fueran verdaderamente reproducibles, la publicación debe listar cada configuración utilizada para crear el archivo, no solo los archivos dentro de él.

Después de que los datos fueron publicados, un control de seguimiento encontró errores menores en la documentación, como nombres de herramientas incorrectos o detalles faltantes en la lista de comandos. Estos fueron corregidos mediante la publicación de una nueva versión del registro, en lugar de cambiar silenciosamente los archivos originales. Este enfoque asegura que cualquier persona que observe los datos en el futuro pueda ver exactamente qué estaba disponible en cualquier momento dado. El estudio concluye que es posible publicar un corpus de prueba con evidencia legal clara, archivo por archivo, pero requiere una inversión significativa de tiempo y una segunda revisión independiente para detectar los errores sutiles que se escapan de una sola verificación. Las colecciones clásicas que se han utilizado durante décadas permanecen en un estado de incertidumbre legal, pero este nuevo procedimiento ofrece un camino claro para cualquiera que desee construir la próxima generación de datos confiables y compartibles para la investigación científica.