Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

Cada vez que un investigador descarga un archivo digital para probar una nueva teoría, o un desarrollador copia un conjunto de datos para entrenar una inteligencia artificial, está entrando en una cadena de custodia que suele ser invisible. Estos archivos son las materias primas del descubrimiento moderno y, sin embargo, las reglas que rigen su uso son frecuentemente poco claras. Un archivo puede provenir de una universidad, un archivo gubernamental o una empresa privada, y cada fuente tiene su propio conjunto de permisos. Algunos permiten que cualquiera use los datos libremente; otros prohíben el uso comercial o requieren que se otorgue crédito al creador original. Cuando un archivo es copiado, movido o mezclado con otros, estos permisos deben viajar con él. Si no lo hacen, la persona que posee el archivo no puede saber si tiene permitido compartirlo, de dónde proviene realmente o cómo fue creado. Sin este conocimiento, toda la cadena de investigación se vuelve frágida, construida sobre suposiciones en lugar de hechos.

Durante años, las auditorías de estas colecciones digitales se han centrado en el panorama general. Han contado cuántos grandes conjuntos de datos carecen de reglas claras, encontrando que la mayoría de las grandes colecciones carecen de la documentación necesaria. Sin embargo, estos controles amplios suelen pasar por alto los detalles que más importan a la persona que sostiene un solo archivo. Tratan a una colección como una única caja, asumiendo que si la caja tiene una etiqueta, cada artículo en su interior comparte las mismas reglas. Pero en la realidad, un solo conjunto de datos puede contener archivos de docenas de fuentes diferentes, cada una con su propia historia y estatus legal. Cuando un archivo es extraído de esa caja y utilizado en un nuevo proyecto, la gran etiqueta del exterior ya no cuenta la historia completa.

Un estudio reciente del investigador independiente Eugen Spivak desplaza el enfoque de la caja hacia los artículos individuales en su interior. La investigación plantea una pregunta simple pero difícil: ¿dónde reside realmente la evidencia? ¿Reside la prueba del origen y los permisos de un archivo en el nivel de la colección completa, o se registra para cada archivo específico? Para responder a esto, el investigador examinó veintinueve colecciones públicas de datos utilizadas en campos que van desde el aprendizaje automático hasta la preservación digital. Estas colecciones fueron elegidas para representar diferentes comunidades: aquellas que comprimen datos para ahorrar espacio, aquellas que entrenan inteligencia artificial y aquellas que preservan formatos digitales a largo plazo. El estudio también revisó diecisiete estándares y marcos diferentes —esencialmente los libros de reglas y plantillas que los investigadores utilizan para describir sus datos— para ver qué son capaces de registrar.

La investigación reveló una brecha significativa entre lo que es posible y lo que está sucediendo realmente. Los libros de reglas, conocidos como estándares de metadatos, son sorprendentemente capaces. Muchos de ellos ya tienen la capacidad técnica de adjuntar un permiso específico, un enlace de origen o una huella digital a un solo archivo. Algunos de estos estándares pueden incluso registrar una revisión del archivo o un registro de cómo fue creado. Sin embargo, el estudio encontró que casi nadie utiliza estas capacidades. En las veintinueve colecciones examinadas, ni una sola portaba un identificador único y permanente para la colección misma, una herramienta que permitiría a los investigadores encontrar la versión exacta de los datos años después. Solo cinco de las veintinueve colecciones registraron un permiso específico para cada archivo individual. La mayoría de las veces, los permisos faltaban por completo, estaban escritos en texto plano que una computadora no puede leer, o se aplicaban a toda la colección independientemente de las diferencias entre los archivos en su interior.

El investigador también probó si las herramientas diseñadas para verificar estos registros realmente funcionan. Incluso cuando un archivo tiene un permiso adjunto en un formato estándar, el software utilizado para validar estos registros suele ignorarlo. Por ejemplo, un estándar popular permite que un archivo tenga su propia licencia, pero el software que verifica el archivo no verifica si esa licencia es válida o incluso si es una licencia real. Simplemente acepta cualquier texto que haya allí. Esto crea una situación en la que la tecnología existe para resolver el problema, pero las herramientas que aplican las reglas aún no están listas para usarla. El estudio conclió que la pieza faltante no es una falta de vocabulario o capacidad en los estándares, sino una falta de adopción y de herramientas de verificación fiables.

Para demostrar que un sistema mejor es posible, el investigador construyó un pequeño kit de herramientas práctico. Este kit permite a un constructor crear una lista sencilla para cada archivo en una colección, anotando su tamaño, una huella digital única, su origen y sus permisos específicos. El kit luego convierte esta lista en un formato que el software estándar pueda leer. Al probarse en tres tipos diferentes de colecciones de datos, el kit registró con éxito lo que se sabía, lo que se desconocía y dónde los registros eran conflictivos. Demostró que, si bien el trabajo requiere esfuerzo, es manejable. El costo no está en procesar millones de archivos, sino en el tiempo humano necesario para reunir la información de las diferentes fuentes y transformaciones involucradas.

Los hallazgos sugieren que la solución reside en un cambio de perspectiva. En lugar de esperar que una sola etiqueta en un conjunto de datos lo cubra todo, los investigadores deben registrar la evidencia al nivel donde el archivo se utiliza realmente. Esto significa adjuntar un registro específico a cada archivo que viaje con él, sin importar a dónde vaya. El estudio ofrece nueve recomendaciones específicas para lograr esto. Hace un llamado a los creadores de colecciones de datos para que publiquen una lista detallada por cada archivo que lancen. Pide a las plataformas que alojan estas colecciones que dejen de sobrescribir los registros de los creadores con sus propios resúmenes genéricos. Insta a los responsables de los estándares técnicos a actualizar sus herramientas para que realmente verifiquen estos detalles a nivel de archivo. Finalmente, pide a los revisores de artículos científicos que verifiquen estas cinco piezas clave de evidencia antes de aceptar un estudio.

El camino a seguir es claro pero requiere coordinación. La tecnología para rastrear la historia y los permisos de cada archivo ya existe en los libros de reglas. El desafío es asegurar que las personas que construyen los datos, las plataformas que los alojan y las herramientas que los verifican concuerden en utilizarla. Al mover la evidencia de la descripción general de una colección al registro específico de cada archivo, la comunidad científica puede asegurar que los materiales digitales de hoy sigan siendo confiables, utilizables y legalmente sólidos para los descubrimientos del mañana. El estudio no pretende haber resuelto el problema de las licencias de datos, pero ha mapeado exactamente dónde reside la evidencia y ha demostrado que la brecha es de práctica, no de posibilidad.