Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

Sempre que um pesquisador baixa um arquivo digital para testar uma nova teoria, ou um desenvolvedor copia um conjunto de dados para treinar uma inteligência artificial, ele está entrando em uma cadeia de custódia que é frequentemente invisível. Esses arquivos são as matérias-primas da descoberta moderna, mas as regras que regem seu uso são frequentemente obscuras. Um arquivo pode vir de uma universidade, de um arquivo governamental ou de uma empresa privada, e cada fonte tem seu próprio conjunto de permissões. Algumas permitem que qualquer pessoa use os dados livremente; outras proíbem o uso comercial ou exigem que o crédito seja dado ao criador original. Quando um arquivo é copiado, movido ou misturado com outros, essas permissões devem viajar com ele. Se não o fizerem, a pessoa que detém o arquivo não poderá saber se tem permissão para compartilhá-lo, de onde ele realmente veio ou como foi feito. Sem esse conhecimento, toda a cadeia de pesquisa torna-se frágil, construída sobre suposições em vez de fatos.

Durante anos, auditorias dessas coleções digitais focaram no panorama geral. Elas contaram quantos grandes conjuntos de dados careciam de regras claras, descobrindo que a maioria das grandes coleções carece da documentação necessária. No entanto, essas verificações amplas muitas vezes perdem os detalhes que mais importam para a pessoa que está, de fato, segurando um único arquivo. Elas tratam uma coleção como uma única caixa, assumindo que, se a caixa tem um rótulo, todos os itens dentro dela compartilham as mesmas regras. Mas, na realidade, um único conjunto de dados pode conter arquivos de dezenas de fontes diferentes, cada uma com sua própria história e status jurídico únicos. Quando um arquivo é extraído dessa caixa e usado em um novo projeto, o grande rótulo do lado de fora já não conta a história toda.

Um estudo recente do pesquisador independente Eugen Spivak desloca o foco da caixa para os itens individuais dentro dela. A pesquisa faz uma pergunta simples, mas difícil: onde reside a evidência de fato? A prova da origem de um arquivo e de suas permissões vive no nível de toda a coleção, ou é registrada para cada arquivo específico? Para responder a isso, o pesquisador examinou vinte e nove coleções públicas de dados usadas em campos que variam desde o aprendizado de máquina até a preservação digital. Essas coleções foram escolhidas para representar diferentes comunidades: aquelas que comprimem dados para economizar espaço, aquelas que treinam inteligência artificial e aquelas que preservam formatos digitais para o longo prazo. O estudo também revisou dezessete padrões e estruturas diferentes — essencialmente os manuais de regras e modelos que os pesquisadores usam para descrever seus dados — para ver o que eles são capazes de registrar.

A investigação revelou uma lacuna significativa entre o que é possível e o que está realmente acontecendo. Os manuais de regras, conhecidos como padrões de metadados, são surpreendentemente capazes. Muitos deles já possuem a capacidade técnica de anexar uma permissão específica, um link de origem ou uma impressão digital digital a um único arquivo. Alguns desses padrões podem até registrar uma revisão do arquivo ou um registro de como ele foi criado. No entanto, o estudo descobriu que quase ninguém está usando essas capacidades. Nas vinte e nove coleções examinadas, nenhuma sequer carregava um identificador permanente e único para a própria coleção, uma ferramenta que permitiria aos pesquisadores encontrar a versão exata dos dados anos depois. Apenas cinco das vinte e nove coleções registraram uma permissão específica para cada arquivo individual. Na maioria das vezes, as permissões estavam ausentes, escritas em texto simples que um computador não consegue ler ou aplicadas a toda a coleção, independentemente das diferenças entre os arquivos internos.

O pesquisador também testou se as ferramentas projetadas para verificar esses registros realmente funcionam. Mesmo quando um arquivo possui uma permissão anexada a ele em um formato padrão, o software usado para validar esses registros frequentemente a ignora. Por exemplo, um padrão popular permite que um arquivo tenha sua própria licença, mas o software que verifica o arquivo não verifica se essa licença é válida ou mesmo se é uma licença real. Ele simplesmente aceita qualquer texto que esteja lá. Isso cria uma situação em que a tecnologia existe para resolver o problema, mas as ferramentas que aplicam as regras ainda não estão prontas para usá-la. O estudo concluiu que a peça que falta não é uma falta de vocabulário ou de capacidade nos padrões, mas uma falta de adoção e de ferramentas de verificação confiáveis.

Para demonstrar que um sistema melhor é possível, o pesquisador construiu um pequeno kit de ferramentas prático. Este kit permite que um construtor crie uma lista simples para cada arquivo em uma coleção, anotando seu tamanho, uma impressão digital única, sua origem e suas permissões específicas. O kit então converte essa lista em um formato que o software padrão possa ler. Ao ser testado em três tipos diferentes de coleções de dados, o kit registrou com sucesso o que era conhecido, o que era desconhecido e onde as regras eram conflitantes. Mostrou que, embora o trabalho exija esforço, ele é gerenciável. O custo não está no processamento de milhões de arquivos, mas no tempo humano necessário para reunir as informações das diferentes fontes e transformações envolvidas.

As descobertas sugerem que a solução reside em uma mudança de perspectiva. Em vez de esperar que um único rótulo em um conjunto de dados cubra tudo, os pesquisadores precisam registrar a evidência no nível onde o arquivo é realmente utilizado. Isso significa anexar um registro específico a cada arquivo que viaje com ele, não importa para onde vá. O estudo oferece nove recomendações específicas para tornar isso realidade. Ele convoca os criadores de coleções de dados a publicar uma lista detalhada para cada arquivo que lançarem. Pede às plataformas que hospedam essas coleções que parem de sobrescrever os registros dos criadores com seus próprios resumos genéricos. Exorta os mantenedores dos padrões técnicos a atualizar suas ferramentas para que elas realmente verifiquem esses detalhes ao nível do arquivo. Finalmente, pede aos revisores de artigos científicos que verifiquem estas cinco peças-chave de evidência antes de aceitar um estudo.

O caminho a seguir é claro, mas exige coordenação. A tecnologia para rastrear o histórico e as permissões de cada arquivo já existe nos manuais de regras. O desafio é garantir que as pessoas que constroem os dados, as plataformas que os hospedam e as ferramentas que os verificam concordem em usá-la. Ao mover a evidência da descrição geral de uma coleção para o registro específico de cada arquivo, a comunidade científica pode garantir que os materiais digitais de hoje permaneçam confiáveis, utilizáveis e juridicamente sólidos para as descobertas de amanhã. O estudo não afirma ter resolvido o problema do licenciamento de dados, mas mapeou exatamente onde a evidência reside e mostrou que a lacuna é de prática, não de possibilidade.