Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

Durante décadas, cientistas e engenheiros têm dependido de uma pequena e envelhecida coleção de arquivos digitais para testar o quão bem os computadores conseguem comprimir dados sem perder um único bit de informação. Esses arquivos, montados entre o final da década de 1980 e meados dos anos 2000, atuam como uma régua universal. Por serem pequenos, estáveis e fáceis de encontrar, os pesquisadores podem comparar suas novas ferramentas de compressão com resultados de trinta anos atrás. No entanto, um problema silencioso cresceu em torno desses arquivos. Embora os dados em si sejam públicos, a permissão legal para copiar, compartilhar ou modificar esses arquivos é frequentemente inexistente. No mundo da pesquisa digital, se você não consegue provar que tem o direito de compartilhar um arquivo, não pode construir um novo e confiável conjunto de testes sobre ele. Essa incerteza cria uma base frágil: um benchmark construído sobre arquivos que podem legalmente pertencer a outra pessoa não pode ser distribuído, espelhado ou atualizado com segurança.

Essa incerteza não é apenas um detalhe técnico jurídico; é uma barreira ao progresso. Quando pesquisadores desejam criar um conjunto de testes moderno para substituir esses arquivos antigos, enfrentam uma tarefa árdua. Eles devem verificar o status legal de cada arquivo, um por um, para garantir que ele possa ser compartilhado. Não havia um método estabelecido para fazer isso, e ninguém havia auditado as coleções mais famosas para ver o que elas realmente diziam aos usuários sobre seus direitos. Sem respostas claras, o campo corre o risco de construir uma nova ciência sobre uma base que pode ser retirada debaixo de seus pés a qualquer momento.

Eugen Spivak, um pesquisador independente, partiu para corrigir essa lacuna. Ele primeiro conduziu uma auditoria minuciosa de nove coleções de teste amplamente utilizadas que formam a espinha dorsal da pesquisa de compressão de dados. Ele examinou suas páginas públicas e arquivos de download para ver quais informações elas forneciam sobre propriedade, origem e as regras específicas para o uso de cada arquivo. Os resultados foram drásticos. Das nove coleções que ele revisou, oito não forneceram nenhuma declaração de licença para nenhum de seus arquivos. No total, 76 arquivos de teste clássicos estavam circulando sem qualquer permissão declarada para redistribuição. Embora algumas coleções oferecessem descrições vagas de onde os arquivos vieram, nenhuma forneceu o texto legal específico necessário para provar que um arquivo poderia ser compartilhado. Além disso, nenhuma dessas coleções registrou os comandos exatos de computador usados para criar ou modificar os arquivos, e nenhuma ofereceu um link permanente e imutável para os dados que sobreviveria às mudanças da internet.

Para resolver isso, Spivak desenvolveu um novo e rigoroso procedimento para publicar dados. Em vez de tratar toda uma coleção como uma única unidade com uma licença genérica, seu método trata cada arquivo individual como sua própria entidade legal. Para cada arquivo, o pesquisador deve reunir um "registro de linhagem". Esse registro inclui o link direto de onde o arquivo veio, uma impressão digital digital da fonte original para provar que não foi alterado e o comando de computador exato usado para gerar o arquivo, caso ele tenha sido criado por software. Crucialmente, o pesquisador também deve encontrar e salvar a frase específica da página de licença da fonte que permite explicitamente a redistribuição, juntamente com a data em que ela foi lida. Essa evidência é salva para que, mesmo que o site original mude ou desapareça anos depois, a prova de permissão permaneça.

O procedimento inclui um mecanismo de segurança rigoroso: um arquivo só é permitido no registro público se dois revisores independentes concordarem com seu status. O primeiro revisor compila uma lista de candidatos, e um segundo revisor, que não vê a primeira lista, verifica cada arquivo novamente do zero. Essa segunda revisão "cega" é projetada para capturar erros que um simples olhar para um nome de licença poderia deixar passar. Quando Spivak aplicou esse método a um novo conjunto de dados relacionados a jogos — especificamente texturas, modelos 3D e arquivos de áudio usados em videogames — o processo funcionou exatamente como pretendido. De um grupo inicial de 774 arquivos candidatos, o segundo revisor removeu 30 arquivos, uma taxa de rejeição de quase 4 por cento. Estes não eram arquivos com o nome de licença incorreto; eram arquivos com problemas sutis, como créditos de autor pouco claros, fotos contendo pessoas identificáveis ou fontes onde o detentor dos direitos não pôde ser confirmado. Um processo de revisão única teria publicado esses 30 arquivos, apenas para serem retirados posteriormente, prejudicando a confiança em toda a coleção.

O resultado final foram dois registros públicos de ativos de jogos, totalizando mais de um bilhão de bytes de dados. Um registro continha 744 arquivos que eram livres para qualquer pessoa usar sem restrições, e outro continha 13 arquivos que exigiam apenas o crédito ao criador original. A publicação incluiu um manifesto, uma lista detalhada que atua como um mapa para os dados, mostrando exatamente como cada arquivo foi feito e qual permissão legal o cobria. Para garantir que os dados pudessem ser confiáveis, o pesquisador também testou se os arquivos digitais poderiam ser reconstruídos exatamente como eram. Ele descobriu que a impressão digital de um arquivo é incrivelmente sensível; mesmo uma diferença minúscula e invisível na forma como o software do computador escreve o arquivo — como uma configuração que muda dependendo de o computador estar rodando Windows ou um sistema diferente — alteraria a impressão digital. Isso significava que, para que os dados fossem verdadeiramente reproduzíveis, a publicação deve listar cada configuração usada para criar o arquivo, não apenas os arquivos dentro dele.

Após a publicação dos dados, uma verificação de acompanhamento encontrou erros menores na documentação, como nomes de ferramentas incorretos ou detalhes ausentes na lista de comandos. Estes foram corrigidos através da liberação de uma nova versão do registro, em vez de alterar silenciosamente os arquivos originais. Essa abordagem garante que qualquer pessoa que olhe para os dados no passado possa ver exatamente o que estava disponível em qualquer ponto no tempo. O estudo conclui que é possível publicar um corpus de teste com evidência legal clara, arquivo por arquivo, mas que isso requer um investimento significativo de tempo e uma segunda revisão independente para capturar os erros sutis que escapam de uma verificação única. As coleções clássicas que têm sido usadas por décadas permanecem em um estado de incerteza jurídica, mas este novo procedimento oferece um caminho claro para quem deseja construir a próxima geração de dados confiáveis e compartilháveis para a pesquisa científica.