A Multi-Surface Consistency Audit of Software Citation Metadata

No mundo da ciência moderna, o software tornou-se tão essencial quanto um microscópio ou um telescópio. É a ferramenta que os pesquisadores usam para processar números, simular mudanças climáticas e modelar o comportamento de átomos. Como este software é um produto do trabalho humano e do esforço intelectual, a comunidade científica concordou que ele merece ser citado, tal como um artigo de pesquisa. Quando um cientista utiliza um programa específico para fazer uma descoberta, deve dar crédito às pessoas que o escreveram, à versão que utilizou e ao local onde o pode encontrar. Para tornar isto possível, foi construído um sistema onde os projetos de software podem deixar para trás "etiquetas de identificação" digitais. Estas etiquetas são ficheiros legíveis por máquina que contêm o título do projeto, os nomes dos seus autores, o número da versão e um identificador único que aponta para onde o software reside online. A ideia é que, se um investigador, um bibliotecário ou um programa de computador olhar para qualquer uma destas etiquetas, todas contarão a mesma história sobre o mesmo software.

No entanto, um estudo recente fez uma pergunta simples, mas inquietante: será que estas etiquetas de identificação concordam realmente entre si? Os investigadores, liderados por Pengyin Shan, da Universidade de Illinois, decidiram auditar as autodescrições digitais de 117 projetos de software de investigação de código aberto. Eles analisaram sete lugares diferentes onde um projeto poderá descrever-se: um ficheiro específico destinado a citações, um ficheiro de dados para arquivos, um registo num registo público onde o software é descarregado e o texto na página principal do projeto. Eles trataram o software como o objeto único e estes vários ficheiros como diferentes "superfícies" ou faces desse objeto. Se o sistema funcionar perfeitamente, cada superfície deverá dizer a mesma coisa. Se discordarem, cria-se confusão sobre quem realizou o trabalho, qual versão foi utilizada e onde encontrar o código. O estudo descobriu que o sistema está longe de ser perfeito. De facto, a maioria dos projetos examinados estava a contar histórias diferentes para diferentes partes da internet.

Os investigadores construíram um processo cuidadoso para verificar estes projetos. Eles reuniram um grupo de 117 ferramentas de software, incluindo ferramentas de computação de alto desempenho utilizadas para supercomputação e computação quântica, bem como um grupo mais pequeno de ferramentas que tinham sido aceites por revistas da comunidade. Para cada projeto, descarregaram instantâneos das sete superfícies diferentes num único dia. Utilizaram então um programa de computador para normalizar a informação, traduzindo os diferentes formatos de ficheiro numa lista comum de seis factos fundamentais: o título, o autor, a versão, o ano, a licença e o identificador único. Compararam cada par de superfícies que existia para um projeto para ver se os factos coincidiam. Para garantir que o seu método era preciso, verificaram manualmente uma grande amostra dos julgamentos do computador, confirmando que a sua ferramenta estava correta quase 99 por cento das vezes.

Os resultados revelaram uma falta de consistência significativa. Dos 117 projetos, apenas 62 tinham pelo menos duas superfícies que pudessem ser comparadas. Entre esses 62 projetos, 52 deles, ou aproximadamente 84 por cento, continham pelo menos um conflito importante entre as suas superfícies. Isto significa que, para a maioria destes projetos, uma pessoa a ler o ficheiro de citação obteria informações diferentes de alguém a ler o registo de arquivo ou a página de download. As divergências foram mais comuns nas listas de autores e nos títulos do software. Embora o ano e a licença fos vezes consistentes, os detalhes essenciais que identificam a obra muitas vezes não coincidiam. O estudo descobriu que o problema não se limitava a um tipo de software; aparecia em projetos de computação de alto desempenho, em ferramentas revistas pela Journal of Open Source Software e em pacotes aceites pela comunidade pyOpenSci.

Uma das razões mais comuns para estes conflitos foi uma confusão específica entre o software e o artigo de investigação que o descrevia. Em muitos casos, os ficheiros destinados a descrever o software estavam, na verdade, a descrever o artigo académico sobre o software. Por exemplo, um ficheiro poderia listar o título de uma apresentação de conferência ou o autor de um artigo de revista, enquanto outro ficheiro listava o nome do próprio código. Isto aconteceu em metade dos conflos verificados. Os investigadores notaram que isto não é necessariamente um erro na forma como os ficheiros foram escritos, mas sim um reflexo de uma confusão mais profunda sobre o que é o "objeto citável". É o código, ou é o artigo sobre o código? Quando os ficheiros tentam apontar para o artigo, muitas vezes deixam de apontar para o software, fazendo com que os metadados se afastem.

Outra fonte de desacordo veio dos registos públicos onde o software é descarregado, como o PyPI para Python ou o npm para JavaScript. Estes registos utilizam frequentemente nomes técnicos curtos para os pacotes, como "mpi4py", enquanto os próprios ficheiros do software utilizam um título descritivo como "MPI for Python". Quando um computador tenta combinar estas duas superfícies, identifica uma discrepância no título. O estudo descobriu que uma grande parte das divergências de título e autor foi impulsionada por estes registos de registo. Além disso, os investigadores descobriram que a informação mais atualizada estava frequentemente ausente dos locais onde as ferramentas automatizadas a procuram. Os ficheiros que as ferramentas de empacotamento leem, tais como os registos de registo, eram os menos propensos a conter identificadores persistentes como ORCIDs para autores, que são cruciais para rastrear quem realizou o trabalho.

O estudo também analisou uma funcionalidade específica chamada "citação preferencial", que permite a um projeto de software instruir os utilizadores a citar um objeto diferente, geralmente um artigo, em vez do próprio software. Os investigadores descobriram que, em 28 de 32 projetos que utilizavam esta funcionalidade, seguir a instrução levava a um registo que discordava dos próprios metadados do software. Isto significa que, mesmo quando um projeto tenta guiar os utilizadores para uma citação específica, a orientação aponta frequentemente para um registo que conflita com a outra informação que o projeto publicou sobre si mesmo. Isto cria uma situação em que um utilizador que segue as regras pode acabar por citar um artigo que não corresponde à versão do software que efetivamente utilizou.

Os investigadores concluíram que a infraestrutura atual para a citação de software está incompleta. Embora as ferramentas para declarar metadados existam e sejam amplamente utilizadas, não existe um sistema em vigor para verificar se as diferentes declarações concordam entre si. O estudo mostrou que, para a maioria dos projetos que podem ser verificados, o software discorda de si próprio em pelo menos uma informação crítica. Esta fragmentação significa que o crédito é frequentemente dividido, a proveniência é incerta e os sistemas automatizados não conseguem rastrear de forma fiável o uso de software de investigação. Os investigadores disponibilizaram os seus dados, o seu código e a sua lista de projetos para que outros possam repetir a auditoria, verificar se as coisas melhoraram ao longo do tempo ou utilizar os dados para construir ferramentas que possam corrigir automaticamente estas inconsistências. O trabalho destaca que, antes de podermos confiar plenamente no sistema de crédito digital para software, devemos primeiro garantir que o software conta uma história única e consistente em todos os lugares onde fala.