Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

Imagine uma biblioteca onde cada livro está aberto ao público, listado em um catálogo gigante e citado por estudiosos ao redor do mundo. No papel, isso parece perfeito. Mas e se as páginas desses livros fossem feitas de um material que se esfarela após alguns anos, ou se o texto fosse escrito em um código que nenhuma máquina consegue ler? No mundo da pesquisa acadêmica, passamos décadas construindo sistemas para medir o quão aberta, visível e influente é uma pesquisa. Contamos quantas vezes um artigo é citado ou verificamos se ele está disponível gratuitamente. Essas são medidas úteis, mas elas apenas nos dizem se um artigo pode ser encontrado. Elas não nos dizem se o próprio artigo foi construído para durar, ou se está estruturado de uma forma que permita que computadores, leitores de tela para cegos e arquivos futuros realmente compreendam e utilizem a informação contida nele.

Essa lacuna é o foco de um novo estudo do pesquisador Kemal Yayla. O estudo analisa a "qualidade documental" de artigos acadêmicos. Esta é uma maneira sofisticada de perguntar: o arquivo digital que carrega a pesquisa é estável o suficiente para sobrevivar por décadas e está organizado bem o suficiente para que as máquinas o processem? O pesquisador trata o arquivo digital não apenas como um recipiente para palavras, mas como um objeto frágil que precisa de características técnicas específicas para permanecer útil. Para descobrir se essas características estão presentes, o estudo examinou 1.340 versões finais de artigos de pesquisa publicados por periódicos geridos por bibliotecas nos Estados Unidos e no Canadá. Esses artigos foram verificados contra padrões técnicos rigorosos, projetados para garantir que possam ser preservados para sempre e lidos por tecnologias assistivas. Os resultados revelam uma realidade alarmante: embora esses artigos sejam fáceis de encontrar, os próprios arquivos estão frequentemente quebrados de formas que ameaçam sua sobrevivência e acessibilidade a longo prazo.

O estudo começou reunindo um conjunto específico de documentos. O pesquisador selecionou periódicos que fazem parte da Library Publishing Coalition, um grupo de bibliotecas nos EUA e no Canadá que gerem seus próprios periódicos acadêmicos. Esses periódicos são conhecidos por serem abertos e transparentes. O pesquisador então extraiu os arquivos PDF finais de artigos publicados entre 2024 e 2025. No total, 1.340 arquivos foram coletados. Esses arquivos foram submetidos a ferramentas de teste automatizadas que verificam a conformidade com três padrões técnicos diferentes. O primeiro padrão, conhecido como PDF/A-1b, é um conjunto básico de regras para garantir que um documento possa ser aberto e lido por qualquer computador no futuro. O segundo, PDF/A-2u, é uma versão mais rigorosa que exige que o arquivo carregue seu próprio cartão de identidade digital para que os arquivos possam identificá-lo automaticamente. O terceiro padrão, PDF/UA-1, é um conjunto de regras para acessibilidade, garantindo que o documento possua uma estrutura lógica que os leitores de tela possam navegar e que o texto possa ser copiado e pesquisado por máquinas.

Quando os testes começaram, os resultados foram drásticos. Dos 1.340 documentos, apenas 18 passaram no teste básico de preservação a longo prazo. Nenhum deles passou no teste mais rigoroso de identificação digital. Apenas 10 passaram no teste de acessibilidade. Isso significa que, para quase todos os artigos verificados, o arquivo falhou em atender aos requisitos mínimos para ser um registro confiável e permanente. No entanto, o estudo argumenta que simplesmente dizer "esses arquivos falharam" ignora a parte mais importante da história. O pesquisador desenvolveu uma nova forma de observar essas falhas, agrupando-as em nove categorias diferentes baseadas no que exatamente estava quebrado e se poderia ser consertado.

A análise mostrou que as falhas não eram todas iguais. Alguns problemas eram como etiquetas ausentes em uma caixa. Por exemplo, quase todos os arquivos falharam porque faltava uma declaração digital específica que informa a um arquivo que tipo de arquivo ele é. Este é um erro pequeno e passível de correção. Não significa que o conteúdo do artigo esteja errado; significa apenas que um pedaço de metadados foi deixado de fora durante a exportação final. Este tipo de erro é classificado como "corrigível post-hoc", o que significa que pode ser consertado posteriormente sem alterar o trabalho original. Em contraste, outras falhas eram muito mais graves. O estudo descobriu que 98,4% dos arquivos falharam no teste de acessibilidade porque careciam de uma estrutura lógica. Isso significa que o texto não foi etiquetado de uma forma que diga a um computador onde o título termina e o corpo começa, ou onde uma tabela começa e termina. Estes são problemas "apenas upstream". Eles ocorrem quando o documento é criado pela primeira vez. Uma vez que o arquivo é salvo como um PDF, essa informação estrutural não pode ser adicionada ou corrigida de forma confiável. O dano é feito antes mesmo de o arquivo chegar ao público.

O estudo também observou se esses problemas variavam por assunto ou por país. Os resultados mostraram que a falta de etiquetagem estrutural era um problema universal. Aparecia em quase todos os documentos, independentemente de o artigo ser sobre biologia, história ou engenharia. Isso sugere que o problema não é com o autor ou com os campos de estudo específicos, mas com o software e os sistemas usados para criar os arquivos. No entanto, outros tipos de erros variaram. Por exemplo, problemas com textos que poderiam ser copiados ou pesquisados foram muito mais comuns em artigos de ciências e matemática do que em artigos de arte ou direito. Isso faz sentido, pois artigos científicos frequentemente utilizam símbolos complexos e caracteres especiais que são mais difíceis de serem manipulados corretamente pelos computadores. O estudo também comparou periódicos dos Estados Unidos e do Canadá. Embora ambos os grupos tivessem taxas de aprovação muito baixas no geral, os tipos específicos de erros diferiam ligeiramente, com os periódicos canadenses apresentando um desempenho ligeiramente melhor em verificações básicas de preservação, mas pior em verificações de acessibilidade.

O ponto mais importante deste trabalho é que não podemos julgar a qualidade de um artigo de pesquisa apenas olhando para o seu título, o seu resumo ou quantas vezes ele foi citado. Um artigo pode ser amplamente lido e altamente elogiado, mas o seu arquivo digital pode ser ilegível para uma pessoa cega, não pesquisável por um computador ou impossível de abrir em cinquenta anos. O novo framework do pesquisador prova que podemos medir essas falhas ocultas. Ao decompor os erros técnicos em categorias específicas, podemos ver exatamente o que está quebrado e onde a correção deve ocorrer. Algumas correções são fáceis e podem ser feitas após a publicação do artigo. Outras exigem uma mudança fundamental na forma como os artigos são criados desde o início.

Este estudo não afirma que a publicação por bibliotecas está falhando. Na verdade, utiliza a publicação por bibliotecas como um caso de teste porque essas instituições deveriam ser as mais cuidadosas quanto à preservação e ao compartilhamento do conhecimento. Se os arquivos estão tão quebrados em um sistema projetado para ser perfeito, o problema é provavelmente ainda pior em outros ambientes de publicação. A pesquisa não oferece uma solução mágica, mas fornece um mapa claro do problema. Ela mostra que as ferramentas que usamos para avaliar a ciência são cegas para a saúde física e técnica dos próprios documentos. Até que comecemos a medir se os arquivos são estáveis e acessíveis, estamos medindo apenas metade do registro acadêmico. O estudo conclui que precisamos tratar o arquivo digital como uma peça de evidência crítica que requer seus próprios controles de qualidade, garantindo que o conhecimento que produzimos hoje possa realmente ser utilizado pelo mundo amanhã.