Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

Imagina una biblioteca donde cada libro está abierto al público, listado en un catálogo gigante y citado por académicos de todo el mundo. En el papel, esto parece perfecto. Pero, ¿qué pasaría si las páginas de esos libros estuvieran hechas de un material que se desmorona después de unos pocos años, o si el texto estuviera escrito en un código que ninguna máquina pudiera leer? En el mundo de la investigación académica, hemos pasado décadas construyendo sistemas para medir qué tan abierta, visible e influyente es una investigación. Contamos cuántas veces se cita un artículo o verificamos si está disponible de forma gratuita. Estas son medidas útiles, pero solo nos dicen si un artículo puede ser encontrado. No nos dicen si el artículo en sí está construido para durar, o si está estructurado de una manera que permita a las computadoras, a los lectores de pantalla para personas con discapacidad visual y a los archivos futuros entender y utilizar realmente la información que contiene.

Esta brecha es el foco de un nuevo estudio del investigador Kemal Yayla. El estudio analiza la "calidad documental" de los artículos académicos. Esta es una forma elegante de preguntar: ¿es el archivo digital que transporta la investigación lo suficientemente estable como para sobrevivir durante décadas, y está lo suficientemente bien organizado para que las máquinas puedan procesarlo? El investigador trata el archivo digital no solo como un contenedor de palabras, sino como un objeto frágil que necesita características técnicas específicas para seguir siendo útil. Para averiguar si estas características están presentes, el estudio examinó 1,340 versiones finales de artículos de investigación publicados por revistas gestionadas por bibliotecas en los Estados Unidos y Canadá. Estos artículos fueron verificados frente a estrictos estándares técnicos diseñados para asegurar que puedan preservarse para siempre y ser leídos por tecnologías de asistencia. Los resultados revelan una realidad sorprendente: aunque estos artículos son fáciles de encontrar, los archivos en sí suelen estar dañados de formas que amenazan su supervivencia y accesibilidad a largo plazo.

El estudio comenzó reuniendo un conjunto específico de documentos. El investigador seleccionó revistas que forman parte de la Library Publishing Coalition, un grupo de bibliotecas en los EE. UU. y Canadá que gestionan sus propias revistas académicas. Estas revistas son conocidas por ser abiertas y transparentes. Luego, el investigador extrajo los archivos PDF finales publicados de los artículos publicados entre 2024 y 2025. En total, se recolectaron 1,340 archivos. Estos archivos fueron sometidos a herramientas de prueba automatizadas que verifican el cumplimiento de tres estándares técnicos diferentes. El primer estándar, conocido como PDF/A-1b, es un libro de reglas básico para asegurar que un documento pueda ser abierto y leído por cualquier computadora en el futuro. El segundo, PDF/A-2u, es una versión más estricta que requiere que el archivo lleve su propia tarjeta de identidad digital para que los archivos puedan identificarlo automáticamente. El tercer estándar, PDF/UA-1, es un libro de reglas para la accesibilidad, que asegura que el documento tenga una estructura lógica que los lectores de pantalla puedan navegar y que el texto pueda ser copiado y buscado por las máquinas.

Cuando comenzaron las pruebas, los resultados fueron contundentes. De los 1,340 documentos, solo 18 pasaron la prueba básica de preservación a largo plazo. Ninguno pasó la prueba más estricta de identificación digital. Solo 10 pasaron la prueba de accesibilidad. Esto significa que, para casi todos los artículos revisados, el archivo no cumplió con los requisitos mínimos para ser un registro fiable y permanente. Sin embargo, el estudio argumenta que simplemente decir "estos archivos fallaron" ignora la parte más importante de la historia. El investigador desarrolló una nueva forma de observar estos fallos, agrupándolos en nueve categorías diferentes basadas en qué exactamente estaba roto y si podía repararse.

El análisis mostró que los fallos no eran todos iguales. Algunos problemas eran como etiquetas faltantes en una caja. Por ejemplo, casi todos los archivos fallaron porque les faltaba una declaración digital específica que le diga a un archivo qué tipo de archivo es. Este es un error pequeño y subsanable. No significa que el contenido del artículo sea erróneo; solo significa que se omitió una pieza de metadatos durante la exportación final. Este tipo de error se clasifica como "post-hoc patchable" (reparable a posteriori), lo que significa que puede arreglarse más tarde sin cambiar la obra original. En contraste, otros fallos eran mucho más graves. El estudio encontró que el 98.4% de los archivos fallaron la prueba de accesibilidad porque carecían de una estructura lógica. Esto significa que el texto no fue etiquetado de una manera que le diga a una computadora dónde termina el título y comienza el cuerpo, o dónde empieza y termina una tabla. Estos son problemas "upstream-only" (solo de origen). Ocurren cuando el documento se crea por primera vez. Una vez que el archivo se guarda como un PDF, esta información estructural no puede añadirse o repararse de manera fiable. El daño se produce antes de que el archivo llegue al público.

El estudio también analizó si estos problemas variaban según el tema o el país. Los resultados mostraron que la falta de etiquetado estructural era un problema universal. Apareció en casi todos los documentos, independientemente de si el artículo trataba sobre biología, historia o ingeniería. Esto sugiere que el problema no es del autor o de los campos de estudio específicos, sino del software y los sistemas utilizados para crear los archivos. Sin embargo, otros tipos de errores sí variaron. Por ejemplo, los problemas con el texto que podía ser copiado o buscado fueron mucho más comunes en los artículos de ciencia y matemáticas que en los de arte o derecho. Esto tiene sentido, ya que los artículos científicos suelen utilizar símbolos complejos y caracteres especiales que son más difíciles de manejar correctamente para las computadoras. El estudio también comparó revistas de los Estados Unidos y Canadá. Aunque ambos grupos tuvieron tasas de aprobación muy bajas en general, los tipos específicos de errores diferían ligeramente, con las revistas canadienses realizando un desempeño ligeramente mejor en las comprobaciones básicas de preservación, pero peor en las de accesibilidad.

La conclusión más importante de este trabajo es que no podemos juzgar la calidad de un artículo de investigación solo mirando su título, su resumen o cuántas veces ha sido citado. Un artículo puede ser ampliamente leído y muy elogiado, y aun así su archivo digital podría ser ilegible para una persona ciega, no buscable para una computadora o imposible de abrir en cincuenta años. El nuevo marco del investigador demuestra que podemos medir estos fallos ocultos. Al desglosar los errores técnicos en categorías específicas, podemos ver exactamente qué está roto y dónde debe realizarse la reparación. Algunas correcciones son fáciles y pueden hacerse después de que el artículo sea publicado. Otras requieren un cambio fundamental en la forma en que se crean los artículos en primer lugar.

Este estudio no afirma que la publicación de bibliotecas esté fallando. De hecho, utiliza la publicación de bibliotecas como un caso de prueba porque se supone que estas instituciones son las más cuidadosas en cuanto a la preservación y el intercambio de conocimiento. Si los archivos están tan dañados en un sistema diseñado para ser perfecto, el problema es probablemente aún peor en otros entornos de publicación. La investigación no ofrece una solución mágica, pero proporciona un mapa claro del problema. Muestra que las herramientas que usamos para evaluar la ciencia son ciegas a la salud física y técnica de los documentos mismos. Hasta que no empecemos a medir si los archivos son estables y accesibles, solo estaremos midiendo la mitad del registro académico. El estudio concluye que necesitamos tratar el archivo digital como una pieza crítica de evidencia que requiere sus propios controles de calidad, asegurando que el conocimiento que producimos hoy pueda ser realmente utilizado por el mundo mañana.