Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

Imaginez une bibliothèque où chaque livre est ouvert au public, répertorié dans un immense catalogue et cité par des chercheurs du monde entier. Sur le papier, cela semble parfait. Mais que se passerait-il si les pages de ces livres étaient faites d'un matériau qui s'effrite après quelques années, ou si le texte était écrit dans un code qu'aucune machine ne pourrait lire ? Dans le monde de la recherche académique, nous avons passé des décennies à construire des systèmes pour mesurer à quel point une étude est ouverte, visible et influente. Nous comptons le nombre de fois qu'un article est cité ou vérifions s'il est disponible gratuitement. Ce sont des mesures utiles, mais elles nous disent seulement si un article peut être trouvé. Elles ne nous disent pas si l'article lui-même est construit pour durer, ou s'il est structuré de manière à permettre aux ordinateurs, aux lecteurs d'écran pour les aveugles et aux archives futures de réellement comprendre et utiliser l'information qu'il contient.

Cette lacune est l'objet d'une nouvelle étude du chercheur Kemal Yayla. L'étude examine la « qualité documentaire » des articles savants. C'est une façon sophistiquée de demander : le fichier numérique qui transporte la recherche est-il assez stable pour survivre pendant des décennies, et est-il suffisamment bien organisé pour que les machines puissent le traiter ? Le chercheur traite le fichier numérique non pas seulement comme un contenant de mots, mais comme un objet fragile qui nécessite des caractéristiques techniques spécifiques pour rester utile. Pour savoir si ces caractéristiques sont présentes, l'étude a examiné 1 340 versions finales de articles de recherche publiés par des revues gérées par des bibliothèques aux États-Unis et au Canada. Ces articles ont été vérifiés par rapport à des normes techniques strictes conçues pour garantir qu'ils puissent être préservés éternellement et lus par des technologies d'assistance. Les résultats révèlent une réalité frappante : bien que ces articles soient faciles à trouver, les fichiers eux-mêmes sont souvent défectueux d'une manière qui menace leur survie et leur accessibilité à long terme.

L'étude a commencé par rassembler un ensemble spécifique de documents. Le chercheur a sélectionné des revues qui font partie de la Library Publishing Coalition, un groupe de bibliothèques aux États-Unis et au Canada qui gèrent leurs propres revues académiques. Ces revues sont connues pour être ouvertes et transparentes. Le chercheur a ensuite extrait les fichiers PDF finaux publiés pour les articles parus entre 2024 et 2025. Au total, 1 340 fichiers ont été collectés. Ces fichiers ont ensuite été soumis à des outils de test automatisés qui vérifient la conformité avec trois normes techniques différentes. La première norme, connue sous le nom de PDF/A-1b, est un code de base pour s'assurer qu'un document peut être ouvert et lu par n'importe quel ordinateur dans le futur. La deuxième, le PDF/A-2u, est une version plus stricte qui exige que le fichier porte sa propre carte d'identité numérique afin que les archives puissent l'identifier automatiquement. La troisième norme, le PDF/UA-1, est un code de règles pour l'accessibilité, garantissant que le document possède une structure logique que les lecteurs d'écran peuvent parcourir et que le texte peut être copié et recherché par des machines.

Lorsque les tests ont commencé, les résultats ont été sans appel. Sur les 1 340 documents, seuls 18 ont réussi le test de base pour la préservation à long terme. Aucun n'a réussi le test plus strict pour l'identification numérique. Seuls 10 ont réussi le test d'accessibilité. Cela signifie que pour presque chaque article vérifié, le fichier n'a pas respecté les exigences minimales pour être un enregistrement fiable et permanent. Cependant, l'étude soutient que dire simplement « ces fichiers ont échoué » occulte la partie la plus importante de l'histoire. Le chercheur a développé une nouvelle façon d'analyser ces échecs, en les regroupant en neuf catégories différentes basées sur ce qui était précisément défectueux et si cela pouvait être réparé.

L'analyse a montré que les défaillances n'étaient pas toutes identiques. Certains problèmes étaient comme des étiquettes manquantes sur une boîte. Par exemple, presque tous les fichiers ont échoué parce qu'il manquait une déclaration numérique spécifique indiquant à une archive quel type de fichier il s'agit. Il s'agit d'une erreur mineure, réparable a posteriori. Cela ne signifie pas que le contenu de l'article est erroné ; cela signifie simplement qu'une pièce de métadonnées a été omise lors de l'exportation finale. Ce type d'erreur est classé comme « réparable post-hoc », ce qui signifie qu'il peut être corrigé plus tard sans modifier l'œuvre originale. En revanche, d'autres défaillances étaient beaucoup plus graves. L'étude a révélé que 98,4 % des fichiers ont échoué au test d'accessibilité car ils manquaient de structure logique. Cela signifie que le texte n'était pas balisé d'une manière qui indique à un ordinateur où finit le titre et où commence le corps du texte, ou où commence et s'arrête un tableau. Ce sont des problèmes « uniquement en amont ». Ils surviennent lors de la création initiale du document. Une fois que le fichier est enregistré en tant que PDF, cette information structurelle ne peut plus être ajoutée ou corrigée de manière fiable. Le dommage est fait avant même que le fichier n'atteigne le public.

L'étude a également examiné si ces problèmes variaient selon le sujet ou le pays. Les résultats ont montré que le manque de balisage structurel était un problème universel. Il apparaissait dans presque tous les documents, qu'ils traitent de biologie, d'histoire ou d'ingénierie. Cela suggère que le problème ne vient pas de l'auteur ou des domaines d'études spécifiques, mais des logiciels et des systèmes utilisés pour créer les fichiers. Cependant, d'autres types d'erreurs variaient. Par exemple, les problèmes liés au texte pouvant être copié ou recherché étaient beaucoup plus fréquents dans les articles de sciences et de mathématiques que dans les articles d'art ou de droit. Cela est logique, car les articles scientifiques utilisent souvent des symboles complexes et des caractères spéciaux qui sont plus difficiles à traiter correctement par les ordinateurs. L'étude a également comparé les revues des États-Unis et du Canada. Bien que les deux groupes aient eu des taux de réussite globalement très bas, les types d'erreurs spécifiques différaient légèrement, les revues canadiennes étant légèrement plus performantes sur les contrôles de base de la préservation, mais moins performantes sur l'accessibilité.

La conclusion la plus importante de ce travail est que nous ne pouvons pas juger de la qualité d'un article de recherche en regardant seulement son titre, son résumé ou le nombre de fois où il a été cité. Un article peut être largement lu et hautement loué, et pourtant son fichier numérique peut être illisible pour une personne aveugle, impossible à rechercher pour un ordinateur ou impossible à ouvrir dans cinquante ans. Le nouveau cadre du chercheur prouve que nous pouvons mesurer ces failles cachées. En décomposant les erreurs techniques en catégories spécifiques, nous pouvons voir exactement ce qui est cassé et où la correction doit avoir lieu. Certaines corrections sont faciles et peuvent être effectuées après la publication de l'article. D'autres nécessitent un changement fondamental dans la manière dont les articles sont créés dès le départ.

Cette étude ne prétend pas que l'édition par les bibliothèques est défaillante. En fait, elle utilise l'édition par les bibliothèques comme cas d'étude car ces institutions sont censées être les plus méticuleuses quant à la préservation et le partage des connaissances. Si les fichiers sont aussi défectueux dans un système conçu pour être parfait, le problème est probablement encore pire dans d'autres environnements de publication. La recherche n'offre pas de solution miracle, mais elle fournit une carte claire du problème. Elle montre que les outils que nous utilisons pour évaluer la science sont aveugles à la santé physique et technique des documents eux-mêmes. Tant que nous ne commencerons pas à mesurer si les fichiers sont stables et accessibles, nous ne mesurerons que la moitié du registre scientifique. L'étude conclut que nous devons traiter le fichier numérique comme une pièce de preuve critique qui nécessite ses propres contrôles de qualité, garantissant que les connaissances que nous produisons aujourd'hui pourront réellement être utilisées par le monde demain.