Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

Stel je een bibliotheek voor waar elk boek openbaar toegankelijk is, vermeld staat in een enorme catalogus en door wetenschappers over de hele wereld wordt geciteerd. Op papier lijkt dit perfect. Maar wat als de pagina's van die boeken gemaakt zijn van een materiaal dat na enkele jaren vergaat, of als de tekst geschreven is in een code die geen enkele machine kan lezen? In de wereld van academisch onderzoek hebben we decennia besteed aan het bouwen van systemen om te meten hoe open, zichtbaar en invloedrijk een studie is. We tellen hoe vaak een artikel wordt geciteerd of controleren of het gratis beschikbaar is. Dit zijn nuttige maten, maar ze vertellen ons alleen of een artikel gevonden kan worden. Ze vertellen ons niet of het artikel zelf gebouwd is om lang mee te gaan, of dat het gestructureerd is op een manier die ervoor zorgt dat computers, schermlezers voor blinden en toekomstige archieven de informatie binnenin daadwerkelijk kunnen begrijpen en gebruiken.

Deze kloof is de focus van een nieuwe studie door onderzoeker Kemal Yayla. De studie kijkt naar de "documentaire kwaliteit" van wetenschappelijke artikelen. Dit is een chique manier om te vragen: is het digitale bestand dat de onderzoeksresultaten draagt stabiel genoeg om decennia te overleven, en is het goed genoeg georganiseerd zodat machines het kunnen verwerken? De onderzoeker beschouwt het digitale bestand niet alleen als een container voor woorden, maar als een kwetsbaar object dat specifieke technische kenmerken nodig heeft om bruikbaar te blijven. Om te achterhalen of deze kenmerken aanwezig zijn, onderzocht de studie 1.340 definitieve versies van onderzoekspapers gepubliceerd door door bibliotheken beheerde tijdschriften in de Verenigde Staten en Canada. Deze papers werden gecontroleerd op strikte technische standaarden die ervoor zorgen dat ze voor altijd bewaard kunnen worden en gelezen kunnen worden door ondersteunende technologieën. De resultaten onthullen een schokkende realiteit: hoewel deze papers gemakkelijk te vinden zijn, zijn de bestanden zelf vaak defect op manieren die hun langetermijnoverleving en toegankelijkheid bedreigen.

De studie begon met het verzamelen van een specifieke set documenten. De onderzoeker selecteerde tijdschriften die deel uitmaken van de Library Publishing Coalition, een groep bibliotheken in de VS en Canada die hun eigen academische tijdschriften beheren. Deze tijdschriften staan bekend om hun openheid en transparantie. De onderzoeker haalde vervolgens de definitieve gepubliceerde PDF-bestanden op van artikelen gepubliceerd tussen 2024 en 2025. In totaal werden 1.340 bestanden verzameld. Deze bestanden werden vervolgens door geautomatiseerde testtools gehaald die controleren op naleving van drie verschillende technische standaarden. De eerste standaard, bekend als PDF/A-1b, is een basisregelboek om ervoor te zorgen dat een document door elke computer in de toekomst geopend en gelezen kan worden. De tweede standaard, PDF/A-2u, is een strengere versie die vereist dat het bestand zijn eigen digitale identiteitsbewijs bij zich draagt, zodat archieven het automatisch kunnen identificeren. De derde standaard, PDF/UA-1, is een regelboek voor toegankelijkheid, dat ervoor zorgt dat het document een logische structuur heeft waar schermlezers doorheen kunnen navigeren en dat tekst door machines kan worden gekopieerd en doorzocht.

Toen de tests begonnen, waren de resultaten schrijnend. Van de 1.340 documenten slaagden er slechts 18 voor de basis test voor langetermijnbehoud. Geen enkele slaagde voor de strengere test voor digitale identificatie. Slechts 10 slaagden voor de test voor toegankelijkheid. Dit betekent dat voor bijna elk gecontroleerd artikel het bestand er niet in slaagde te voldoen aan de minimale vereisten voor een betrouwbaar, permanent verslag. De onderzoeker stelt echter dat simpelweg zeggen "deze bestanden zijn mislukt" het belangrijkste deel van het verhaal mist. De onderzoeker ontwikkelde een nieuwe manier om naar deze fouten te kijken, door ze in negen verschillende categorieën in te delen op basis van wat er precies kapot was en of het gerepareerd kon worden.

De analyse toonde aan dat de fouten niet allemaal hetzelfde waren. Sommige problemen waren als ontbrekende labels op een doos. Bijvoorbeeld, bijna elk bestand faalde omdat het een specifieke digitale verklaring miste die een archief vertelt wat voor soort bestand het is. Dit is een kleine, aanpasbare fout. Het betekent niet dat de inhoud van het artikel fout is; het betekent alleen dat een stukje metadata werd vergeten tijdens de uiteindelijke export. Dit type fout wordt geclassificeerd als "post-hoc patchable", wat betekent dat het later kan worden hersteld zonder het originele werk te veranderen. In contrast hiermee waren andere fouten veel ernstiger. De studie vond dat 98,4% van de bestanden de toegankelijkheidstest niet haalde omdat ze een gebrek hadden aan een logische structuur. Dit betekent dat de tekst niet getagd was op een manier die een computer vertelt waar de titel eindigt en de hoofdtekst begint, of waar een tabel begint en eindigt. Dit zijn "upstream-only" problemen. Ze treden op wanneer het document voor het eerst wordt gemaakt. Zodra het bestand als een PDF wordt opgeslagen, kan deze structurele informatie niet meer betrouwbaar worden toegevoegd of hersteld. De schade is aangericht voordat het bestand zelfs de publieke sfeer bereikt.

De studie keek ook naar de vraag of deze problemen varieerden per onderwerp of land. De resultaten toonden aan dat het gebrek aan structurele tagging een universeel probleem was. Het kwam in bijna elk document voor, ongeacht of het artikel over biologie, geschiedenis of techniek ging. Dit suggereert dat het probleem niet bij de auteur of de specifieke vakgebieden ligt, maar bij de software en systemen die worden gebruikt om de bestanden te maken. Andere soorten fouten varieerden echter wel. Zo kwamen problemen met tekst die gekopieerd of doorzocht kon worden veel vaker voor in wetenschappelijke en wiskundige papers dan in kunst- of juridische papers. Dit is logisch, aangezien wetenschappelijke papers vaak complexe symbolen en speciale tekens bevatten die moeilijker door computers correct verwerkt kunnen worden. De studie vergeleek ook tijdschriften uit de Verenigde Staten en Canada. Hoewel beide groepen in totaal zeer lage slagingspercentages hadden, verschilden de specifieke soorten fouten enigszins, waarbij Canadese tijdschriften iets beter presteerden op basis van behoudscontroles, maar slechter op toegankelijkheidscontroles.

De belangrijkste les van dit werk is dat we de kwaliteit van een wetenschappelijk artikel niet kunnen beoordelen door alleen naar de titel, de abstract of het aantal citaties te kijken. Een artikel kan breed gelezen en hoog geprezen worden, terwijl het digitale bestand onleesbaar kan zijn voor een blind persoon, onzoekbaar voor een computer of onmogelijk te openen over vijftig jaar. Het nieuwe kader van de onderzoeker bewijst dat we deze verborgen gebreken kunnen meten. Door technische fouten onder te verdelen in specifieke categorieën, kunnen we precies zien wat er kapot is en waar de reparatie moet plaatsvinden. Sommige oplossingen zijn eenvoudig en kunnen worden uitgevoerd nadat het artikel is gepubliceerd. Andere vereisen een fundamentele verandering in de manier waarop de papers vanaf het begin worden gemaakt.

Deze studie beweert niet dat bibliotheekpublicaties falen. Sterker nog, het gebruikt bibliotheekpublicaties als een testcase omdat deze instellingen juist de meest zorgvuldige moeten zijn bij het bewaren en delen van kennis. Als de bestanden in een systeem dat bedoeld is om perfect te zijn al zo defect zijn, is het probleem in andere publicatieomgevingen waarschijnlijk nog groter. Het onderzoek biedt geen magische oplossing, maar biedt een heldere kaart van het probleem. Het laat zien dat de instrumenten die we gebruiken om wetenschap te evalueren, blind zijn voor de fysieke en technische gezondheid van de documenten zelf. Totdat we beginnen met het meten van de vraag of de bestanden stabiel en toegankelijk zijn, meten we slechts de helft van het wetenschappelijke verslag. De studie concludeert dat we het digitale bestand moeten behandelen als een cruciaal bewijsstuk dat zijn eigen kwaliteitscontroles vereist, om ervoor te zorgen dat de kennis die we vandaag produceren, morgen daadwerkelijk door de wereld gebruikt kan worden.