Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

Stellen Sie sich eine Bibliothek vor, in der jedes Buch der Öffentlichkeit zugänglich ist, in einem riesigen Katalog gelistet und von Gelehrten auf der ganzen Welt zitiert wird. Auf dem Papier scheint das perfekt zu sein. Aber was wäre, wenn die Seiten dieser Bücher aus einem Material bestünden, das nach ein paar Jahren zerbröckelt, oder wenn der Text in einem Code geschrieben wäre, den keine Maschine lesen kann? In der Welt der akademischen Forschung haben wir Jahrzehnte damit verbracht, Systeme aufzubauen, um zu messen, wie offen, sichtbar und einflussreich eine Studie ist. Wir zählen, wie oft ein Papier zitiert wird, oder prüfen, ob es kostenlos verfügbar ist. Dies sind nützliche Maße, aber sie sagen uns nur, ob ein Papier gefunden werden kann. Sie sagen uns nicht, ob das Papier selbst für die Ewigkeit gebaut ist oder ob es so strukturiert ist, dass Computer, Screenreader für Blinde und zukünftige Archive die darin enthaltenen Informationen tatsächlich verstehen und nutzen können.

Diese Lücke ist der Fokus einer neuen Studie des Forschers Kemal Yayla. Die Studie untersucht die „dokumentarische Qualität“ wissenschaftlicher Artikel. Das ist eine schicke Art zu fragen: Ist die digitale Datei, die die Forschung trägt, stabil genug, um Jahrzehnte zu überdauern, und ist sie gut genug organisiert, damit Maschinen sie verarbeiten können? Der Forscher betrachtet die digitale Datei nicht nur als einen Behälter für Wörter, sondern als ein fragiles Objekt, das spezifische technische Merkmale benötigt, um nützlich zu bleiben. Um herauszufinden, ob diese Merkmale vorhanden sind, untersuchte die Studie 1.340 Endversionen von Forschungsarbeiten, die von bibliotheksgeführten Zeitschriften in den USA und Kanada veröffentlicht wurden. Diese Arbeiten wurden gegen strenge technische Standards geprüft, die sicherstellen sollen, dass sie für immer bewahrt und von assistiven Technologien gelesen werden können. Die Ergebnisse offenbaren eine erschreckende Realität: Während diese Arbeiten leicht zu finden sind, sind die Dateien selbst oft auf eine Weise fehlerhaft, die ihr langfristiges Überleben und ihre Zugänglichkeit gefährdet.

Die Studie begann mit der Zusammenstellung eines spezifischen Satzes von Dokumenten. Der Forscher wählte Zeitschriften aus, die Teil der Library Publishing Coalition sind, einer Gruppe von Bibliotheken in den USA und Kanada, die ihre eigenen akademischen Zeitschriften herausgeben. Diese Zeitschriften sind bekannt dafür, offen und transparent zu sein. Der Forscher zog dann die endgültig veröffentlichten PDF-Dateien für Artikel, die zwischen 2024 und 2025 veröffentlicht wurden. Insgesamt wurden 1.340 Dateien gesammelt. Diese Dateien wurden anschließend durch automatisierte Testwerkzeuge laufen gelassen, die die Konformität mit drei verschiedenen technischen Standards prüfen. Der erste Standard, bekannt als PDF/A-1b, ist ein grundlegendes Regelwerk, um sicherzustellen, dass ein Dokument von jedem Computer in der Zukunft geöffnet und gelesen werden kann. Der zweite Standard, PDF/A-2u, ist eine strengere Version, die erfordert, dass die Datei ihren eigenen digitalen Ausweis trägt, damit Archive sie automatisch identifizieren können. Der dritte Standard, PDF/UA-1, ist ein Regelwerk für die Barrierefreiheit, das sicherstellt, dass das Dokument eine logische Struktur besitzt, die Screenreader navigieren können und dass Text von Maschinen kopiert und durchsucht werden kann.

Als die Tests begannen, waren die Ergebnisse drastisch. Von den 1.340 Dokumenten bestanden nur 18 den Basistest für die langfristige Erhaltung. Keines von ihnen bestand den strengeren Test für die digitale Identifizierung. Nur 10 bestanden den Test für die Barrierefreiheit. Das bedeutet, dass fast jede einzelne geprüfte Arbeit die Mindestanforderungen erfüllte, um eine zuverlässige, dauerhafte Aufzeichnung zu sein. Die Studie argumentiert jedoch, dass die bloße Aussage „diese Dateien sind fehlgeschlagen“ den wichtigsten Teil der Geschichte verpasst. Der Forscher entwickelte eine neue Art, diese Fehler zu betrachten, indem er sie basierend darauf, was genau defekt war und ob es behoben werden konnte, in neun verschiedene Kategorien gruppierte.

Die Analyse zeigte, dass die Fehler nicht alle gleich waren. Einige Probleme waren wie fehlende Etiketten auf einem Karton. Zum Beispiel scheiterte fast jede einzelne Datei, weil ihr eine spezifische digitale Deklaration fehlte, die einem Archiv mitteilt, um welche Art von Datei es sich handelt. Dies ist ein kleiner, reparierbarer Fehler. Es bedeutet nicht, dass der Inhalt des Papers falsch ist; es bedeutet nur, dass ein Stück Metadaten während des finalen Exports vergessen wurde. Dieser Typ von Fehler wird als „post-hoc patchable“ (nachträglich behebbar) klassifiziert, was bedeutet, dass er später behoben werden kann, ohne das Originalwerk zu verändern. Im Gegensatz dazu waren andere Fehler viel schwerwiegender. Die Studie fand heraus, dass 98,4 % der Dateien den Barrierefreiheitstest nicht bestanden, weil ihnen eine logische Struktur fehlte. Das bedeutet, dass der Text nicht so markiert (getaggt) war, dass ein Computer erkennt, wo der Titel endet und der Hauptteil beginnt, oder wo eine Tabelle anfängt und aufhört. Dies sind „upstream-only“-Probleme (nur im Vorfeld lösbar). Sie treten auf, wenn das Dokument zum ersten Mal erstellt wird. Sobald die Datei als PDF gespeichert ist, können diese strukturellen Informationen nicht mehr zuverlässig hinzugefügt oder korrigiert werden. Der Schaden ist angerichtet, noch bevor die Datei die Öffentlichkeit erreicht.

Die Studie untersuchte auch, ob diese Probleme je nach Fachgebiet oder Land variierten. Die Ergebnisse zeigten, dass der Mangel an struktureller Markierung ein universelles Problem war. Er trat in fast jedem Dokument auf, unabhängig davon, ob die Arbeit über Biologie, Geschichte oder Ingenieurwesen war. Dies deutet darauf hin, dass das Problem nicht beim Autor oder den spezifischen Fachgebieten liegt, sondern bei der Software und den Systemen, die zur Erstellung der Dateien verwendet werden. Andere Arten von Fehlern variierten jedoch. So waren beispielsweise Probleme mit Texten, die kopiert oder durchsucht werden konnten, in Wissenschafts- und Mathematikpapieren viel häufiger als in Kunst- oder Rechtswissenschaften. Das ist sinnvoll, da wissenschaftliche Arbeiten oft komplexe Symbole und Sonderzeichen verwenden, die für Computer schwieriger korrekt zu verarbeiten sind. Die Studie verglich auch Zeitschriften aus den USA und Kanada. Während beide Gruppen insgesamt sehr niedrige Erfolgsquoten hatten, unterschieden sich die spezifischen Arten von Fehlern leicht, wobei kanadische Zeitschriften bei grundlegenden Erhaltungsprüfungen etwas besser, aber bei der Barrierefreiheit schlechter abschnitten.

Die wichtigste Erkenntnis dieser Arbeit ist, dass wir die Qualität eines Forschungspapiers nicht allein anhand seines Titels, seines Abstracts oder der Anzahl seiner Zitate beurteilen können. Ein Paper kann weit gelesen und hoch gelobt werden, und doch könnte seine digitale Datei für eine blinde Person unlesbar, für einen Computer unsuchbar oder in fünfzig Jahren unmöglich zu öffnen sein. Das neue Framework des Forschers beweist, dass wir diese verborgenen Mängel messen können. Indem wir technische Fehler in spezifische Kategorien unterteilen, können wir genau sehen, was defekt ist und wo die Korrektur ansetzen muss. Einige Korrekturen sind einfach und können nach der Veröffentlichung des Papers durchgeführt werden. Andere erfordern eine grundlegende Änderung in der Art und Weise, wie die Arbeiten überhaupt erstellt werden.

Diese Studie behauptet nicht, dass das Library Publishing versagt. Tatsächlich nutzt sie das Library Publishing als Testfall, weil diese Institutionen eigentlich die Vorsichtigsten bei der Bewahrung und dem Teilen von Wissen sein sollten. Wenn die Dateien in einem System, das auf Perfektion ausgelegt ist, so fehlerhaft sind, ist das Problem in anderen Publikationsumgebungen wahrscheinlich noch gravierender. Die Forschung bietet keine magische Lösung, aber sie liefert eine klare Karte des Problems. Sie zeigt, dass die Werkzeuge, mit denen wir Wissenschaft bewerten, blind für die physische und technische Gesundheit der Dokumente selbst sind. Bis wir anfangen zu messen, ob die Dateien stabil und zugänglich sind, messen wir nur die Hälfte des wissenschaftlichen Archivs. Die Studie kommt zu dem Schluss, dass wir die digitale Datei als ein kritisches Beweisstück behandeln müssen, das eigene Qualitätsprüfungen erfordert, um sicherzustellen, dass das Wissen, das wir heute produzieren, von der Welt auch morgen tatsächlich genutzt werden kann.