Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

あらゆる本が公に開かれ、巨大なカタログにリストされ、世界中の学者によって引用されている図書館を想像してみてください。紙の上では、これは完璧であるように思えます。しかし、もしそれらの本のページが数年で崩れてしまう素材で作られていたら、あるいはテキストが機械には読み取れないコードで書かれていたらどうでしょうか。学術研究の世界において、私たちは数十年にわたり、研究がいかにオープンで、目立ち、影響力があるかを測定するシステムを構築してきました。論文が何度引用されたかを数えたり、無料で利用可能かどうかを確認したりします。これらは有用な指標ですが、それらは論文が「見つけられる」かどうかを教えているに過ぎません。その論文自体が長く存続するように作られているのか、あるいはコンピュータや視覚障害者向けのスクリーンリーダー、そして将来のアーカイブが、その中の情報を実際に理解し利用できるような構造になっているのかについては教えてくれないのです。

このギャップこそが、研究者ケマル・ヤイラ（Kemal Yayla）による新しい研究の焦点です。この研究は、学術論文の「ドキュメンタリー品質（documentary quality）」について考察しています。これは、もっともらしい言い方で言えば、「デジタルファイルが、研究内容を運ぶ容器として、数十年間にわたって生存できるほど安定しているか、そして機械が処理できるほど適切に構成されているか」を問うものです。この研究者は、デジタルファイルを単なる言葉の入れ物としてではなく、有用性を維持するために特定の技術的特徴を必要とする、壊れやすい「物体」として扱っています。これらの特徴が存在するかどうかを確かめるため、本研究では、アメリカとカナダの図書館運営ジャーナルによって出版された研究論文の最終版1,340件を調査しました。これらの論文は、永久に保存され、かつ支援技術によって読み取れることを保証するために設計された、厳格な技術標準に照らしてチェックされました。その結果、驚くべき現実が明らかになりました。これらの論文は見つけやすいものの、ファイル自体は、その長期的な生存とアクセシビリティを脅かすような形で壊れていることが多いのです。

研究はまず、特定の文書を集めることから始まりました。研究者は、アメリカとカナダの図書館が自ら運営している学術ジャーナルのグループである「ライブラリ・パブリッシング・コアリション（Library Publishing Coalition）」に属するジャーナルを選定しました。これらのジャーナルは、オープンで透明性が高いことで知られています。研究者は次に、2024年から2025年の間に発行された論文の最終公開PDFファイルを抽出しました。合計で1,340のファイルが収集されました。その後、これらのファイルは、3つの異なる技術標準への準拠を確認するための自動テストツールにかけられました。第一の標準である「PDF/A-1b」は、将来的にあらゆるコンピュータで文書を開き、読み取れるようにするための基本的なルールブックです。第二の標準である「PDF/A-2u」は、より厳格なバージョンであり、アーカイブが自動的に識別できるように、ファイル自体にデジタルIDカードを持たせることを要求します。第三の標準である「PDF/UA-1」は、アクセシビリティのためのルールブックであり、スクリーンリーダーがナビゲートできる論理的な構造を持ち、テキストが機械によってコピーおよび検索可能であることを保証するものです。

テストを開始したとき、結果は衝撃的なものでした。1,340の文書のうち、長期保存のための基本的なテストに合格したのはわずか18件でした。デジタル識別に関するより厳格なテストに合格したものは一つもありませんでした。アクセシビリティのテストに合格したのはわずか10件でした。これは、チェックされたほぼすべての論文において、ファイルが信頼できる永続的な記録としての最低限の要件を満たしていなかったことを意味します。しかし、本研究は、単に「これらのファイルは失敗した」と言うだけでは、物語の最も重要な部分を見落としていると主張しています。研究者は、何がどのように壊れているのか、そしてそれが修正可能なのかどうかに基づいて、これらの失敗を9つの異なるカテゴリーに分類するという、新しい視点を開発しました。

分析の結果、失敗の内容はすべて同じではないことが分かりました。ある問題は、箱にラベルが貼かれていないようなものでした。例えば、ほとんどすべてのファイルが、アーカイブに対してそのファイルがどのような種類であるかを伝える特定のデジタル宣言が欠落しているために失敗しました。これは小さな、修正可能なエラーです。これは論文の内容が間違っていることを意味するのではなく、単に最終的なエクスポートの際にメタデータの一部が漏れていたことを意味します。この種のエラーは「事後的修正可能（post-hoc patchable）」と分類されます。つまり、元の著作物を変更することなく、後で修正できるということです。対照的に、他の失敗はもっと深刻なものでした。研究によれば、98.4%のファイルが論理的な構造を欠いているためにアクセシビリティのテストに失敗しました。これは、テキストが「どこでタイトルが終わり、どこから本文が始まるか」、あるいは「どこで表が始まり、どこで終わるか」をコンピュータに伝えるためのタグ付けがされていないことを意味します。これらは「アップストリーム限定（upstream-only）」の問題です。これらは、文書が最初に作成される際に発生します。一度ファイルがPDFとして保存されると、この構造的な情報は信頼できる形で後から追加したり修正したりすることはできません。ファイルが公に届く前に、すでに損傷は確定しているのです。

また、本研究は、これらの問題が主題や国によって異なるかどうかについても調査しました。結果として、構造的なタグ付けの欠如は普遍的な問題であることが示されました。その問題は、論文が生物学、歴史、あるいは工学のいずれに関するものであれ、ほぼすべての文書に現れていました。このことは、問題が著者や特定の研究分野にあるのではなく、ファイルを生成するために使用されているソフトウェアやシステムにあることを示唆しています。しかし、他の種類の誤りは差異が見られました。例えば、テキストのコピーや検索に関する問題は、芸術や法律の論文よりも、科学や数学の論文においてるはるかに多く見られました。これは、科学論文がコンピュータにとって正しく扱うのが難しい複雑な記号や特殊文字を多用するため、理にかなっています。研究はまた、アメリカとカナダのジャーナルを比較しました。両グループとも全体的な合格率は非常に低かったものの、エラーの具体的な種類には若干の違いがあり、カナダのジャーナルは基本的な保存チェックについてはわずかに成績が良かったものの、アクセシビリティのチェックについては成績が悪かったのです。

この研究の最も重要な教訓は、論文の質を、そのタイトルや抄録、あるいは引用回数だけで判断してはならないということです。論文は広く読まれ、高く評価されているかもしれませんが、そのデジタルファイルは、視覚障害者にとって読めず、コンピュータにとって検索できず、あるいは50年後には開くことが不可能である可能性があります。研究者の新しいフレームワークは、これらの隠れた欠陥を測定できることを証明しています。技術的なエラーを具体的なカテゴリーに分解することで、何が壊れており、どこで修正を行う必要があるのかを正確に把握できます。修正が容易で、論文の出版後にできるものもあれば、論文の作成プロセスそのものに根本的な変更を求めるものもあります。

この研究は、ライブラリ・パブリッシングが失敗していると主張しているわけではありません。実際には、これらの機関は知識を保存し共有することに対して最も慎重であるはずの場所であるため、ライブラリ・パブリッシングをテストケースとして使用しています。もし、完璧であることを目指して設計されたシステムにおいてさえファイルがこれほど壊れているのであれば、問題は他の出版環境においてはさらに深刻である可能性が高いのです。この研究は魔法のような解決策を提示するものではありませんが、問題の明確な地図を提供しています。それは、私たちが科学を評価するために用いるツールが、文書自体の物理的および技術的な健全性に対して盲目であることを示しています。ファイルの安定性とアクセシビリティを測定し始めない限り、私たちは学術記録の半分しか測定していないことになるのです。研究は、今日私たちが生み出す知識が明日世界によって実際に利用されることを確実にするために、デジタルファイルを、独自の品質チェックを必要とする重要な証拠として扱う必要があると結論付けています。