Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

모든 책이 대중에게 공개되어 있고, 거대한 카탈로그에 목록화되어 있으며, 전 세계 학자들에 의해 인용되는 도서관을 상상해 보십시오. 서류상으로는 완벽해 보입니다. 하지만 만약 그 책의 페이지가 몇 년 후면 바스러지는 재질로 만들어졌거나, 혹은 기계가 읽을 수 없는 암호로 글이 쓰여 있다면 어떨까요? 학술 연구의 세계에서 우리는 수십 년 동안 연구가 얼마나 개방적이고, 가시적이며, 영향력이 있는지를 측정하는 시스템을 구축해 왔습니다. 우리는 논문이 얼마나 많이 인용되었는지 세고, 논문을 무료로 이용할 수 있는지 확인합니다. 이것들은 유용한 척도이지만, 이는 단지 논문을 '찾을 수 있는지'만을 알려줄 뿐입니다. 이 논문이 지속될 수 있도록 구축되었는지, 혹은 시각 장애인을 위한 스크린 리더와 미래의 아카이브가 내부의 정보를 실제로 이해하고 사용할 수 있도록 구조화되어 있는지는 알려주지 않습니다.

이 간극이 연구자 케말 야일라(Kemal Yayla)의 새로운 연구가 주목하는 지점입니다. 이 연구는 학술 논문의 "문서 품질(documentary quality)"을 살펴봅니다. 이는 "디지털 파일이 연구 내용을 담기에 충분히 안정적인가, 그리고 기계가 처리할 수 있을 만큼 잘 조직되어 있는가?"라는 질문을 던지는 세련된 방식입니다. 연구자는 디지털 파일을 단순히 단어를 담는 그릇이 아니라, 유용성을 유지하기 위해 특정 기술적 특징이 필요한 취약한 객체로 취급합니다. 이러한 특징들이 존재하는지 알아내기 위해, 이 연구는 미국과 캐나다의 도서관 운영 저널에서 발표된 연구 논문의 최종본 1,340개를 조사했습니다. 이 논문들은 영구적으로 보존될 수 있고 보조 기술로 읽힐 수 있도록 설계된 엄격한 기술 표준을 기준으로 검사되었습니다. 결과는 놀라운 현실을 드러냈습니다. 이 논문들은 찾기는 쉽지만, 파일 자체는 장기적인 생존과 접근성을 위협할 정도로 자주 망가져 있다는 것입니다.

연구는 특정 문서 집합을 모으는 것으로 시작되었습니다. 연구자는 자신들이 직접 학술지를 운영하는 미국과 캐나다의 도서관 그룹인 '라이브러리 퍼블리싱 코알리션(Library Publishing Coalition)'에 속한 저널들을 선정했습니다. 이 저널들은 개방성과 투명성으로 잘 알려져 있습니다. 연구자는 그 후 2024년에서 2025년 사이에 발표된 논문의 최종 발행 PDF 파일들을 추출했습니다. 총 1,340개의 파일이 수집되었습니다. 이 파일들은 세 가지 서로 다른 기술 표준을 준수하는지 확인하는 자동화 테스트 도구를 통과하게 되었습니다. 첫 번째 표준인 PDF/A-1b는 미래의 어떤 컴퓨터에서도 문서를 열고 읽을 수 있도록 보장하는 기본적인 규칙 모음입니다. 두로 PDF/A-2u는 더 엄격한 버전으로, 아카이브가 파일을 자동으로 식별할 수 있도록 파일 자체에 디지털 신분증을 지니도록 요구합니다. 세 번째 표준인 PDF/UA-1은 접근성을 위한 규칙으로, 스크린 리더가 문서를 탐색할 수 있는 논리적 구조를 갖추고 기계가 텍스트를 복사하고 검색할 수 있도록 보장합니다.

테스트가 시작되었을 때, 결과는 극명했습니다. 1,340개의 문서 중 장기 보존을 위한 기본 테스트를 통과한 것은 단 18개뿐이었습니다. 디지털 식별을 위한 더 엄격한 테스트를 통과한 것은 단 하나도 없었습니다. 접근성 테스트를 통과한 것은 10개뿐이었습니다. 이는 검사된 거의 모든 논문에 대해, 해당 파일이 신뢰할 수 있는 영구 기록으로서의 최소 요구 사항을 충족하지 못했음을 의미합니다. 그러나 이 연구는 단순히 "이 파일들은 실패했다"라고 말하는 것은 이야기의 가장 중요한 부분을 놓치는 것이라고 주장합니다. 연구자는 무엇이 정확히 고장 났는지, 그리고 그것이 수정 가능한지 여부에 따라 실패 사례를 9가지 다른 범주로 분류하는 새로운 방식을 개발했습니다.

분석 결과, 실패의 양상은 모두 같지 않았습니다. 어떤 문제들은 상자에 라벨이 누락된 것과 같았습니다. 예를 들어, 거의 모든 파일이 자신이 어떤 종류의 파일인지 아카이브에 알려주는 특정 디지털 선언이 누락되었다는 이유로 실패했습니다. 이는 작은, 패치 가능한 오류입니다. 이는 논문의 내용이 틀렸다는 뜻이 아니라, 최종 내보내기 과정에서 메타데이터의 한 조각이 빠졌음을 의미합니다. 이러한 유형의 오류는 "사후 패치 가능(post-hoc patchable)"으로 분류되는데, 이는 원래의 저작물을 변경하지 않고도 나중에 수정할 수 있음을 의미합니다. 반면, 다른 실패들은 훨씬 더 심각했습니다. 연구는 98.4%의 파일이 논리적 구조가 부족하여 접근성 테스트에 실패했음을 발견했습니다. 이는 텍스트가 제목이 어디서 끝나고 본문이 어디서 시작되는지, 혹은 표가 어디서 시작하고 끝나는지를 컴퓨터에 알려주는 방식으로 태깅되지 않았음을 의미합니다. 이것들은 "업스트림 전용(upstream-only)" 문제입니다. 이들은 문서가 처음 생성될 때 발생합니다. 일단 파일이 PDF로 저장되면, 이러한 구조적 정보는 신뢰할 수 있게 추가하거나 수정할 수 없습니다. 파일이 대중에게 전달되기도 전에 이미 손상이 발생한 것입니다.

또한 연구는 이러한 문제들이 주제나 국가별로 차이가 있는지 살펴보았습니다. 결과는 구조적 태깅의 결여가 보편적인 문제임을 보여주었습니다. 이 문제는 논문이 생물학, 역사, 또는 공학 중 무엇에 관한 것이든 관계없이 거의 모든 문서에서 나타났습니다. 이는 문제가 저자나 특정 연구 분야의 문제가 아니라, 파일을 생성하는 데 사용되는 소프트웨어와 시스템의 문제임을 시사합니다. 그러나 다른 유형의 오류들은 차이가 있었습니다. 예를 들어, 텍스트를 복사하거나 검색할 수 있는 데 발생하는 문제는 예술이나 법학 논문보다 과학 및 수학 논문에서 훨씬 더 흔했습니다. 이는 과학 논문이 컴퓨터가 정확하게 처리하기 어려운 복잡한 기호와 특수 문자를 자주 사용하기 때문이라는 점에서 타당합니다. 연구는 또한 미국과 캐나다의 저널을 비교했습니다. 두 그룹 모두 전반적으로 매우 낮은 통과율을 보였지만, 구체적인 오류 유형은 약간 달랐는데, 캐나다 저널이 기본적인 보존 검사에서는 약간 더 나은 성적을 보였으나 접근성 검사에서는 더 낮은 성적을 보였습니다.

이 작업의 가장 중요한 교훈은 우리가 논문의 제목, 초록, 또는 인용 횟수만 보고 논문의 품질을 판단해서는 안 된다는 것입니다. 논문은 널리 읽히고 높은 찬사를 받을 수 있지만, 그 디지털 파일은 시각 장애인이 읽을 수 없거나, 컴퓨터가 검색할 수 없거나, 50년 후에 열 수 없는 상태일 수도 있습니다. 연구자의 새로운 프레임워크는 우리가 이러한 숨겨진 결함들을 측정할 수 있음을 증명합니다. 기술적 오류를 구체적인 범주로 세분화함으로써, 우리는 무엇이 고장 났고 어디에서 수정이 필요한지를 정확히 알 수 있습니다. 어떤 수정은 쉽고 논문이 발표된 후에 할 수 있습니다. 다른 것들은 논문이 처음에 생성되는 방식에 대한 근본적인 변화를 요구합니다.

이 연구는 도서관 출판이 실패하고 있다고 주장하는 것이 아닙니다. 사실, 이 연구는 도서관 출판이 지식을 보존하고 공유하는 데 있어 가장 신중해야 하는 기관이기 때문에 이를 테스트 케이스로 사용한 것입니다. 만약 완벽함을 지향하는 시스템에서조차 파일들이 이토록 망가져 있다면, 문제는 다른 출판 환경에서 훨씬 더 심각할 것입니다. 이 연구는 마법 같은 해결책을 제시하는 것이 아니라, 문제에 대한 명확한 지도를 제공합니다. 이는 우리가 과학을 평가하는 도구들이 문서 자체의 물리적, 기술적 건강 상태에는 눈이 멀어 있음을 보여줍니다. 파일이 안정적이고 접근 가능한지를 측정하기 시작하지 않는 한, 우리는 학술 기록의 절반만을 측정하고 있는 것입니다. 연구는 우리가 오늘 생산하는 지식이 내일의 세상에서 실제로 사용될 수 있도록, 디지털 파일을 독자적인 품질 검사가 필요한 핵심적인 증거로 취급해야 한다고 결론짓습니다.