Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

تخيل مكتبة حيث كل كتاب فيها مفتوح للجمهور، ومدرج في فهرس ضخم، ويستشهد به العلماء من جميع أنحاء العالم. على الورق، يبدو هذا مثالياً. ولكن ماذا لو كانت صفحات تلك الكتب مصنوعة من مادة تتفتت بعد بضع سنوات، أو إذا كان النص مكتوباً بشفرة لا تستطيع أي آلة قراءتها؟ في عالم البحث الأكاديمي، أمضينا عقوداً في بناء أنظمة لقياس مدى انفتاح الدراسات، وظهورها، وتأثيرها. نحن نعد عدد المرات التي تم فيها الاستشهاد بورقة بحثية، أو نتحقق مما إذا كانت متاحة مجاناً. هذه مقاييس مفيدة، لكنها تخبرنا فقط ما إذا كان يمكن العثور على الورقة، ولا تخبرنا ما إذا كانت الورقة نفسها مبنية لتدوم، أو ما إذا كانت مهيكلة بطريقة تسمح للحواسيب، وقارئات الشاشة للمكفوفين، والأرشيفات المستقبلية بفهم واستخدام المعلومات الموجودة بداخلها فعلياً.

هذه الفجوة هي محور دراسة جديدة للباحث كمال يلا (Kemal Yayla). تبحث الدراسة في "الجودة التوثيقية" للمقالات العلمية. وهذه طريقة منمقة للتساؤل: هل الملف الرقمي الذي يحمل البحث مستقر بما يكفي ليبقى لعقود، وهل هو منظم بما يكفي لتقوم الآلات بمعالجته؟ يتعامل الباحث مع الملف الرقمي ليس فقط كوعاء للكلمات، بل ككائن هش يحتاج إلى سمات تقنية محددة ليبقى مفيداً. وللتحقق من وجود هذه السمات، فحصت الدراسة 1,340 نسخة نهائية من أوراق بحثية نشرتها دوريات تديرها المكتبات في الولايات المتحدة وكندا. تم فحص هذه الأوراق مقابل معايير تقنية صارمة مصممة لضمان إمكانية حفظها للأبد وقراءتها بواسطة التقنيات المساعدة. وتكشف النتائج عن واقع صادم: بينما يسهل العثور على هذه الأوراق، إلا أن الملفات نفسها غالباً ما تكون معيبة بطرق تهدد بقاءها على المدى الطويل وإمكانية الوصول إليها.

بدأت الدراسة بجمع مجموعة محددة من الوثائق. اختار الباحث دوريات هي جزء من "تحالف النشر المكتبي" (Library Publishing Coalition)، وهي مجموعة من المكتبات في الولايات المتحدة وكندا تدير دورياتها الأكاديمية الخاصة. وتشتهر هذه الدوريات بكونها مفتوحة وشفافة. ثم استخرج الباحث ملفات الـ PDF النهائية المنشورة للمقالات التي نُشرت بين عامي 2024 و2025. وفي المجمل، تم جمع 1,340 ملفاً. خضعت هذه الملفات لاختبارات آلية تتحقق من الامتثال لثلاثة معايير تقنية مختلفة. المعيار الأول، المعروف باسم PDF/A-1b، هو كتاب قواعد أساسي لضمان إمكانية فتح المستند وقراءته بواسطة أي حاسوب في المستقبل. والمعيار الثاني، PDF/A-2u، هو نسخة أكثر صرامة تتطلب أن يحمل الملف بطاقة هوية رقمية خاصة به لكي تتمكن الأرشيفات من التعرف عليه تلقائياً. أما المعيار الثالث، PDF/UA-1، فهو كتاب قواعد خاص بإمكانية الوصول، يضمن أن المستند يمتلك بنية منطقية يمكن لقارئات الشاشة التنقل عبرها، وأن النص يمكن نسخه والبحث عنه بواسطة الآلات.

عندما بدأ الاختبار، كانت النتائج صارخة. من بين 1,340 وثيقة، نجحت 18 وثيقة فقط في الاختبار الأساسي للحفظ طويل الأمد. ولم تنجح أي منها في الاختبار الأكثر صرامة الخاص بالتعريف الرقمي. ونجحت 10 وثائق فقط في اختبار إمكانية الوصول. وهذا يعني أنه بالنسبة لكل ورقة بحثية تم فحصها تقريباً، فشل الملف في تلبية الحد الأدنى من المتطلبات ليكون سجلاً موثوقاً ودائماً. ومع ذلك، تجادل الدراسة بأن الاكتفاء بالقول "فشلت هذه الملفات" يغفل الجزء الأهم من القصة. فقد طور الباحث طريقة جديدة للنظر في حالات الفشل هذه، من خلال تصنيفها إلى تسع فئات مختلفة بناءً على ماهية الخلل بدقة وما إذا كان من الممكن إصلاحه.

أظهر التحليل أن حالات الفشل لم تكن متشابهة. فبعض المشكلات كانت تشبه الملصقات المفقودة على صندوق. على سبيل المثال، فشلت كل ملف تقريباً بسبب افتقارها إلى إعلان رقمي محدد يخبر الأرشيف بنوع الملف. هذا خطأ بسيط يمكن معالجته؛ فهو لا يعني أن محتوى الورقة خاطئ، بل يعني فقط أن قطعة من البيانات الوصفية (metadata) قد سقطت أثناء عملية التصدير النهائية. يُصنف هذا النوع من الأخطاء على أنه "قابل للإصلاح لاحقاً" (post-hoc patchable)، مما يعني أنه يمكن إصلاحه لاحقاً دون تغيير العمل الأصلي. في المقابل، كانت هناك أخطاء أكثر خطورة بكثير. وجدت الدراسة أن 98.4% من الملفات فشلت في اختبار إمكانية الوصول بسبب افتقارها إلى البنية المنطقية. وهذا يعني أن النص لم يتم وسمه (tagging) بطريقة تخبر الحاسوب أين ينتهي العنوان وأين يبدأ متن النص، أو أين يبدأ الجدول وأين ينتهي. هذه مشاكل "تحدث في المصدر فقط" (upstream-only)؛ فهي تحدث عند إنشاء المستند لأول مرة. وبمجرد حفظ الملف بتنسيق PDF، لا يمكن إضافة أو إصلاح هذه المعلومات الهيكلية بشكل موثوق. لقد وقع الضرر قبل أن يصل الملف إلى الجمهور.

كما نظرت الدراسة فيما إذا كانت هذه المشكلات تختلف باختلاف الموضوع أو البلد. وأظهرت النتائج أن غياب الوسم الهيكلي (structural tagging) كان مشكلة عالمية؛ فقد ظهر في كل وثيقة تقريباً، بغض النظر عما إذا كانت الورقة تتناول علم الأحياء، أو التاريخ، أو الهندسة. وهذا يشير إلى أن المشكلة ليست في المؤلف أو في مجالات الدراسة المحددة، بل في البرامج والأنظمة المستخدمة لإنشاء الملفات. ومع ذلك، كانت هناك أنواع أخرى من الأخطاء تختلف بالفعل. فعلى سبيل المثال، كانت المشكلات المتعلقة بالنصوص التي يمكن نسخها أو البحث عنها أكثر شيوعاً في أوراق العلوم والرياضيات مقارنة بأوراق الفن أو القانون. وهذا أمر منطقي، حيث تستخدم الأوراق العلمية غالباً رموزاً معقدة ورموزاً خاصة يصعب على الحواسيب التعامل معها بشكل صحيح. كما قارنت الدراسة بين الدوريات من الولايات المتحدة وكندا؛ وبينما سجلت كلتا المجموعتين معدلات نجاح منخفضة للغاية بشكل عام، إلا أن أنواع الأخطاء المحددة اختلفت قلياً، حيث أدت الدوريات الكندية أداءً أفضل قليلاً في فحوصات الحفظ الأساسية، ولكنها كانت أسوأ في فحوصات إمكانية الوصول.

إن أهم استنتاج من هذا العمل هو أنه لا يمكننا الحكم على جودة الورقة البحثية بمجرد النظر إلى عنوانها، أو ملخصها، أو عدد المرات التي تم الاستشهاد بها. يمكن أن تكون الورقة مقروءة على نطاق واسع ومثيرة للإعجاب، ومع ذلك قد يكون ملفها الرقمي غير قابل للقراءة من قبل شخص كفيف، أو غير قابل للبحث بواسطة الحاسوب، أو مستحيلاً فتحه بعد خمسين عاماً. يثبت الإطار الجديد الذي وضعه الباحث أنه يمكننا قياس هذه العيوب الخفية. ومن خلال تقسيم الأخطاء التقنية إلى فئات محددة، يمكننا معرفة ما هو معطل بالضبط وأين يجب أن يحدث الإصلاح. بعض الإصلاحات سهلة ويمكن القيام بها بعد نشر الورقة، بينما يتطلب البعض الآخر تغييراً جذرياً في كيفية إنشاء الأوراق من الأساس.

لا تدعي هذه الدراسة أن النشر المكتبي يفشل؛ بل إنها تستخدم النشر المكتبي كحالة اختبار لأن هذه المؤسسات يُفترض أن تكون الأكثر حرصاً على حفظ المعرفة ومشاركتها. فإذا كانت الملفات معيبة بهذا الشكل في نظام مصمم ليكون مثالياً، فإن المشكلة على الأرجح أسوأ في بيئات النشر الأخرى. لا يقدم البحث حلاً سحرياً، ولكنه يوفر خريطة واضحة للمشكلة. إنه يوضح أن الأدوات التي نستخدمها لتقييم العلم عمياء عن الحالة المادية والتقنية للوثائق نفسها. وحتى نبدأ في قياس ما إذا كانت الملفات مستقرة وسهلة الوصول، فإننا نقيس نصف السجل العلمي فقط. وتخلص الدراسة إلى أننا بحاجة إلى معاملة الملف الرقمي كقطعة حاسمة من الأدلة التي تتطلب فحوصات جودة خاصة بها، لضمان أن المعرفة التي ننتجها اليوم يمكن للعالم استخدامها حقاً غداً.