Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping
تقترح هذه الورقة إطاراً لـ "الحراسة العلمية القابلة للتدقيق" لمعالجة فجوة القياس الحرجة في تنظيم المسودات الأولية، محتجةً بأنه بينما تكون معايير القرار غالباً شفافة، فإن عدم القدرة على ملاحظة نتائج الطلبات المرفوضة يمنع التقييم التجريبي لمعدلات السلبيات الكاذبة ويستلد معايير إبلاغ جديدة لجعل الفحص الجوهري قابلاً للاختبار تجريبياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد العلوم على وعد بسيط: وهو أن الأفكار الجديدة يمكن رؤيتها، واختبارها، ومناقشتها من قبل أي شخص. ولعقود من الزمن، كانت الطريقة الأساسية التي يشارك بها الباحثون أعمالهم المبكرة هي عبر خوادم المسودات الأولية (preprints)، وهي مكتبات رقمية ينشر فيها العلماء أوراقهم البحثية قبل أن يتم فحصها رسميًا من قبل مجلة علمية. تعمل هذه المنصات كطريق سريع للاكتشاف، مما يسمح للعالم برؤية ادعاء أو منهج بمجرد كتابته، بدلاً من الانتظار لشهور أو سنوات في عملية مراجعة الأقران التقليدية البطيئة. ومع ذلك، فإن هذه الخوادم ليست مجرد ملفات أرشيف مفتوحة؛ بل هي مساحات منسقة. فقبل أن تظهر الورقة في القائمة العامة، يقوم فريق من المتطوعين بقراءتها لتقرير ما إذا كانت تنتمي إلى هناك أم لا. ويمكنهم رفض التقديم إذا بدا أنه يفتقر إلى الأصالة، أو إذا لم يكن العلم المقدم ذا أهمية، أو إذا كان العمل غير مكتمل لدرجة تجعله غير مفيد. إن دور "حارس البوابة" هذا ضروري لمنع إغراق المكتبة بالترهات، لكنه يخلق مشكلة صعبة. فعندما يقول الحارس "لا"، كيف يمكن لأي شخص أن يعرف ما إذا كان هذا القرار صحيحًا؟ إذا تم إخفاء ورقة ما، ولم ينشرها المؤلف في مكان آخر، فلن يرى العالم النتيجة أبدًا. قد تكون الورقة اكتشافًا عبقريًا دُفن عن طريق الخطأ، أو قد تكون طريقًا مسدودًا تم إيقافه بشكل صحيح. وبدون وسيلة للنظر إلى كومة المرفوضات، لا يمكن للنظام التمييز بين الخطأ والنجاح.
هذا هو اللغز المركزي الذي يتصدى له الباحث المستقل أتسوشي أوتسوكا في دراسة جديدة. هو لا يجادل بأن النظام الحالي معطل أو أن المتطوعين منحازون، بل يطرح سؤالًا أكثر جوهرية حول القياس: هل يمتلك النظام وسيلة لرؤية أخطائه الخاصة؟ يفحص أوتسوكا القواعد والتقارير العامة لـ arXiv، وهو أكبر وأشهر خادم للمسودات الأولية، ليرى ما إذا كان من الممكن تتبع ما يحدث للأوراق التي يتم رفضها. ووجد أنه بينما يعد الخادم جيدًا جدًا في إخبارنا بعدد الأوراق التي يتلقاها وعدد الأوراق التي يرفضها، فإنه لا يخبرنا بما يحدث لتلك التي يرفضها. الخادم يعرف معدل الرفض الخاص به، لكنه لا يتتبع ما إذا كانت تلك الأوراق المرفوضة ستُنشر لاحقًا في مجلات أخرى، أو ما إذا كانت ستُقتبس من قبل علماء آخرين، أو ما إذا كان المؤلف قد حسنها وحاول مرة أخرى. وبدون هذه المعلومات المتابعة، لا يمكن للنظام حساب عدد المرات التي يرتكب فيها خطأً. الأمر يشبه حارس أمن يعرف بالضبط عدد الأشخاص الذين أوقفهم عند الباب، لكن ليس لديه سجل عما إذا كان أي من هؤلاء الذين أوقفهم هم في الواقع زوار أبرياء تم منعهم بالخطأ.
يبني عمل أوتسوكا على تاريخ طويل من الدراسات المماثلة في عالم المجلات الأكاديمية التقليدية. لسنوات، تتبع الباحثون المخطوطات المرفوضة من المجلات ليروا ما إذا كانت ستُنشر في النهاية في مكان آخر أو ما إذا كانت ستصبح أعمالًا مهمة وعالية الاقتباس. وقد أظهرت هذه الدراسات أن حتى أفضل المجلات تخطئ أحيانًا في تقدير الأوراق العبقرية، وأن عملية الرفض نفسها يمكن أن تغير سلوك المؤلف، وربما تثبطه عن إكمال العمل. يطبق أوتسوكا نفس المنطق على خوادم المسودات الأولية. ويشير إلى وجود عدم تماثل حاسم في كيفية حكمنا على هذه القرارات. فإذا نُشرت ورقة مرفوضة لاحقًا في مجلة مرموقة، فإن ذلك يعد دليلًا قويًا على أن خادم المسودات الأولية قد ارتكب خطأً. ولكن إذا لم تُنشر الورقة المرفوضة أبدًا، فإن ذلك لا يثبت أن الخادم كان على حق. فالرفض نفسه قد يكون تسبب في جعل المؤلف يستسلم، أو ربما رُفضت الورقة لسبب كان في الواقع خاطئًا. ولأن الرفض يغير مستقبل الورقة، فلا يمكنك ببًا مجرد النظر إلى النتيجة النهائية لتقرير ما إذا كان قرار الـ "لا" الأولي صحيحًا.
ولحل ذلك، يقترح أوتسوكا إطارًا جديدًا لجعل "حراسة البوابة" العلمية قابلة للتدقيق. وهو يقسم المشكلة إلى ثلاثة مستويات. المستوى الأول هو شفافية القرار، والتي تعني ببساطة الإبلاغ عن عدد الأوراق المرفوضة وأسباب ذلك. والثاني هو إمكانية مراقبة النتائج، وتعني تتبع ما يحدث لتلك الأوراق المرفوضة لاحقًا. والثالث والأهم هو قابلية تدقيق الأخطاء. وهذا يتطلب من المنصة أن تعلن مسبقًا كيف ستحكم على ما إذا كان القرار خاطئًا. على سبيل المثال، إذا رُفضت ورقة لأنها تحتاج إلى "مراجعة جوهرية"، يجب أن يكون لدى المنصة قاعدة واضحة للتحقق لاحقًا مما إذا كان المؤلف قد أجرى تلك المراجعات بالفعل قبل النشر في مكان آخر. ويظهر تدقيق أوتسوكا للسجلات العامة الحالية لـ arXiv أن الخادم قوي في المستوى الأول ولكنه ضعيف في المستويات الأخرى. فالخادم يبلغ عن أرقامه الإجمالية وسياساته العامة، لكنه لا ينشر بيانات تربط حالات رفض محددة بالنتائج اللاحقة، كما أنه لا يوفر طريقة للتحقق مما إذا كان الرفض خطأً بالفعل.
لا تدعي الدراسة أن arXiv يرفض علومًا جيدة، ولا تدعي أن المتطوعين يرتكبون أخطاءً. هي ببساطة تقول إن المعلومات العامة الحالية ليست كافية للمعرفة. قد يكون الخادم مثاليًا، أو قد يكون يرتكب الكثير من الأخطاء؛ هيكل البيانات العامة ببساطة لا يستطيع إخبارنا بذلك. يقترح أوتسوكا أنه لكي يكون النظام جديرًا بالثقة حقًا، يجب أن يكون قادرًا على قياس دقته. وهو يوصي بأن تبدأ المنصات في جمع ومشاركة بيانات محددة: كم عدد الأوراق المرفوضة التي ظهرت لاحقًا في المجلات، وكم مرة استأنف المؤلفون وفازوا، وما إذا كانت الأسباب المعطاة للرفض تتوافق مع المصير النهائي للعمل. كما يقترح أن تكون المنصات حذرة بشأن استخدام سجل المؤلف السابق أو انتماءه الجامعي كسبب للرفض، ما لم تتمكن من إثبات أن هذه العوامل لا تؤدي إلى أخطاء غير عادلة. الهدف ليس القضاء على جميع حالات الرفض، وهو أمر مستحيل، بل خلق نظام يمكن فيه رؤية ودراسة معدل الخطأ.
في النهاية، ينقل هذا البحث المحادثة من الجدال حول ما إذا كانت حراسة البوابة جيدة أم سيئة إلى السؤال عن كيفية قياس جودتها. وتجادل الورقة بأنه إذا امتلك النظام القدرة على إخفاء العمل العلمي عن العالم، فلديه مسؤولية لإظهار عدد المرات التي يخطئ فيها في اتخاذ هذا القرار. ومن خلال تتبع الأوراق المرفوضة وربطها بحياتها اللاحقة، يمكن للمجتمع العلمي الانتقال من التخمين حول جودة حراس بواباته إلى المعرفة الفعلية. لا يتطلب هذا النهج تعريفًا مثاليًا لماهية "العلم الجيد"، بل يتطلب فقط سجلًا واضحًا وصادقًا لما يحدث بعد قول كلمة "لا". إذا استطاع النظام إظهار هذا السجل، فيمكنه إثبات أنه يعمل كما هو مخطط له. وإذا لم يستطع، فسيظل النظام صندوقًا أسود، حيث تُتخذ القرارات في الظلام، ويدفع ثمن تلك القرارات العلماء الذين لا يُرى عملهم أبدًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.