Improving machine learning-based paper mill detection in cancer research using full text, image and citation data
تُظهر هذه الدراسة أن تعزيز الكشف عن مصانع الأوراق البحثية القائمة على تعلم الآلة في أبحاث السرطان من خلال دمج بيانات النص الكامل والاستشهادات والصور مع معلومات العنوان والملخص يحسن دقة النموذج بشكل كبير، محققاً ما يصل إلى 98.2% في التحقق الداخلي و96.4% في التحقق الخارجي.
في المكتبة الشاسعة للمعرفة العلمية، حيث يبني الباحثون اكتشافات جديدة على أكتاف من سبقوهم، يوجد ظل خطير: "مصنع الأوراق البحثية" (paper mill). هذه ليست مجرد ورش عمل صغيرة ناتجة عن أخطاء غير مقصودة، بل هي عمليات منظمة تصنع أوراقاً بحثية مزيفة وتبيع الحق في إدراج الاسم كـمؤلف لأي شخص مستعد للدفع. إن الضرر الذي تسببه عميق، لا سيما في مجال أبحاث السرطان. فعندما يحاول عالم علاج مرض ما، فإنه يعتمد على البيانات الواردة في الدراسات المنشورة لتوجيه خطواته التالية. وإذا كانت تلك البيانات مفبركة من قبل مصنع أوراق، فإن العالم يهدر سنوات من الوقت وملايين الدولارات في مطاردة سراب، بينما يظل المرضى عرضة للخطر. لسنوات طويلة، كافح المجتمع العلمي للعثور على هذه التزييفات قبل نشرها، معتمداً في كثير من الأحيان على العنوان والملخص القصير للورقة البحثية لرصد الاحتيال. ولكن مع زيادة مهارة المزورين، أصبحت الملخصات التي يكتبونها أصعب في التمييز عن الحقيقة.
وضعت دراسة حديثة هدفاً لمعرفة ما إذا كان النظر بعمق أكبر في الورقة البحثية يمكن أن يكشف هؤلاء المزورين. طرح الباحثون سؤالاً بسيطاً: إذا نظرنا إلى متن الورقة البحثية بالكامل، بما في ذلك طرقها التفصيلية، ونتائجها، وصور تجاربها، وقائمة الأوراق الأخرى التي تستشهد بها، فهل يمكننا رصد الاحتيال بشكل أفضل من مجرد قراءة العنوان والملخص؟ وللإجابة على ذلك، قاموا ببناء نظام حاسوبي مدرب على التعرف على البصمات الخفية لمصانع الأوراق البحثية. لقد جمعوا مجموعة ضخمة من الأوراق المزيفة المعروفة، والتي حددها خبراء سبق لهم رصدها، ودمجوها مع مجموعة كبيرة من دراسات السرطان الحقيقية وعالية الجودة. ثم قام الفريق بتغذية هذه البيانات في نظام تعلم آلي، وهو نوع من الذكاء الاصطناعي الذي يتعلم الأنماط من خلال الأمثلة. واختبروا النظام بثلاث طرق مختلفة: أولاً، عبر إعطائه العنوان والملخص فقط؛ ثانياً، عبر إعطائه النص الكامل لأقسام المنهجية والنتائج؛ وثالثاً، عبر إظهار الصور الفعلية المستخدمة في التجارب. وأخيراً، دمجوا كل هذه القرائن في كاشف واحد قوي.
أظهرت النتائج أن النظر إلى الصورة الكاملة يحدث فرقاً جوهرياً. فعندما اقتصر الحاسوب على العنوان والملخص فقط، كان أداؤه جيداً، حيث حدد بشكل صحيح حوالي 91.5 بالمائة من الأوراق المزيفة في مجموعة اختبار جديدة لم يسبق له رؤيتها. وهذا طابق أداء الأدوات السابقة التي اعتمدت فقط على الملخصات القصيرة. ومع ذلك، عندما أضاف الباحثون النص الكامل للورقة، وتحديداً الأقسام التي تصف كيفية إجراء التجارب وما كانت عليه النتائج، تحسنت دقة النظام. فقد بدأ في ضبط المزيد من التزييفات، ليصل إلى دقة بلغت 92.1 بالمائة في مجموعة الاختبار الجديدة. فقد كشف النص الكامل عن أنماط فاتتها الملخصات القصيرة، مثل بروتوكولات التجارب المعاد تدويرها أو تسلسلات المكونات التي لا تبدو منطقية، وهي حيل شائعة يستخدمها مصنعو الأوراق.
اختبرت الدراسة أيضاً ما إذا كانت الصور الموجودة في الأوراق يمكن أن تساعد. فقد تم تدريب الحاسوب على فحص الأشكال والمخططات ليرى ما إذا كانت تبدو متلاعباً بها أو مشبوهة. وبينما نجحت هذه الطريقة بشكل أفضل من التخمين العشوائي، إلا أنها لم تكن بموثوقية النصوص. فقد حدد كاشف الصور بشكل صحيح حوالي 76 بالمائة من الأوراق المزيفة في مجموعة الاختبار الجديدة، لكنه عانى أكثر من الأدوات القائمة على النصوص؛ حيث كان جيداً بشكل خاص في رصد الأوراق الحقيقية، لكنه أخطأ في الكثير من الأوراق المزيفة. وهذا يشير إلى أنه رغم كون الصور المزيفة علامة تحذير، إلا أن كلمات الورقة تروي قصة أكثر وضوحاً. كما نظر الباحثون في قائمة المراجع، للتحقق مما إذا كانت الورقة تستشهد بأوراق مزيفة أخرى معروفة. كانت هذه القرينة مفيدة، لكنها كانت الإشارة الأقل قوة على الإطلاق، ويرجع ذلك على الأرجى إلى أن قائمة الأوراق المزيفة المعروفة ليست مكتملة بعد بما يكفي لرصد كل الروابط.
وقد ظهرت الأداة الأكثر قوة عندما دمج الباحثون جميع المعلومات المتاحة. فقد أخذوا الدرجات من قارئ النصوص، ومشاهد الصور، وفاحص المراجع ودمجوها في قرار واحد. حقق هذا النموذج المدمج، الذي أخذ في الاعتبار النص الكامل والصور والاستشهادات جميعها في آن واحد، أعلى دقة لأي نظام تم اختباره. ففي مجموعة الاختبار الجديدة التي لم تُشاهد من قبل، حدد بشكل صحيح 96.4 بالمائة من الأوراق المزيفة. وكان هذا تحسناً واضحاً عن الطرق القديمة التي اعتمدت على نوع واحد من القرائن. تشير الدراسة إلى أنه مع زيادة تطور مصانع الأوراق، فإن السبيل الوحيد لإيقافها هو استخدام نظام ينظر في كل جزء من المستند. تماماً كما قد يقرأ محرر بشري ورقة بحثية، ويفحص الصور، ويتحقق من المصادر لضمان الجودة، يقوم الحاسوب الآن بنفس الشيء، ولكن بسرعة ونطاق لا يمكن لأي بشر مضاهاتهما. وتشير النتائج إلى أن مستقبل حماية النزاهة العلمية يكمن في هذه الفحوصات الشاملة والمتعددة الطبقات، لضمان بقاء أساس أبحاث السرطان صلباً وجديراً بالثقة.
ملخص تقني: تحسين الكشف عن "مطاحن الأوراق البحثية" القائم على تعلم الآلة في أبحاث السرطان
بيان المشكلة تشكل "مطاحن الأوراق البحثية" (Paper mills)—وهي منظمات تصنع وتبيع حقوق التأليف لأبحاث علمية مزيفة—تهديداً خطيراً للنزاهة الأكاديمية، لا سيالما في مجال أبحاث السرطان. تنتج هذه الكيانات كميات هائلة من المخطوطات الخادعة التي يمكن أن تشوه الممارسات الطبية، وتقوض الثقة العامة في الأدبيات المراجعة من قبل الأقران، وتُهدر الموارد العلمية. وبينما نجحت الأبحاث السابقة (تحديداً دراسة Scancar et al.) في استخدام مصنف يعتمد على نموذج BERT لتدريب العناوين والملخصات للكشف عن منتجات مطاحن الأوراق بدقة تبلغ حوالي 91%، إلا أن هذا النهج يعتمد فقط على نصوص محدودة. ويفترض المؤلف أن مطاحن الأوراق غالباً ما تظهر اختلالات محددة في البروتوكولات التجريبية الكاملة، والبيانات المفبركة في أقسام النتائج، والصور البيانية المكررة أو المتلاعب بها، وأنماط الاستشهاد غير المتناسبة بين الأوراق المزيفة. وهذه المؤشرات لا يتم التقاطها من خلال العناوين والملخصات وحدها، مما يشير إلى أن نهجاً متعدد الوسائط (multi-modal) يمكن أن يعزز موثوقية الكشف.
المنهجية تعمل الدراسة على بناء مجموعة بيانات شاملة ومسار تعلم آلي متعدد الوسائط لتقييم ما إذا كان دمج النص الكامل، والصور، وبيانات الاستشهاد يحسن من أداء النموذج المرجعي الحالي المعتمد على الملخص فقط.
جمع البيانات:
مجموعة مطاحن الأوراق: تم استخراجها من قاعدة بيانات Retraction Watch وتقارير نزاهة PubPeer، مع تصفيتها باستخدام كلمات مفتاحية متعلقة بالسرطان. تتضمن مجموعة البيانات 2,477 ورقة بحثية للتدريب والتحقق الداخلي، و3,000 ورقة للتحقق الخارجي.
المجموعة الضابطة: تم الحصول عليها من مجلات عالية التأثير (مثل Cell و Nature Medicine) ومن مؤسسات من دول غير ممثلة بشكل كافٍ في سحوبات مطاحن الأوراق (مثل السويد والنرويج وفنلندا) لتقليل التحيز اللغوي والإقليمي. تحتوي مجموعة التحكم التدريبية على 7,623 مقالاً.
استخراج الوسائط (Modality Extraction):
النص: تم استخراج العناوين والملخصات لجميع الأوراق. ركز استخراج النص الكامل على أقسام (الطرق، النتائج، وشروح الأشكال) مع استبعاد (المقدمة والمناقشة) عبر PubMed Central، أو Europe PMC، أو تحليل ملفات PDF باستخدام PyMuPDF.
الصور: تم استخراج الأشكال من الملفات التكميلية، أو الأرشيفات المفتوحة، أو ملفات PDF. تم استبعاد الصور منخفضة الجودة أو غير التمثيلية (مثل الأيقونات أو الأبعاد الصغيرة).
الاستشهادات: تم حساب نسبة المراجع في كل ورقة بحثية التي تشير إلى منشورات معروفة لمطاحن الأوراق باستخدام قائمة مجمعة تضم 27,216 مقالاً مزيفاً معروفاً.
بنية النموذج: تم تطوير وتقييم خمسة نماذج متميزة:
النموذج المرجعي (الملخص فقط): مصنف BERT تم ضبطه بدقة (fine-tuned) على العناوين والملخصات، محاكياً منهجية Scancar et al.
مصنف الصور: نموذج يعتمد على CLIP يقوم بتمثيل صور الأشكال في متجهات (vectors)، ويتم حساب متوسطها لكل ورقة، ثم تُغذى إلى مصنف انحدار لوجستي (logistic regression).
نماذج الدمج (نسختان): نماذج انحدار لوجستي تدمج احتمالات مخرجات مصنف النص، ومصنف الصور، وإشارة الاستشهاد. تستخدم إحدى النسختين درجة (الملخص فقط)، بينما تستخدم الأخرى درجة (النص الكامل).
التدريب والتحقق: تم تدريب النماذج باستخدام تقسيم 70/17.5/12.5 للتدريب، والتحسين، والتحقق الداخلي. كما تم إجراء التحقق الخارجي على مجموعات مستقلة من PubPeer والمجلات عالية التأثير. تم قياس الأداء باستخدام الدقة (accuracy)، والحساسية (sensitivity)، والنوعية (specificity)، مع تحسين العتبات لإعطاء الأولوية للنوعية لتقليل الاتهامات الخاطئة بالاحتيال.
المساهمات الرئيسية
الدمج متعدد الوسائط: توضح الورقة مساراً ينجح في دمج النص (العنوان/الملخص/النص الكامل)، والمرئي (صور الأشكال)، والشبكي (الاستشهادات) للكشف عن الاحتيال.
التحقق التجريبي من النص الكامل: تقدم الورقة دليلاً على أن توسيع المدخلات بما يتجاوز الملخصات لتشمل أقساماً محددة من النص الكامل (الطرق/النتائج) يحقق مكاسب ملموسة في الأداء.
تحليل وزن الإشارات: من خلال معاملات الانحدار اللوجستي، تقيس الدراسة المساهمة النسبية للنص، والصور، والاستشهادات، كاشفةً أن النص هو الإشارة المهيمنة، بينما توفر الصور دفعة ثانوية ذات معنى عند الجمع بينهما.
النتائج
نموذج الملخص فقط: حقق دقة بنسبة 93.39% في التحقق الداخلي و91.50% في التحقق الخارجي، وهو ما يتماشى مع الدراسات السابقة.
نموذج النص الكامل: أظهر تحسناً عن النموذج المرجعي (الملخص فقط)، حيث وصل إلى 95.48% دقة داخلية و92.10% دقة خارجية.
مصنف الصور: كان أضعف نموذج قائم بذاته بأداء بلغ 83.64% داخلياً و76.36% خارجياً. أظهر نوعية عالية ولكن حساسية منخفضة، مما يشير إلى أنه أفضل في تحديد الأوراق الحقيقية منه في تحديد الأوراق المزيفة بمعزل عن غيرها.
نماذج الدمج: حقق النهج المدمج أعلى أداء.
حقق نموذج الدمج (النص الكامل + الاستشهاد + الصورة) دقة بنسبة 98.24% في التحقق الداخلي و96.43% في التحقق الخارجي.
حقق نموذج الدمج (الملخص + الاستشهاد + الصورة) دقة بنسبة 97.65% داخلية و95.19% خارجية.
أهمية الميزات: في نماذج الدمج، حملت ميزة النص الوزن الأعلى (معاملات 7.5–8.8)، تليها الصور (4.1–5.4)، بينما كانت إشارة الاستشهاد ذات وزن ضئيل (~0.35–0.38).
الأهمية والادعاءات تخلص الورقة إلى أن تعزيز بيانات العنوان والملخص بمعلومات النص الكامل، والصور، والاستشهادات يعزز بشكل كبير أداء الكشف القائم على تعلم الآلة لمطاحن الأوراق. يدعي المؤلف أن نموذج الدمج متعدد الوسائط يمثل تحسناً جوهرياً عن نهج "الملخص فقط" الأصلي، محققاً دقة تتجاوز 96% في التحقق الخارجي.
تؤكد الدراسة أنه بينما يظل النص هو الإشارة الأكثر قيمة، فإن تضمين صور الأشكال ومحتوى النص الكامل يوفر طبقة ضرورية من المتانة ضد مطاحن الأوراق التي تزداد تطوراً. ويشير المؤلف إلى أن بيانات الاستشهاد، رغم كونها مفيدة نظرياً، قد أُعطيت وزناً ضئيلاً في هذا التنفيذ المحدد، ويرجع ذلك على الأرجب إلى عدم اكتمال قواعد البيانات الحالية المعروفة لمطاحن الأوراق. وفي نهاية المطاف، تجادل الورقة بأنه مع تطور مطاحن الأوراق، يجب أن تنتقل أنظمة الكشف من تحليل الوسيط الواحد إلى مناهج متعددة الوسائط لحماية نزاهة الأدبيات الأكاديمية بفعالية.