SciFilter: A Metadata-Driven Approach to Registry-Aligned Screening of Scholarly Publication Sources at Scale
تقدم هذه الورقة SciFilter، وهو نظام مفتوح الوصول يعتمد على البيانات الوصفية (metadata)، يعمل على أتمتة الفرز القابل للتوسع لمصادر المنشورات العلمية من خلال مواءمة البيانات الببليوغرافية مع السجلات الوطنية مثل JUFO والسجل النرويجي، محققاً دقة عالية (الدقة 0.95، والاستدعاء 0.96) وموثوقية (معامل كابا لـ Fleis 0.94) مقارنة بالمعايير المرجعية التي أعدها البشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الفسيح والمزدحم للبحث العلمي الحديث، حيث تُنشر ملايين الأوراق البحثية كل عام، تبرز مشكلة هادئة ولكنها حرجة: كيف نعرف أي المجلات والمؤتمرات جديرة بالثقة؟ لعقود من الزمن، اعتمد العالم الأكاديمي على طرق متنوعة لتمييز الغث من السمين؛ فبعضهم ينظر إلى عدد المرات التي استُشهد فيها ببحث ما من قبل الآخرين، بينما يعتمد آخرون على سمعة الناشر. ومع ذلك، فإن لهذه الأساليب عيوباً؛ إذ يمكن التلاعب بعدد الاستشهادات أو تحريفها بسبب العادات الخاصة بكل مجال، كما أن محركات البحث الواسعة غالباً ما تدرج مصادر منخفضة الجودة أو "مفترسة" جنباً إلى جنب مع الأبحاث المشروعة. ولحل هذه المعضلة، قامت دول مثل فنلندا والنرويج ببناء سجلات يقودها الخبراء. وفي هذه الأنظمة، تقوم لجان من المتخصصين في مجالات محددة بمراجعة المجلات والمؤتمرات يدوياً، وتصنيفها إلى مستويات جودة بناءً على معايير تحريرية صارمة بدلاً من الاعتماد على الشعبية فقط. وهذا يضمن أن مكانة المجلة تعكس الجودة الفعلية لعملية مراجعة النظراء والعملية التحريرية. ومع ذلك، تواجه هذه الأنظمة الخبيرة عقبة عملية، وهي أنها مصممة للبحث البشري؛ ففحص مجلة واحدة يستغرق بضع دقائق، لكن فحص آلاف المصادر لمشروع بحثي ضخم أو لتدقيق مؤسسي هو مهمة قد تستغرق عمراً من العمل اليدوي.
هنا يأتي دور أداة جديدة تسمى "SciFilter"، والتي تقدم وسيلة لجلب خبرة البشر إلى حجم البيانات الضخمة دون فقدان دقة حكم الخبير. لقد سعى الباحثون وراء هذه الأداة، والذين يتخذون من جامعة تالين وجامعة إيليسا مقراً لهم، لبناء نظام يمكنه مطابقة قائمة مصادر النشر تلقائياً مع السجلات الرسمية الفنلندية والنرويجية. لم يبتكروا مقياساً جديداً أو طريقة جديدة للحكم على الجودة، بل بنوا جسراً يربط بين البيانات الخام — مثل أسماء المجلات وأرقام التعريف — وبين القوائم الموثوقة الموجودة بالفعل والتي أشرف عليها خبراء بشريون. كان الهدف هو معرفة ما إذا كان بإمكان الكمبيوتر محاكاة قرارات القيمين البشريين بدقة عالية، مما يسمح للمؤسسات بفحص قوائم ضخمة من المنشورات بسرعة واتساق.
ولاختبار ابتكارهم، جمع الفريق مجموعة مضبوطة مكونة من 500 مصدر أكاديمي مختلف، تتراوح بين المجلات المعروفة وأعمال المؤتمرات غير الواضحة وحتى بعض المصادر المعروفة بأنها إشكالية. وقسموا هذه المجموعة بالتساوي بين المصادر المعترف بها رسمياً في السجلات وتلك غير المعترف بها. ثم قام خبيران بشريان بالتحقق بشكل مستقل من كل مصدر من هذه المصادر الـ 500 مقابل السجلات الرسمية، ليكون بمثابة المعيار الذهبي للحقيقة. وقد سجلا ما إذا كان كل مصدر مفهرساً، وإذا كان كذلك، فما هو مستوى الجودة الذي يحمله. وبمجرد تحديد هذا المعيار البشري، قام الباحثون بتغذية نفس القائمة المكونة من 500 مصدر في "SciFilter". قام النظام باستيعاب البيانات، وتنظيف التنسيقات الفوضوية، وتشغيل عملية مطابقة صارمة وخطوة بخطوة؛ حيث بحث أولاً عن المطابقات التامة باستخدام أرقام تعريف فريدة، ثم حاول مطابقة الأسماء الدقيقة للمجلات، وأخيراً استخدم تقنية مطابقة نصية حساسة للتعامل مع الاختلافات الطفيفة في العناوين.
أظهرت النتة أن النظام الآلي كان يعمل بموثوقية ملحوما. فعندما قارن الباحثون مخرجات الآلة بأحكام الخبراء البشريين، كان الاتفاق شبه مثالي. فقد حدد النظام بشكل صحيح ما إذا كان المصدر مفهرساً أم لا في 96 بالمائة من الحالات. وكان ناجحاً بنفس القدر في تعيين مستوى الجودة الصحيح، حيث طابق قرارات الخبراء البرحيين في 95 بالمائة من الحالات التي تم فيها تعيين مستوى محدد. ولم تكن الأخطاء القليلة التي ارتكبها النظام عشوائية أو كارثية؛ بل كانت تحدث دائماً عند الحدود بين المستويات المتشابهة. فعلى سبيل المثال، قد يخطئ النظام أحياناً في اعتبار مجلة من الفئة العليا مجلة من فئة أدنى قليلاً، أو يخلط بين مصدر عالي الجودة ومصدر آخر يقع تحت عتبة الإدراج مباشرة. ونادراً ما ارتكب النوع الهائل من الأخطاء التي قد ترسل مجلة من الفئة العليا إلى أسفل القائمة أو مصدراً منخفض الجودة إلى أعلاها. يشير هذا النمط إلى أن النظام يفهم الهيكل العام لتصنيفات الجودة جيداً، وأن الارتباك ينشأ فقط عند الحواف حيث تكون التمييزات ضبابية بطبيعتها.
كما كشفت الدراسة أن الأداة ليست بديلاً عن الحكم البشري، بل هي مرحلة أولية قوية. ويؤكد الباحثون أن "SciFilter" لا يقيم جودة المقالات الفردية أو الباحثين، بل يتحقق ببساطة مما إذا كان مكان النشر يظهر في القائمة الرسمية وما هو مستواه. ولأن النظام يعتمد على البيانات المقدمة من السجلات، فإن دقته تعتمد على جودة المدخلات وحداثة السجل نفسه. فإذا قامت مجلة بتغيير اسمها مؤخراً أو إذا لم يقم السجل بتحديث سجلاته بعد، فقد يخطئ النظام في رصدها. ومع ذلك، في معظم الحالات، نجحت الأداة في أتمتة العمل الممل المتمثل في المقارنة المرجعية لآلاف المصادر، مما يفرغ الباحثين والإداريين للتركيز على الجوانب الأكثر تعقيداً في تقييم البحث. ومن خلال تحويل عملية يدوية بطيئة إلى عملية سريعة وقابلة للتكرار، يوفر "SciFilter" طريقة عملية لتطبيق مبادئ التقييم المسؤول للبحث العلمي على مجموعات البيانات الضخمة التي تحدد ملامح العلم الحديث، مما يضمن أن الأدوات التي نستخدمها لتقييم المعرفة هي بنفس قوة المعرفة نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.