From corpus to claims: The TRACE framework for auditing inferential dependencies in bibliometric research
تقدم هذه المقالة المفاهيمية إطار عمل "TRACE"، وهو إطار قائم على الادعاء صُمم لتدقيق التبعيات الاستدلالية بين المخرجات الببليومترية وادعاءاتها الجوهرية من خلال الربط بين التأطير النظري، وحساسية الاسترجاع، والمخرجات التحليلية، ومعايرة الادعاء لتمكين المراجعات المتناسبة، رغم أن موثوقيته التجريبية وقابلية استخدامه لا تزالان قيد التقييم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع للعلوم الحديثة، يبحث الباحثون باستمرار عن طرق لفهم كيفية نمو المعرفة وانتشارها. وللقيام بذلك، غالباً ما يتجهون إلى علم القياسات البيبليومترية (bibliometrics)، وهو مجال يعامل المنشورات العلمية كأنها نقاط بيانات على خريطة. فمن خلال عدّ عدد الأوراق البحثية المكتوبة، ومعرفة من يستشهد بمن، وأي الكلمات تظهر معاً، يمكن للعلماء محاولة رؤية الصورة الكبيرة لتخصص ما: إلى أين يتجه، ومن هم القادة، وما هي الأفكار التي تتشكل. وقد أصبح هذا النهج أداة معيارية للجامعات والجهات الممولة لتقييم البحث العلمي. ومع ذلك، ظهر توتر هادئ؛ فبينما أصبحت أدوات جمع وعدّ هذه البيانات دقيقة للغاية، فإن القفزة من مجرد رقم بسيط إلى استنتاج جريء وكبير حول حالة العلم غالباً ما تكون مهتزة. إن الرسم البياني الذي يظهر ارتفاعاً في المنشورات هو حقيقة، لكن إعلان أن مجالاً ما قد "نضج" أو أن دولة معينة هي "الرائدة بلا منازع" هو تفسير قد لا يدعمه الرسم البياني وحده بشكل كامل. لم يعد السؤال هو ما إذا كان العدّ قد تم بشكل صحيح فحسب، بل ما إذا كانت القصة التي ترويها الأرقام حقيقية بالفعل.
تعالج غريتا بالدانتزي، وهي باحثة في وزارة التعليم والاستحقاق الإيطالية، هذه الفجوة من خلال إطار عمل جديد يسمى TRACE. وبدلاً من مجرد التحقق مما إذا كانت الدراسة قد اتبعت القواعد، يعمل TRACE كنظام تدقيق صارم مصمم لتتبع ادعاء معين وصولاً إلى البداية الفعلية لعملية البحث. تخيل جسراً يربط بين نقطة بيانات خام واستنتاج نهائي؛ يقوم TRACE بفحص كل عمود وكابل في هذا الجسر ليرى ما إذا كان بإمكانه حقاً تحمل وزن القصة التي تُروى. يقسم إطار العمل العملية البحثية إلى أربع مراحل متميزة: كيفية صياغة الفكرة، وكيفية جمع البيانات، وما أنتجه التحليل فعلياً، وأخيراً الادعاء المستخلص من ذلك التحليل. وبين هذه المراحل توجد روابط غير مرئية تربط بينها. الابتكار الجوهري هو أن TRACE لا ينظر فقط إلى النتيجة النهائية؛ بل يتحقق مما إذا كان الاتصال بين النتيجة والادعاء قوياً بما يكفي. فإذا ادعى باحث أن مجالاً ما "ناضج" بناءً على قائمة كلمات مفتاحية، يسأل TRACE ما إذا كانت تلك القائمة تثبت النضج حقاً، أم أنها تثبت فقط أن الكلمات المفقية قد استُخدمت.
لاختبار مدى فاعلية هذا النظام، طبقت بالدانتزي منهجها على أربع درسات حقيقية ومنشورة، حيث تعاملت مع كل منها كملف قضية. في إحدى الحالات، حللت دراسة بحثاً حول بكتيريا الأمعاء أثناء الحمل وخلصت إلى أن المجال قد "نضج". وجد التدقيق أنه بينما أظهرت البيانات بوضوح تحولاً في المواضيع من الأوصاف البسيطة إلى الآليات المعقدة، إلا أن القفزة إلى تسمية المجال "ناضجاً" لم تكن مدعومة بالأدلة المقدمة. لم يرفض إطار العمل الدراسة، بل اقترح بدلاً من ذلك إصلاحاً دقيقاً: احتفظ بالملاحظة المتعلقة بتحول الموضوع ولكن احذف التسمية غير المدعومة للنضج. وفي حالة أخرى، حددت دراسة مجموعات من المؤلفين وأسمتها "تقاليد نظرية". هنا، وجد التدقيق أن الادعاء كان مبرراً لأن المؤلف ذهب إلى ما وراء البيانات ليقرأ الأوراق الفعلية داخل تلك المجموعات، مما وفر الدليل الإضافي اللازم لدعم تسميته. وتضمنت الحالة الثالثة دراسة تدعي أن دولة ما هي رائدة بحثية عالمية بناءً على شبكات التعاون. كشف التدقيق أنه بينما كانت الدولة مركزية بالفعل في الشبكة، فإن القفزة إلى تسميتها "رائدة" للمجال بأكمله كانت فضفاضة للغاية، خاصة وأن البيانات شملت فقط الدوريات الناشرة باللغة الإنجليزية. ساعد إطار العمل في الفصل بين النتيجة الصحيحة المتعلقة باتصالات الشبكة وبين الادعاء المتوسع.
فحصت الحالة الأخيرة دراسة حول الثقافة المتعلقة بالذكاء الاصطناعي استخدمت قاعدتي بيانات مختلفتين. رصد التدقيق اختلافاً طفيفاً ولكنه حاسم في كيفية إعداد البحث في كل قاعدة بيانات: استخدمت إحداهما منطقاً يسمح بأحد مصطلحي البحث أو كلاهما، بينما تطلبت الأخرى كلا المصطلحين معاً. أدى هذا إلى عدم تطابق في جمع البيانات. والأهم من ذلك، أن إطار عمل TRACE لم يعلن فوراً أن استنتاجات الدراسة خاطئة، بل أوقف عملية التدقيق عند نقطة عدم التطابق وأشار إلى أن تأثير هذا الاختلاف على النتيجة النهائية غير معروف. ولقد أوصى بخطوة تالية محددة: تحقق من البيانات مرة أخرى لمعرفة ما إذا كان عدم التطابق قد غير النتيجة فعلياً. وفقط إذا أظهر الفحص وجود فرق حقيقي، ستحتاج الدراسة إلى إعادة العمل. يمنع هذا النهج الباحثين من التخلص من العمل الجيد لمجرد وجود خطأ في التقارير، مع ضمان رصد القفزات غير المدعومة أيضاً.
تجادل الورقة بأن هذه الطريقة تقدم وسيلة أكثر عدلاً ودقة لمراجعة العمل العلمي. فهي تبتعد عن فكرة أن الدراسة إما مثالية أو معيبة، وبدلاً من ذلك، تعامل البحث كسلسلة من الأدلة حيث قد تكون بعض الروابط قوية وبعضها ضعيفاً. ومن خلال تحديد مكان ضعف السلسلة بالضبط، يسمح TRACE للباحثين بإصلاح ذلك الجزء فقط، ربداً بتضييق استنتاجهم أو جمع المزيد من الأدلة، بدلاً من الاضطرار إلى التخلي عن مشروعهم بالكامل. وتنوّه المؤلفة بحذر إلى أن هذا الإطار هو مقترح جديد يحتاج إلى مزيد من الاختبار لمعرفة ما إذا كان أشخاص مختلفون سيستخدمونه بنفس الطريقة. إنه ليس عصا سحرية تحل جميع المشكلات، ولكنه طريقة مهيكلة لطرح الأسئلة الصحيحة. الهدف النهائي هو ضمان أنه عندما يقول العلماء إنهم وجدوا رائداً، أو اتجاهاً، أو تقليداً، فإن البيانات الكامنة وراء تلك الكلمات قوية بما يكفي لتدعمهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.