Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates
تقدم هذه الورقة "اختبار التصنيف"، وهو إطار إحصائي جديد يسمح للباحثين بتعيين تقديرات كمية للفئات النوعية ذات الصلة موضوعياً مع معدلات خطأ مضبوطة أو إعلان النتائج غير حاسمة، محاججةً بأن هذا النهج يحسن من اختبار الفرضيات القياسي من خلال الفصل بشكل أفضل بين الاحتمالات المتنافسة وتعريض الفرضيات للتفنيد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم العلوم الاجتماعية، يقضي الباحثون وقتهم في قياس أشياء لا يمكن رؤيتها مباشرة: كيف يغير سياسة جديدة مجتمعاً ما، أو ما إذا كانت رسالة معينة تغير تصويت شخص ما، أو ما إذا كان علاج ما يحسن صحة المريض. إنهم يجمعون البيانات ويعالجون الأرقام لإيجال متوسط تأثير هذه الأفعال. ومع ذلك، فإن القصة النهائية التي يروونها نادراً ما تكون سلسلة طويلة من الأرقام العشرية؛ بل يترجمون هذه الأرقام الدقيقة إلى أحكام نوعية بسيطة. إنهم يقررون ما إذا كان التأثير حقيقياً أم غير موجود، أو إيجابياً أم سلبياً، أو صغيراً جداً لدرجة أنه لا يهم. ولدعم هذه الأحكام، يعتمد العلماء على طريقة معيارية تسمى "اختبار الفرضيات". تعمل هذه الطريقة كحارس بوابة، مصمم لحماية الجمهور من الإنذارات الكاذبة من خلال ضمان أنه عندما يدعي باحث ما أن نتيجة ما حقيقية، فإن احتمالات أن يكون هذا الادعاء خطأ تظل منخفضة للغاية.
لعقود من الزمن، عمل هذا النظام بشكل جيد لتأكيد تنبؤ محدد، لكنه يعاني من نقطة عمياء كبيرة. فهو مبني لإثبات أن شيئاً ما يحدث، لكنه يكافح لإثبات أن شيئاً ما لا يحدث، أو للمفاضلة بين احتمالين متنافسين بإنصاف متساوٍ. إذا سعى باحث لإثبات أن علاجاً ما يعمل، فإن النظام يسمح له بإعلان النصر إذا كانت الأدلة قوية بما يكفي. ولكن إذا كانت الأدلة ضعيفة، فإن النظام ببسارد يقول إن الباحث فشل في إثبات وجهة نظره؛ فهو لا يسمح له بأن يعلن بثقة أن العلاج لا يفعل شيئاً في الواقع. وهذا يخلق ساحة غير متكافئة حيث يسهل الوصول إلى بعض الاستنتاجات بينما تظل استنتاجات أخرى بعيدة المنال، مما قد يؤدي إلى تحيز المحادثة العلمية بأكملها نحو النتائج الأكثر تفاؤلاً فقط.
يقدم إطار عمل جديد اقترحه عالما السياسة الاجتماعية أندرو إيغرز وزيكاي لي طريقة مختلفة للتنقل عبر حالات عدم اليقين هذه. يسميانها "اختبار التصنيف" (classification testing). فبدلاً من إجبار الباحث على اختيار نظرية مفضلة واحدة للدفاع عنها، يطلب منه هذا النهج تقسيم جميع النتائج الممكنة إلى فئات متميزة بناءً على ما يهم حقاً في العالم الواقعي. على سبيل المثال، قد يقسم الباحث الاحتمالات إلى ثلاث مجموعات: التأثير إيجابي وكبير بما يكفي للاهتمام به، أو التأثير سلبي وكبير بما يكفي للاهتمام به، أو أن التأثير صغير جداً لدرجة أنه مهمل. الهدف ليس فقط معرفة ما إذا كان الرقم مختلفاً عن الصفر، بل فرز النتيجة في "السلة" الصحيحة.
تكمن قوة هذا الأسلوب الجديد في قدرته على معاملة كل هذه الفئات بنفس المستوى من الصرامة الإحصائية. في النظام القديم، كان بإمكان الباحث أن يقول بثقة "التأثير إيجابي" فقط إذا رفض فكرة أنه صفر أو سالب. لكنه لم يكن قادراً أبداً على القول بثقة "التأثير هو صفر" أو "التأثير سلبي" بنفس القدر من اليقين إلا إذا وضع اختباراً محدداً مسبقاً، وغالباً ما يكون معقداً. يزيل "اختبار التصنيف" هذا التحيز؛ فهو يسمح للباحث بالنظر إلى البيانات والقول، بمعدلات خطأ مضبوطة، إن النتيجة تقع في فئة "النتائج المهملة"، أو فئة "الإيجابية والجوهريّة"، أو أن البيانات مشوشة جداً بحيث لا يمكن اتخاذ قرار. إنه يحول السؤال العلمي من "هل يمكنني إثبات فرضيتي؟" إلى "ما هو الوصف الأكثر صدقاً لهذه النتيجة؟".
ولتوضيح كيفية عمل ذلك في الممارسة العملية، طبق المؤلفان منهجهما على تجربة ميدانية معروفة تتعلق باستهلاك وسائل الإعلام. بحثت الدراسة الأصلية فيما حدث عندما تعرض المشاهدون المنتظمون لقناة فوكس نيوز لمحتوى قناة سي إن إن (CNN). وقد قاس الباحثون اثنين وثلاثين نتيجة مختلفة، تراوحت بين التغييرات في التفضيلات السياسية والتحولات في الثقة بمصادر الأخبار. وعندما طبقوا طريقة الاختبار القياسية المستخدمة في معظم المجلات العلمية الاجتماعية، وجدوا أن ست عشرة نتيجة كانت "جوهرية" وست عشرة أخرى لم تكن كذلك. ترك هذا نصف النتائج في حالة من عدم اليقين، حيث لم يستطع الباحثون التأكد مما إذا كان التأثير حقيقياً أم غير موجود.
وعندما أعاد المؤلفان تحليل نفس البيانات باستخدام "اختبار التصنيف"، أصبحت الصورة أكثر وضوحاً. فمن خلال فرز النتال إلى فئات "إيجابي وجوهري"، أو "سلبي وجوهري"، أو "مهمل"، تمكنوا من تقديم تصريحات واثقة ومضبوطة الخطأ حول تسع وعشرين نتيجة من أصل اثنتين وثلاثين. استطاعوا القول بثقة أنه بالنسبة لبعض المقاييس، كان التأثير كبيراً وإيجابياً. وبالنسبة لمقاييس أخرى، استطاعوا القول بثقة إن التأثير كان صغيراً جداً لدرجة أنه مهمل. وحتى بالنسبة للنتائج التي وصفها الأسلوب القديم بأنها "غير جوهرية"، سمح لهم الأسلوب الجديد غالباً باستنتاج أن التأثير كان مهملًا حقاً، بدلاً من كونه مجهولاً فقط. والمرة الوحيدة التي اضطروا فيها للقول بأن النتيجة "غير حاسمة" كانت عندما كانت البيانات مشوشة حقاً بحيث لا تدعم أي ادعاء قاطع.
يغير هذا التحول الحوافز لكيفية إجراء البحوث. فبموجب القواعد القديمة، كان الباحثون يتعرضون غالباً للضغط لإيجاد نتيجة إيجابية من أجل النشر، مما يدفعهم لتصميم دراسات من المرجح أن تؤكد توقعاتهم. أما الإطار الجديد فيشجع نهجاً أكثر انفتاحاً؛ لأنه يسمح باستنتاجات واثقة بأن التأثير صغير أو غير موجود، مما يتيح للباحثين دراسة أسئلة مفتوحة حقاً دون خوف من أن تكون النتيجة "الصفرية" (التي لا تظهر تأثيراً) بمثلة الفشل. إنه يعامل احتمال وجود تأثير صغير كأنه نتيجة صالحة وقابلة للاختبار، وليس كنهاية مسدودة.
يؤكد المؤلفان أن هذا النهج لا يجعل العلم أقل صرامة؛ بل في الواقع، فإنه يحافظ على نفس المعايير العالية لتجنب الادعاءات الكاذبة. إنه ببساطة يوسع نطاق الأسئلة التي يمكن الإجابة عليها بثقة. ومن خلال السماح للعلماء بالإقرار بأن تأثيراً ما مهمل بنفس اليقين الذي يقرون فيه بأنه كبير، يقلل هذا الأسلوب من الضغط لفرض البيانات ضمن سردية معينة. ويشير إلى أن الاستنتاج العلمي الأكثر قيمة ليس دائماً اكتشافاً دراماتيكياً، بل قد يكون أحياناً تقييماً واضحاً وصادقاً بأن تدخلاً معيناً لا يحدث فرقاً ملموساً. وهذا الوضوح، كما يقترح المؤلفان، هو المفتاح لبناء فهم أكثر موثوقية وأقل تحيزاً لكيفية عمل العالم الاجتماعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.