Hypothesizing an effect size by considering individual variation
تقترح هذه الورقة طريقة لصياغة فرضيات واقعية حول متوسطات آثار العلاج في الدراسات التجريبية والرصدية من خلال تصور التوزيع الكامن للآثار الفردية أولاً، والموضح عبر أمثلة من الطب والاقتصاد وعلم النفس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: توقف عن تخمين "المتوسط"، وابدأ بتخيل "الحشد"
تخيل أنك طاهٍ يخطط لافتتاح مطعم جديد، وتريد معرفة مقدار الربح الذي ستجنيه.
الطريقة القديمة (نقد الورقة البحثية):
يتصرف معظم الباحثين وكأنهم يخمنون رقماً واحداً. يقولون: "أعتقد أن طبقي الجديد سيحقق ربحاً قدره 100 دولار يومياً". يبنون هذا على تخمين، أو تجربة صغيرة، أو قصة سمعوها من صديق.
- المشكلة: إذا خمنوا 100 دولار، بينما المتوسط الحقيقي هو 10 دولارات فقط، فسيشترون الكثير من المكونات، ويوظفون الكثير من الموظفين، ثم يفلسون. في العلم، يؤدي هذا إلى دراسات صغيرة جداً بحيث لا تجد إجابات حقيقية، أو دراسات تجد إجابات "ضخمة مزيفة" بمحض الصدفة فقط.
الطريقة الجديدة (حل الورقة البحثية):
بدلاً من تخمين رقم واحد، يقول المؤلفون: توقف عن التفكير في "الشخص المتوسط" وابدأ بالتفكير في "الحشد بأكمله".
إنهم يقترحون تحولاً ذهنياً بسيطاً: لا تسأل، "ما هو الأثر؟" بل اسأل، "من الذي سيستفيد من هذا، ومن الذي سيتضرر، ومن الذي لن يهتم على الإطلاق؟"
"الوصفة" لتخمين أفضل
يقترح المؤلفون وصفة من أربع خطوات لمعرفة كيف يبدو حجم الأثر الواقعي. فكر في الأمر كأنك تخطط لحفلة:
1. تخيل "المعجبين المخلصين" (الأثر المحتمل)
أولاً، تخيل الأشخاص الذين يعمل لصالحهم علاجك بشكل مثالي.
- مثال تشبيهي: إذا كنت تختبر تطبيقاً دراسياً جديداً، فتخيل الطالب المجتهد بالفعل، الذي لديه غرفة هادئة، ويعشق التكنولوجيا. بالنسبة له، قد يرفع التطبيق درجاته بنسبة 20%.
- الإجراء: ابدأ بهذا الرقم الكبير والمتفائل. لنسمه X.
2. تخيل "العالم الحقيقي" (النطاق)
الآن، وسّع نظرتك. ليس الجميع "معجبين مخلصين".
- مثال تشبيهي: بعض الطلاب مشتتون، وبعضهم يكره التكنولوجيا، وبعضهم يمر فقط بأسبوع سيء. بالنسبة لهؤلاء، قد لا يفعل التطبيق شيئاً، أو حتى يسبب لهم التوتر (أثر سلبي).
- الإجراء: أدرك أن الأثر ليس مجرد "20%". إنه مزيج. ربما يكون 20% للبعض، و0% لآخرين، و-5% لقلة منهم.
3. مجموعة "العدم" (الأشخاص الذين لا يهتمون)
هذه هي الخطوة الأكثر أهمية. جزء كبير من الناس ببساطة لن يتأثر على الإطلاق.
- مثال تشبيهي: إذا كنت تختبر نكهة جديدة من الآيس كريم، فقد لا يأكل 50% من الناس الآيس كريم على الإطلاق. إذا كنت تختبر دواءً، فقد لا يتناوله بعض الناس، أو قد لا يمتصه جسمهم.
- الإجراء: افترض أن جزءاً كبيراً من حشدك (ربما 50% أو حتى 90%) يحصل على أثر صفر.
4. قم بالحسابات (المتوسط الجديد)
الآن، ادمج هذه المجموعات.
- إذا كان تعزيز "المعجب المخلص" هو X، ولكن 50% فقط من الناس هم معجبون مخلصون، والـ 50% الآخرون يحصلون على 0، فإن متوسطك الحقيقي ليس X، بل هو X مقسوماً على 2.
- إذا كنت في مجال التسويق (حيث يتجاهل الناس الإعلانات)، فربما يهتم 10% فقط. عندها سيكون متوسطك هو X مقسوماً على 10.
النتيجة: تدرك أن تخمينك "الكبير" بربح 100 دولار كان في الواقع يشبه 10 دولارات. الآن يمكنك التخطيط لدراستك (أو لمطعمك) بميزانية واقعية.
لماذا يهم هذا: ثلاثة أمثلة من العالم الحقيقي
استخدمت الورقة ثلاث قصص لتوضيح سبب أهمية ذلك:
1. المعجزة الطبية (النتائج الثنائية)
- السيناريو: يعتقد طبيب أن دواءً جديداً ينقذ الأرواح. ويخمن أنه ينقذ 25% أكثر من الناس.
- رؤية "الحشد": يسأل المؤلفون: من الذي يتم إنقاذه فعلياً؟
- بعض الناس كانوا سيعيشون على أي حال (0% فائدة).
- بعض الناس مرضى جداً لدرجة لا يمكن إنقاذهم (0% فائدة).
- فقط مجموعة صغيرة هي التي "على الحافة" ويتم إنقاذها (100% فائدة).
- الدرس: إذا كان الدواء ينقذ 25% من إجمالي المجموعة، فقد يكون في الواقع ينقذ 100% من مجموعة صغيرة جداً. إذا صمم الطبيب دراسته لعامة السكان، فقد يحتاج إلى 16 ضعف عدد المرضى مما ظن لرصد ذلك الأثر المتوسط الصغير.
2. الرأي السياسي (مشكلة "الوسط")
- السيناريو: يريد الباحثون معرفة ما إذا كان معرفة شخص مثلي يغير رأيك بشأن الزواج.
- رؤية "الحشد":
- ثلث الناس معارضون بشدة بالفعل (لن يتغيروا).
- ثلث الناس مؤيدون بشدة بالفعل (لن يتغيروا).
- الثلث المتبقي فقط هم "على الحافة".
- ومن هذا الثلث، ربما نصفهم لا يتغير، وقليل منهم فقط يغير رأيه.
- الدرس: "المتوسط" للتغيير عبر البلاد بأكملها ضئيل جداً. إذا توقع الباحثون تغيراً ضخماً، فسيصابون بخيبة أمل. عليهم تصميم دراسة تتوقع إشارة ضعيفة، وليس إشارة صاخبة.
3. الدراسة "التي تبدو جيدة لدرجة لا تصدق"
- السيناريو: تدعي دراسة أن برنامجاً للأطفال يزيد من دخل البالغين بنسبة 42%.
- رؤية "الحشد": يقول المؤلفون: "هذا مستحيل كمتوسط".
- لكي يكون الأثر 42% كمتوسط، فهذا يعني أن الجميع حصلوا على زيادة ضخمة، أو أن قلة حصلت على زيادة 1000% بينما لم يحصل البقية على شيء.
- في الواقع، معظم الناس يحصلون على دفعة ضئيلة، والبعض لا يحصل على شيء.
- الدرس: عندما ترى دراسة ذات أثر متوسط "ضخم"، فغالباً ما يكون ذلك علامة تحذير. هذا يعني عادةً أن الدراسة كانت صغيرة جداً، أو أنها حالفتها الحظ، أو أنها نظرت فقط إلى "المعجبين المخلصين" (الأشخاص الذين كانوا سينجحون على أي حال).
لحظة الاستنارة للعلماء
تجادل الورقة بأن المجتمع العلمي كان يعاني من "الاشمئزاز البايزي" (Bayesian Cringe). وهي طريقة منمقة للقول: "نحن خائفون جداً من أن نكون مخطئين لدرجة أننا نرفض وضع أي افتراضات، فينتهي بنا الأمر بافتراض أن الآثار ضخمة وسهلة الإيجاد".
الحل:
بدلاً من محاولة إيجاد "حقيقة" واحدة (مثل "هذا الدواء يعمل")، يجب أن نقبل أن الآثار تتفاوت.
- البعض يستفيد.
- البعض لا يستفيد.
- البعض يتضرر.
من خلال رسم خريطة لهذا التفاوت قبل البدء بتجربتك، ستتوقف عن المبالغة في تقدير قدرتك الإحصائية. ستتوقف عن تصميم دراسات محكوم عليها بالفشل. ستتوقف عن الانخداع بالنتائج "المحظوظة" التي تبدو كبيرة لكنها ليست حقيقية.
ملخص في جملة واحدة
لا تخمن حجم الموجة؛ بدلاً من ذلك، تخيل المحيط بأكمله، وحدد عدد الأشخاص الذين يسبحون حقاً، ثم احسب كم تبلغ قوة الموجة فعلياً لأولئك الموجودين في الماء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.