Substituting National-IQ and Harmonized-Learning Indicators: An Output-Specific Replication and Sensitivity Audit
تجري هذه الورقة تدقيقاً للحساسية يقارن بين مؤشرات معدل الذكاء القومي ومؤشرات التعلم الموحدة، لتجد ارتباطات عالية وتوزيعات رتب متشابهة، لكنها تخلص إلى أن مجموعات البيانات هذه ليست قابلة للتبادل أو متكافئة سببيّاً رغم تشابهاتها الإحصائية.
في دراسة الأمم، يحاول الباحثون غالباً قياس القدرة الذهنية الجماعية لشعب ما. ويتضمن أحد المناهج تجميع درجات من اختبارات الذكاء التي تُجرى على مجموعات صغيرة من الأفراد وتوسيطها لإنشاء تقدير وطني. ويتضمن منهج آخر نتائج الاختبارات المعيارية التي يجريها ملايين طلاب المدارس في الرياضيات والقراءة والعلوم. ولعدة سنوات، تمت مقارنة هاتين المجموعتين المختلفتين من الأرقام. وعندما يتحركان معاً — أي عندما تمتلك الدول ذات درجات الاختبار العالية درجات ذكاء تقديرية عالية أيضاً — يفترض البعض أن المقياسين هما في الأساس الشيء نفسه، وأدوات متبادلة يمكن استبدالها واستخدامها في الأبحاث دون تغيير القصة. هذا الافتراض مغرٍ لأنه يبسط المهمة المعقدة لمقارنة الأمم. ومع ذلك، فإن الارتباط العالي بين قائمتين من الأرقام لا يعني تلقائياً أنهما ترويان القصة نفسها عن كل بلد على حدة، ولا يضمن أنهما سيؤديان إلى نفس الاستنتاجات عند استخدامهما للتنبؤ بالنجاح الاقتصادي.
يتحدى تدقيق حديث أجراه الباحث المستقل جيورجيوس كيمينوس هذا الافتراض من خلال التعامل مع المقياسين ليس كتوأمين متطابقين، بل كأدوات متميزة تحتاج إلى الاختبار مقابل أسئلة محددة. يطرح البحث سؤالاً عملياً، وإن كان غير براق: إذا استبدل الباحث درجة الذكاء الوطنية بدرجة تعلم موحدة، فهل يتغير ترتيب الدول؟ هل تظل قائمة الدول الأعلى أداءً كما هي؟ وهل تظل العلاقة بين هذه الدرجات وثروة الدولة قائمة؟ وللإجابة على ذلك، جمع الباحث بيانات لست وستين اقتصاداً بالضبط حيث توفر كلا النوعين من الدرجات. ثم أجرى سلسلة من الفحوصات، مقارناً كيفية اصطفاف الدول مقابل بعضها البعض، وأي الدول ظهرت في أعلى وأدنى القوائم، ومدى قوة تنبؤ كل قائمة بالناتج المحلي الإجمالي للفرد في عام 2017.
تظهر النتائج أنه بينما المقياسان مرتبطان ارتباطاً وثيقاً، إلا أنهما غير قابلين للتبادل. فعندما قارن الباحث ترتيب الدول الست وستين، تحرك متوسط الدولة بمقدار عشر مراتب صعوداً أو هبوطاً في القائمة عند الانتقال من درجة الذكاء إلى درجة التعلم. وبينما ظل النمط العام مشابهاً، تغير الترتيب المحدد بشكل يستحق الانتباه. فعلى سبيل المثال، عند النظر إلى مجموعة الدول الرائدة، اتفقت القائمتان على أربع دول فقط من أصل الدول السبع الأولى. وفي أسفل القائمة، اتفقت القائمتان على دولتين فقط من أصل الدول السبع الأقل تصنيفاً. وهذا يعني أن دولة تُعتبر رائدة في نظام واحد قد تُعتبر متوسطة في الآخر، ودولة تعاني في نظام واحد قد تبدو وضعيتها أقل سوءاً في الآخر. المقياسان يشبهان خريطتين مختلفتين لنفس التضاريس: فهما يظهران الشكل العام للمشهد، ولكن إذا كنت تحاول التنقل إلى وجهة محددة، فإن المسار الذي يقترحه كل منهما قد يختلف بشكل كبير.
كما بحثت الدراسة في مدى قدرة هذه الدرجات على التنبؤ بالثروة الاقتصادية للدولة. وفي هذه المجموعة المحددة من الدول الست والستين، أظهرت درجات التعلم صلة أقوى قليلاً بالثروة من درجات الذكاء. ومع ذلك، كان الفرق صغيراً لدرجة أن الاختبارات الإحصائية لم تستطع التأكيد ما إذا كان ذلك ميزة حقيقية وموثوقة أم مجرد مصادفة ناتجة عن العينة المستخدمة. ووجد الباحث أن النتيجة كانت حساسة لكيفية بناء البيانات. فعندما تغيرت العينة لتشمل دولاً مختلفة، أو عندما تم وزن البيانات لتعكس حجم السكان بدلاً من معاملة كل دولة على قدم المساواة، تغير حجم الفرق بين المقياسين. وفي بعض المتغيرات، بدت درجات التعلم أفضل بكثير في التنبؤ بالثروة؛ وفي متغيرات أخرى، ضاقت الفجوة أو حتى انعكست. والأهم من ذلك، وجد البحث أن اتجاه الفرق ظل ثابتاً في التحليل الأساسي، لكن حجم ذلك الفرق اعتمد كلياً على الدول المدرجة وكيفية وزن البيانات.
يعتبر هذا العمل بمثابة درس تحذيري لأي شخص يستخدم البيانات الوطنية لإجراء مقارنات واسعة النطاق. يوضح التدقيق أن الارتباط العالي ليس عصا سحرية تجعل مقياسين مختلفين شيئاً واحداً. فمجرد كون قائمتين من الأرقام تتحركان معاً لا يعني أنهما تتفقان على التفاصيل، ولا يعني أنهما سيؤديان إلى نفس القرارات السياسية أو الاستنتاجات البحثية. لم يعلن الباحث أن أحد المقياسين متفوق على الآخر، ولم يثبت بطلان أحدهما. بدلاً من ذلك، يسلط البحث الضوء على أن اختيار أي رقم تستخدمه هو أمر جوهري. فهو يوضح أن استبدال مؤشر بآخر يمكن أن يغير ترتيب الأمم، ويغير الدول التي تُصنف كحالات استثنائية، ويغير قوة علاقتها بالنتائج الاقتصادية. وتشير النتائج إلى أنه قبل استبدال مقياس بآخر، يجب على الباحثين تحديد ما يحاولون الحفاظ عليه بالضبط — سواء كان الترتيب المحدد، أو تصنيف الأداء العالي، أو الارتباط بنتيجة ما — واختبار ما إذا كان المقياس الجديد يحافظ فعلياً على ذلك الأساس. وبدون مثل هذا الفحص، يظل الاستبدال مجرد تخمين غير مؤكد، وقد تكون الاستنتاجات المستخلصة منه أكثر هشاشة مما تبدو عليه.
ملخص تقني: استبدال مؤشرات الذكاء القومي والتعلم الموحد
بيان المشكلة تستخدم الأبحاث المقارنة بشكل متكرر سلاسل الدرجات على مستوى الدول لوصف المواقع النسبية، أو تصنيف الدول إلى مجموعات متطرفة، أو تقدير الارتباطات مع مخرجات مثل الناتج المحلي الإجمالي. وثمة افتراض شائع في هذا المجال وهو أن الارتباط العالي بين مؤشرين (على سبيل المثال، تجميع للذكاء القومي وتجميع لنتائج التعلم الموحد) يعني قابلية التبادل. ومع ذلك، كما أشار بلاند وألتمان (1986) ولين (1989)، فإن الارتباط يقيس التغاير، وليس الاتفاق أو قابلية التبادل. فالارتباطات الكلية العالية لا تضمن استقرار الرتب على مستوى الدول، أو التصنيف ضمن المجموعات المتطرفة، أو الارتباطات مع المخرجات الخارجية. تعالج هذه الورقة الفجوة بين ارتباط الدرجات وبين الحفاظ على مخرجات تحليلية محددة عند استبدال مؤشر بآخر.
المنهجية تجري الدراسة عملية إعادة إنتاج وتدقيق حساسية خاص بمخرجات محددة، حيث تقارن بين ثلاثة مؤشرات على عينات اقتصادية ثابتة ودقيقة:
QNW: تجميع للذكاء القومي مباشر، مرجح بحجم العينة المسجلة والجودة (من مجموعة بيانات NIQ الإصدار 1.3.5).
HLO: تجميع لنتائج التعلم الموحد من إنشاء المؤلف، بناءً على أداء الطلاب في التقييمات الدولية والإقليمية (Angrist et al., 2021).
GHW: مؤشر إنجاز في الرياضيات والعلوم (Gust et al., 2024) يُستخدم كامتداد وصفي.
يركز التحليل على سؤالين بحثيين رئيسيين (RQs) باستخدام تقاطعات العينات الدقيقة:
السؤال البحثي الأول (تحليل الرتب): في عينة مكونة من 66 اقتصاداً، كيف تتغير ارتباطات الدرجات، ورتب النقاط، وعضويات الذيول التجريبية عند استبدال QNW بـ HLO؟
السماؤل البحثي الثاني (الارتباط بالناتج المحلي الإجمالي): في عينة مكونة من 65 اقتصاداً (مع بيانات الناتج المحلي الإجمالي لعام 2017)، كيف يغير استبدال QNW بـ HLO الارتباط مع لوغاريتم نصيب الفرد من الناتج المحلي الإجمالي؟
تستخدم المنهجية ما يلي:
الإحصاء الوصفي: معاملات ارتباط بيرسون، وسبيرمان، وكيندال؛ ومتوسط إزاحة الرتب المطلقة المعيّر بـ (N−1).
حساسية التصنيف: تحليل العضوية في العشريات التجريبية العليا والدنيا (باست most استخدام اتفاقية Hyndman–Fan من النوع السابع) ومؤشرات تشابه جاكارد.
الاستدلال بالارتباط المعتمد: بالنسبة لتحليل الناتج المحلي الإجمالي، تستخدم الدراسة اختبار ويليامز وفترة ثقة زو (Zou) لمقارنة الارتباطات المتداخلة (Δρ=ρQNW,Y−ρHLO,Y)، مع الإقرار بأن عدم المعنوية لا يثبت التكافؤ دون حدود محددة مسبقاً.
تدقيق الحساسية: تتبع الدراسة آثار الاستبدال عبر متغيرات البناء (مثل إضافة درجات التقييم المدرسي أو الاكتمال الجغرافي)، وتغيرات التغطية (مثل إطار الأمم المتحدة مقابل إطار البنك الدولي)، ومخططات التوزين (الاقتصاد المتساوي مقابل المرجح بالسكان).
النتائج الرئيسية
ارتباط الدرجات مقابل إزاحة الرتب: في عينة الـ 66 اقتصاداً، أظهر كل من QNW وHLO ارتباطاً عالياً (بيرسون r=.795، سبيرمان ρ=.791). ومع ذلك، فإن هذا الارتباط العالي يتزامن مع عدم استقرار كبير في الرتب. بلغ متوسط إزاحة الرتب المطلقة على مستوى الدولة 9.52 مركزاً، مع حركة معيرة قدرها .146. وبلغ أقصى إزاحة 34 مركزاً.
تصنيف المجموعات المتطرفة: باستخدام قاعدة العشري التجريبي (7 اقتصادات لكل ذيل)، تشارك QNW وHLO في 4 من أصل 7 اقتصادات في الذيل العلوي (جاكارد = .400) وفي 2 من أصل 7 في الذيل السفلي (جاكارد = .167). يشير هذا إلى أن الارتباط العالي لا يحافظ على التصنيف ضمن المجموعات المتطرفة.
الارتباط بالناتج المحلي الإجمالي: في عينة الـ 65 اقتصاداً، أظهر HLO ارتباطاً نقطياً أقوى مع لوغاريتم نصيب الفرد من الناتج المحلي الإجمالي لعام 2017 (r=.690) مقارنة بـ QNW (r=.616). لم يكن التباين المخطط له (Δr=−.074) ذا دلالة إحصائية (اختبار ويليامز t(62)=−1.244,p=.218)، وفترة ثقة زو 95% شملت الصفر ([-.207, .045]).
نتائج الحساسية:
البناء: ظل اتجاه تباين الناتج المحلي الإجمالي (الذي يفضل HLO) سالباً عبر متغيرات بناء العينة الثابتة (مثل QNW v1.3.3، وأحدث نسخة من HLO).
التغطية: أدى تغيير تعريف العينة (على سبيل المثال، استخدام "كل HLO المتاح" أو "HLO المتوازن لجميع الستة") إلى تخفيف التباين، وأدى أحياناً إلى تقليله إلى ما يقرب من الصفر أو عكس الإشارة في البناءات المعززة (على سبيل المثال، QNW + SAS + GEO أعطى تبايناً قدره +.009). లు التوزين: أدى التوزين بالسكان على عينة الـ 65 اقتصاداً إلى زيادة حجم الفرق إلى -.133، لكن هذا انطبق فقط على المجموعة المختارة والميسورة ولم يعالج غياب الاقتصادات الكبرى ذات الكثافة السكانية العالية (مثل الصين والهند).
الحساسية الإقليمية: أدت عملية حذف منطقة شرق آسيا والمحيط الهادئ إلى إلغاء التباين النقطي تقريباً، مما يشير إلى أن حجم الفرق حساس للمنطقة.
الأهمية والادعاءات تنص الورقة صراحة على أنها لا تثبت قابلية التبادل، أو التكافؤ، أو تأثير عائلة قياس نقية، أو علاقات سببية. مساهماتها تجريبية وتقريرية:
فك الارتباط بين الارتباط والاتفاق: توضح الدراسة أن الارتباط الكلي العالي غير كافٍ لضمان استقرار الرتب، أو تصنيفات المجموعات المتطرفة، أو ارتباطات المخرجات.
تدقيق الادعاءات السابقة: تعيد الورقة إنتاج نتائج رقمية محددة من الأدبيات السابقة (Warne, 2023; Henss, 2024) مع تسليط الضوء على أن "إعادة الإنتاج" تعتمد على تعريفات المصدر الدقيقة (على سبيل المثال، التمييز بين QNW المباشر و QNW+SAS+GEO). وتشير إلى أن بعض الادعاءات السابقة لم تكتمل إعادة إنتاجها بسبب نقص البيانات أو الاستثناءات غير الموثقة.
التحذير المنهجي: تجادل المؤلفة بأن دراسات استبدال المؤشرات يجب أن تحدد بوضوح المجتمع، والمخرج المحدد محل الاهتمام (الدرجات، أو الرتب، أو الارتباطات)، وحدوداً مقبولة للتغيير. وبدون حدود تكافؤ محددة مسبقاً، يجب التعامل مع النتائج ككميات وصفية بدلاً من عمليات تحقق (نجاح/فشل).
الشفافية في الحساسية: يحدد التدقيق كيف تغيرت الاختيارات في البناء والتغطية والتوزين من الاستنتاجات، مؤكداً أن هذه الاختيارات تغير كلاً من العينة والسؤال الذي يتم الإجابة عليه.
في الختام، تؤكد الورقة أن استبدال تجميعات الذكاء القومي المباشرة بمقاييس التعلم الموحدة يغير رتب النقاط وعضويات المجموعات المتطرفة رغم وجود ارتباطات قوية في الدرجات. وبينما أظهر HLO ارتباطاً نقطياً أكبر مع الناتج المحلي الإجمالي في العينة الأساسية، فإن عدم المعنوية الإحصائية وحساسية مقدار الفرق للبناء والتركيب الإقليمي يمنعان تقديم ادعاءات حول ميزة مستقرة أو عامة. الدرس الأوسع هو أنه لا يمكن الحكم على استبدال المؤشرات من خلال الارتباط وحده.