Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من البحث عن بصمات الأصابع، أنت تبحث عن مجموعات من الناس الذين يفكرون بطريقة متشابهة. في عالم العلوم الاجتماعية، يوزع الباحثون غالباً استطلاعات رأي تطلب من الناس كتابة أفكارهم حول مواضيع كبرى مثل تغير المناخ أو مشاعرهم خلال جائحة ما. والهدف هو فرز هذه الآلاف من الإجابات الفوضوية إلى أكوام مرتبة وصغيرة، أو "عناقيد" (clusters)، حتى نتمكن من فهم أنواع مختلفة من البشر. لفترة طويلة، استخدم العلماء الرياضيات للتحقق مما إذا كانت هذه الأكوام "جيدة". إنهم ينظرون إلى مدى تماسك الإجابات مع بعضها البعض، تماماً كما تتحقق من ما إذا كانت كومة من الكرات الزجاجية مكدسة بدقة داخل صندوق. إذا كانت الكرات قريبة من بعضها وبعيدة عن الأكوام الأخرى، فإن الرياضيات تقول: "عمل رائع!".

لكن هنا تكمن المشكلة: يمكن لكومة من الكرات الزجاجية أن تكون مرتبة بدقة متناهية ومع ذلك لا تخبرك بأي شيء عن العالم الحقيقي. ربم تقرر الرياضيات أن هناك مجموعتين متميزتين، لكن في الواقع، يكون الناس في هاتين المجموعتين معرضين تماماً لشراء نفس المواد الغذائية أو التصويت لنفس المرشح. يسأل هذا البحث سؤالاً بسيطاً وجوهرياً: هل يساعد فرز الناس إلى مجموعات في الواقع على التنبؤ بهويتهم أو بما سيفعلونه؟ يقدم المؤلفون طريقة جديدة لاختبار ذلك تسمى "دقة التنبؤ عبر التحقق المتقاطع" (CVPA). فبدلاً من السؤال فقط، "هل تبدو هذه المجموعات مرتبة رياضياً؟"، هم يسألون: "إذا أعطيتك اسم المجموعة التي ينتمي إليها شخص ما، هل يمكنك تخمين عمره أو جنسه أو دخله بشكل أفضل مما لو كنت قد خمنت عشوائياً؟". إنه الفرق بين فرز مجموعة من أوراق اللعب حسب اللون (وهو أمر يبدو جميلاً) وبين فرزها حسب القيمة (وهو ما يساعدك فعلياً على الفوز في اللعبة).

قصة الورقة البحثية

في هذه الدراسة، قرر الباحثون لينا فرحات، وسيمون ويلكوك، وويليام تيهان، وضع اختبار "الفائدة" الجديد هذا أمام التحدي الأقصى. لقد أخذوا ثلاثة استطلاعات رأي من العالم الحقيقي: واحد من النرويج يسأل الناس عما يتبادر إلى أذهانهم عند سماع عبارة "تغير المناخ"، وواحد من المملكة المتحدة حول مدى فهم الناس للمد والجزر، وواحد من ويلز حول كيفية تجربة الناس للحياة خلال جائحة كوفيد-19.

أولاً، كان عليهم تحويل كل تلك الإجابات المكتوبة إلى أرقام يمكن للحواسيب فهمها. لقد جربوا ثلاث طرق مختلفة للقيء بهذا، إحدى الطرق هي الطريقة التقليدية المسماة TF-IDF (التي تكتفي فقط بعدّ عدد مرات ظهور الكلمات)، وطريقتين أحدثتين وأكثر ذكاءً تعتمدان على الذكاء الاصطناعي وهما S-BERT و BERT. فكر في TF-IDF كقاموس يعرف فقط عدد مرات استخدام الكلمة، بينما S-BERT و BERT يشبهان أميناً حكيماً للمكتبة يفهم المعنى الكامن وراء الكلمات. كانت النتائج واضحة: أمناء المكتبة الأذكياء (S-BERT و BERT) قاموا بعمل أفضل بكثير في الحفاظ على المعنى المقصود من الجمل. وعندما قاموا بتصور البيانات، جعلت الطريقة القديمة كل شيء يبدو ككتلة كثيفة وفوضوية، بينما نشرت الطرق الجديدة الإجابات بطريقة تعكس بالفعل الأفكار المختلفة التي يمتلكها الناس.

بعد ذلك، حاولوا فرز هذه الإجابات إلى مجموعات باستخدام ست خوارزميات حاسوبية مختلفة. حاولت بعض الخوارزميات إيجاد دوائر مرتبة ومنتظمة من الناس؛ بينما حاولت خوارزميات أخرى إيجاد عناقيد بأي شكل كان، حتى لو كانت مبعثرة. عادةً، يختار العلماء الخوارزمية التي تصنع أكثر الدوائر "تماسكاً" من الناحية الرياضية. لكن المؤلفين لم يتوقفوا عند هذا الحد، بل طبقوا اختبار CVPA الجديد الخاص بهم. لقد سألوا: "إذا أخبرنا الحاسوب بأن 'هذا الشخص ينتمي إلى المجموعة (أ)'، فهل يستطيع الحاسوب تخمين جنسه أو عمره أو دخله؟"

كانت النتائج مذهلة. في استطلاع كوفيد-19، وجد الحاسوب أن تجارب الناس كانت مرتبطة بعمق بمالهم وجنسهم. استطاعت الخوارزمية تخمين دخل الشخص أو جنسه بمجرد معرفة المجموعة التي ينتمي إليها بدقة مدهشة (حوالي 60% للجنس و54% للدخل). وهذا يعني أن المجموعات لم تكن مجرد رياضيات عشوائية؛ بل كانت تمثل عوالم اجتماعية حقيقية ومختلفة. على سبيل المثال، قد تكون إحدى المجموعات تضم أشخاصاً لا يستطيعون سوى تمشية كلابهم من أمام أبواب منازلهم، بينما تمتلك مجموعة أخرى حدائق واسعة. لقد رصد الحاسوب هذا الانقسام بدقة مثالية.

ومع ذلك، تغيرت القصة مع الاستطلاعات الأخرى. ففي استطلاع المناخ النرويجي، وجد الحاسوب أنه بينما كان العمر والجنس مهمين قليلاً، إلا أن المال لم يؤثر في تقسيم المجموعات على الإطلاق. فالناس من جميع مستويات الدخل كانوا قلقين بشأن نفس الأشياء، مثل الفيضانات وذوبان الجليد. كانت درجة CVPA للدخل منخفضة جداً، وهو ما يقول المؤلفون إنه اكتشاف جيد! فهو يخبر صانعي السياسات أنهم ليسوا بحاجة لإرسال رسائل مختلفة للغني والفقير بشأن تغير المناخ؛ فرسالة واحدة موحدة وكبيرة ستنجح مع الجميع.

ربما يكون الجزء الأكثر إثارة في الورقة البحثية هو كيف يصمد الحاسوب أمام الخبراء البشريين. قارن الباحثون بين المجموعات التي أنشأها الحاسوب والمجموعات التي قام خبراء بشريون بفرزها يدوياً من خلال قراءة الإجابات. لقد قام الحاسوب بعمل مذهل. في استطلاع كوفيد، توقعت مجموعات الحاسوب الخصائص الديموغرافية بنفس دقة الخبراء البشريين تقريباً (0.605 مقابل 0.609). وفي الاستطلاع النرويجي، تفوق الحاسوب قليلاً (0.572 مقابل 0.571). وهذا يشير إلى أن الحواسيب يمكنها إيجاد أنماط في اللغة لا تقل أهمية عن ما يجده البشر، بل وتكون أحياناً أكثر اتساقاً مما يجدونه من خلال القراءة الفردية.

تخلص الورقة إلى أنه لا ينبغي لنا الوثوق فقط في "ترتيب" العنقود. يمكن أن تكون المجموعة مثالية رياضياً ولكنها عديمة الفائدة في الحياة الواقعية. يعمل اختبار CVPA الجديد كاختبار للواقع؛ فهو يخبرنا ما إذا كانت المجموعة تمثل أشخاصاً متميزين حقاً في العالم الحقيقي أم أنها مجرد وهم رياضي. إذا كانت المجموعة تساعدنا في التنبؤ بهوية الناس، فهي مجموعة مفيدة. وإذا لم تكن كذلك، حتى لو بدت جميلة على الرسم البياني، فقد لا تستحق الاستخدام في اتخاذ القرارات المتعلقة بالصحة العامة، أو السياسات، أو التسويق. ويقترح المؤلفون أن هذه الطريقة تساعدنا في الانتقال من مرحلة التخمين إلى اتخاذ القرارات بناءً على ما يهم حقاً في العالم الحقيقي.