SocietyBench: Forecasting Counterfactual Social-World Evolution
تقدم هذه الورقة SocietyBench، وهو معيار مرجعي جديد يقيم قدرة النماذج اللغوية الكبيرة على التنبؤ بتطور العالم الاجتماعي الافتراضي عبر إخفاء هوية الجداول الزمنية للأحداث الواقعية وتحويلها إلى مهام تنبؤ مهيكلة، مما يكشف أن حتى النماذج الرائدة تعاني من صعوبات في كل من المعايرة الاحتمالية والدقة الزمنية عبر أحداث متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم العالم. لفترة طويلة، اختبر العلماء هذه الروبوتات عبر إعطائها مهاماً محددة: "أصلح هذا الكود المعطل"، "تنقل في هذا الموقع الإلكتروني"، أو "حل هذه المسألة الرياضية". الأمر يشبه اختبار القيادة حيث يتعين على الروبوت فقط البقاء في مساره والوصال إلى الوجهة. لكن هناك جزءاً ضخماً من التجربة الإنسانية تغفله هذه الاختبارات: الدراما المربكة وغير المتوقعة للحياة الواقعية. كيف يتعامل الروبوت مع فضيحة مفاجئة، أو شائعة سياسية متغيرة، أو انهيار في السوق؟ هل يمكنه النظر إلى الأخبار اليوم وتخمين ما ستكتب عنه العناوين غداً؟ هذا هو مجال التنبؤ الاجتماعي. الأمر لا يتعلق باتباع خريطة؛ بل بالتنبؤ بـ "طقس" السلوك البشري، حيث تغير الرياح اتجاهها بناءً على النميمة، والغضب، والمفاجأة.
هنا يأتي دور SocietyBench، وهو "امتحان نهائي" جديد صُمم لمعرفة ما إذا كان الذكاء الاصطناعي قادراً حقاً على التنبؤ بمستقبل الأحداث الاجتماعية في العالم الحقيقي، بدلاً من مجرد استرجاع الحقائق التي حفظها من بيانات تدريبه. أدرك الباحثون وراء هذه الدراسة أنه إذا سألت ذكاءً اصطناعياً عن حدث مشهور وقع بالفعل، فقد يكون مجرد "يعتمد على البيانات المحفوظة" من خلال تذكر الإجابة من مكتبته الضخمة من نصوص الإنترنت الماضية. ولمنع حدนี้، ابتكروا حيلة ذكية: أخذوا قصصاً إخبارية حقيقية، واستبدلوا جميع الأسماء (مثل تحويل "إيلون ماسك" إلى "الشخص س" و"تسلا" إلى "الشركة ص")، وغيروا التواريخ. هذا يحول القصة الحقيقية إلى عالم "واقعي مضاد" — عالم موازٍ يبدو ويشعر تماماً مثل العالم الحقيقي، لكن حيث لم يسبق للذكاء الاصطناعي رؤية السيناريو من قبل. هنا، يتعين على الذكاء الاصطناعي استخدام عقله لفهم كيف تتطور القصة، وليس ذاكرته.
كانت نتائج هذه التجربة بمثابة "إعادة ضبط للواقع" لعالم الذكاء الاصطناعي. اختبر الباحثون ستة من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة اليوم على خمسة أنواع مختلفة من الأحداث، تتراوح من الانهيارات في الأسواق المالية إلى الصراعات الجيوسياسية. وحتى أذكى نموذج، والذي سجل أعلى درجة، لم يتمكن من الحصول سوى على 75.0 من 100 نقطة. قد يبدو هذا جيداً، ولكن تذكر أن "المرساة التافهة" (وهي الدرجة التي ستحصل عليها إذا خمنت عشوائياً أو قلت "احتمالية 50%" لكل شيء) هي 50. لذا، فإن أفضل ذكاء اصطناعي هو فقط في منتصف الطريق بين التخمين العشوائي والتنبؤ المثالي.
والأمر المذهل هنا هو أن نماذج الذكاء الاصطناعي سيئة جداً في كونها متسقة. فبعض النماذج بارعة في تخمين احتمالية حدوث شيء ما (مثل قول "هناك احتمال 70% لهطول المطر") لكنها سيئة في تخمين متى سيحدث ذلك. والبعض الآخر عكس ذلك تماماً. الأمر يشبه خبير الأرصاد الجوية الذي يكون دائماً على حق بشأن ما إذا كانت ستمطر أم لا، ولكنه دائماً مخطئ بشأن ما إذا كانت ستمطر يوم الثلاثاء أو الجمعة. وجدت الدراسة أنه في حدث واحد، يمكن أن تكون الفجوة بين أفضل وأسوأ النماذج كبيرة تصل إلى 21.4 نقطة. وهذا يثبت أنه لا يمكنك مجرد اختبار ذكاء اصطناعي على قصة واحدة واعتبار المهمة انتهت؛ بل يجب عليك اختباره على قصص عديدة للحصول على الصورة الحقيقية.
ولعل الاكتشاف الأكثر إثارة للدهشة كان حول "وكلاء الذكاء الاصطناعي" (AI Agents). هذه هي التجهيزات المتططورة حيث تتحدث عدة روبوتات ذكاء اصطناعي مع بعضها البعض، أو تتناظر، أو تخطط معاً، على أمل الحصول على إجابة أذكى. جرب الباحثون ثلاث طرق مختلفة لجعل هذه الفرق تعمل، لكن لم ينجح أي منها في تحسين النتائج. في الواقع، غالباً ما كان أداء فريق البوتات أسوأ من أداء بوت الذكاء الاصطناعي الوحيد والمنعزل الذي بُني فوقه. اتضح أنه بالنسبة للتنبؤ بالفوضى الاجتماعية، فإن إضافة المزيد من الأصوات إلى الغرفة لم يجعل المحادثة أكثر ذكاءً؛ بل جعلها أكثر ضجيجاً فحسب.
في النهاية، يوضح لنا SocietyBench أنه بينما تصبح نماذج الذكاء الاصطناዊ لدينا جيدة جداً في اتباع التعليمات وإصلاح الأخطاء البرمجية، إلا أنها لا تزال تكافح لفهم الديناميكيات المعقدة والمتلاطمة للمجتمع البشري. لا يمكنهم مجرد حفظ المستقبل؛ بل عليهم التفكير فيه بعمق. وفي الوقت الحالي، حتى أفضل النماذج لا تزال بعيدة جداً عن كونها عرافين حقيقيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.