On Benchmarking Human-Like Intelligence in Machines
تجادل هذه الورقة بأن نماذج تقييم الذكاء الاصطناعي الحالية تفشل في قياس القدرات المعرفية الشبيهة بالبشر بدقة بسبب مشكلات مثل الملصقات غير الموثقة والمهام غير الصالحة بيئيًا، وتقترح خمس توصيات ملموسة لإجراء تقييم معياري أكثر صرامة بناءً على دراسة تقييم بشري لتسعة معايير قائمة.
المؤلفون الأصليون:Lance Ying, Katherine M. Collins, Lionel Wong, Ilia Sucholutsky, Ryan Liu, Adrian Weller, Tianmin Shu, Thomas L. Griffiths, Joshua B. Tenenbaum
المؤلفون الأصليون: Lance Ying, Katherine M. Collins, Lionel Wong, Ilia Sucholutsky, Ryan Liu, Adrian Weller, Tianmin Shu, Thomas L. Griffiths, Joshua B. Tenenbaum
تخيل أنك تحاول تعليم روبوت كيف يكون إنساناً. أنت لا تريد فقط أن يكون فائق الذكاء في الرياضيات أو قادراً على التنبؤ بالطقس؛ بل تريد منه أن يفكر، ويشعر، ويتفاعل بالطريقة التي تفعلها أنت. هذا هو عالم "الذكاء الشبيه بالبشر". لعقود من الزمن، كان العلماء يبنون هذه العقول الرقمية، آملين في إنشاء آلات لا تكتفي بحل المشكلات فحسب، بل تفهم الطريقة الفوضوية والمربكة والمتناقضة أحياناً التي يتعامل بها البشر مع العالم. لكن الجزء الصعب هنا هو: كيف تعرف ما إذا كان الروبوت يتصرف حقاً كإنسان، أم أنه مجرد ممثل بارع يتظاهر بذلك؟ لمعرفة ذلك، عادة ما يخضع الروبوت لاختبار. ولكن ماذا لو كان الاختبار نفسه معيباً؟ ماذا لو كان الاختبار يتوقع من الروبوت تقديم إجابة واحدة مثالية، في حين أن البشر الحقيقيين قد يقدمون في الواقع عشرات الإجابات المختلفة وغير الواثقة تماماً؟ تغوص هذه الورقة البحثية في هذه المشكلة تحديداً، وتجادل بأن طريقتنا الحالية في اختبار الذكاء الاصطناعي تشبه الحكم على ارتجال موسيقي من الجاز عبر مطالبة الموسيقي بعزف نوتة واحدة مثالية.
يرى مؤلفو هذه الورقة، وهم فريق من الباحثين من جامعات مرموقة، أننا نفشل حالياً في قياس الذكاء "الشبيه بالبشر" بشكل صحيح. ويقترحون أن العديد من اختبارات الذكاء الاصطناعي الشائعة بسيطة للغاية وتعتمد على تسميات "الحقيقة المطلقة" التي لا تتوافق في الواقع مع طريقة تفكير البشر الحقيقيين. ولإثبات وجهة نظرهم، أجروا تجربة ضخمة حيث طلبوا من 117 إنساناً حقيقياً خوض تسعة اختبارات مختلفة للذكاء الاصطناعي. غطت هذه الاختبارات أموراً مثل رصد السخرية، أو تحديد ما إذا كانت النكتة مضحكة، أو معرفة ما إذا كان الموقف الاجتماعي داعماً. وبدلاً من مجرد اختيار "أ، ب، أو ج"، استخدم البشر أشرطة تمرير (sliders) لإظهار مدى قوة شعورهم تجاه إجابة ما ومدى ثقتهم في هذا الشعور.
كانت النتائج مذهلة. تشير الورقة إلى أنه بالنسبة للعديد من هذه الاختبارات، كانت الإجابة "الصحيحة" التي تدرب عليها الذكاء الاصطناعي خاطئة في الواقع مقارنة بما يعتقده معظم البشر. فعلى سبيل المثال، في مهمة تتعلق بـ "الدعم الاجتماعي"، ذكر الاختبار أن جملة معينة كانت "غير داعمة"، بينما صنفها البشر بأنها داعمة بدرجة متوسطة في المتوسط. والأمر الأكثر إثارة للاهتمام هو أن البشر لم يختلفوا مع الاختبار فحسب، بل اختلفوا مع بعضهم البعض بطريقة منظمة. فبعض الناس كانوا واثقين جداً من إجاباتهم، بينما كان آخرون غير متأكدين، وتنوعت آراؤهم عبر طيف واسع. وتجد الورقة أن معايير قياس الذكاء الاصطناعي الحالية غالباً ما تتجاهل هذه "الفوضى"؛ فهي تعامل الحكم البشري كمسألة رياضية لها إجابة واحدة صحيحة، بينما هو في الواقع أشبه بمحادثة حيث يمتلك كل شخص منظوراً مختلفاً قليلاً.
يقترح المؤلفون خمس قواعد جديدة لبناء اختبارات أفضل. أولاً، علينا التوقف عن التخمين فيما يفكر فيه البشر والبدء في سؤالهم فعلياً، وجمع بيانات حقيقية من الناس لاستخدامها كـ "معيار ذهبي". ثانياً، بدلاً من البحث عن إجابة واحدة صحيحة، يجب أن نقارن الذكاء الاصطناعي بـ "توزيع" الإجابات البشرية بأكمله—أي معرفة ما إذا كان بإمكان الذكاء الاصطناعي استيعاب حقيقة أن بعض الناس يفكرون بطريقة ما والبعض الآخر يفكر بطريقة أخرى. ثالثاً، نحتاج إلى قياس "التدرج"؛ فالبشر نادراً ما يشعرون بيقين بنسبة 100% أو عدم يقين بنسبة 0%، بل يشعرون بـ "نعم إلى حد ما" أو "لا قليلاً". تقترح الورقة استخدام أشرطة التمرير وتقييمات الثقة لالتقاط هذا التباين، بدلاً من إجبارهم على اختيار بسيط بين نعم أو لا. رابعاً، يجب أن تستند الاختبارات إلى نظريات نفسية عميقة، وليس مجرد أسئلة عشوائية. فمجرد اجتياز طفل لاختبار "الاعتقاد الخاطئ" لا يعني أن الروبوت الذي يجتاز الاختبار لديه "نظرية العقل" حقيقية؛ إذ يجب تصميم الاختبار لقياس الأجزاء المعقدة من تلك المهارة فعلياً. وأخيراً، يجب أن تكون المهام نفسها أكثر شبهاً بالحياة الواقعية. الحياة الواقعية غامضة، ومربكة، ومليئة بالسياقات. فإذا كان الاختبار نظيفاً وبسيطاً للغاية، فهو لا يخبرنا ما إذا كان بإمكان الذكاء الاصطناعي التعامل مع العالم الحقيقي.
باختصار، تقترح الورقة أنه لبناء ذكاء اصطناعي يفكر مثلنا حقاً، علينا التوقف عن معاملة الذكاء البشري كاختبار متعدد الخيارات. نحن بحاجة إلى احتضان عدم اليقين، والاختلاف، والمناطق الرمادية. ومن خلال تصميم اختبارات تعكس الطبيعة الغنية والمتنوعة والمربكة أحياناً للفكر البشري، يمكننا أخيراً البدء في بناء آلات لا تبدو ذكية فحسب، بل تشعر حقاً بأنها بشرية.
ملخص تقني: حول قياس الذكاء الشبيه بالبشر في الآلات
بيان المشكلة
تتناول الورقة فجوة حرجة في تقييم أنظمة الذكاء الاصطناعي (AI): حيث تُعد المعايكات (benchmarks) الحالية غير كافية لتقييم ما إذا كانت النماذج تمتلك قدرات معرفية شبيهة بالبشر. وبينما تُظهر نماذج الذكاء الاصطناعي الحديثة أداءً عالياً في مهام متنوعة، يرى المؤلفون أن نماذج التقييم الحالية تفشل في التقاط أوجه التشابه النوعية بين الإدراك البشري والآلي.
تتمثل المشكلة الجوهرية في أن المعايكات القياسية تعتمد على:
الافتقار إلى الملصقات الموثقة بشرياً: تستخدم العديد من مجموعات البيانات ملصقات "الحقيقة الأرضية" (ground-truth) منفردة مستمدة من المنسقين أو التصويت بالأغلبية، متجاهلة التوزيع الفعلي للاستجابات البشرية.
عدم كفاية تمثيل التباين: تتجاهل المعايكات غالباً تباين الاستجابات البشرية وعدم اليقين، معتبرة المهام المعرفية ذات إجابات موضوعية واحدة حتى عندما تكون بطبيعتها ذاتية (مثل الاستدلال الأخلاقي أو اكتشاف الفكاهة).
عدم الصلاحية البيئية: غالباً ما يتم تبسيط المهام بشكل مفرط، مما يجعلها تفتقر إلى التعقيد والغموض واللمسات السياقية الموجودة في سيناريوهات العالم الحقيقي.
يميز المؤلفون بين الذكاء بمستوى البشر (تحقيق التكافؤ الكمي أو تجاوز الدقة البشرية) والذكاء الشبيه بالبشر (إظهار تشابه نوعي في الأنماط المعرفية، بما في ذلك ملفات الخطأ، وتوزيعات عدم اليقين، والمعتقدات المتدرجة). ويجادلون بأن الأدوات الحالية تخلط بين هذين المفهومين، مما قد يؤدي إلى توصيف خاطئ لقدرات الذكاء الاصطناعي.
المنهجية
لإثبات ادعاءاتهم، أجرى المؤلفون دراسة تقييم بشري على تسعة من معايكات الذكاء الاصطناعي الموجودة المعروفة بمتطلبات الاستدلال المنطقي العام ونظرية العقل (ToM).
المعايكات المختارة: سبع مهام من BIG-Bench (Srivastava et et al., 2022) تغطي الذكاء الاجتماعي (Social IQA)، والمقبولية الأخلاقية، والأسئلة الأخلاقية، والدعم الاجتماعي، وتحديد السخرية، والفكاهة السوداء، والاستدلال الخيالي؛ بالإضافة إلى BigToM و ToMBench لاستدلال نظرية العقل.
جمع البيانات:
المشاركون: 117 مشاركاً تم استقطابهم عبر منصة Prolific.
المحفزات: 30 محفزاً تم اختيارها عشوائياً من كل معيار من المعايكات التسعة (إجمالي 2,685 تجربة مشروحة).
الإجراء: بدلاً من الاختيار التقليدي من متعدد، استخدم المشاركون منزلقاً من 0 إلى 100 لتقييم كل خيار إجابة (على سبيل المثال، من "أعارض بشدة" إلى "أوافق بشدة").
قياس عدم اليقين: بعد كل تقييم، أبلغ المشاركون عن ثقتهم باستخدام مقياس منفصل من 0 إلى 100. هذا التصميم ذو المقياسين يفصل بين الأحكام المتدرجة (درجة الاعتقاد) وبين عدم اليقين المعرفي (الثقة في ذلك الحكم).
التحليل: قارن المؤلفون توزيعات الاستجابة البشرية ومستويات الثقة مقابل ملصقات "الحقيقة الأرضية" الأصلية للمعايكات ومستويات الصدفة.
النتائج الرئيسية
كشفت إعادة التوسيم البشرية عن تباينات كبيرة بين ملصقات المعايكات القياسية والسلوك البشني الفعلي:
انخفاض الاتفاق مع الحقيقة الأرضية: عبر المعايكات التسعة، بلغ متوسط الدقة البشرية (الاتفاق مع الملصق المنفرد للمعيار) 69.7%.
أدت بعض المهام إلى أداء أقل من مستوى الصدفة (مثل الدعم الاجتماعي بنسبة 45% مقابل 50% للصدفة).
وُجد اختلاف كبير في المقبولية الأخلاقية (72% اتفاق)، وتحديد السخرية (73% اتفاق)، والذكاء الاجتماعي (68% اتفاق).
أظهرت الأسئلة الأخلاقية البسيطة فقط اتفاقاً عالياً (88%).
المعتقدات المتدرجة مقابل الملصقات الثنائية: نادراً ما كانت الاستجابات البشرية ثنائية. قدم المشاركون تقييمات متوسطة بشكل متكرر (على سبيل المثال، متوسط تقييم 69.4 على مقياس 0-100 لمحفز مصنف على أنه "غير داعم")، مما يشير إلى وجود معتقدات متدرجة تفشل الملصقات الثنائية في التقاطها.
عدم اليقين المهيكل: أبلغ المشاركون عن درجات متفاوتة من الثقة. في مهام مثل الدعم الاجتماعي والمقبولية الأخلاقية، كانت تقييمات الثقة المنخفضة شائعة، ومع ذلك في حالات أخرى (مثل تحديد السخرية)، أظهر المشاركون ثقة عالية في الآراء المتباينة. يشير هذا إلى أن التباين غالباً ما يكون اختلافاً مهيكلاً وليس مجرد ضجيج أو ارتباك.
قصور التصميم الحالي: توضح الدراسة أن الاعتماد على ملصقات "الحقيقة الأرضية" المنفردة يقدم معيار مقارنة مضللاً، ويفشل في نمذجة الطبيعة التوزيعية للإدراك البشري.
المساهمات والتوصيات الرئيسية
تقترح الورقة خمس توصيات ملموسة مستمدة من أفضل ممارسات العلوم المعرفية لتحسين معايكات الذكاء الاصطناعي المستقبلية:
القياس مقابل البشر الفعليين: يجب أن تكون ملصقات "الحقيقة الأرضية" للذكاء الاصطناعي "الشبيه بالبشر" هي بيانات استجابة تم جمعها من البشر، وليس مجرد إجابات منسقة. هذا أمر ضروري للمهام الذاتية حيث لا توجد إجابة موضوعية واحدة.
التقييم مقابل التوزيعات السكانية: يجب تقييم النماذج مقابل التوزيع الكامل للأحكام البشرية (الملصقات الناعمة/soft labels) بدلاً من ملصقات التصويت بالأغلبية (الملصقات الصلبة/hard labels). يجب أن تشمل المقاييس مقارنات توزيع الاحتمالات (مثل تباعد KL، أو مسافات Wasserstein) لضمان قدرة النماذج على التقاط التباين على مستوى السكان والفئات الفرعية.
تقييم التدرج وعدم اليقين: يجب أن تستخرج المعايكات الأحكام المتدرجة والثقة وتقيسها من المقيّمين الأفراد. هذا يلتقط دقة اتخاذ القرار في العالم الحقيقي وعدم اليقين المتأصل في الاستدلال البشري، وهو ما تحجبه الخيارات الثنائية.
تأسيس المهام على نظرية ميتا (Meta-Theory): يجب أن يبدأ تصميم المعايكات بـ نظرية ميتا للمفهوم المعرفي (تعريف المكونات الفرعية والسمات الملحوظة) بدلاً من تكييف الاختبارات النفسية (مثل اختبار سالي-آن) التي قد تكون ملوثة ببيانات التدريب أو تفتقر إلى صلاحية البناء للذكاء الاصطناعي.
تصميم مهام غنية معرفياً: يجب أن تستثير المهام سلوكاً طبيعياً من خلال دمج عمليات معرفية متعددة، واستخدام الاستئصال المنهجي (حجب السياق)، وتضمين الغموض المهيكل. هذا ينتقل من تنسيقات الأسئلة والأجوبة المبسطة إلى تقييم كيفية تعامل الذكاء الاصطناعي مع التعقيد وعدم اليقين في العالم الحقيقي.
الأهمية والنطاق
يضع المؤلفون هذا العمل كدعوة للعمل لكل من علماء الإدراك وباحثي الذكاء الاصطناعي لمواءمة ممارسات التقييم مع النمذجة المعرفية الصارمة.
القيمة العلمية: إن المقارنة الصارمة بين الذكاء الآلي والبشري عبر أنماط الخطأ، والتحيزات، وعدم اليقين أمر حيوي لفهم طبيعة كل منهما.
القيمة العملية: بالنسبة للمهام الذاتية (الاستدلال الأخلاقي، الملاءمة الاجتماعية، الفكاهة)، حيث لا يوجد معيار معياري للصحة، فإن التقييم التوزيعي الشبيه بالبشر ضروري. وعلى العكس من ذلك، بالنسبة للمهام ذات المعايير المعيارية (مثل الرياضيات أو طي البروتين)، فقد يكون نمط الخطأ الشبيه بالبشر غير مفيد، وتوصيات الورقة ليست مقصودة لتلك المجالات.
القيود: يقر المؤلفون بأن جمع بيانات بشرية عالية الجودة يتطلب موارد كبيرة، وأن قابلية نقل النظريات الميتا المستمدة من البشر إلى أنظمة الذكاء الاصطناعي تظل سؤالاً مفتوحاً. هم لا يدعون إلى ضرورة أن يحاكي الذكاء الاصطناعي جميع القيود المعرفية البشرية (مثل التحيزات الضارة)، لكنهم يجادلون بأن فهم بنية التباين البشري أمر أساسي لبناء شركاء ذكاء اصطناعي آمنين، متعاونين، وقابلين للتفسير.
تخلص الورقة إلى أن تحقيق فهم حقيقي للذكاء الاصطناعي "الشبيه بالبشر" يتطلب الانتقال من مجرد مقاييس الدقة البسيطة نحو إطار عمل يقدر التباين، وعدم اليقين، والصلاحية البيئية، مستفيداً بقوة من عقود من البحث في العلوم المعرفية.