Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers
تقيم هذه الورقة بشكل منهجي اختبارات الإبداع البشري الحالية للتنبؤ بأداء النماذج اللغوية الكبيرة عبر الكتابة، والتفكير التباعدي، والابتكار العلمي، كاشفةً عن صلاحيتها المحدودة ومقدمةً اختبار الارتباط البعيد التباعدي (DRAT) كأول أداة قوية قادرة على التنبؤ بالابتكار العلمي من خلال التقييم المتزامن لكل من التفكير التقاربي والتباعدي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من الروبوتات الذكية للغاية (النماذج اللغوية الكبيرة، أو LLMs). تريد معرفة أي منها "مبدع" حقاً. ولكن كيف تقيس الإبداع في آلة؟
لفترة طويلة، حاول العلماء استخدام نفس الاختبارات التي يستخدمونها مع البشر لتقييم هؤلاء الروبوتات. الأمر يشبه محاولة قياس قدرة سمكة على تسلق شجرة لأنك تريد معرفة مدى براعتها في التسلق. تجادل هذه الورقة البحثية بأنه بينما تعمل بعض هذه الاختبارات القديمة بشكل جيد نوعاً ما، إلا أنها غالباً ما تفشل في سرد القصة كاملة، خاصة عندما يتعلق الأمر بالأفكار العلمية.
إليك شرح بسيط لما وجده الباحثون وما بنوه لإصلاح ذلك.
١. المشكلة: استخدام مساطر خاطئة
نظر الباحثون في نوعين رئيسيين من "اختبارات الإبداع" التي يخضع لها البشر:
- التفكير التباعدي (Divergent Thinking): طلب من الشخص تقديم إجابات عديدة ومختلفة وغريبة لسؤال ما (مثل "اذكر ١٠ أشياء مختلفة تماماً عن بعضها البعض").
- التفكير التقاربي (Convergent Thinking): طلب من الشخص إيجاد الإجابة الصحيحة الوحيدة التي تربط بين ثلاثة أشياء غير مترابطة (مثل "كوخ"، "سويسري"، و"كعكة" "جبنة").
اختبر الفريق عشرات نماذج الذكاء الاصطناعي باستخدام هذه الاختبارات البشرية. واكتشفوا بضعة أشياء مفاجئة:
- فخ "الذكاء": العديد من الاختبارات التي بدت وكأنها تقيس الإبداع كانت في الواقع تقيس مدى "ذكاء" أو معرفة الروبوت. إذا كان الروبوت بارعاً في الرياضيات والقراءة، فسيحصل بطبيعة الحال على درجات عالية في هذه الاختبارات، حتى لو لم يكن "مبدعاً" حقاً. الأمر يشبه تقييم طالب في اختبار رياضيات وتسميته "اختبار إبداع" لمجرد أنه حصل على درجة عالية.
- النقطة العمياء "العلمية": كانت النتيجة الأكثر صدمة هي أن لا أحد من الاختبارات البشرية الحالية يمكنه التنبؤ بشكل موثوق بما إذا كان بإمكان الذكاء الاصطناعي تقديم أفكار علمية جيدة. يمكنك امتلاك روبوت بارع في كتابة القصص أو سرد كلمات عشوائية، لكنه سيئ جداً في ابتكار نظرية علمية جديدة. المساطر القديمة لم تكن تعمل لهذه المهمة.
- مفارقة النماذج الأحدث: مع تقدم نماذج الذكاء الاصطناعي وزيادة قوتها، أصبحت في الواقع أسوأ في التفكير التباعدي (تقديم أفكار فريدة وغريبة). أصبحت أكثر جموداً ونمطية، مثل مصنع ينتج نفس الكعكة مراراً وتكراراً، بدلاً من طاهٍ يبتكر وصفة جديدة.
٢. الحل: اختبار هجين جديد (DRAT)
بما أن الاختبارات القديمة فشلت في التنبؤ بالإبداع العلمي، فقد ابتكر المؤلفون اختباراً جديداً يسمى اختبار الارتباط التباعدي (Divergent Remote Association Test - DRAT).
فكر في الاختبارات القديمة كأداتين منفصلتين:
- الأداة (أ) (التباعدي): مطرقة ثقيلة تحطم الأشياء لترى كم قطعة مختلفة ستحصل عليها.
- الأداة (ب) (التقاربي): مفك براغي يربط الأشياء معاً لإيجاد القطعة المثالية التي تناسبها.
المشكلة في الإبداع العلمي هي أنك تحتاج إلى كليهما في نفس الوقت. أنت بحاجة لتحطيم الأفكار لتجد شيئاً جديداً، ولكن بعد ذلك تحتاج لربطها معاً للتأكد من أنها منطقية وتناسب المشكلة.
كيف يعمل DRAT:
تخيل أنك تعطي الذكاء الاصطناعي ثلاث كلمات "مرتكزة" مختلفة جداً (مثل "نبض القلب"، "خط أنابيب"، و"طوبولوجيا").
١. التحدي: يجب على الذكاء الاصطناعي توليد ١٠ كلمات تكون جميعها مختلفة عن بعضها البعض (تباعدي).
٢. الشرط: ولكن، يجب أن تكون كل كلمة من هذه الكلمات العشر قادرة أيضاً على الارتباط مجازياً بالكلمات الثلاث المرتكزة (تقاربي).
الأمر يشبه مطالبة شاعر بكتابة ١٠ قصائد مختلفة تماماً، ولكن يجب أن تكون كل قصيدة، في جوهرها، تتحدث عن آلة معقدة محددة. إذا استطاع الذكاء الاصطناعي فعل ذلك، فإنه يثبت قدرته على التفكير بجنون ومنطق في آن واحد.
٣. النتائج
عندما اختبروا أداة DRAT الجديدة هذه:
- لقد نجحت! لقد كانت أول اختبار يمكنه بنجاح التنبؤ بنماذج الذكاء الاصطناعي الجيدة في تقديم أفكار علمية.
- لم تكن مجرد مجموع أجزاء: حاول الباحثون دمج اختبار "التحطيم" القديم واختبار "الربط" القديم لمعرفة ما إذا كان ذلك سينجح. لم ينجح الأمر. لقد فعلت أداة DRAT الجديدة شيئاً خاصاً لم تستطع الأداتان القدتان فعله بمفردهما. لقد أثبتت أنه لقياس الإبداع العلمي، يجب عليك اختبار القدرة على أن تكون جامحاً ومنطقياً في آن واحد.
الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه لا يمكننا مجرد استخدام اختبارات بشرية قديمة لتقييم إبداع الذكاء الاصطناعي.
- إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي جيداً في كتابة القصص، استخدم "مهمة الارتباط التباعدي" (قائمة الكلمات الغريبة).
- إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي جيداً في التفكير التباعدي (سرد خيارات عديدة)، استخدم "مهمة الارتباط التباعدي المشروطة".
- ولكن إذا كنت تريد معرفة ما إذا كان بإمكان الذكاء الاصطناعي ابتكار علم جديد، فأنت بحاجة إلى اختبار DRAT الجديد، لأنه يتحقق مما إذا كان بإمكان الآلة أن تكون خيالية للغاية ومنطقية في آن واحد.
باختصار: لقياس العبقرية العلمية للروبوت، تحتاج إلى اختبار يجبره على التلاعب بالنار (التباعد) أثناء السير على حبل مشدود (التقارب). الاختبارات القديمة طلبت منه فقط القيام بأحدهما.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.