HypoSpace: Evaluating LLM Creativity as Set-Valued Hypothesis Generators under Underdetermination
تقدم الورقة البحثية HypoSpace، وهي مجموعة أدوات تشخيصية تقيم النماذج اللغوية الكبيرة باعتبارها مولدات فرضيات ذات قيم مجموعات في المجالات العلمية غير محددة المعالم، وذلك عبر قياس الصلاحية، والتفرد، والاسترداد للكشف عن انهيار النمط الذي تفشل مقاييس الصحة التقليدية في رصده.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحث HypoSpace، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.
المشكلة الكبرى: "اللغز ذو الإجابات المتعددة"
تخيل أنك دخلت غرفة ووجدت مزهرية مكسورة على الأرض. ترى القطع، لكنك لم ترَ من كسرها.
- الفرضية أ: القطة هي من أسقطتها.
- الفرضية ب: الرياح هبت بالستارة وصدمتها.
- الفرضية ج: لص تسلل وأسقطها.
كل هذه القصص الثلاث تتناسب تماماً مع الأدلة. في العلم، يُسمى هذا "عدم التحديد" (underdetermination). البيانات (المزهرية المكسورة) لا تشير إلى حقيقة واحدة فقط؛ بل تسمح بالعديد من الحقائق المختلفة.
المشكلة في الذكاء الاصطناعي الحالي (النماذج اللغوية الكبيرة أو LLMs) هي أنها بارعة في إيجاد إجابة واحدة جيدة، لكنها سيئة جداً في إيجاد كل الإجابات الممكنة. فهي تميل إلى التعلق بأول فكرة تخطر ببالها وتستمر في تكرارها، حتى لو وجدت أفكار أخرى صحيحة.
الحل: HypoSpace (معيار "مستكشف الأفكار")
ابتكر المؤلفون اختباراً جديداً يسمى HypoSpace. بدلاً من سؤال الذكاء الاصطناعي: "ما هي الإجابة؟"، نسأله: "أرني كل إجابة ممكنة يمكنك التفكير فيها والتي تتوافق مع القرائن".
فكر في HypoSpace كأنه صندوق كنز ضخم ومغلق، والمفتاح هو مجموعة محددة من القرائن. الذكاء الاصطناعي هنا هو صائد الكنوز. الهدف ليس مجرد العثور على مفتاح واحد؛ بل العثور على كل مفتاح يمكنه فتح الصندوق.
لقياس مدى جودة الذكاء الاصطناعي، يستخدمون ثلاث درجات بسيطة:
- الصلاحية (هل هو مفتاح حقيقي؟): هل الفكرة التي طرحها الذكاء الاصطناعي تتوافق فعلياً مع القرائن؟ إذا قال الذكاء الاصطناعي "القمر كسر المزهرية"، فهذا غير صالح. أما إذا قال "القطة"، فهذا صالح.
- التفرد (هل هو مفتاح جديد؟): هل كرر الذكاء الاصطناعي نفس الفكرة 10 مرات؟ أم أنه جاء بـ 10 أفكار مختلفة؟
- الاستعادة (هل وجد الصندوق كاملاً؟): إذا كان هناك بالضبط 100 مفتاح يناسب القرائن، فهل وجد الذكاء الاصطناعي الـ 100 مفتاح كاملة؟ أم وجد 5 فقط ثم توقف؟
"صالات التدريب" الثلاث
لاختبار الذكاء الاصطناعي، بنوا ثلاث غرف ألغاز محددة حيث يعرفون عدد الإجابات الصحيحة مسبقاً:
- لعبة المحقق (الاستدلال السببي): ترى رسماً بيانياً للأحداث (مثل "الضغط على الزر أ يجعل الضوء ب يضيء"). يجب على الذكاء الاصطناعي رسم جميع مخططات الأسلاك الممكنة التي يمكن أن تفسر ذلك.
- لغز الجاذبية (إعادة البناء ثلاثي الأبعاد): ترى ظلاً لهيكل مكعب ثلاثي الأبعاد. يجب على الذكاء الاصطناعي تخمين جميع الطرق المختلفة التي يمكن بها رص المكعبات لإنشاء هذا الظل بالضبط، مع الالتزام بقوانين الجاذبية.
- الوصفة الجينية (المنطق البولياني): ترى كيف يؤدي خلط مكونين إلى نتيجة (مثل "أحمر + أزرق = بنفسجي"). يجب على الذكاء الاصطناعي كتابة جميع "الوصفات" الممكنة (الصيغ الرياضية) التي تفسر سبب حدوث ذلك.
ما وجدوه: تأثير "غرفة الصدى"
عندما اختبروا أذكى نماذج الذكاء الاصطناعي (مثل GPT-5، Claude، إلخ)، وجدوا خللاً ثابتاً:
- الذكاء الاصطناعي هو "صاحب النجاح الواحد": هو دائماً ما يحقق درجة عالية في الصلاحية (يجد إجابة صحيحة).
- لكنه يعلق في حلقة مفرغة: كلما زادت صعوبة اللغز (زيادة عدد الإجابات الممكنة)، تنهار درجات التفرد والاستعادة.
التشبيه: تخيل منسق أغانٍ (DJ) يعزف الموسيقى. الـ DJ الجيد يعزف ألبوماً كاملاً بأغانٍ مختلفة. أما هذه الأنواع من الذكاء الاصطناعي فهي مثل الـ DJ الذي يجد أغنية رائعة واحدة، فيقوم بتشغيلها، ثم يستمر في تشغيل نفس الأغنية مراراً وتكراراً، رغم أن متجر الأسطوانات مليء بالأغاني الرائعة الأخرى. إنهم "يعلقون" في بعض الأفكار الشائعة ويتجاهلون البقية.
لماذا يحدث هذا؟
توضح الورقة أن نماذج الذكاء الاصطناعي تُدرب على التنبؤ بـ الكلمة التالية الأكثر احتمالاً. وهذا يجعلها "محددة للغاية" (peaked). إنهم مثل شخص لا يأكل إلا طعامه المفضل فقط. حتى لو كان هناك 1000 طبق لذيذ في العالم، فسيطلب دائماً الطبق الذي يعرف أنه يحبه.
عندما يصبح "فضاء الفرضيات" (عدد الإجابات الممكنة) ضخماً، تصبح إجابات الذكاء الاصطناعي المفضلة مجرد قطرة صغيرة في المحيط. فهو يستمر في أخذ عينات من نفس القطرات القليلة ولا يستكشف بقية المحيط أبداً.
الحل: "فك التشفير الطبقي حسب التعقيد"
حاول المؤلفون تجربة حيلة بسيطة للإصلاح. بدلاً من ترك الذكاء الاصطناعي يختار ما يريد، أجبروه على تنظيم بحثه حسب الصعوبة.
- الطريقة القديمة: "أعطني 100 فكرة". (يعطي الذكاء الاصطناعي 100 نسخة من نفس الفكرة البسيطة).
- الطريقة الجديدة: "أعطني 10 أفكار بسيطة، 10 متوسطة، و10 معقدة".
هذا أجبر الذكاء الاصطناعي على البحث في الجزء "المعقد" من الغرفة الذي يتجاهله عادةً. وقد ساعد ذلك الذكاء الاصطناعي على إيجاد المزيد من الإجابات الفريدة، مما أثبت أن المشكلة لم تكن في أن الذكاء الاصطناعي لا يستطيع التفكير فيها، بل في أنه كان "كسولاً" جداً للبحث عنها.
الاختبار الواقعي
قاموا حتى باختبار ذلك على بيانات جينية حقيقية من خميرة (كائنات دقيقة). وجدوا أنه حتى في العلم الحقيقي، غالباً ما تكون هناك عشرات التفسيرات الصالحة لكيفية تفاعل الجينات. أظهرت نماذج الذكاء الاصطناعي نفس السلوك "العالق" هنا: فقد وجدت تفسيراً واحداً صحيحاً ولكنها أغفلت الـ 99 تفسيراً الأخرى.
الخلاصة
HypoSpace ليس عن جعل الذكاء الاصطناعي أكثر ذكاءً في حل الألغاز؛ بل هو عن تشخيص كيف يفكر. إنه يكشف أن أنظمة الذكاء الاصطناعي الحالية بارعة في إيجاد حقيقة واحدة، لكنها سيئة جداً في استكشاف مشهد جميع الحقائق الممكنة.
لكي يتقدم العلم، نحتاج إلى ذكاء اصطناعي لا يعطينا فقط أول إجابة تخطر بباله، بل يعمل كعالم فضولي يستكشف كل ركن في الغرفة ليتأكد من أننا لم نغفل عن أي تفسير أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.