CREATE: Testing LLMs for Associative Creativity

إليك ملخص تقني مفصل لورقة البحث "CREATE: Testing LLMs for Associative Creativity" (اختبار النماذج اللغوية الكبيرة في الإبداع الترابطي).

1. بيان المشكلة

تعالج الورقة فجوة حرجة في تقييم النماذج اللغوية الكبيرة (LLMs): كيفية قياس "الإبداع الترابطي" بشكل موضوعي. وبينما يعد الإبداع ركيزة أساسية في الاكتشاف العلمي، وتوليد الفرضيات، وحل المشكلات، فإن المعايير الحالية غالباً ما تفشل في استيعابه.

• قصور المعايير الحالية: المهام الإبداعية في العالم الحقيقي ذات طبيعة ذاتية ويصعب تقييمها على نطاق واسح. وفي المقابل، فإن المهام الرمزية أو التجريدية (مثل إيجاد روابط بين "طوبة" و"زجاجة") تكون سهلة للغاية بالنسبة للنماذج اللغوية بسبب بيانات التدريب الضخمة، ولا تعكس تعقيد التفكير في العالم الحقيقي.
• التحدي الجوهري: يعرّف المؤلفون المشكلة بأنها القدرة على توليد روابط جديدة وذات مغزى بين مفاهيم من العالم الحقيقي. وهذا يتطلب التنقل في مساحة بحث هائلة للعثور على مسارات تتسم بكونها عالية الجودة (محددة، واقعية، وقوية) ومتنوعة (متميزة عن المسارات الأخرى التي تم توليدها).

2. المنهجية: معيار CREATE

قدم المؤلفون معيار CREATE (الربط بين كيانات العالم الحقيقي عبر التفكير الترابطي)، وهو معيار مصمم لتقييم قدرة النماذج اللغوية الكبيرة على التفكير الترابطي المفتوح باستخدام الرسوم البيانية للمعرفة (Knowledge Graphs) في العالم الحقيقي.

أ. صياغة المهمة

• المدخلات: استعلام بلغة طبيعية يطلب روابط بين كيانين محددين (على سبيل المثال: "كيف ترتبط داكوتا جونسون بالأشخاص الذين شاركوا في أفلام الفانتازيا/الخيال العلمي؟").
• المخرجات: مجموعة من المسارات (سلاسل من الثلاثيات/Triples) تربط الكيان البداية بالشرط المستهدف.
• القيود: يجب أن تكون المسارات صحيحة بنيوياً (سلاسل متصلة من الكيانات) وصحيحة واقعياً.

ب. بناء البيانات

• المصدر: ويكيداتا (Wikidata).
• العملية: اختار المؤلفون يدوياً 12 زوجاً من فئات العلاقات المتنوعة (مثل: عضو في طاقم التمثيل، فيلم Goodfellas). وقاموا بتوليد الاستعلامات عبر:
  1. اختيار كيانين من فئة معينة (على سبيل المثال: ممثلان في فيلم Goodfellas).
  2. توسيع أحد الكيانين بإضافة خطوة معلوماتية إضافية (على سبيل المثال: ممثل أ $\leftarrow$ مهنة $\leftarrow$ رسام).
  3. صياغة استعلام يربط الكيان الأول بالسمة الخاصة بالكيان الموسع.
• حجم مجموعة البيانات: 931 استعلاماً بلغة طبيعية تغطي مجالات مثل الأفلام، السياسة، الجينات، والكيمياء.

ج. مقاييس التقييم

يقترح البحث إطاراً موحداً لقياس الإبداع بناءً على الجودة والتنوع.

1. الجودة ($f(u)$):
   • تعتمد على الخصوصية (Specificity): يكون المسار قوياً إذا كانت علاقاته حصرية (على سبيل المثال: "ابنة زوج" أكثر تحديداً من "مواطن في نفس الدولة").
   • تُحسب بناءً على خصوصية "أضعف" ثلاثية في المسار.
   • الواقعية (Factuality) هي بوابة ثنائية ($q(u)=1$ إذا كانت جميع الثلاثيات صحيحة).
2. المسافة ($d(u_i, u_j)$):
   • تُقاس عبر مسافة جيب التمام (Cosine distance) لتمثيلات النصوص (String Embeddings) للمسارات.
   • تعمل دالة تحويل على إعادة قياس المسافات لمعاقبة إعادة الصياغة التافهة ومكافأة القفزات المفاهيمية المتميزة.
3. المنفعة الإبداعية ($s(U)$):
   • مقياس موحد يجمع بين الجودة والتنوع، مستوحى من الدوال تحت المجموعية (Submodular functions).
   • الصيغة: $s(U) = \max_{\tau} \sum \gamma^{i-1} f(u_{\tau(i)}) \min_{j<i} d(u_{\tau(i)}, u_{\tau(j)})$.
   • الصبر ($\gamma$): معامل يتحكم في المقايضة بين الكمية والجودة. $\gamma$ المنخفض يفضل المسارات الفردية عالية الجودة؛ بينما $\gamma$ المرتفع يكافئ المجموعات الأكبر والأكثر تنوعاً.
4. التميز ($\nu$): يقيس مدى ابتعاد أفضل مخرج للنموذج عن "المجتمع" (Population) لجميع مخرجات النموذج، مما يلتقط الجدة التاريخية.

3. المساهمات الرئيسية

1. معيار CREATE: معيار جديد قائم على المعرفة، يجسّر الفجوة بين التفكير الرمزي التجريدي والإبداع الواقعي الذاتي. إنه قابل للتحقق (عبر الرسوم البيانية للمعرفة) ولكنه معقد بما يكفي لتحدي النماذج الرائدة.
2. مقياس موحد للإبداع: تقديم مقياس المنفعة الإبداعية الذي يوازن رياضياً بين قوة الاتصال وتفرد هذا الاتصال بالنسبة للأفكار الأخرى المولدة.
3. التحليل التجريبي لنماذج "التفكير": تختبر الورقة بدقة ما إذا كانت نماذج "سلسلة الأفكار" (CoT) أو نماذج "التفكير" (التي تستهلك المزيد من الرموز/Tokens في التفكير) تحسن بالفعل الأداء الإبداعي.
4. تدخلات التلقين (Prompting Interventions): تقييم استراتيجيات مثل "كن مبدعاً" (Be Creative)، و"أخذ العينات اللفظي" (Verbalized Sampling)، و"إعادة التوليد التكراري" (Iterative Regeneration) لمعرفة ما إذا كان يمكنها إطلاق قدرات التفكير الترابطي بشكل أفضل.

4. النتائج

قام المؤلفون بتقييم النماذج الرائدة (GPT-4.1, GPT-5, Claude-3/4, Gemini-3, Qwen, OLMo) ووجدوا ما يلي:

• النماذج الرائدة تتصدر: تحقق أقوى النماذج (مثل GPT-5 وGemini-3-Pro) أعلى درجات المنفعة الإبداعية، حيث تولد مسارات عالية الجودة ومتنوعة في آن واحد.
• "مفارقة التفكير": زيادة جهد التفكير (ميزانيات الرموز/Tokens) لا تؤدي بالضرورة إلى ارتفاع درجات الإبداع.
  • غالباً ما تستكشف نماذج "التفكير" كيانات وعلاقات مشابهة للنماذج غير المفكرة، ولكن مع مزيد من التكرار.
  • مجرد استهلاك المزيد من الحوسبة لا يضمن العثور على "الإبرة في كومة القش" (الروابط شديدة التحديد والندرة).
• محدودية التلقين (Prompting):
  • التكرار/إعادة أخذ العينات: طلب توليد إجابات مختلفة بعد رؤية الإجابات السابقة (Iterative) أو إعادة أخذ العينات (Resample) يحقق أفضل التحسينات في المنفعة.
  • تعليمات "كن مبدعاً": مجرد إخبار النموذج بأن "يكون مبدعاً" له تأثير ضئيل جداً.
  • أخذ العينات اللفظي: طلب مخرجات توزيع الاحتمالات من النماذج قلل بشكل كبير من عدد المسارات الصالحة المولدة.
• المقايضة بين الجودة والواقعية:
  • نماذج مثل Gemini-3-Pro تولد مسارات متنوعة للغاية ولكن بواقعية أقل.
  • يحافظ GPT-5 على توازن أفضل، محققاً منفعة عالية حتى تحت قيود الواقعية الصارمة، بينما تنخفض أداء النماذج مفتوحة المصدر بشكل كبير عند فرض الواقعية بصرامة.
• التميز: حتى النماذج العليا تكافح لتوليد مسارات متميزة حقاً عن "مجتمع" النماذج الأخرى، مما يشير إلى وجود سقف لإبداع النماذج اللغوية الحالية.

5. الأهمية

• ما وراء الاسترجاع: توضح الورقة أن الإبداع الترابطي ليس مجرد مهمة استرجاع، بل هو مشكلة بحث مهيكلة تتطلب تفكيراً تباعدياً (استكشاف مسارات عديدة) وتفكيراً تقاربياً (تقليم المسارات لإيجاد روابط قوية).
• محدودية الذكاء الاصيائي الحالي: تشير النتائج إلى أن قوانين القياس الحالية (المزيد من الرموز = تفكير أفضل) لها عوائد متناقصة فيما يتعلق بالمهام الإبداعية. "مساحة البحث" في المعرفة البشرية واسعة جداً بحيث لا تستطيع النماذج الحالية التنقل فيها بكفاءة دون ابتكارات معمارية أو تدريبية محددة.
• الاتجاهات المستقبلية: يوفر هذا المعيار "بيئة اختبار" لتطوير طرق جديدة لتحسين قدرة النماذج اللغوية الكبيرة على الإبداع الترابطي، وهو أمر ضروري لتطبيقات مثل الاكتشاف العلمي، وتوليد الفرضيات، والبحث المؤتمت.
• الذكاء الاصطناعي المسؤول: يؤكد المؤلفون أنه بينما يمكن لهذه الأدوات تعزيز الإبداع البشري، فإن أتمتة العمليات الإبداعية بالكامل تحمل مخاطر تتعلق بإزاحة الوظائف وتنميط المخرجات الإبداعية.

باخت-صار، يضع CREATE معياراً موضوعياً صارماً لقياس إبداع النماذج اللغوية الكبيرة، كاشفاً أنه رغم قدرة النماذج الرائدة، إلا أنها لا تزال تفتقر إلى القدرة على توليد ارتباطات مبتكرة ومتميزة باستمرار دون توجيه بشري كبير أو تحولات في البنية التحتية للنماذج.