Are LLMs becoming similarly creative? Evidence from three years of models

ملخص تقني: "هل تصبح النماذج اللغوية الكبيرة مماثلة في إبداعها؟ أدلة من ثلاثة أعوام من النماذج"

بيان المشكلة
بينما تتبع العديد من المعايير المرجعية أداء النماذج اللغوية الكبيرة (LLMs) في مهام ذات إجابات يمكن التحقق منها، هناك نقص في البيانات الطولية المتعلقة بأداء هذه النماذج في المهام مفتوحة النهايات حيث تكون الأصالة، والابتكار، والتنوع أمراً بالغ الأهمية. تشير الأبحاث الحالية إلى أنه بينما قد تبدو هذه النماذج مبدعة بشكل فردي، إلا أنها غالباً ما تظهر تجانساً جماعياً، حيث تنتج مخرجات متشابهة فيما بينها عبر النماذج المختلفة ومع مرور الوقت. ومع ذلك، لا يزال من غير الواضح ما إذا كان هذا التجانس هو نتاج مؤقت لتطور التكنولوجيا أم أنه سمة حتمية للنماذج اللغوية الإحصائية. تركز المعايير المرجعية الحالية (مثل MMLU وHELM) على معايير صريحة ذات إجابات يمكن التحقق منها، وتفشل في رصد الاتجاهات في تنوع أو أصالة المخرات الإبداعية بمرور الوقت.

المنهجية
أجرى المؤلفون تحليلاً زمنياً أولياً لتنوع مخرجات النماذج اللغوية الكبيرة باستخدام عملية مكونة من أربع خطوات:

1. اختيار المحفزات (Prompts): تم اختيار مجموعتين متكاملتين من المحفزات مفتوحة النهايات لاستثارة السلوك الإبداعي:
   • مهمة الاستخدامات البديلة (AUT): تقييم سيكومتري معياري للتفكير التباعدي، حيث تولد النماذج استخدامات غير تقليدية لأشياء شائعة.
   • Infinity-Chat100: مجموعة من 100 استعلام من استعلامات المستخدمين الحقيقية في العالم الواقعي، تغطي ست فئات، بما في ذلك إنشاء المحتوى الإبداعي، والعصف الذهني، وتوليد الأفكار.
2. جمع البيانات: تم تشغيل المحفزات على 68 نموذجاً تم إصدارها بين مارس 2023 ويوليو 2026، والتي تمثل 12 مزوداً رئيسياً للنماذج (33 نموذجاً مغلق الأوزان و34 نموذجاً مفتوح الأوزان). استخدمت جميع عمليات التوليد درجة حرارة (temperature) وقيمة (top-p) تبلغ 1.0 للحفاظ على العينات العشوائية (stochastic sampling).
3. التضمين الدلالي (Semantic Embedding): تم تضمين الاستجابات باستخدام نموذج all-MiniLM-L6-v2 من نوع (sentence-transformer). بالنسبة لمهمة AUT، تم تضمين جميع الاستخدامات لشيء واحد كمتجه واحد؛ أما بالنسبة لـ Infinity-Chat، فقد تم تضمين كل استجابة بشكل فردي.
4. تحليل الانحدار: قامت الدراسة بحساب مسافات جيب التمام (cosine distances) بين تضمينات أزواج النماذج من عائلات مختلفة (نماذج من مزودين مختلفين) لقياس التباعد الدلالي. تم تجميع هذه الأزواج في تسع فئات زمنية بناءً على تواريخ الإصدار. تم إجراء تحليل انحدار المربعات الصغرى العادية (OLS) على متوسط مسافة جيب التمام مقابل مؤشر الفئة. وللحد من التحيز الناتج عن عدم تساوي تمثيل العائلات، أجرى المؤلفون 1,000 تكرار لإعادة أخذ العينات المتوازنة بين العائلات لإنشاء توزيع لتقديرات الميل.

المساهمات الرئيسية

• إطار عمل طولي: تقدم هذه الورقة أول إطار لتتبع تطور المخرجات الإبداعية للنماذج اللغوية الكبيرة بمرور الوقت، متجاوزة اللقطات الثابتة لسلوك النماذج.
• تحليل المهام المزدوجة: من خلال الجمع بين مهمة سيكومترية محكومة (AUT) واستعلامات المستخدمين في العالم الواقعي (Infinity-Chat100)، تقيم الدراسة الإبداع عبر سياقات مهيكلة وغير مهيكلة.
• دليل كمي على التقارب: تقدم الدراسة دليلاً تجريبياً على أن مخرجات النماذج اللغوية الكبيرة تصبح أكثر تشابهاً بمرور الوقت، مما يتحدى الافتراض بأن النماذج الأحدث تقدم بطبيعتها تنوعاً إبداعياً أكبر.

النتائج
يكشف التحليل عن انخفاض ذو دلالة إحصائية في تنوع مخرجات النماذج:

• الاتجاه: تظهر كل من مجموعتي بيانات AUT وInfinity-Chat انحداراً سالباً ثابتاً في مسافة جيب التمام عبر العائلات بمرور الوقت، مما يشير إلى زيادة التشابه الدلالي (التجانس).
• الحجم: يظهر الانخفاض بشكل أوضح في مهمة الاستخدامات البديلة (AUT)، حيث انخفض متوسط المسافة بين العائلات من حوالي 0.50 في فئة الإصدار الأبكر إلى أقل من 0.40 في الفئة الأحدث. وأظهرت مجموعة بيانات Infinity-Chat انخفاضاً تدريجياً ولكن مستمراً من ~0.34 إلى ~0.32.
• المتانة: أنتجت جميع تكرارات إعادة أخذ العينات الـ 1,000 ميولاً سالبة لكلا المجموعتين من البيانات، مما يؤكد أن الاتجاه متين عبر مختلف مجموعات النماذج من كل عائلة.

الأهمية والادعاءات
تفترض الورقة أن النماذج اللغوية الكبيرة تصبح أقل إبداعاً في المهام التي تتطلب استجابات مفتوحة النهايات، مما يشير إلى تقارب في الجوهر الإبداعي عبر النماذج. ويرى المؤلفون أنه إذا استمر هذا الاتجاه، فإن "التجانس المدفوع بالنماذج اللغوية الكبيرة قد يقلل تدريجياً من الوكالة البشرية في العمل الإبداعي المشترك بين الإنسان والذكاء الاصطناعي".

تؤطر الدراسة هذه النتائج كتحليل أولي يتطلب دراسة متأنية لدور النماذج اللغوية الكبيرة في العملية الإبداعية البشرية. وهي تسلط الضوء على "مفارقة الإبداع في الذكاء الاصطناعي" المحتملة: فبينما قد تبدو النماذج مبدعة بشكل فردي، فإن مخرجاتها الإجمالية تصبح أقل تنوعاً، مما قد يحد من نطاق الأفكار التي يواجهها المستخدمون ويؤثر سلباً على الإبداع البشري في المراحل اللاحلة. ويصرح المؤلفون صراحةً بأن عملهم أولي، ويدعون إلى إجراء أبحاث مستقبلية لفحص الآليات الكامنة (مثل البيانات التدريبية المشتركة أو التقطير/distillation) والعوامل المحددة التي تقود هذا التقارب.