Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity
تجادل هذه الورقة بأن حداثة الـ n-gram هي مقياس غير كافٍ بحد ذاته للإبداع النصي لأنها تفشل في مراعاة الملاءمة، حيث أثبتت من خلال التوسيم البشري المكثف أنه بينما تفتقر الحداثة العالية غالباً إلى القيمة البراغماتية في النصوص المولدة بواسطة الذكاء الاصطناعي، يمكن ضبط النماذج اللغوية الكبيرة الرائدة لتحديد التعبيرات الإبداعية وغير البراغماتية بشكل أفضل من طرق الـ n-gram التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حَكَمٌ في برنامج مواهب، ولأعوام طويلة، كان لديك قاعدة واحدة فقط لاختيار الفائز: "يجب أن يكون العرض شيئاً لم تره من قبل."
إذا أخرج ساحر أرنباً من قبعة، ستقول: "ممل، لقد رأيت هذا من قبل!" ولكن إذا أخرج ساحرٌ تنيناً من قبعة، ستصرخ: "واو! هذا جديد! هذا إبداع!"
هذا هو بالضبط كيف كنا نقيس كتابة الذكاء الاصطناعي لفترة طويلة. نحن نستخدم مقياساً يسمى "حداثة الـ n-gram" (n-gram novelty). وهو ببساطة محرك بحث ضخم يسأل: "هل ظهرت هذه العبارة بدقة في مليارات الكتب والمواقع التي تدرّب عليها الذكاء الاصطناعي؟" إذا كانت الإجابة "لا"، فإننا نفترض أن الذكاء الاصطناعي مبدع.
هذه الورقة البحثية هي بمثابة حَكَم برنامج المواهب الذي أدرك أن تلك القاعدة قد كُسرت.
إليك قصة ما وجده الباحثون، مشروحة ببساطة:
1. مشكلة "الهراء"
طلب الباحثون (وهو فريق من الكتاب وعلماء الكمبيوتر) من 26 كاتباً محترفاً قراءة قصص كتبها بشر وأخرى كتبها ذكاء اصطناعي. لم يبحثوا فقط عن "الجدّة"؛ بل بحثوا عن الإبداع.
لقد عرّفوا الإبداع الحقيقي بأنه شطيرة تتكون من قطعتي خبز:
- الشريحة (أ) (الجدّة): يجب أن تكون أصيلة ومفاجئة.
- الشريحة (ب) (الملاءمة): يجب أن تكون منطقية وتتناسب مع السياق.
الاكتشاف الصادم:
وجد الباحثون أن "قاعدة الجدّة" (n-gram novelty) هي حَكَم سيء للغاية.
- في 91% من الحالات، عندما أنتج الذكاء الاصطناعي نصاً "جديداً جداً" (لم يُرَ من قبل)، كان في الواقع هراءً. كان الأمر يشبه ساحراً يُخرج تنيناً من قبعة، لكن التنين مصنوع من المعكرونة وكان يصرخ بلغة لا يفهمها أحد. كان جديداً، لكنه لم يكن مبدعاً؛ كان مجرد هراء.
- وعلى العكس من ذلك، فإن بعض أجمل السطور الإبداعية التي كتبها البشر كانت تمتلك درجات "جدّة" منخفضة. لقد استخدموا كلمات شائعة، لكن الطريقة التي وُضعت بها معاً كانت مثالية عاطفياً. "قاعدة الجدّة" كانت سترفض هذه السطور باعتبارها "مملة"، رغم أنها كانت روائع أدبية.
2. فخ "الإفراط في الهندسة" لدى الذكاء الاصطناعي
وجدت الدراسة نمطاً غريباً في كيفية كتابة الذكاء الاصطناعي.
- البشر: عندما يحاول البشر أن يكونوا مبدعين، فإنهم يوازنون بين الأفكار الجديدة وبين جعل الكلام منطقياً.
- الذكاء الاصطناعي: عندما يحاول الذكاء الاصطناعي أن يكون "جديداً" (لتجنب نسخ بيانات تدريبه)، يبدأ في الانهيار. كلما حاول الذكاء الاصطناعي أن يكون فريداً، زاد احتمال كتابته لجمل لا معنى لها في سياق القصة.
الاستعارة:
تخيل طباخاً قيل له: "يجب ألا تستخدم أبداً أي مكون وُجد في مطبخ من قبل".
- الطباخ البشري قد يقول: "حسناً، سأستخدم فطرًا نادرًا وجدته في الغابة". (لذيذ وجديد).
- طباخ الذكاء الاصطناعي، الذي يحاول اتباع القاعدة بصرامة، قد يقول: "حسناً، سأضع إطار سيارة ومحمصة خبز في الحساء". (جديد تقنياً، لكنه غير قابل للأكل).
تظهر الورقة أنه كلما كبرت نماذج الذكاء الاصطناعي وحاولت أن تكون "جديدة" أكثر، بدأت بالخطأ في تقديم "حساء الإطارات".
3. تجربة "الحَكَم الآلي"
ثم سأل الباحثون: "هل يمكننا تعليم ذكاء اصطناعي فائق الذكاء (مثل GPT-5) ليكون هو الحَكَم بدلاً من البشر؟"
أعطوا هؤلاء الحكام الآليين مهمة العثة على "الأجزاء الإبداعية الجيدة" و"الأجزاء السيئة وغير المنطقية" في القصة.
- الأخبار الجيدة: كان الحكام الآليون أفضل بكثير من التخمين العشوائي. استطاعوا رصد بعض الجواهر الإبداعية.
- الأخبار السيئة: كانوا سيئين جداً في رصد الأجزاء "غير المنطقية". غالباً ما كانوا يخطئون في رصد "حساء الإطارات" لأنهم، بالنسبة للذكاء الاصطناعي، الغرابة تبدو أحياناً كأنها إبداع.
4. الطريق الجديد للمضي قدماً
تخلص الورقة إلى أننا بحاجة للتوقف عن استخدام "n-gram novelty" كمعيار وحيد للإبداع. إن الأمر يشبه تقييم لوحة بناءً على عدد الألوان التي استخدمها الفنان فقط، مع تجاهل ما إذا كانت الصورة تشبه أي شيء في الواقع.
الخلاصة:
الإبداع الحقيقي ليس مجرد أن تكون مختلفاً؛ بل أن تكون مختلفاً وذا معنى.
- المعيار القديم: "هل هذه العبارة جديدة؟" (الذكاء الاصطناعي: "نعم! لكنها هراء").
- المعيار الجديد: "هل هذه العبارة جديدة وَ هل تجعل القصة أفضل؟" (الذكاء الاصطناعي: "أحياناً نعم، ولكن غالباً لا").
يقترح المؤلفون أنه بدلاً من مجرد عد كم هي "ندرة" العبارة، نحتاج إلى استخدام حكام ذكاء اصطناعي أكثر ذكاءً يفهمون السياق والمعنى، تماماً كما يفعل المحرر البشري. لقد أثبتوا أنه بينما يمكن للذكاء الاصطناعي أن يكتب، فإنه لا يزال يعاني في الكتابة بشكل جيد دون أن يبدو مثل روبوت مكسور يحاول جاهداً أن يكون فريداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.