Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
تكشف هذه الورقة أنه في حين تتوافق النماذج اللغوية الكبيرة مع تقييمات الإبداع البشري فيما يتعلق بالخصائص الجوهرية مثل الجدة، إلا أنها تتباعد بشكل كبير بسبب اعتمادها على معايير أضيق خاصة بالنماذج وعدم حساسيتها للمعلومات السياقية، مما يجعل اختيار نموذج لغوي كبير محدد كـمُقيّم قراراً ذا عواقب وخيمة لتقييم الإبداع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في معرض فني ضخم وصاخب، حيث يحاول الجميع تخمين أي اللوحات تُعد "إبداعية". البعض ينظر فقط إلى الطلاء وضربات الفرشاة، والبعض الآخر ينظر إلى من رسمها، أو كم تبلغ تكلفتها، أو ما إذا كانت رائجة في الوقت الحالي. لفترة طويلة، كان البشر هم القضاة الوحيدين في هذا المعرض. ولكن الآن، وصل نوع جديد من القضاة: النموذج اللغوي الكبير، أو ما يُعرف بـ LLM. فكر في الـ LLM كإنسان آلي فائق الذكاء قرأ كل كتاب ومقال وموقع إلكتروني كُتب على الإطلاق. ولأن هذا النموذج يعرف الكثير عما يقوله البشر، فقد أملنا أن يتمكن من الحكم على الإبداع تماماً كما يفعل البشر. ولكن هنا يكمن الغموض: أحياناً يتفق الروبوت معنا، وأحياناً يبدو وكأنه ينظر إلى لوحة مختلفة تماماً. يريد العلماء معرفة متى يفكر الروبوت مثلنا، ومتى يتوه في أفكاره الخاصة. تغوص هذه الورقة البحثية في هذا السؤال لترى ما إذا كان بإمكاننا الوثوق بهؤلاء القضاة الرقميين لاختيار الفائزين في مسابقات الإبداع لدينا.
لقد سعى الباحثون لمعرفة القواعد الدقيقة التي يتبعها هؤلاء القضاة الآليون. لم يكتفوا بسؤالهم: "هل هذا إبداعي؟"، بل طلبوا من الروبوتات ترتيب أهمية 26 شيئاً مختلفاً يبحث عنها البشر عادةً، مثل "هل هو جديد؟"، أو "هل هو مفيد؟"، أو "هل هو مشهور؟". واختبروا ستة من أشهر النماذج اللغوية الكبيرة (GPT، وGrok، وDeepSeek، وERNIE، وClaude، وGemini) وقارنوا إجاباتهم بما يقوله البشر الحقيقيون.
إليك المفاجأة الكبرى التي وجدوها: الروبوتات لا تفكر جميعها بنفس الطريقة، وهي لا تفكر تماماً مثلنا أيضاً. فبينما يستخدم البشر شبكة واسعة لالتقاط الأفكار الإبداعية — بالنظر إلى الفكرة نفسها و العالم المحيط بها (مثل سمعتها أو اتجاهات السوق) — فإن الروبوتات تنظر في الغالب إلى الفكرة نفسها فقط. وتحديداً، الروبوتات مهووسة بـ الحداثة. إذا كانت الفكرة جديدة، أو غريبة، أو غير متوقدة، فإن الروبوتات تحبها. كما أنها تحب إذا كانت ممتعة أو فنية. ولكن عندما يتعلق الأمر بالقرائن "السياقية" — مثل ما إذا كان المنتج من علامة تجارية مشهورة، أو إذا كان نجاحاً تجارياً واسع الانتشار، أو إذا كان رائجاً — فإن الروبوتات تتجاهلها تماماً. بالنسبة للإنسان، قد تجعل العلامة التجارية الشهيرة الفكرة تبدو أكثر إبداعاً؛ أما بالنسبة للروبوت، فهذا مجرد ضجيج.
كما كشكت الدراسة أن الروبوتات ليست جميعها مبنية بنفس الطريقة. فبعض النماذج، مثل GPT وGrok، تمتلك "شبكة أوسع"؛ فهي تنظر إلى المزيد من المعايير البشرية الـ 26، لذا تتوافق أحكامها مع آراء البشر بشكل جيد. أما النماذج الأخرى، مثل Claude وGemini، فتمتلك "شبكة أضيق"؛ فهي تلتزم بصرامة بالفكرة الجوهرية وتتجاهل كل شيء آخر تقريباً. وهذا يعني أنه إذا طلبت من روبوت ذي "شبكة ضيقة" أن يحكم على فكرة إبداعية، فقد يخطئ في التقدير مقارنة بما قد يفكر فيه الإنسان، ببساطة لأنه يتجاهل السياق الاجتماعي أو السوقي الذي يهتم به البشر.
ولإثبات ذلك، أجرى الباحثون اختبارين إضافيين. في الاختبار الأول، جعلوا البشر والروبوتات يحكمون على أكثر من 1,100 فكرة. ووجدوا أن الروبوتات ذات "الشبكات الأوسع" طابقت درجات البشر بشكل أفضل بكثير من تلك ذات "الشبكات الضيقة". وفي الاختبار الثاني، عرضوا على البشر والروبوتات نفس أوصاف المنتجات، ولكن في بعضها، أضافوا جملة عن العلامة التجارية للمنتج أو نجاحه في السوق. ارتفعت تقييمات البشر عندما رأوا هذا السياق الإضافي؛ فقد اعتقدوا أن المنتج أكثر إبداعاً بسببه. أما الروبوتات؟ فلم تتغير تقييماتها إلا قليلاً. لقد كانت عمياء تماماً عن القرائن الاجتماعية التي أثرت في البشر.
إذن، ماذا يعني هذا للمستقبل؟ يشير هذا إلى أننا لا يمكننا معاملة جميع القضاة من الذكاء الاصطناعي على أنهم متشابهون. إذا كنت تريد معرفة ما إذا كانت الفكرة أصيلة وجديدة حقاً، فقد يكون الروبوت مساعداً رائعاً. ولكن إذا كنت تريد معرفه ما إذا كانت الفكرة ستنجح في العالم الحقيقي، أو ستناسب علامة تجارية، أو ستجذب انتباه الناس، فقد يخطئ الروبوت في فهم النقطة الأساسية تماماً. تشير الورقة البحثية إلى أن اختيار القاضي المناسب من الذكاء الاصطناعي أمر بالغ الأهمية: فالنماذج المختلفة تطبق قواعد مختلفة، لذا ستختار فائزين مختلفين. نحن بحاجة إلى توخي الحذر وعدم افتراض أن الروبوت يرى الصورة كاملة، لأنه غالباً ما ينظر من خلال عدسة محددة وضيقة جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.