Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs
تقدم هذه الورقة "إكفراسيس" (Ekphrasis)، وهو معيار وإطار تقييم جديد يعزل ويقيس قدرات التخيّل الإبداعي البصري لنماذج اللغة التي تعتمد على النصوص فقط، وذلك من خلال التمييز بين النثر الفصيح والقدرة الفعلية على توليد خطط بصرية مفيدة ومعبرة ومبتكرة وجديدة على مستوى المجموعات السكانية.
المؤلفون الأصليون:Hongyu Luo, He Wang, Huihao Jing, Hong Ting Tsang, Yuxuan Liu, Wuganjing Song, Yauwai Yim, Chunyang Li, Yangqiu Song
تخيل أنك مخرج يحاول اختيار طاقم تمثيل لفيلم، لكنك لا تستطيع رؤية الممثلين بعد. لديك فقط كاتب سيناريو يصف المشاهد بالكلمات. السؤال الكبير هو: هل يستطيع كاتب السيناريو هذا حقاً أن "يتخيل" مشهداً جديداً ومثيراً، أم أنه مجرد شخص يجمع كلمات منمقة تبدو إبداعية ولكنها تصف نفس الأفكال المبتذلة القديمة التي رآها الجميع آلاف المرات؟ هذا هو اللغز الذي يقع في قلب دراسة جديدة في عالم الذكاء الاصطناዊ، وتحديداً فيما يتعلق بـ "نماذج اللغات الكبيرة" (LLMs). هذه البرامج الحاسوبية فائقة الذكاء التي تكتب القصص، وتجيب على الأسئلة، وتدردش معنا. لطال old العلماء يتساءلون عما إذا كانت هذه الآلات التي تعتمد على النصوص فقط يمكنها حقاً "تخيل" الأفكار قبل تحويلها إلى صور، أو ما إذا كانت تزيّف الأمر باستخدام لغة منمقة. ولتحديد ذلك، احتاج الباحثون إلى طريقة لاختبار ما إذا كان وصف الذكاء الاصطناعي شرارة اختراع بصري حقيقية أم مجرد فكرة مكررة وآمنة ترتدي بدلة رسمية فاخرة.
إليك EKPHRASIS، وهو "امتحان" جديد صممه باحثون من جامعة هونغ كونغ للعلوم والتكنولوجيا لاختبار هذا بالضبط. فكر في EKPHRASIS كأنه صالة ألعاب رياضية للإبداع مخصصة للذكاء الاصطناعي. فبدلاً من مطالبة الذكاء الاصطناعي برسم صورة (وهو ما لا يستطيع فعله مباشرة في هذا الاختبار)، أعطى الباحثون 14 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي 400 تحدٍ إبداعي محدد. طلبت هذه التحديات من النماذج القيام بأشياء مثل تحويل مفهوم مجرد مثل "ضغط الوقت" إلى مشهد بصري، أو دمج فكرتين غير مرتبطتين معاً، أو إعادة كتابة شيء ما بطريقة جديدة. لم يكن الهدف مجرد رؤية ما إذا كان الذكاء الاصطناعي سيكتب جملة جميلة، بل لمعرفة ما إذا كان بإمكانه وضع خطة لـ التصور الإبداعي البصري (VCI): وصف يكون مفيداً للمهمة، ومعبراً بما يكفي لرسم صورة واضية في ذهنك، والأهم من ذلك، جديداً—بمعنى أنه لم يكتفِ بتكرار الأفكار المملة والمستهلكة التي يكررها دائماً غيره من نماذج الذكاء الاصطناعي.
اكتشف الباحثون أن الكتابة السلسة والجميلة هي نوع من الفخ. يمكن للذكاء الاصطناعي أن يكتب فقرة تبدو إبداعية وحيوية للغاية، ومع ذلك يصف نفس الأفكار البصرية المبتذة القديمة، مثل استخدام الساعة الرملية لتمثيل الوقت أو السحابة العاصفة لتمثيل الحزن. وللكشف عن هذا "الوهم بالجدة"، بنى الفريق نظام تسجيل خاص بهم. لم يسألوا فقط: "هل هذا إبداعي؟" بل سألوا: "هل هذا مفيد؟ هل هو سهل التصور؟ وهل هو مختلف عما قد تقوله النماذج الـ 13 الأخرى؟" استخدموا طريقة ذكية تسمى "رسوم الأفكونة المكتوبة" (Typed Idea Graphs) لرسم الأنماط الشائعة والمملة التي تميل جميع النماذج لتكرارها، ثم تحققوا مما إذا كانت الإجابات الجديدة تتجنب تلك الفخاخ.
كانت النتائج رائعة ودقيقة. وجدت الدراسة أن كون النموذج "جيداً" في التصور البصري ليس مجرد قوة خارقة واحدة. فبعض نماذج الذكاء الاصطناعي كانت بارعة في اتباع التعليمات ووضع خطط مفيدة ولكنها كانت مبتذلة جداً. بينما كانت نماذج أخرى أصيلة بشكل جامح ولكنها أخطأت أحيالاً في فهم الهدف من المهمة. استطاعت النماذج الأعلى أداءً، مثل Gemini 3.1 Pro و GPT-5.4، تحقيق التوازن بين السمات الثلاث، لكنها فعلت ذلك بطرق مختلفة. والأهم من ذلك، قام الباحثون بتوليد صور من أفضل الأوصاف النصية باستخدام أداة منفصلة. وعندما نظر البشر إلى هذه الصور دون رؤية النص الأصلي، فضلوا الصور الناتية عن خطط النصوص ذات "الـ VCI العالي". وهذا يشير إلى أن الذكاء الاصطناعي كان يخطط بالفعل لشيء بصري، وليس مجرد كتابة نثريات منمقة.
ومع ذلك، فإن الورقة البحثية حذرة في ملاحظة أن هذا لا يعني أن الذكاء الاصطناعي يمتلك "عين عقل" بشرية أو خيالاً خاصاً. بل يعني ببساطة أن هذه النماذج التي تعتمد على النصوص فقط يمكنها إنشاء مخططات تفصيلية جاهزة للتنفيذ الصوري تنجح في رحلتها من النص إلى الصورة. تشير الدراسة إلى أنه بينما تتحسن النماذج الحالية في التخطيط البصري، إلا أنها لا تزال تكافح للتحرر من الأفكار "الآمنة" التي تعلمها من بيانات التدريب الخاصة بها. والخلاصة واضحة: مجرد كتابة الذكاء الاصطناعي لقصة إبداعية لا يعني بالضرورة امتلاكه لفكرة بصرية إبداعية. لكي نقيس الإبداع البصري حقاً، يجب أن ننظر إلى ما وراء الكلمات المنمقة ونتحقق مما إذا كان المخطط جديداً، ومفيداً، وجاهزاً للبناء.
ملخص تقني: EKPHRASIS – قياس التخيّل الإبداعي البصري في النماذج اللغوية الكبيرة المقتصرة على النصوص
بيان المشكلة
غالباً ما تخفق التقييمات الحالية للنماذج اللغوية الكبيرة (LLMs) في عزل ما إذا كانت النماذج المقتصرة على النصوص قادرة حقاً على ابتكار مفاهيم بصرية قبل عملية توليد الصور. هناك "فخ قياس" كبير حيث يمكن للنثر البصري الفصيح والحيوي أن يحجب نقص الابتكار البصري الحقيقي. تنتج النماذج مخرجات قد تبدو إبداعية، لكنها تعتمد على كليشيهات بصرية مألوفة، أو موتيفات آمنة، أو أنماط سكانية متكررة (ما يسمى بـ "وهم الجدة"). تقيم المعايير الحالية عادةً الصور النهائية المُصورة، أو الإبداع اللفظي، أو اتباع التعليمات، لكنها لا تقيم المخطط البصري ما قبل الصورة — ذلك المخطط النصي الذي يجب أن يحمل جوهراً بصرياً، وتحديداً، وجدةً قبل وجود البكسلات.
السؤال الجوهري الذي تعالجه الدراسة هو: هل تستطيع النماذج اللغوية التخيل بصرياً، أم أنها تكتب فقط كما لو كانت تستطيع؟
المنهجية: معيار EKPHRASIS
قدم المؤلفون EKPHRASIS، وهو معيار مكون من 400 مهمة مصمم لقياس التخيّل الإبداعي البصري (VCI). يُعرَّف الـ VCI بأنه القدرة على إنتاج خطط بصرية نصية تكون:
مفيدة: تلبي الموجز البصري المحدد.
تعبيرية: توفر تفاصيل كافية لدعم صورة ذهنية ملموسة ومستقرة.
جديدة: تبتعد عن الكليشيهات البصرية المرتبطة بالمهام والتي تشيع في مجتمع النماذج.
تصميم المهام
يمتد المعيار عبر أربع عائلات مهام محكومة، كل منها يختبر جانباً مختلفاً من التخطيط البصري:
التجريد (Abstraction): رسم خرائط للمفاهيم المجردة إلى حوامل بصرية ملموسة (مثل التعبير عن "ضغط الوقت" دون استخدام ساعة رملية).
الدمج (Combination): دمج مفهومين متميزين في كيان بصري واحد متماسك بدلاً من مجرد تجاور بسيط.
التحويل (Transformation): إعادة كتابة شكل جسم ما، أو مادته، أو سياقه تحت قيود محددة مع الحفاظ على إمكانية التعرف عليه.
التكيف (Adaptation): تصميم حل بصري لسياق واقعي (مثل الإعلانات أو التعليم) مع قيود محددة للجمهور والوسيط.
بروتوكول التقييم
يستخدم EKPHRASIS مسار تقييم صارم متعدد المراحل لتجنب الانحيازات المرتبطة بالفصاحة أو الطول:
تنسيق الاستجابة ثنائي المجال: يجب على النماذج إخراج فكرة جوهرية (الحامل، الاستعارة، الآلية) ووصف بصري (الأجسام، التخطيط، المادة، الضوء). هذا يمنع النثر الفصيح من استبدال المخطط البصري المحدد.
المقارنة الزوجية بمساعدة القوائم المرجعية: يقارن الحكام البشر والآليون أزواج النماذج المجهولة باستخدام قوائم مرجعية خاصة بالأبعاد (الفائدة، التعبيرية، والجدة).
رسوم الأفكار النوعية (TIG) لقياس الجدة: لقياس الجدة بشكل موضوعي، يبني النظام "مرجعاً مرتكزاً على المجتمع". لكل مهمة، يتم بناء رسم بياني لـ "ذرات الأفكال النوعية" (المفاهيم، الموتيفات، الآليات) من استجابات جميع النماذج باستثناء النموذجين اللذين تتم مقارنتهما (استراتيجية استبعاد نموذجين). تمثل العناقيد عالية الدرجات في هذا الرسم البياني "الكليشيهات السكانية". تُحتسب الجدة بناءً على ما إذا كانت الاستجابة تتجنب، أو تحول، أو تكرر هذه الكليشيهات المحددة.
تجميع برادلي-تيري (Bradley-Terry): يتم تجميع التفضيلات الزوجية باستخدام نماذج برادلي-تيري لتوليد درجات مهارة كامنة (θ) لكل نموذج عبر الأبعاد الثلاثة، مع استخدام أخذ العينات النشط لتحسين ميزانية المقارنة.
التحقق عبر الوسائط (Cross-Modal Validation)
لضمان أن درجات المستوى النصي تعكس المحتوى البصري الفعلي وليس مجرد الجودة اللفظية، أجرى المؤلفون دراسة للربط عبر الوسائط:
تم تحويل الخطط النصية إلى صور باستخدام نظام ثابت لتحويل النص إلى صورة.
قام "بوابة الإخلاص" (faithfulness gate) بتصفية عمليات الرندرة التي فشلت في الحفاظ على الفكرة المصدر.
قارن المقيمون البشريون الصور المُصورة دون رؤية النص الأصلي أو هوية النموذج.
تمت مقارنة تفضيلات مستوى الصورة الناتجة مع ترتيبات VCI الأصلية على مستوى النص للتحقق من الصلاحية التقاربية.
المساهمات الرئيسية
تعريف البناء: صاغ البحث التخيّل الإبداعي البصري (VCI) كبناء متميز يفصل بين تلبية الموجز، والخصوصية البصرية، والجدة السكانية عن الفصاحة العامة أو الإبداع اللفظي.
معيار EKPHRASIS: مجموعة تضم 400 حالة تغطي التجريد، والدمج، والتحويل، والتكيف، وتتميز بمحرك تقييم مبتكر يستخدم رسوم الأفكار النوعية (TIG) لترسيخ الجدة مقابل الأنماط المتكررة في مجتمع النماذج.
الأدلة التجريبية: تقييم 14 نموذجاً من أحدث النماذج اللغوية الكبيرة المقتصرة على النصوص، مما يثبت أن VCI متعدد الأبعاد. تحقق النماذج القوية درجات إجمالية عالية من خلال ملفات تعريف مختلفة (على سبيل المثال، بعضها يتفوق في الفائدة ولكنه يفتقر إلى الجدة، بينما البعض الآخر يكون شديد الجدة ولكنه أقل فائدة).
التحقق: أدلة على أن ترتيب VCI على مستوى النص يظل قائماً إلى حد كبير بعد الرندرة الوفية وحكم التفضيل على مستوى الصورة الأعمى، مما يدعم المقياس كأداة لقياس التخطيط البصري بما يتجاوز جودة النثر.
النتيات
أداء النماذج: تشكل النماذج رفيعة المستوى (Gemini 3.1 Pro, GPT-5.4, Claude 4.7, DeepSeek V4, Kimi K2.6) مجموعة متنوعة. على سبيل المثال، تصدر GPT-5.4 في الفائدة (+1.53)، وClaude 4.7 وGemini 3.1 Pro في التعبيرية، وKimi K2.6 في الجدة (+1.66).
الانفصال البعدي: تؤكد الدراسة أن الفائدة العالية لا تضمن الجدة البصرية. أظهرت نماذج مثل Grok 4.3 فائدة عالية (+1.10) ولكن جدة دون المتوسط (-0.17)، مما يشير إلى قدرتها على تلبية الموجز مع الاعتماد على حوامل بصرية مألوفة.
صعوبة المهام: تم تحديد مهام الدمج (Combination) كأكثر المهام تطلباً، حيث تتطلب بنية بصرية مشتركة بدلاً من مجرد وضع الأشياء جنباً إلى جنب.
اختبار الجدة (Ablation): أدى استبدال ركائز TIG الخاصة بالمهمة بمراجع جدة عامة إلى تقليل اتفاق البشر بنسبة 20.9 نقطة مئوية، مما يثبت أن ترسيخ السكان الخاص بالمهمة أمر بالغ الأهمية لقياس الجدة بدقة.
الاتفاق عبر الوسائط: في المجموعة الفرعية الوفية، توافقت 96.6% من تفضيلات مستوى الصورة الحاسمة مع ترتيب النموذج على مستوى النص، مما يؤكد أن الخطط النصية احتوت على معلومات بصرية قابلة للاسترجاع.
الأهمية والادعاءات
يدعي البحث وجود "نعم مشروطة" للإجابة على سؤال ما إذا كانت النماذج المقتصرة على النصوص يمكنها التخيل بصرياً. وقد أثبت أن:
الخطط ما قبل الصورة يمكن أن تحمل معلومات بصرية ذات صلة بالمهمة عبر التحول من وسيط النص إلى وسيط الصورة.
VCI ليس كتلة واحدة؛ حيث يمكن للدرجات الإجمالية المتشابهة أن تخفي قدرات كامنة مختلفة (مثل اتباع الموجز مقابل الابتكار البصري الحقيقي).
الحد المركزي الذي كشف عنه البحث هو "المعقولية الآمنة": فالعديد من المخرجات تلبي الموجز وتبدو جيدة، لكنها تعود إلى حوامل مألوفة واستعارات جاهزة.
الآثار العملية: لا ينبغي التعامل مع النثر الذي يبدو إبداعياً كإبداع بصري دون فحوصات منفصلة للآلية البصرية، والقابلية للتصوير، والجدة السكانية.
يشير المؤلفون بتواضع إلى القيود، بما في ذلك الاعتماد على مجتمع النماذج الحالي لتحديد الكليشيهات، والافتراضات الثقافية في أحكام الجدة، والاعتماد على مُصوّر (Renderer) محدد للتحقق عبر الوسائط. ويؤكدون أن EKPHRASIS يقيس التخطيط البصري الخارجي، وليس التصور الذهني الخاص أو نظرية عامة للإبداع البشري.