🤖 AI

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

تقدم هذه الورقة PRISM، وهو معيار متعدد اللغات واسع النطاق وإطار تقييم شامل مصمم لتقييم قدرات الاستدلال المكاني-الزماني للنماذج اللغوية في توليد الفيديو البرمجي بصرامة، مما يكشف عن فجوة كبيرة بين قابلية تنفيذ الكود والتماسك المكاني البصري.

المؤلفون الأصليون: Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مهندس روبوتات لبناء فيلم رسوم متحركة متحرك عن الرياضيات أو التاريخ. تعطي الروبوت نصاً (المطالبة)، وهو يكتب الكود لبناء المشهد.

لفترة طويلة، كنا نسأل: "هل أنهى الروبوت بناء المنزل؟" إذا عمل الكود دون توقف مفاجئ، كنا نقول: "عمل رائع!"

لكن ورقة البحث PRISM تجادل بأن هذا ليس كافياً. فمجرد بناء المنزل لا يعني أن الغرف في أماكنها الصحيحة، أو أن الأثاث لا يطفو في الهواء، أو أن الجدران لا تنهار على الممثلين.

إليك شرح ورقة البحث بكلمات بسيطة:

1. المشكلة: "التشغيل" مقابل "المظهر الصحيح"

فكر في الذكاء الاصطناعي على مستوى البكسل (مثل مولدات الفيديو القياسية) كرسام يحاول رسم إطار فيلم إطاراً تلو الآخر. هم بارعون في جعل الأشياء تبدو واقعية، لكنهم غالباً ما يفسدون المنطق. قد يمشي شخص عبر جدار، أو يظهر نص مقلوباً.

الذكاء الاصطناعي البرمجي (ما تدرسه هذه الورقة) مختلف. إنه يشبه روبوتاً يكتب مجموعة دقيقة من التعليمات (الكود) لبناء الفيلم. من المفترض أن يكون مثالياً لأنه يتبع القواعد.

الاختبار القديم: هل أنهى الروبوت كتابة التعليمات؟ (نعم/لا)
المشكلة الجديدة: قد ينهي الروبوت التعليمات بشكل مثالي، لكن التعليمات قد تخبر الروبوت بوضع شجرة ضخمة داخل منزل صغير. الكود يعمل، لكن الفيلم يبدو معطلاً.

2. الحل: PRISM (اختبار الضغط)

أنشأ المؤلفون اختباراً جديداً ضخماً يسمى PRISM.

النطاق: جمعوا أكثر من 10,000 مثال (أكبر بـ 20 مرة من أي اختبار سابق). تغطي هذه الأمثلة 437 موضوعاً مختلفاً، من "كيفية حل مسألة جبرية" إلى "تاريخ فاكهة الليتشي".
اللمسة ثنائية اللغة: اختبروا ذلك باللغتين الإنجليزية والصينية.
اللمسة البشرية: لم يكتفوا بجعل الحواسيب هي من تقيم العمل. بل قام البشر بفحص "المخططات" للتأكد من أن الكود منطقي بالفعل بالنسبة للقصة التي يتم سردها.

3. نظام التقييم الجديد: "القمع"

بدلاً من مجرد إعطاء درجة نجاح أو رسوب، يستخدم PRISM قمعاً يتكون من أربع طبقات لاكتشاف أنواع مختلفة من الأخطاء:

الحارس (موثوقية الكود): هل يعمل الكود أصلاً؟ إذا توقف فجأة، فهو خارج المنافسة.
المهندس المعماري (الاستدلال المكاني): هذا هو الجزء الأهم. هل التخطيط منطقي؟
- التداخل: هل اصطدم جسمان ببعضهما البعض؟
- خارج الحدود: هل طفا جسم ما خارج الشاشة؟
- التسرب: هل خرجت كلمة عن إطارها المخصص؟
المخرج (التعقيد الديناميكي): هل الفيديو ممل للغاية (مثل عرض شرائح ثابت) أم فوضوي للغاية (كثير من الدوران والقفز)؟ يختبر الاختبار ما إذا كانت الحركة تتناسب مع القصة.
المحرر (الكثافة الزمنية): هل يتحرك الفيديو بوتيرة جيدة، أم أنه يومض بسرعة كبيرة؟

4. الاكتشاف الصادم: "فجوة التنفيذ والمكان"

اختبر المؤلفون 7 من أذكى نماذج الذكاء الاصطناي المتاحة (بما في ذلك أسماء كبيرة مثل GPT وGemini وClaude).

النتيجة:

الأخبار الجيدة: الذكاء الاصطناعي أصبح جيداً جداً في كتابة الكود الذي يعمل. في معظم الأحيان، لا يتوقف الكود عن العمل.
الأخبار السيئة: هناك فجوة هائلة بين "التشغيل" و"المظهر الصحيح".
- في المتوسط، 41% من الفيديوهات التي عملت بنجاح كانت مكسورة مكانياً.
- تخيل روبوتاً يمكنه بناء محرك سيارة بشكل مثالي، لكنه يضع العجلات على السقف. المحرك يعمل، لكن السيارة لا تسير.

النتائج الرئيسية:

التفكير لفترة أطول لا يساعد: حاول المؤلفون ترك الذكاء الاصطناعي "يفكر" لفترة أطول قبل الإجابة (ميزة تسمى "وضع التفكير"). لم يساعد ذلك في حل المشكلات المكانية. لقد جعل الذكاء الاصطناعي فقط أكثر ثقة في إجاباته الخاطئة.
كثرة الحركة أمر سيء: عندما حاول الذكاء الاصطناعي جعل الفيديو مثيراً للغاية مع الكثير من الحركة، انهار التخطيط.
اللغة تفرق: واجه الذكاء الاصطناعي صعوبات مختلفة بين الإنجليزية والصينية، وغالباً ما ارتكب المزيد من أخطاء التخطيط مع النصوص الصينية.

5. الخلاصة

تخلص الورقة إلى أنه لا يمكننا بعد الآن الاكتفاء بسؤال: "هل يعمل الكود؟" بل يجب أن نسأل: "هل ينشئ الكود عالماً منطقياً ومنظماً؟"

حالياً، حتى أذكى نماذج الذكاء الاصطناعي تشبه عمال المسرح الموهوبين ولكن المتعثرين. يمكنهم اتباع النص لتشغيل الأضواء وتحريك الأدوات، لكنهم غالباً ما ينسون التحقق مما إذا كانت الأدوات تحجب وجوه الممثلين أو ما إذا كان الديكور ينهار. PRISM هو كتاب القواعد الجديد لإجبارهم على تعلم كيف يكونون مديري مسرح أفضل.

ملخص تقني: PRISM - معيار للاستدلال المكاني-الزماني البرمجي

1. بيان المشكلة

بينما أدت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) إلى توسيع نطاق إنشاء المحتوى الآلي ليشمل الفيديو، تواجه الأساليب الحالية قيوداً كبيرة في التوليد البرمجي للفيديو. تتبع الطرق الحالية عموماً مسارين:

التوليد على مستوى البكسل (نماذج الانتشار - Diffusion Models): تحقق هذه النماذج دقة بصرية عالية ولكنها تعاني من صعوبات في الاتساق المكاني، والتمثيل الدقيق للرموز، والتماسك المنطقي طويل المدى بسبب الافتقار إلى القيود الهندسية الصريحة.
التوليد البرمجي: يعتمد هذا النهج على تنفيذ سكربتات (مثل Manim) لتحديد الكائنات، والتخطيطات، والديناميكيات الزمنية، مما يوفر دقة هندسية وقدرة أعلى على التحكم.

ومع ذلك، لا تزال هناك فجوة حرجة في تقييم ما إذا كانت النماذج اللغوية الكبيرة قادرة على تخليق برامج فيديو ليست فقط قابلة للتنفيذ، بل أيضاً صحيحة مكانياً وزمانياً. المعايير الحالية غير كافية لأنها:

تركز على المخرجات الثابتة (المخططات البيانية، صفحات الويب) بدلاً من المتواليات الزمنية المستمرة التي تتطلب علاقات متسقة بين الكائنات.
صغيرة النطاق وتفشل في تغطية سيناريوهات متنوعة من العالم الحقيقي.
تعتمد بروتوكولات التقييم على تقييمات "النموذج اللغوي البصري كحكم" (VLM-as-judge) ذات الحبيبات الخشنة أو مجرد فحوصات التنفيذ البسيطة، مما يغفل حالات الفشل في الرندرة دقيقة التفاصيل مثل عدم محاذاة التخطيط أو الكائنات الخارجة عن الحدود التي تظهر في إطارات محددة فقط.

التحدي الجوهري هو "فجوة التنفيذ والمكان" (Execution-Spatial Gap): وهي التباين بين الكود الذي يعمل بنجاح والكود الذي ينتج رسوماً متحركة متسقة بصرياً وصحيحة مكانياً.

2. المنهجية

2.1 بناء معيار PRISM

قدم المؤلفون PRISM (الاستدلال البرمجي في الأنماط المكانية)، وهو معيار واسع النطاق وثنائي اللغة (الإنجليزية/الصينية) يحتوي على 10,372 زوجاً من التعليمات والكود تمت معايرتها بشرياً.

الحجم والنطاق: هو أكبر بـ 20 مرة من معايير توليد الفيديو البرمجية السابقة، ويمتد عبر 437 فئة موضوعية قائمة على المعرفة المرئية في العالم الحقيقي (مثل الرسوم المتحركة التعليمية، والعروض العلمية التوضيحية).
إطار تنظيم البيانات: تم استخدام خط معالجة هرمي يعتمد على العنصر البشري لتصفية أكثر من 30,000 مرشح خام:
1. التصفية الصارمة الحتمية: تقوم سكربتات آلية بتحليل مسار رندرة Manim للكشف عن الانتهاكات الهندسية (مثل عتبات الإحداثيات) وإزالة العينات ذات العيوب في التخطيط.
2. معايرة الحدود: تم استخدام مجموعة فرعية ذهبية مكونة من 3,000 مثال تم تدقيقها من قبل خبراء لتنقيح قواعد الاستثناء وعتبات التسامح، مما يقلل من النتائج الإيجابية الكاذبة.
3. الفحص البشري العشوائي: تضمن المراجعة الدلالية النهائية أن الرسوم المتحركة تتوافق مع المحتوى التعليمي وأنها مناسبة تربوياً.
تعريف المهمة: تُصاغ المهمة كمسألة توليد كود مقيدة $f_\theta: I \to O$ ، حيث يتم رسم الخرائط من التعليمات باللغة الطبيعية (المخططات التعليمية) إلى برنامج Manim ( $C$ ) والفيديو المُرندر الناتج عنه ( $V$ ).

2.2 إطار التقييم

يقترح PRISM إطار تقييم على شكل قمع يتكون من أربعة مقاييس متكاملة:

موثوقية مستوى الكود: يقيس متانة التنفيذ. ويتضمن معدل النجاح الأساسي (النجاح من المحاولة الأولى)، وتصنيف الأخطاء الدقيق (هلوسة واجهة برمجة التطبيقات API، سوء الاستخدام، أخطاء رندرة النصوص، إلخ)، وتعقيد التنفيذ (متوسط وقت الرندرة).
الاستدلال المكاني: هو المقياس الأساسي من طرف إلى طرف لتقييم تخطيط الموضع عبر تسلسل الرسوم المتحركة الكامل. ويكتشف ثلاثة أنماط من الفشل:
- تداخل التخطيط (Layout Overlap): حجب غير مقصود للعناصر المرئية.
- خارج الحدود (Out-of-Bounds - OOB): عناصر تمتد خارج الإطار المرئي.
- تسرب التخطيط (Layout Leakage): امتدادات هندسية تتجاوز المناطق المحلية (مثل خروج النص من الصندوق).
- الآلية: يستخدم خط تدقيق آلي يلتقط لقطات رئيسية، ويستخرج مجموعات النقاط للكائنات ومدى الحدود، ويطبق فحوصات حتمية.
التعقيد البصري الديناميكي المدرك للمطالبة (PADVC): يقيس الغنى الديناميكي المرتبط بالمدخلات. ويميز بين المخرجات شبه الثابتة (ضعيفة الديناميكية) والحركة الزخرفية المفرطة (مفرطة الديناميكية). ويحسب درجة "مركزية" ( $PADVC_c$ ) بناءً على طاقة التطور الهندسي للأجسام غير النصية بالنسبة للكثافة البصرية للمطالبة.
الكثافة الزمنية (TD): يقيس معدل التغير البصري على مستوى الإطار (النشاط الزمني). ومثل PADVC، يستخدم درجة مركزية ( $TD_c$ ) لتحديد الفيديوهات التي تكون إما ساكنة جداً أو تعاني من انتقالات زائدة عن الحاجة.

3. النتائج الرئيسية

قام المؤلفون بتقييم سبعة نماذج لغوية كبيرة رئيسية (أربعة مغلقة المصدر: GPT-5.4، Gemini 3.1 Pro، Kimi K2، Claude Sonnet 4.6؛ وثلاثة مفتوحة المصدر: Qwen3.5، GLM-5، DeepSeek-V3.2) على المعيار.

فجوة التنفيذ والمكان: النتيجة المثيرة للاهتمام هي انخفاض متوسط قدره ~41% من معدل نجاح التنفيذ إلى معدل النجاح المكاني. على سبيل المثال، حقق GPT-5.4 معدل تنفيذ بنسبة 94.5% في اللغة الإنجليزية ولكن بنسبة نجاح مكاني بلغت 30.8% فقط. وهذا يؤكد أن الكود القابل للتشغيل لا يضمن التماسك المكاني.
أداء النماذج:
- النماذج مغلقة المصدر تصدرت عموماً في موثوقية مستوى الكود (نجاح التنفيذ) ولكنها غالباً ما عانت من معدلات فشل مكاني عالية بسبب المخرجات "الطموحة بصرياً" التي تنتهك القيود.
- أظهر Gemini 3.1 Pro Preview أفضل توافق، حيث حقق أعلى الدرجات المكانية مع واحد من أصغر الفجوات بين التنفيذ والمكان.
- أظهرت النماذج مفتوحة المصدر أداءً متفاوتاً؛ حيث كان GLM-5 الأكثر توازناً، بينما عانت النماذج الأخرى من سوء استخدام واجهة برمجة التطبيقات (Qwen3.5) أو ضعف التحكم في الحدود (DeepSeek-V3.2).
المقايضة بين الديناميكية والمكان: ترتبط شدة الديناميكية العالية (PADVC أو TD مرتفع) بجودة مكانية أقل. فالنماذج التي تنتج حركة مفرطة أو توسعاً في النصوص غالباً ما تسبب انتهاكات في التخطيط.
تجربة استقصاء وضع التفكير (Thinking Mode Ablation): لم يؤدِ تفعيل "أوضاع التفكير" إلى تحسين التنظيم المكاني بشكل موثوق. وفي بعض الحالات (مثل Claude Soncell 4.6)، أدى التفكير إلى تغييرات تخطيطية أكثر جرأة زادت من الأخطاء المكانية (التداخل/خارج الحدود) دون تحسين معدل النجاح المكاني النهائي.

4. الأهمية والادعاءات

يزعم البحث أن PRISM يوفر معياراً مبدئياً لتعزيز التوليد البرمجي المتسق مكانياً، متجاوزاً حدود طرق التقييم الحالية.

ما وراء القابلية للتنفيذ: يثبت العمل أن تقييم توليد الفيديو البرمجي يجب أن يتجاوز مجرد تنفيذ الكود ليشمل مقاييس صارمة للاستدلال المكاني والزماني.
تحديد الاختناقات: تسلط النتائج الضوء على أن الاستدلال المكاني طويل المدى هو العائق الأساسي أمام النماذج اللغوية الكبيرة الحالية، وليس مجرد قدرات توليد الكود الأساسية.
توفير الموارد: من خلال إصدار مجموعة بيانات واسعة النطلة وعالية الجودة مع إطار تقييم حتمي، يوفر PRISM بيئة اختبار معيارية لأبحاث المستقبل في مجال توليد الفيديو البرمجي القائم على التأسيس المكاني.

يخلص المؤلفون إلى أنه بينما يمكن للنماذج اللغوية الكبيرة توليد كود قابل للتنفيذ، إلا أنها تفتقر حالياً إلى المتانة اللازمة للحفاظ على الاتساق الهندسي عبر تسلسلات متحركة ممتدة، وهي الفجوة التي صُمم PRISM لقياسها والمساعدة في جسرها.