💻 computer science

LAMP: Language-Assisted Motion Planning for Controllable Video Generation

يُعد LAMP إطار عمل مبتكر يسخر النماذج اللغوية الكبيرة لترجمة الأوصاف باللغة الطبيعية إلى برامج حركة ثلاثية الأبعاد مهيكلة وقابلة للتنفيذ لكل من الأجسام الديناميكية والكاميرات، مما يتيح تحكماً دقيقاً وسينمائياً في الحركة أثناء توليد الفيديو.

المؤلفون الأصليون: Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Erkut Erdem, Aykut Erdem, Duygu Ceylan

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Erkut Erdem, Aykut Erdem, Duygu Ceylan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد صناعة فيلم، لكن ليس لديك طاقم تصوير، ولا مخرج، ولا حتى كاتب سيناريو. لديك فقط جهاز كمبيوتر يمكنه إنشاء فيديوهات، لكنه عنيد بعض الشيء: إذا قلت له "اصنع فيديو رائعاً"، فقد يعرض لك صورة ثابتة أو فوضى عارمة. هو لا يفهم كيف يجب أن تتحرك الكاميرا أو كيف يجب أن يركض الممثلون.

LAMP يشبه توظيف مخرج أفلام افتراضي فائق الذكاء يتحدث لغتك.

إليك كيف يعمل، مقسماً إلى تشبيهات بسية:

1. المشكلة: "العصا السحرية" مقابل "المخطط الهندسي"

الذكاء الاصطناعي الحالي للفيديو يشبه العصا السحرية. تلوح بها (تكتب نصاً وصفياً)، وهو يحاول تخمين ما تريده. ولكن إذا كنت تريد حركة كاميرا محددة — مثل "يجب أن تدور الكاميرا ببطء حول السفينة بينما تبحر السفينة جهة اليمين" — فإن الذكاء الاصطناعي غالباً ما يرتبك. قد يدور في الاتجاه الخاطئ، أو قد تنتقل السفينة من مكانها فجأة.

محاولة إخبار الذكاء الاصطناعي بالضبط أين يجب أن تتحرك الكاميرا باستخدام الأرقام (الإحداثيات) تشبه محاولة تعليم شخص ما الرقص عبر إعطائه جدول بيانات يحتوي على إحداثيات X و Y. إنه أمر صعب جداً على البشر لتخيله، وصعب جداً على الذكاء الاصطناعي لتفسيره بشكل طبيعي.

2. الحل: LAMP (المخرج الافتراضي)

يحل LAMP هذه المشكلة من خلال العمل كـ مترجم بين كلماتك الإنجليزية ورياضيات الذكاء الاصطناعي.

أنت تتحدث: "سفينة ضخمة تبحر جهة اليمين، والكاميرا تدور حولها ببطء."
LAMP يفكر: بدلاً من التخمين العشوائي للأرقام، يعمل LAMP كمخرج بشري. فهو يترجم جملتك إلى سيناريو مهيكل (يسمى لغة وصفية خاصة أو DSL).
السيناريو: يكتب شيئاً مثل: السفينة: تحرك لليمين + الكاميرا: دوران_90_درجة.

اعتبر هذا السيناريو بمثابة ورقة تصميم حركات (كوريوجرافيا). تماماً كما يكتب مدرب الرقص "خطوة لليسار، دوران، قفزة"، يكتب LAMP الحركات الدقيقة للسفينة والكاميرا باستخدام أوامر بسيطة ومحددة مسبقاً.

3. "النماذج الحركية الأولية" (مكعبات الليغو)

كيف يعرف LAMP معنى "دوران" أو "تتبع"؟ إنه يستخدم مجموعة من مكعبات الليغو تسمى النماذج الحركية الأولية (Motion Primitives).

تخيل أنك تبني مشهداً سينمائياً باستخدام الألعاب. لديك مكعبات محددة لـ:

الحركة الحرة: مجرد التحرك في أي مكان.
مسار الدوران (Orbit Track): الدوران حول هدف ما (مثل دوران كوكب حول شمس).
مسار التتبع (Tail Track): التبعية خلف شيء ما (مثل كلب يتبع عداءً).
مسار الدوران المحوري (Rotation Track): الدوران في المكان للنظر حول المكان.

يأخذ LAMP جملتك الفوضوية ويربط هذه المكعبات ببعضها البعض لتكوين تسلسل منطقي ومثالي. ولأن هذه المكعبات جاهزة ومختبرة، فإن حركة الكاميرا تكون دائماً سلسة ومنطقية من الناحية الفيزيائية.

4. خط التجميع

بمجرد أن ينتهي LAMP من كتابة السيناريو (خطة الليغو)، فإنه يقوم بشيئين:

يبني مساراً ثلاثي الأبعاد: يحول السيناريو إلى خط ثلاثي الأبعاد حقيقي يوضح بالضبط أين ستذهب الكاميرا والسفينة بمرور الوقت.
يسلم المسار للذكاء الاصطناعي: يعطي هذا المسث ثلاثي الأبعاد لمولد الفيديو. لا يضطر مولد الفيديو للتخمين بعد الآن؛ عليه فقط أن "يرسم" الفيديو على طول المسار الذي رسمه LAMP.

5. لماذا يعد هذا أمراً هاماً؟

قابل للتعديل: إذا لم تعجبك النتيجة، فلا داعي للبدء من الصفر. يمكنك ببساطة أن تقول لـ LAMP، "حرك الكاميرا للأسفل"، وسيقوم بإعادة كتابة السيناريو وتحديث المسار ثلاثي الأبعاد فوراً. إنه يشبه تعديل سيناريو بدلاً من إعادة تصوير الفيلم بالكامل.
سينمائي: لأن LAMP يستخدم لغة مستوحاة من صناعة الأفلام الحقيقية (مثل "بان"، "تيلت"، "دولي")، فإن الفيديوهات التي يصنعها تبدو كأفلام احترافية، وليس مجرد رسوم متحركة عشوائية.
متسق: تظل السفينة والكاميرا في حالة تناغم. لا تضيع السفينة أو تبتعد عن الكاميرا لأنهما يتبعان نفس السيناريو الصارم.

الخلا الخلاصة

LAMP هو مخطط حركة مدعوم باللغة. إنه يأخذ أفكارك باللغة الطبيعية ويحولها إلى سيناريو دقيق وخطوة بخطوة للكاميرا والأشياء. إنه يسد الفجوة بين "لدي فكرة رائعة" وبين "إليك فيديو مثالي وقابل للتحكم"، مما يجعل من السهل على أي شخص إخراج مشاهد معقدة دون الحاجة لأن يكون عبقرياً في الرياضيات أو مصوراً سينمائياً محترفاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LAMP: التخطيط الحركي بمساعدة اللغة لتوليد الفيديو القابل للتحكم."

1. بيان المشكلة

بينما حققت نماذج تحويل النص إلى فيديو (T2V) الحديثة دقة بصرية عالية، لا يزال التحكم في الحركة المعقدة (تحديداً تنسيق ديناميكيات الأجسام ومسارات الكاميرا) يمثل عقبة كبيرة.

محدودية الواجهات الحالية: تعتمد الطرق الموجودة على المطالبات النصية، أو الرسومات ثنائية الأبعاد، أو استخراج التعليقات التوضيحية من فيديوهات موجودة. وغالباً ما تكون هذه الوسائل غير كافية لوصف المشاهد السينمائية المصممة بدقة، حيث تكون حركة الأجسام ومسارات الكاميرا متشابكة بطبيعتها (مثل كاميرا تتبع موضوعاً متحركاً).
الفجوة: يعد التنبؤ المباشر بالإحداثيات ثلاثية الأبعاد الخام من النص أمراً صعباً بسبب نقص البيانات الضخمة المقترنة وصعوبة الاستدلال المكاني. يواجه المستخدمون صعوبة في التصور الذهني وتحديد مسارات ثلاثية الأبعاد دقيقة لكل من الأجسام والكاميرات في آن واحد.
الهدف: إنشاء إطار عمل يترجم الأوصاف باللغة الطبيعية إلى مسارات ثلاثية الأبعاد صريحة ومتسقة هندسياً لكل من الأجسام والكاميرات، مما يتيح توليد فيديوهات سينمائية متماسكة فيزيائياً.

2. المنهجية: إطار عمل LAMP

يعيد LAMP (التخطيط الحركي بمساعدة اللغة) صياغة التحكم في الحركة كمسألة توليف لغة-إلى-برنامج. فبدلاً من التنبؤ بالإحداثيات الخام، يستخدم نموذج لغة كبير (LLM) لتوليد برامج حركية رمزية بلغة مجال محددة (DSL)، والتي يتم تحويلها بعد ذلك بشكل حتمي إلى مسارات ثلاثية الأبعاد.

أ. لغة المجال المحدد للحركة (DSL)

مستوحى من التقاليد السينمائية وتصنيف CameraBench، يعرّف LAMP لغة مجال محدد (DSL) مهيكلة لتمثيل الحركة.

الأوليات (Primitives): تتضمن الـ DSL أربع أوليات حركية معيارية:
1. الحركة الحرة (Free-form): حركة غير مقيدة بست درجات من الحرية (6-DoF).
2. تتبع المدار (Orbit Track): دوران الكاميرا حول هدف ما.
3. تتبع الذيل (Tail Track): تتبع الكاميرا لجسم ما مع إزاحات زمنية.
4. تتبع الدوران (Rotation Track): دوران الكاميرا في مكانها لتأطير موضوع ما.
المعدلات (Modifiers): يتم تحديد كل أولوية بواسطة أزواج (مفتاح-قيمة) (مثل speed السرعة، ease السلاسة، yaw الانحراف الأفقي، pitch الانحراف الرأسي، offset الإزاحة) مما يسمح بتحكم دقيق في السرعة والاتجاه والأسلوب.
الهيكل: البرنامج الحركي هو قائمة مرتبة من العلامات (مثل orbit_track deg_90 dir_cw spiral_out_0.5). يضمن هذا التمثيل الرمزي القابل للتفسير والتركيب.

ب. بناء مجموعة البيانات الإجرائية

لبناء مخطط الحركة، قام المؤلفون بإنشاء مجموعة بيانات واسعة النطاق (400 ألف زوج نص-حركة) دون الاعتماد على التعليقات التوضيحية للفيديوهات الموجودة:

التوليد: يتم أخذ عينات من أوليات الحركة والمعدلات إجرائياً لإنشاء برامج DSL رمزية.
توليد المسار: يقوم محول حتمي برسم خرائط برامج DSL إلى مسارات ثلاثية الأبعاد (للأجسام والكاميرا) في نظام إحداثيات عالمي مشترك.
توليد النص: يقوم نموذج لغة مساعد بصياغة أوصاف بديلة (مثل "الكاميرا تتحرك لليمين") لإنشاء مطالبات متنوعة باللغة الطبيعية مقترنة بالـ DSL والمسارات.
النطاق: تغطي مجموعة البيانات كلاً من الحركات الحرة والحركات النسبية للأجسام، مما يضمن تغطية السلوكيات السينمائية الشائعة والنادرة.

ج. التخطيط الحركي القائم على نموذج اللغة الكبير (LLM)

البنية: تم ضبط نموذج لغة رؤية-لغة (Vision-Language LLM) بدقة باستخدام مجموعة البيانات الإجرائية.
الاستدلال: بالنظر إلى مطالبة باللغة الطبيعية، يقوم نموذج LLM بتفكيك القصد إلى مكونات متمحورة حول الجسم ( $t_{obj}$ ) ومكونات متمحورة حول الكاميرا ( $t_{cam}$ ). ويقوم بتوليد برامج DSL رمزية لكل منهما، مشروطة بالهيكل الهرمي للسينما (حركة الموضوع تحدد الديناميكيات؛ والكاميرا تتكيف للحفاظ على التأطير).
التحسين التكراري: نظراً لأن المخرجات هي كود رمزي، يمكن للمستخدمين تحسين الحركة تكرارياً (مثل "حرك الكاميرا لأسفل") عن طريق تعديل الـ DSL قبل البدء في عملية توليد الفيديو النهائية، مما يتجنب إعادة التوليد المكلفة.

د. توليد الفيديو المشروط بالمسار

يتم تحويل برامج DSL الناتجة إلى مسارات ثلاثية الأبعاد. تُعرض هذه المسارات كـ "فيديو تحكم" (يحتوي على إسقاطات ثنائية الأبعاد لصناديق الإحاطة ثلاثية الأبعاد وخطوط الأفق) والتي تشترط نموذج انتشار فيديو مدرب مسبقاً (مثل VACE) لتوليد الفيديو النهائي.

3. المساهمات الرئيسية

لغة مجال محدد مستوحاة من السينما: أول لغة حركة تشفر سلوكيات كل من الجسم والكاميرا كبرامج رمزية، يتم رسم خرائطها حتمياً إلى مسارات ثلاثية الأبعاد.
مجموعة بيانات إجرائية واسعة النطحة: مجموعة بيانات تضم 400 ألف عينة تربط بين النص وبرامج DSL والمسارات ثلاثية الأبعاد، مما يسمح بتدريب قابل للتوسع لمخططات الحركة المدفوعة باللغة.
تخطيط موحد للجسم والكاميرا: إطار عمل يخطط بشكل مشترك لحركة الجسم والكاميرا في مساحة ثلاثية الأبعاد مشتركة، مما يعالج مشكلة التشابك التي فشلت فيها الطرق السابقة (التي ركزت فقط على الكاميرا أو الأجسام الثابتة).
التحكم التكراري: مرحلة تخطيط منفصلة تسمح للمستخدمين بتنقيح قصد الحركة عبر النص قبل الالتزام بتوليد الفيديو.

4. النتائج التجريبية

قام المؤلفون بتقييم LAMP مقابل خطوط الأساس المتطورة (مثل ET، GenDoP، Director3D، CCD) من حيث محاذاة مسار الكاميرا والتنبؤ بحركة الأجسام.

محاذاة مسار الكاميرا:
- في اختبارات DataDoP و ET، تفوق LAMP بشكل كبير على النماذج الأخرى في درجة F1 (الدقة الدلالية لعلامات الحركة) و CLaTr (المحاذاة بين النص والمسار).
- والجدير بالذكر أن LAMP، الذي تدرب فقط على مجموعة البيانات الإجرائية، حقق أداءً فائقاً على النماذج التي تدربت صراحة على مجموعة بيانات DataDoP، مما يدل على قدرة قوية على التعميم.
التنبؤ بحركة الأجسام:
- حقق درجات F1 شبه مثالية (0.9983 للترجمة الخشنة و 0.9293 للترجمة الدقيقة) في مجموعة الاختبار الإجرائية.
دراسات الاستئصال (Ablation Studies):
- عند مقارنة الـ DSL مقابل التنبؤ المباشر بالمسار: حقق نهج الـ DSL دقة اتجاهية أعلى بكثير وأخطاء دوران أقل، مما يثبت أن الاستدلال الرمزي أكثر فعالية من التنبؤ المباشر بالإحداثيات للحركة المعقدة.
دراسة المستخدم:
- في دراسة شملت 16 مشاركاً، فضل المشاركون LAMP على النماذج الأخرى (بما في ذلك GPT-5 الموجه بالـ DSL) في الالتزام بمسار الكاميرا، والالتزام بحركة الجسم، وجودة الفيديو الإجمالية (بمعدل تفضيل يتراوح بين 50-67%).
النتائج النوعية: أظهرت الفيديوهات المولدة تنسيقاً متماسكاً بين الكاميرا والجسم، وديناميكيات متسقة فيزيائياً، والتزاماً دقيقاً بالأوصاف السينمائية المعقدة (مثل "تدور الكاميرا حول مدار 90 درجة مع التوسع الحلزوني للخارج").

5. الأهمية والأثر

تحول في النموذج المعرفي: ينقل LAMP توليد الفيديو من "النص-إلى-بكسل" إلى "النص-إلى-منطق-إلى-بكسل"، مما يقدم طبقة من التحكم القابل للتفسير والتعديل.
التحكم بمستوى المخرج: يسد الفجوة بين المطالبات النصية العادية والسينما الاحترافية، مما يسمح للمستخدمين بتحديد حركات كاميرا متعددة المراحل وتصميم حركة الأجسام دون خبرة تقنية في النمذجة ثلاثية الأبعاد.
الاستقلالية عن النموذج: يعمل محول الـ DSL-إلى-مسار كواجهة عالمية، متوافقة مع مختلف مولدات الفيديو المدربة مسبقاً (T2V، I2V، V2V).
الاتجاهات المستقبلية: يضع هذا العمل الأساس لـ "السينما المدفوعة باللغة"، حيث يتحكم القصد رفيع المستوى مباشرة في تصميم الحركة، مع إمكانية التطور لدعم التفاعلات بين الأجسام المتعددة وتحرير العالم الديناميكي.

باختصار، نجح LAMP في إثبات أن الاستفادة من نماذج اللغة الكبيرة للتخطيط الحركي الرمزي، المستند إلى لغة مجال مستوحاة من السينما، يحل مشكلة القدرة على التحكم في توليد الفيديو، مما ينتج نتائج متسقة فيزيائياً ومعبرة سردياً.