CinemaTraj: Composing Atomic Camera Trajectories for 3D Scenes with LLM Agents
يُعد CinemaTraj إطار عمل مبتكرًا يستفيد من وكلاء النماذج اللغوية الكبيرة (LLM agents) ومخططات المشاهد ثلاثية الأبعاد المهيكلة لتفكيك المطالبات باللغة الطبيعية إلى حركات كاميرا ذرية خالية من التصادم، مما يؤدي إلى توليد فيديوهات سينمائية سردية عالية الجودة من بيئات ثلاثية الأبعاد واقعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تمسك بكاميرا سحرية يمكنها الطيران عبر أي غرفة، ولكن بدلاً من أن تمسك بها بنفسك، عليك فقط التحدث إليها. تقول: "طُف حول الأريكة، ثم اقترب من المزهرية". في عالم علوم الحاسوب، هذا حلم يُسمى توليد مسار الكاميرا (camera trajectory generation). إنه فن تعليم الحواسيب كيفية تحريك كاميرا افتراضية عبر فضاء ثلاثي الأبعاد بطريقة تبدو كأنها فيلم سينمائي، وليس مجرد حركة عشوائية.
لفترة طويلة، كانت الحواسيب بارعة في شيئين منفصلين: فهم اللغة (مثل قراءة قصة) وفهم الأشكال ثلاثية الأبعاد (مثل معرفة مكان الجدار). لكن جعلها تعمل معاً كان أمراً صعباً. حاولت بعض الطرق القديمة تخمين المسار بناءً على صور مسطحة فقط، وهو أمر يشبه محاولة التنقل في متاهة وأنت ترتدي عصبة على عينيك—غالبًا ما كانت تصطدم بجدران غير مرئية. أما الطرق الأخرى، فقد كانت جيدة جداً في تجنب الجدران، لكنها لم تكن تملك أدنى فكرة عن كيفية تحريك الكاميرا بطريقة "سينمائية"، مما نتج عنه لقطات مهتزة ومملة تشبه لقطات كاميرات المراقبة، لا الأفلام السينمائية. السؤال الكبير كان: هل يمكننا تعليم الحاسوب فهم كل من كلمات مخرج الفيلم وفيزياء الغرفة ثلاثية الأبعاد في آن واحد؟
هنا يأتي CinemaTraj، وهو إطار عمل جديد يعمل كمساعد مخرج أفلام ذكي للغاية. أدرك الباحثون وراءه أنه لصنع مسار فيلم رائع، فأنت بحاجة إلى "عقل" يفهم اللغة و"خريطة" تفهم الفضاء ثلاثي الأبعاد. لقد بنوا نظاماً حيث يحصل نموذج لغوي كبير (LLM)—وهو نوع من الذكاء الاصطناعي البارع جداً في فهم الكلام البشري—على "رسم بياني للمشهد ثلاثي الأبعاد" (3D scene graph) خاص به. فكر في هذا الرسم البياني كأنه مخطط رقمي مفصل للغرفة يخبر الذكاء الاصطناعي بالضبط أين توجد الأريكة، وما إذا كانت تلامس الجدار، وكم يبعد السقف.
مع وجود هذا المخطط في يده، لا يقوم الذكاء الاصطناعي بمجرد التخمين؛ بل يخطط. عندما تكتب: "أعطني جولة سينمائية في هذه الغرفة"، يقوم الذكاء الاصطناعي بتفكيك هذا الطلب إلى حركات سينمائية صغيرة واحترافية. يقرر أن "يدور" (orbit) حول الأريكة (الدوران حولها)، و"يرفع الرافعة" (crane) نحو التلفاز (الحركة رأسياً)، و"يقترب" (zoom) من المزهرية. هذه ليست حركات عشوائية؛ بل هي تقنيات كاميرا محددة ومسماة يستخدمها المخرجون الحقيقيون. ثم يبني النظام مساراً سلساً لهذه الحركات، ولكن الجزء الذكي هنا هو أنه يستخدم "شبكة أمان" رياضية تُسمى "حقل المسافة الموقعة" (Signed Distance Field - SDF). تخيل هذا كأنه حقل قوة غير مرئي يدفع الكاميرا بعيداً عن الأثاث إذا اقتربت منه كثيراً، مما يضمن عدم اصطدام الكاميرا بطاولة القهوة أو علوقها خلف كرسي.
تظهر الورقة البحثية أن هذا النهج يعمل بشكل جيد للغاية. في الاختبارات باستخدام مسوحات ثلاثية الأبعاد حقيقية للغرف (من مجموعة بيانات تسمى ++ScanNet)، أنشأ CinemaTraj مسارات كانت أكثر سلاسة وأماناً من الطرق السابقة. لقد اتبع تعليمات المستخدم بدقة، وتجنب الاصطدامات في معظم الأحيان، بل وأضاف أيضاً تعليقات صوتية وترجمة نصية متزامنة لسرد قصة أثناء تحرك الكاميرا. وجد الباحثون أن طريقتهم كانت أفضل بكثير في جعل الكاميرا تتحرك كما يفعل المخرج البشري، بدلاً من مجرد حساب خط هندسي.
ومع ذلك، فإن الورقة البحثية حريصة على ملاحظة ما لا تفعله حتى الآن. فهي تعمل حالياً في الغرف الثابتة حيث لا يتحرك شيء. إذا مشى شخص ما عبر المشهد أثناء تصوير الكاميرا، فلن يعرف النظام كيفية تفاديه. كما أنها تركز على لقطات واحدة مستمرة بدلاً من مونتاج فيلم كامل بلقطات وتغييرات في المشاهد. ولكن في الوقت الحالي، يثبت CinemaTraj أنه من خلال منح الذكاء الاصطناعي خريطة جيدة وتعليمه لغة الأفلام، يمكننا أخيراً توليد مسارات كاميرا ثلاثية الأبعاد تكون آمنة وسينمائية حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.