TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance
تقدم الورقة البحثية Trace، وهو إطار عمل يتكون من مرحلتين يتيح تحرير حركة الأجسام في الفيديوهات بشكل عملي وقابل للتحكم عبر السماح للمستخدمين بتصميم مسار في إطار مرجعي واحد، والذي يتم بعد ذلك رسمه كمسارات صناديق متوافقة مع الإطارات ويُستخدم لإعادة توليد الجسم مع الحفاظ على محتوى المشهد الأصلي.
المؤلفون الأصليون:Quynh Phung, Long Mai, Cusuh Ham, Feng Liu, Jia-Bin Huang, Aniruddha Mahapatra
تخيل أنك تشاهد فيديو منزلياً لطفلك وهو يركض في الحديقة ومعه طائرة ورقية. المشهد جميل، لكنك تتمنى لو لم تكن الطائرة تطير في خط مستقيم؛ أنت تريدها أن تتمايل على شكل حرف "S" ضخم أو تدور حول شجرة.
في الماضي، كان تعديل الفيديو لتغيير كيفية حركة جسم ما يشبه محاولة إعادة كتابة رواية عبر تعديل كل حرف في كل صفحة يدوياً. كان عليك إخبار الكمبيوتر بدقة أين يجب أن تكون الطائرة في الإطار الأول، والإطار الثاني، والإطار الثالث، وهكذا. وإذا كانت الكاميرا تتحرك، فقد أصبح الأمر كابوساً لأن موقع الطائرة بالنسبة للخلفية كان يتغير باستمرار.
أداة TRACE هي أداة جديدة تجعل هذا السحر أسهل بكثير. فكر فيها كأنها "مخرج حركة" لفيديوهاتك. إليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:
1. "خريطة الإطار الأول" (مهمة المستخدم)
بدلاً من سحب الطائرة عبر 100 إطار مختلف، تحتاج فقط إلى رسم مسار على الإطار الأول من الفيديو.
التشبيه: تخيل أنك تنظر إلى خريطة لمدينة ما. أنت ترسم خطاً من "المنزل" إلى "المنتزه". لا تحتاج لإخبار نظام تحديد المواقع (GPS) بكل منعطف يجب أن يتخذه عند كل تقاطع؛ أنت فقط ترسم مسار الوجهة.
في TRACE: تقوم برسم خط (أو بضعة مربعات) على الإطار الأول يوضح أين تريد للجسم أن يذهب. أنت تقول: "إذا ظلت الكاميرا ثابتة، فأنا أريد للطائرة أن تتحرك هنا".
2. "المترجم الذكي" (المرحلة الأولى)
هذا هو الجزء الصعب. في الفيديو الخاص بك، الكاميرا تتحرك (ربما الشخص الذي يصور يمشي). إذا أخذت "خريطة الإطار الأول" الخاصة بك ووضعتها ببساطة على بقية الفيديو، فستبدو الطائرة وكأنها تطفو في الهواء بينما يتحرك العالم من حولها.
التشبيه: تخيل أنك في قطار متحرك وتنظر من النافذة. ترسم خطاً على الزجاج يوضح مسار طائر يطير. إذا تسارع القطار أو انعطف، يجب أن ينزاح ذلك الخط المرسوم على الزجاج ليتناسب مع موقع الطائر الجديد بالنسبة للأشجار المارة.
في TRACE: يمتلك النظام وحدة "المترجم الذكي". ينظر إلى رسمك البسيط في الإطار الأول وحركة الكاميرا. ثم يحسب: "حسناً، الكاميرا تتحرك لليسار، لذا لكي تحافظ الطائرة على مسارها، أحتاج لتحريك موقع الطائرة في الإطار التالي قليلاً جهة اليمين". إنه يحول رسمك ثنائي الأبعاد البسيط إلى مسار معقد يدرك الأبعاد الثلاثية ويتناسب تماماً مع الفيديو المتحرك.
3. "الممحاة والرسام السحري" (المرحلة الثانية)
بمجرد أن يعرف النظام بالضبط أين يجب أن يكون الجسم في كل إطار، يتعين عليه تغيير الفيديو فعلياً.
التشبيه: تخيل رساماً ماهراً جداً في أمرين: مسح شخص معين من صورة دون تشويه الخلفية، ثم رسم نسخة جديدة من ذلك الشخص بوضعية مختلفة، مع التأكد من مطابقة الإضاءة والظلال تماماً.
في TRACE: يقوم النظام بـ "مسح" الجسم الأصلي من الفيديو ثم "يعيد رسمه" من جديد، متبعاً المسار الجديد الذي صممته. إنه حريص على إبقاء الخلفية (الأشجار، السماء، الأشخاص الآخرين) كما هي تماماً، ليبقى الفيديو يبدو واقعياً.
لماذا يعد هذا أمراً مذهلاً؟
لا يتطلب نمذجة ثلاثية الأبعاد: لست بحاجة لتكون فناناً في التصميم ثلاثي الأبعاد أو تفهم الهندسة المعقدة. أنت فقط ترسم خطاً.
يتعامل مع حركة الكاميرا: معظم الأدوات تتعطل إذا تحركت الكاميرا. أما TRACE فيفهم أن الكاميرا تتحرك ويعدل مسار الجسم وفقاً لذلك.
يحافظ على "الروح": هو لا يضع جسماً جديداً فحسب، بل يحترم الإضاءة الأصلية، والأسلوب، وخلفية الفيديو الخاص بك.
أمثلة من الواقع
الطائرة الورقية: تغيير مسار طيران الطائرة من خط مستقيم إلى مسار على شكل رقم 8.
الغزال: استبدال غزال يمشي في حديقة بنمر، ولكن اجعل النمر يمشي نفس المسار تماماً الذي كان يسلكه الغزال.
الدراج: جعل دراج يسير في دائرة بدلاً من خط مستقيم، حتى لو كانت الكاميرا تتحرك (Pan) لتتبعه.
باختصار: TRACE يجعلك أنت المخرج. أنت ترسم المسار على الإطار الأول، ويتولى الذكاء الاصطناعي العمل الشاق المتمثل في حساب الفيزياء، والتكيف مع حركة الكاميرا، وإعادة رندرة (Rendering) الفيديو بحيث يتبع الجسم نصك الجديد بدقة مثالية.
إليك ملخص تقني مفصل لورقة البحث بعنوان "TRACE: تحرير حركة الأجسام في الفيديوهات باستخدام توجيه مسار الإطار الأول."
1. تعريف المشكلة
تتناول الورقة تحدي تحرير الحركة المتمحور حول الأجسام في الفيديوهات. الهدف هو تغيير مسار جسم مستهدف معين (مثل تغيير مسار طيران طائرة ورقية أو اتجاه ركض شخص ما) مع الحفاظ بدقة على محتوى المشهد الأصلي، وحركة الكاميرا، والخلفية، ومظهر الجسم.
التحديات الرئيسية:
صعوبة مدخلات المستخدم: تتطلب الطرق الحالية من المستخدمين غالبًا توفير صناديق إحاطة كثيفة لكل إطار أو تتبعات نقطية، وهو أمر مرهق وصعب، خاصة في الفيديوهات ذات حركات الكاميرا الديناميكية.
عدم المحاذاة بين الرؤى (Cross-View Misalignment): المسار الذي يحدده المستخدم على إطار ثابت أول لا يتوافق بشكل طبيعي مع موضع الجسم في الإطارات اللاحقة بسبب حركة الكاميرا (المنظر المتوازي، وتغيرات المنظور).
الحفاظ على المحتوى: غالبًا ما تقوم نماذج توليد الفيديو القياسية بابتكار خلفيات جديدة أو تغيير هوية الجسم عندما تُجبر على اتباع قيود حركة جديدة.
2. المنهجية: إطار عمل TRACE
يقترح TRACE إعدادًا جديدًا للمشكلة: تحرير الفيديو باستخدام تصميم حركة جسم الإطار الأول. يتيح للمستخدمين تحديد مسار ثنائي الأبعاد (2D) على إطار مرجعي واحد (الإطار الأول)، ويقوم النظام بتخليق فيديو متسق زمنيًا حيث يتبع الجسم هذا المسار.
يعمل إطار العمل عبر خط إنتاج مكون من مرحلتين:
المرحلة 1: وحدة تحويل الحركة عبر الرؤى (Cross-View Motion Transformation Module)
تعمل هذه الوحدة على سد الفجوة بين تصميم المستخدم الساكن في الإطار الأول وبين الرؤية الديناميكية للفيديو.
المدخلات: مسار محدد من قبل المستخدم (صناديق إحاطة متفرقة) في الإطار الأول، صورة الإطار الأول، وتتبعات النقاط التي تلتقط حركة الكاميرا.
الآلية: بدلاً من الاعتماد على إعادة بناء ثلاثي الأبعاد (3D) صريح ومعرض للخطأ (والذي يعاني من تقديرات ضوضائية للعمق والوضعية)، يستخدم المؤلفون محول انتشار (Diffusion Transformer - DiT) لتعلم رسم خرائط من تسلسل إلى تسلسل.
التدريب: تم تدريب النموذج على بيانات اصطناعية (تم إنتاجها باستخدام ReCamMaster) حيث يتم إعادة رندرة فيديوهات ذات كاميرا ثابتة مع مسارات كاميرا ديناميكية. يتعلم النموذج نمذجة ديناميكيات الكاميرا ضمنيًا للتنبؤ بتسلسل صناديق الإحاطة المقابلة (Btgt) في رؤية الفيديو.
المخرجات: تسلسل صناديق إحاطة متسق زمنيًا ومتوافق مع الإطارات، يوجه الجسم نحو الوجهة المقصودة رغم حركة الكاميرا.
المرحلة 2: وحدة إعادة تخليق الفيديو (Video Re-Synthesis Module)
تقوم هذه الوحدة بتوليد الفيديو النهائي بناءً على المسار المتوقع.
البنية: تعتمد على نموذج انتشار الفيديو Wan 2.1 (الذي تم ضبطه بدقة باستخدام تقنية LoRA).
التكييف (Conditioning): يتم تكييف النموذج بناءً على:
الفيديو الأصلي (المحجوب لإزالة الجسم).
الإطار الأول (كمرجع للمظهر).
تسلسل صناديق الإحاطة المتوقع (Btgt) من المرحلة 1.
العملية: يقوم النموذج بعملية إزالة الجسم (Inpainting) و تخليق الجسم (Synthesis) في آن واحد. فهو "يمحو" الجسم الأصلي ويعيد توليده على طول المسار الجديد مع ضمان بقاء الخلفية وعناصر المشهد الأخرى دون تغيير.
استراتيجية البيانات: لمنع الإفراط في التخصيص (Overfitting) تجاه توجيهات الصناديق المحددة، تتضمن بيانات التدريب صناديق ملساء مضاف إليها ضجيج، كما يتم إسقاط الشروط المدخلة عشوائيًا.
3. المساهمات الرئيسية
إعداد مشكلة جديد: تقديم "تصميم حركة الإطار الأول"، مما يتيح التحكم البديهي في مسارات الأجسام عبر إطار مرجعي واحد بدلاً من التوسيم المرهق لكل إطار.
إطار عمل TRACE: تطوير خط إنتاج مكون من مرحلتين يفصل المهمة المعقدة لتحويل الحركة عبر الرؤى عن عملية تخليق الفيديو.
وحدة تحويل الحركة عبر الرؤى قابلة للتعلم، تتعامل مع ديناميكيات الكاميرا دون الحاجة لإعادة بناء ثلاثي الأبعاد صريح.
وحدة إعادة تخليق الفيديو المشروط بالحركة تحافظ على هوية الجسم واتساق المشهد.
خط إنتاج بيانات اصطناعية: إنشاء خط إنتاج بيانات قابل للتوسع باستخدام ReCamMaster لإنتاج فيديوهات مقترنة (ثابتة/ديناميكية) لتدريب وحدة التحويل، مما يتغلب على نقص البيانات الواقعية المقترنة.
تطبيقات متعددة الاستخدامات: أظهر قدرات تتجاوز مجرد تحرير الحركة البسيطة، بما في ذلك تحرير أجسام متعددة، إدراج الأجسام، تحرير سمات الأجسام، واستبدال الأجسام.
4. النتائج التجريبية
قام المؤلفون بتقييم TRACE على فيديوهات من العالم الحقيقي (مجموعة اختبار DAVIS ومجموعة اختبار مخصصة) مقابل أفضل النماذج الحالية في تحويل الصورة إلى فيديو (I2V) والفيديو إلى فيديو (V2V) (مثل MagicMotion، VACE، HunyuanCustom، GenCompositor).
التحويل عبر الرؤى (Cross-View Transformation):
تفوق TRACE بشكل كبير على النماذج المرجعية (Interpolation، MegaSAM، Depth-Anything) في التنبؤ بمسارات صناديق الإحاطة بدقة.
المقاييس: حقق 0.80 IoU و 0.91 mAP (f2v)، مقارنة بـ ~0.53–0.65 mAP لنماذج التشويه ثلاثي الأبعاد (3D warping). أظهرت النتائج النوعية أن TRACE أنتج مسارات سلسة ومستقرة بينما نتجت عن النماذج الأخرى مسارات "مهتزة" أو خارج المسار.
إعادة تخليق الفيديو (Video Re-Synthesis):
الجودة: حقق درجات رائدة في FVD، FID، وKID (الجودة التوليدية) ودرجات عالية في SSIM/PSNR (التشابه مع المدخلات).
المحاذاة: حقق نتائج تنافسية في Tube IoU و mAP، مما يثبت الالتزام الدقيق بمسار الحركة.
الجانب النوعي: نجح TRACE في الحفاظ على هوية الجسم واتساق الخلفية، بينما كانت نماذج I2V غالبًا ما تبتكر خلفيات جديدة أو تغير مظهر الجسم، بينما عانت نماذج V2V من فقدان الهوية.
دراسة المستخدم:
في مقارنة زوجية على 70 فيديو، فضل المستخدمون TRACE على جميع النماذج الأخرى.
معدلات التفضيل: أكثر من 77% لجودة الفيديو (وصلت ذروتها إلى 85% مقابل PISCO) وحوالي 75% للحفاظ على هوية الجسم.
5. الأهمية والأثر
سهولة الاستخدام: يعمل TRACE على جعل تحرير الفيديو المعقد متاحًا للجميع عبر إزالة الحاجة للتحكم التقني لكل إطار، مما يجعل إعادة تخطيط الحركة الاحترافية متاحة لغير الخبراء.
سير العمل الإبداعي: يتيح عمليات إنتاج لاحقة جديدة، مثل تغيير وتيرة أو اتجاه ممثل معين في مشهد دون الحاجة لإعادة التصوير أو القيام بعملية الروتوسكوبي (Rotoscoping) يدويًا لكل إطار.
التقدم التقني: تثبت الورقة أن تعلم ديناميكيات الكامرة الضمنية عبر محول يعتمد على الانتشار (Diffusion-based transformer) هو أفضل من التشويه الهندسي ثلاثي الأبعاد الصريح لمهام تحرير الحركة، مما يوفر حلاً قويًا لمشكلة "عدم المحاذاة بين الرؤى".
باختصار، يمثل TRACE قفزة نوعية في مجال توليد الفيديو القابل للتحكم، حيث يجمع بنجاح بين التفاعل البديهي للمستخدم وتخليق فيديو عالي الدقة ومتسق زمنيًا.