HECTOR: Hybrid Editable Compositional Object References for Video Generation
يُعد HECTOR خط إنتاج مبتكر لتوليد الفيديو يتيح تحكماً تركيبياً دقيقاً من خلال دعم التكييف المرجعي الهجين من الصور الثابتة ومقاطع الفيديو الديناميكية، مع السماح للمستخدمين بتحديد مسارات ومواقع وأحجام وسرعات الأجسام الفردية بشكل صريح لتخليق مقاطع فيديو متماسكة وعالية الدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج أفلام. في الماضي، إذا أردت صنع فيديو باستخدام الذكاء الاصطناعي، كان عليك إعطاء تعليمات غامضة مثل: "اصنع فيديو لكلب يركض في حديقة". بعد ذلك، سيقوم الذكاء الاصطناعي بسحر مشهد من العدم. لكن المشكلة هنا هي: لم يكن بإمكانك إخبار الذكاء الاصطناعي بالضبط أي كلب يجب استخدامه، أو أين يجب أن يركض بالضبط، أو ما هي سرعته بالضبط. إذا أردت استبدال الكلب بقطة في منتصف الفيديو، أو تقريب الكاميرا أثناء قفز الكلب، فسيصاب الذكاء الاصطناعي بالارتباك ويصنع فوضى عارمة.
HECTOR يشبه منح ذلك المخرج جناح تحرير خارق وسحري، حيث يمكنه التحكم في كل شخصية وكل عنصر في المشهد بدقة جراحية.
إليك شرح بسيط لكيفية عمله، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: نهج "الكل أو لا شيء"
مولدات الفيديو الحالية بالذكاء الاصطناعي تشبه رساماً يرى اللوحة بأكملها دفعة واحدة. إذا طلبت منه رسم شخص معين، فقد يضبط الوجه بشكل صحيح، لكنه قد يحرك ذراع الشخص عن غير قصد أو يغير ملابسه لأنه يرسم الصورة بأكملها ككتلة واحدة كبيرة. إنهم يفتقرون إلى "التحكم التركيبي" — لا يمكنهم بسهولة قول: "حافظ على الخلفية كما هي تماماً، ولكن حرك هذا الشخص تحديداً إلى هنا".
2. الحل: HECTOR (خبير قطع الليغو)
يعامل HECTOR الفيديو ليس ككتلة واحدة كبيرة، بل كمجموعة من قطع الليغو (Lego). فهو يتيح لك التقاط قطع فردية (أشياء، أشخاص، خلفيات) وتحريكها بشكل مستقل دون كسر الهيكل بأكمله.
يفعل ذلك من خلال ثلاث "خدع سحرية" رئيسية:
أ. مُفكك الفيديو (الماسح الذكي)
قبل أن يتمكن الذكاء الاصطناعي من تحرير فيديو، يحتاج إلى فهم ما بداخله.
- الطريقة القديمة: ترسم مربعاً تقريبياً حول شخص ما، ويخمن الذككاء الاصطناعي مكان وجوده.
- طريقة HECTOR: يستخدم "ماسحاً ذكياً" (يسمى Video Decompositor). تخيل روبوتاً فائق الدقة يشاهد فيديو ويضع نقاطاً صغيرة وغير مرئية على أكتاف الشخص، ومرفقيه، وركبتيه. إنه يتتبع كل نقطة مع حركة الشخص.
- لماذا يهم هذا؟ بدلاً من المربع المهتز وغير الدقيق، يعرف HECTOR المسار والحجم والسرعة الدقيقة للجسم. إنه الفرق بين تخمين سرعة سيارة بمجرد النظر إليها وبين امتلاك جهاز تتبع GPS في السيارة.
ب. وحدة المحاذاة المكانية والزمانية (المايسترو)
الآن بعد أن عرف HECTOR مكان كل شيء بالضبط، يحتاج إلى مزج المكونات المختلفة معاً.
- المزيج: قد ترغب في استخدام صورة ثابتة لكلب (للحصول على مظهره) وفيديو لقطة تقفز (للحتمال حركتها).
- السحر: يمتلك HECTOR "مايسترو" (STAM) يأخذ هذه المصادر المختلفة ويقوم بمحاذاتها بدقة في الزمان والمكان. إنه يشبه "دي جي" يمزج أغنيتين مختلفتين لتتم عزفهما بتزامن مثالي. إنه يأخذ "المظهر" من الصورة و"حركات الرقص" من الفيديو ويمزجهما بحيث يبدو الكلب مثل الصورة ولكنه يتحرك تماماً مثل القطة في الفيديو.
ج. الغراء "الخالي من الأشباح" (أقنعة Gaussian)
عندما تقوم بلصق جسم جديد في فيديو، غالباً ما تبدو الحواف متعرجة أو "شبحية" (مثل أعمال الفوتوشوب السيئة).
- خدعة HECTOR: بدلاً من استخدام خط حاد وقاسٍ لقص جسم ما، يستخدم HECTOR "حافة ناعمة وضبابية" (Gaussian masking). تخيل استخدام فرشاة ناعمة لدمج الجسم الجديد في الخلفية بدلاً من استخدام مقص. هذا يجعل الجسم الجديد يبدو وكأنه كان جزءاً من المشهد دائماً، مع إضاءة وظلال مثالية.
3. ما الذي يمكنك فعله حقاً باستخدامه؟
لأن HECTOR يعامل كل جسم كقطعة منفصلة وقابلة للتحكم، يمكنك القيام بأشياء كانت مستحيلة سابقاً:
- خدعة "الاستبدال": يمكنك أخذ فيديو لشخص يمشي واستبداله فوراً بشخص آخر (أو إنسان آلي) مع الحفاظ على نفس أسلوب المشي والخلفية تماماً.
- خدعة "التقريب": يمكنك أن تقول للذكاء الاصطناعي: "قرب الكاميرا من الكلب، ولكن حافظ على ثبات الخلفية"، أو "اجعل الكلب يركض بشكل أسرع دون تغيير الخلفية".
- خدعة "الإضافة": يمكنك وضع نسر طائر في فيديو لفتاة ترقص، وسيطير النسر فوقها بشكل مثالي، مع احترام موقعها والإضاءة، دون إفساد رقصة الفتاة.
الخلا الخلاصة
فكر في HECTOR كفرق بين نمذجة الصلصال وبناء الليغو.
- الذكاء الاصطناعي القديم: أنت تعجن كتلة من الصلصال (الفيديو) وتأمل أن تبدو جيدة. إذا أردت تغيير الأنف، قد تفسد الأذنين.
- HECTOR: أنت تبني بقطع الليغو. يمكنك أخذ قطعة "الكلب" واستبدالها بقطعة "القطة"، وتحريك قطعة "الخلفية"، وتقريب قطعة "الكاميرا"، وسيظل المشهد بأكمله مثالياً.
إنه يحول توليد الفيديو من "خدعة سحرية" تأمل فيها الحصول على أفضل نتيجة، إلى "مشروع بناء" دقيق تكون أنت فيه المهندس المعماري المايسترو.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.