Tora3: Trajectory-Guided Audio-Video Generation with Physical Coherence
تُعد Tora3 إطار عمل لتوليد الصوت والفيديو بتوجيه من المسارات، حيث تعمل على تعزيز التماسك الفيزيائي والتزامن بين الحركة والصوت باستخدام مسارات الأجسام كأولوية حركية مشتركة للتحكم الموحد في الحركة البصرية والأحداث الصوتية، مدعومة بمجموعة بيانات ضخمة تم تنسيقها حديثاً تسمى PAV.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد مقطع فيديو لمطرقة تضرب مسماراً. في عالم مثالي، يحدث صوت الاصطدام في اللحظة ذاتها التي يلتقي فيها المعدن بالخشب، وتتطابق حدة الضجيج مع قوة الضربة. لسنوات، عانت الحواسيب في إنشاء مقاطع فيديو يكون فيها الحركة والصوت وكأنهما ينتميان إلى نفس الواقع الفيزيائي. وبينما أصبح الذكاء الاصطناعي بارعاً جداً في توليد صور متحركة جميلة أو إنشاء مشاهد صوتية واقعية من النصوص، فإن الجمع بينهما غالباً ما أدى إلى انفصال. قد تتحرك الأشياء بطرق تتحدى الجاذبية، أو قد تصل الأصوات بكسر من الثانية بعد الأوان، أو قد تكون هادئة جداً بالنسبة لاصطدام صاخب. كانت المشكلة الجوهرية هي أن الحاسوب الذي يولد الفيديو والحاسوب الذي يولد الصوت كانا يعملان بمعزل عن بعضهما البعض، حيث يخمن كل منهما ما يجب أن يفعله الآخر دون فهم مشترك لكيفية تحرك الجسم فعلياً عبر الفضاء.
لقد عالج فريق من الباحثين في مجموعة علي بابا وجامعة فودان هذه الفجوة بنظام جديد يسمى Tora3. يعتمد نهجهم على فكرة بسيطة ولكنها قوية: استخدام المسار الذي يتخذه الجسم كنموذج مشترك لكل من الفيديو والصوت. فبدلاً من ترك الحاسوب يخمن كيف يجب أن تقود سيارة أو كيف يجب أن ترتد كرة، يقوم النظام أولاً بتحديد المسار الدقيق، أو الخط الذي يتبعه الجسم، ثم يستخدم ذلك الخط لتوجيه كل من الحركة المرئية والصوت المصاحب لها. تعامل هذه الطريقة المسار ليس فقط كدليل لمكان ذهاب الجسم، بل كمصدر للمعلومات الفيزيائية التي تخبر النظام متى يصدر صوتاً ومدى علو صوته. ومن خلال ربط كل من الرؤية والصوت بنفس الوصف الرياضي للحركة، نجح الباحثون في إنشاء مقاطع فيديو تبدو فيها الفيزياء حقيقية ويكون الصوت متزامناً تماماً مع الحركة.
وجد الباحثون أن الطرق السابقة غالباً ما فشلت لأنها حاولت توليد الفيديو والصوت بشكل منفصل ثم تأملت أن يتطابقا، أو أنها استخدمت مسار الحركة كدليل بصري للفيديو فقط مع تجاهل إمكانية استخدامه لتوجيه الصوت. يغير Tora3 هذا الأمر باستخدامه للمسار كـ "مقدمة حركية" (kinematic prior)، وهي طريقة تقنية تعني استخدام المسار كقاعدة أساسية يجب على كل من مولدي الفيديو والصوت اتباعها. عندما يرى النظام جسماً يتحرك على طول خط معين، فإنه يحسب السرعة والتسارع عند كل نقطة. فإذا كان الجسم يتسارع، يعرف النظام أن الصوت يجب أن يصبح أعلى أو يتغير في النغمة. وإذا اصطدم جسم بسطح ما، يعرف النظام بالضبط متى يطلق صوت اصطدام حاد. إن هذا الاعتماد المشترك على المسار يضمن أن العناصر المرئية والسمعية لا تحدث في نفس الوقت فحسب، بل تتفاعل أيضاً مع نفس القوى الفيزيائية.
ولجعل هذا العمل ممكناً، طور الفريق طريقة محددة لتغذية معلومات هذا المسار في "دماغ" الحاسوب. بالنسبة للجزء المرئي، بدلاً من بناء آلة معقدة جديدة لفهم الحركة، قاموا ببساطة بأخذ المعلومات المرئية من الإطار الأول للفيديو وتحريكها على طول مسار الجسم مع تقدم الفيديو. هذه طريقة مباشرة وفعالة لإخبار الحاسوب: "هذا الجسم موجود هنا، وهو يتحرك إلى هناك"، دون الحاجة إلى طبقات إضافية من المعالجة التي قد تربك النظام. أما بالنسبة للصوت، فينظر النظام إلى المسار ويحسب مدى سرعة تحرك الجسم ومدى سرعة تسارعه أو تباطئه. تُستخدم هذه الحسابات بعد ذلك لتشكيل الصوت، مما يضمن أن الجسم المتحرك بسرعة ينتج صوتاً مختلفاً عن الجسم الببطيء، وأن التوقف المفاجئ يخلق ضجيجاً مميزاً.
كما ابتكر الفريق طريقة جديدة لدمج هذه التعليمات في الفيديو النهائي. فقد أدركوا أن بعض أجزاء الفيديو تحتاج إلى الالتزام الصارم بالمسار لضمان تحرك الجسم بشكل صحيح، بينما يجب أن تظل أجزاء أخرى، مثل الخلفية، مرنة لتبدو طبيعية. وكان حلهم هو استخدام قاعدتين مختلفتين لعملية توليد الفيديو: قاعدة واحدة تربط الجسم بقوة بمساره، وقاعدة أخرى تسمح لبقية المشهد بالتدفق بشكل طبيعي. يمنع هذا النهج الهجين الفيديو من الظهور بشكل متصلب أو غير طبيعي، مع ضمان أن الفعل الرئيسي يتبع المسار المقصود.
لتدريب هذا النظام، جمع الباحثون مجموعة ضخمة تضم 460,000 مقطع فيديو تركز على الحركة. واستخدموا أدوات متقدمة للعثور تلقائياً على الأشياء في هذه الفيديوهات ورسم مساراتها، مما خلق مجموعة بيانات غنية بأنماط الحركة. سمح هذا للنظام بالتعلم من مجموعة متنوعة من الحركات الواقعية، من سيارة تسير في طريق إلى فقمة تضرب الماء. وعند اختباره مقابل الأنظمة الرائدة الأخرى، أنتج Tora3 مقاطع فيديو ليست أكثر حدة بصرياً فحسب، بل تمتلك أيضاً ارتباطاً أقوى بين الحركة والصوت. كان النظام أفضل في مطابقة توقيت الأصوات مع لحظة التلامس وفي ضبط مستوى صوت الضجيج ليتناسب مع شدة الحركة.
تشير النتائج إلى أن منح الذكاء الاصطناعي كتاب قواعد فيزيائي مشترك، وهو في هذه الحالة مسار الجسم، يعد وسيلة قوية لتحسين واقعية المحتوى المولد. فالنظام لا يكتفي بجعل الأشياء تبدو جيدة فحسب؛ بل يجعلها تبدو وكأنها موجودة في عالم تحكمه قوانين فيزيائية ثابتة. يخطط الباحثون لمواصلة هذا العمل من خلال استكشاف كيف يمكن إضافة عوامل فيزيائية أخرى، مثل مادة الجسم أو كيفية انتقال الصوت عبر الغرفة، إلى هذا الإطار المشترك لخلق تجارب أكثر إقناعاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.