تخيل أنك تحاول تعليم روبوت ليكون فناناً للمؤثرات الصوتية للأفلام. عادةً، إذا أظهرت للروبوت صورة ثابتة واحدة لكلب، فقد يخمن أن الصوت هو "نباح". ولكن ماذا لو أظهرت للروبوت فيديو؟ الكلب لا يجلس ساكناً فحسب؛ بل يركض، وأذناه ترفرفان، وذيله يهتز. الصوت يتغير مع حركة الكلب. هذا هو تحدي توليد "الفيديو إلى الصوت" (V2A): إنشاء صوت لا يطابق ما تراه فحسب، بل يتزامن تماماً مع الحركة والتغيرات التي تحدث بمرور الوقت.

لفترة طويلة، حاول العلماء حل هذه المشكلة من خلال إعطاء الروبوت مساعدة إضافية. فقد بنوا "آذاناً" خاصة لتستمع إلى الفيديو، أو علموا الروبوت التنبؤ بشكل الصوت قبل صنعه. كان الأمر يشبه إعطاء الروبوت دليلاً مرجعياً. لكن هذا البحث يسأل سؤالاً أبسط: ماذا لو كان الفيديو نفسه يحمل السر؟ السر هو الفروقات الزمنية (Temporal Differences - TD). فكر في الـ TD كـ "التغيير" بين إطار واحد من الفيديو والإطار الذي يليه. إذا التقطت صورة لبركة ماء ساكنة ثم صورة أخرى بعد ثانية واحدة، فستبدو الصورتان متشابهتين تقريباً. ولكن إذا التقطت صورة لموجة تتلاطم، فستبدو الصورة الثانية مختلفة جداً عن الأولى. هذا الفرق هو الحركة. يقترح البحث أنه إذا استطعنا تعليم الروبوت الانتباه لهذه "التغيرات" بدلاً من مجرد "الصور"، فيمكنه أن يصبح فناناً صوتياً أفضل بكما دون الحاجة إلى أي أدلة مرجعية إضافية أو أجزاء معقدة جديدة.

"التغيير" هو المفتاح

لاحظ الباحثون وراء هذه الدراسة، بقيادة "زيهوا تشن" و"جونيوي وانغ" من جامعة تسينغوا ومؤسسات أخرى، شيئاً مثيراً للاهتمام. معظم أنظمة "الفيديو إلى الصوت" تعامل الفيديو كأنه مجموعة من الصور الثابتة المكدسة. فهي تنظر إلى الإطار الأول، والثاني، وهكذا، لكنها غالباً ما تفقد القصة الكامنة في كيفية تحول إطار إلى آخر. ويجادل المؤلفون بأن المكون السحري الذي يميز الفيديو عن الصورة الثابتة هو بالضبط ذلك: الفرق بين الإطارات.

لقد أطلقوا على طريقتهم الجديدة اسم TD-V2A. فبدلاً من بناء آلة ضخمة ومعقدة لفهم الفيديو، قرروا استخدام "التغيير" الخاص بالفيديو لتعليم مولد الصوت. تخيل أنك تحاول وصف رقصة لصديق عبر الهاتف. إذا قلت فقط "هي ترتدي فستاناً أحمر"، فهذه صورة ثابتة. ولكن إذا قلت "لقد دارت، فانتفخ فستانها، ثم قفزت"، فأنت تصف الفرق بين اللحظات. هذا ما يفعله نظام TD-V2A. فهو يحسب الفرق بين إطارات الفيديو المتتالية ويستخدم "خريطة الفرق" هذه كإشارة قوية ومعززة لمولد الصوت.

طريقتان للنظر إلى التغيير

كان على الفريق أولاً اكتشاف كيفية قياس هذا التغيير. وقد اختبروا طريقتين مختلفتين، مثل النظر إلى فيلم من خلال زوجين مختلفين من النظارات.

1. الفروقات على مستوى الإطار (FTD): هذا يشبه النظر إلى البكسلات الخام. لقد أخذوا إطارين للفيديو، وطرحوا أحدهما من الآخر، واحتفظوا بالنتيجة. هذا يلتقط كل تفصيل صغير للحركة، مثل رفرفة ورقة شجر أو ضرب عصا الطبل. إنه مفصل للغاية ويحافظ على الهيكل البصري الأصلي سليماً.
2. الفروقات على مستوى الميزات (CTD): هذا يشبه النظر إلى "معنى" الإطارات. لقد أخذوا فهم الكمبيوتر عالي المستوى للصورة (المسمى بتمثيلات CLIP) وطرحوا تلك التمثيلات من بعضها. هذا يلتقط الأفكار الكبيرة، مثل "الكلب يركض"، ولكنه قد يفتقد التفاصيل الدقيقة والسريعة للحركة.

بعد إجراء التجارب، وجد الفريق أن الفروقات على مستوى الإطار (FTD) كانت هي الفائزة. لماذا؟ لأنه عندما تطرح "معنى" الصور، فإنك تفقد التفاصيل الدقيقة الضرورية للصوت. ولكن عندما تطرح البكسلات الخام، فإنك تحصل على خريطة مثالية لما تحرك وكيف تحرك وبأي سرعة. اتضح أن "ضجيج" التغيير هو في الواقع الإشارة الأكثر أهمية لصنع صوت جيد.

الرقصة ذات الثلاث خطوات (التعلم المستمر الهرمي)

تعليم الروبوت القيام بذلك دفعة واحدة أمر صعب. لذا، ابتكر المؤلفون استراتيجية تدريب ذكية تسمى التعلم المستمر الهرمي (Hierarchically Continual Learning - HCL). فكر في الأمر كتعلم عزف آلة موسيقية.

• الخطوة 1: تعلم النوتات. أولاً، علموا النموذج صنع الصوت من الأوصاف النصية (نص إلى صوت). منح هذا الروبوت أساساً قوياً لما يجب أن تبدو عليه الأصوات بشكل عام.
• الخطوة 2: تعلم الصورة. بعد ذلك، استبدلوا النص بـ صور ثابتة. الآن تعلم الروبوت مطابقة صورة واحدة بصوت ما.
• الخطوة 3: تعلم الحركة. أخيراً، قدموا الفروقات الزمنية. تعلم الروبوت أخذ ما عرفه عن الصور وإضافة معلومات "التغيير". سمح هذا له بفهم أن الفيديو ليس مجرد صورة، بل هو صورة تفعل شيئاً ما.

من خلال إضافة هذه الطبقات واحدة تلو الأخرى، لم يصاب النموذج بالارتباك. لقد بنى معرفته خطوة بخطوة، مما ضمن قدرته على التعامل مع المهمة المعقدة لمزامنة الصوت مع الفيديو المتحرك.

"التوجيه الملدن" (التوقيت المثالي)

حتى مع وجود نموذج ذكي، هناك جزء صعب: متى يجب على الروبوت الاستماع إلى إشارة "التغيير"؟

أدرك الباحثون أنه خلال عملية توليد الصوت (التي تبدأ بضوضاء عشوائية وتصبح تدريجياً أكثر وضوحاً)، يحتاج الروبوت إلى أنواع مختلفة من المساعدة في أوقات مختلفة.

• في البداية (المخطط الأولي): يحتاج الروبوت إلى معرفة الصورة الكبيرة للحركة. يحتاج إلى توجيه قوي من الفروقات الزمنية لضبط الإيقاع والتوقيت بشكل صحيح.
• في النهاية (التفاصيل الدقيقة): يحتاج الروبوت إلى التركيز على ملمس الصوت المحدد. إذا استمر في الاستماع إلى إشارة "التغيير" بقوة شديدة في النهاية، فقد يتشوه الصوت.

لحل هذه المشكلة، اخترعوا توجيه الفروقات الزمنية الملدن (Annealed Temporal Differences Guidance - ATDG). تخيل مقبض تحكم في الصوت يقوم تلقائياً بخفض إشارة "الحركة" كلما أصبح الصوت أكثر وضوحاً. في بداية العملية، تكون إشارة "الحركة" عالية وواضحة، مما يضمن مطابقة الصوت لحركة الفيديو. ومع ازدياد تفاصيل الصوت، تتلاشى إشارة "الحركة" بلطف، مما يسمح للروبوت بالتركيز على جعل الصوت نقياً وعالي الجودة. هذا التعديل الديناميكي يضمن أن يكون الصوت متزامناً تماماً ونقيّاً للغاية.

النتائج: أفضل من الخبراء

اختبر الفريق طريقتهم على مجموعتي بيانات شهيرتين، VGGSound و AudioSet، اللتين تحتويان على آلاف مقاطع الفيديو مع أصواتها الأصلية. وقارنوا TD-V2A بالعديد من الأنظمة الرائدة الأخرى، بما في ذلك بعض الأنظمة التي استخدمت شبكات إضافية ومعقدة للمساعدة.

كانت النتائج مبهرة. لم يكتفِ TD-V2A بأداء جيد فحسب، بل تفوق على الجميع تقريباً.

• حقق مسافة فريديه للصوت (Fréchet Audio Distance - FAD) بلغت 0.53، وهي مقي_س لمدى قرب الصوت المولد من الصوت البشري الحقيقي (كلما قل الرقم كان أفضل). وكان هذا أفضل من معظم الطرق الأخرى المدرجة.
• سجل 89.1 في دقة المحاذاة الزمنية (Temporal Alignment Accuracy - AA)، مما يعني أن الأصوات حدثت في اللحظة الصحيحة تماماً في الفيديو. كان هذا تحسناً هائلاً عن الطرق الأخرى، بل وتفوق حتى على نظام صُمم خصيصاً لتحسين هذا المقياس تحديداً.
• في الاختبارات البشرية، صنف الناس الأصوات بأنها أكثر واقعية وأفضل تزامناً من الأصوات الناتجة عن نماذج الذكاء الاصطناعي الأخرى.

ينفي البحث صراحةً فكرة أنك بحاجة إلى شبكات ضخمة ومنفصلة أو أدلة مرجعية إضافية (مثل التنبؤ بهياكل الصوت مسبقاً) للحصول على نتائج جيدة. بدلاً من ذلك، أظهروا أن استخدام "معلومات التغيير" الخاصة بالفيديو، ومعالجتها بالطريقة الصحيحة، كافٍ لإنشاء صوت عالي الجودة ومتزامن.

لماذا هذا مهم؟

يشير هذا البحث إلى طريقة جديدة وقوية للتفكير في توليد "الفيديو إلى الصوت". فبدلاً من بناء آلات أكبر وأكثر تعقيداً، يمكننا النظر في البيانات التي نمتلكها بالفعل وإيجاد الأدلة الخفية داخلها. من خلال التركيز على "الفرق" بين الإطارات، أظهر المؤلفون أن نهجاً أبسط وأكثر مباشرة يمكن أن يتفوق في الواقع على النهج الأكثر تعقيداً. إنه تذكير بأن أفضل طريقة لفهم فيلم ليست دائماً بالنظر إلى الإطارات، بل بمراقبة كيفية تغيرها.

يخلص المؤلفون إلى أن هذه الطريقة ليست مجرد تعديل بسيط، بل هي تحول جوهري. ويقترحون أن نمذجة هذه الفروقات الزمنية بشكل صريح هي وسيلة بسيطة ولكنها قوية لتحسين توليد "الفيديو إلى الصوت"، مما يفتح الباب أمام مؤثرات صوتية أفضل في المستقبل دون الحاجة إلى ابتكار بنيات معمارية جديدة ومعقدة بالكامل.