ملخص تقني: Baton – المخططات الدلالية الصريحة لتوليد الفيديو والصوت المشترك

1. بيان المشكلة

تعاني نماذج توليد الفيديو والصوت المشتركة مفتوحة المصدر الحالية، رغم قدرتها على إنتاج محتوى متزامن للمطالبات البسيطة، من صعوبة بالغة في السيناريوهات التي تتطلب استدلالاً دلالياً معقداً. وتشمل هذه السيناريوهات الأفعال متعددة المراحل، والتفاعلات المعقدة بين الإنسان والأشياء، والحوارات بين متحدثين متعددين.

السبب الجذري لهذا الفشل يكمن في المنهجية السائدة: تعتمد النماذج الحالية على تضمينات نصية عالمية فجة (Coarse Global Text Embeddings) مستمدة من مشفرات جاهزة (مثل T5 أو Qwen) لتوجيه مسارات إزالة الضجيج (denoising) لكل من فرعي انتشار الفيديو والصوت. يعاني هذا النهج من قصورين حرجين:

1. فقدان الدلالات الدقيقة: تفشل التضمينات العالمية في تفكيك التعليمات المعقدة إلى تفاصيل دقيقة مرتبطة زمنياً ومحددة لكل نمط (Modality).
2. الافتقار إلى التخطيط المشترك طويل المدى: بدون خطة منسقة، تنحرف مسارات إزالة الضجيج للفيديو والصوت عن بعضهما البعض، مما يؤدي إلى ديناميكيات تضادية. وينتج عن ذلك عدم توافق شديد بين الوسائط، وتشويه في بنية الجسم، وعدم القدرة على الحفاظ على اتساق الموضوع أو مزامنة أفعال محددة (مثل وقوع لكمة مع تأثير صوتي) على فترات طويلة.

بينما تحاول بعض الأعمال الحديثة إثراء المطالبات باستخدام النماذج اللغوية الكبيرة (LLMs)، إلا أنها لا تزال تحقن التمثيلات الناتجة كتضمينات عالمية، مما يفشل في معالجة عدم التوافق الهيكلي بين القصد الدلالي وعملية التوليد الزمكانية.

2. المنهجية: Baton

يقترح Baton إطار عمل يقوم بفصل الاستدلال الدلالي عن التوليد بشكل صريح. بدلاً من الاعتماد فقط على التضمينات العالمية، يقدم Baton مرحلة "تخطيط" تولد مخططات (Blueprints) صريحة مدركة للنمط قبل بدء عملية الانتشار. تتكون البنية من ثلاثة مكونات رئيسية:

2.1 VA-Planner (مخطط الفيديو والصوت)

الابتكار الجوهري هو VA-Planner، وهو نموذج لغوي متعدد الوسائط (MLLM) قابل للتدريب ومجهز بـ برجي محاذاة دلالية مزدوجين.

• المدخلات: يتلقى المخطط مطالبة مهيكلة تحتوي على تعليمات النظام، وأوصاف الفيديو، وأوصاف الصوت.
• الاستدلال: يقوم بعملية استدلال تلقائي (Autoregressive) للتنبؤ بزوج من الرموز المخططة (Planned Tokens): مجموعة واحدة للفيديو ($H_v$) ومجموعة للأوديو ($H_a$). تعمل هذه الرموز كخطط توضيحية على مستوى الإطارات الرئيسية (Keyframe-level blueprints).
• أبراج المحاذاة المزدوجة: لضمان الاتساق عبر الوسائط، يستخدم المخطط برجين مع استعلامات قابلة للتعلم.
  • يستخرج برج الفيديو الدلالات الخاصة بالفيديو من الحالات الخفية لـ MLLM ثم يقوم بعملية انتباه عبر الوسائط لاستيعاب الإشارات السمعية المكملة.
  • يقوم برج الصوت بالعملية المتماثلة.
  • يضمن هذا الانتباه ثنائي الاتجاه أن يكون مخطط الفيديو مدركاً لسياق الصوت والعكس صحيح، مما ينتج مخططات زمنية متسقة متبادلاً.
• إسقاط الميزات: يتم إسقاط الرموز المخططة في المجالات المستمرة للمشفرات الإدراكية مسبقة التدريب (SigLip2 للفيديو، وWavTokenizer للصوت) لتعمل كأدلة دلالية عالية الدقة.

2.2 Relative Semantic RoPE (ترميز الموضع الدلالي النسبي)

ينشأ تحدٍ كبير لأن الرموز المخططة (التي يتم توليدها بدقة إطارات مفتاحية متفرقة) والكمونات الانتشارية (Latents) (التي يتم توليدها بشبكة زمكانية كثيفة) لا تتشارك في علاقة واحد لواحد. تفشل ترميزات الموضع القياسية هنا، مما يجعل نموذج الانتشار يعامل الخطة المهيكلة كإشارة عالمية غامضة.

يقدم Baton آلية Relative Semantic RoPE، وهي آلية ترميز موضعي نسبي تقوم بـ:

• رسم خرائط للرموز المخططة والكمونات الانتشارية ضمن إطار إحداثي زمكاني مشترك.
• إعادة تحجيم مؤشرات الموضع بناءً على الوقت الفيزيائي والموقع المكاني الذي تمثلها.
• تمكين كل كمون انتشار من الانتباه بدقة إلى الإشارة الدلالية المقابلة له موضعياً، مما يحافظ على البنية الهيكلية للمخطط على مستوى الإطارات المفتاحية بدلاً من تسطيحها.

2.3 استراتيجية التدريب

يتبع Baton منهجاً تدريبياً من ثلاث مراحل لضمان المتانة:

1. التدريب المسبق لـ VA-Planner: يتم تدريب MLLM وأبراج المحاذاة على التنبؤ بالميزات الإدراكية المستمرة (من SigLip2 وWavTokenizer المجمدين) بناءً على المطالبات النصية. هذا يعلم المخطط كيفية توليد مخططات دلالية دقيقة.
2. تكييف DiT: يتم تدريب محول الانتشار (Diffusion Transformer - DiT) باستخدام ميزات إدراكية حقيقية (Ground-truth) (متجاوزاً المخطط) لتعلم توزيع الميزات الدلالية دون التأثر بضوضاء تنبؤ المخطط.
3. الضبط الدقيق المشترك: يتم تجميد VA-Planner، ويتم ضبط DiT باستخدام الرموز التي تنبأ بها المخطط. تعمل هذه المرحلة على جسر الفجوة بين الميزات المثالية (Ground-truth) وتنبؤات المخطط الواقعية، مما يقلل من انحياز التعرض (Exposure Bias).

3. المساهمات الرئيسية

1. VA-Planner: أول إطار عمل يقدم تخطيطاً دلالياً صريحاً لتوليد الفيديو والصوت المشترك. فهو يولد رموزاً مخططة للفيديو والصوت متسقة دلالياً تعمل كخطط توضيحية على مستوى الإطارات المفتاحية، مما يربط مسارات إزالة الضجيح بخارطة طريق مشتركة.
2. Relative Semantic RoPE: ترميز موضعي مبتكر يحل مشكلة عدم التطابق الزمكاني بين الخطط الدلالية المتفرقة والكمونات الانتشارية الكثيفة، مما يسمح بانتباه دقيق عبر الوسائط.
3. فصل الاستدلال عن التوليد: من خلال فصل مرحلة التخطيط الدلالي عن مرحلة التوليد، يمنع Baton الانحراف التضادي الذي تعاني منه النماذح التي تعتمد فقط على التضمينات العالمية.

4. النتائج التجريبية

قيم المؤلفون Baton على Verse-Bench (المعايير القياسية مفتوحة المصدر) و Sem100 (مجموعة بيانات مخصصة تضم 100 فيديو غير مرئية سابقاً ذات مطالبات معقدة ومتعددة المراحل تتطلب استدلالاً دلالياً عميقاً).

• الأداء الكمي:

  • في Verse-Bench، يحقق Baton نتائج مقاربة لنموذج LTX-2 الرائد (SOTA).
  • في Sem100، يتفوق Baton بشكل كبير على جميع المنافسين مفتوحي المصدر؛ حيث أظهر تحسناً بنسبة 32% في دقة اتباع المطالبة (P-Acc)، وانخفاضاً بنسبة 76% في معدل خطأ الكلمات للمتحدثين المتعددين (M-WER)، وانخفاضاً بنسبة 30% في عدم التزامن (DeSync) مقارنة بـ LTX-2.
  • تبرز التحسينات في M-WER وP-Acc قدرة النموذج الفائقة على التعامل مع الحوارات بين متحدثين متعددين والأفعال المتسلسلة المعقدة.

• الأداء النوعي:

  • تُظهر المقارنات البصرية أن Baton ينتج محتوى فيديو وصوت مستقر مع اتساق صحيح للموضوع وتزامن في الأفعال، بينما يعاني المنافسون (Ovi, UniAVGen, LTX-2, MOVA) من تشوه في بنية الجسم، واختفاء الأجسام، وعدم التزامن بين الصوت والفيديو في السيناريوهات المعقدة.
  • في الدراسات المستخدمة، فُضل Baton على المنافسين من حيث محاذاة الفيديو/الصوت، واتساق الهوية، والتزامن.

• المقارنة مع النماذج التجارية:

  • بينما قد تُظهر النماذج التجارية (مثل Veo 3، Seedance 2.0) دقة بصرية أو جمالية صوتية أعلى، يحقق Baton قدرات مماثلة في اتباع المطالبات، خاصة في السيناريوهات التي تتطلب استدلالاً دلالياً معقداً حيث تفشل النماذج التجارية أحياناً في اتباع التعليمات متعددة المراحل بدقة.

5. الأهمية والادعاءات

يزعم البحث أن Baton هو أول إطار عمل يفصل صراحةً بين التخطيط الدلالي والتوليد لتوليد الفيديو والصوت المشترك. تكمن أهميته في معالجة القصور الجوهري لنماذج الانتشار الحالية: وهي عدم القدرة على الحفاظ على التماسك عبر الوسائط على مدى زمني طويل دون خارطة طريق دلالية مشتركة ومحاذات مسبقة.

من خلال تقديم مخططات دلالية صريحة وآلية لمواءمتها مع الكمونات الانتشارية (RS-RoPE)، يحول Baton عملية التوليد من "إزالة ضجيج عمياء تحت إشارات عالمية غامضة" إلى "اتباع خطة مدركة دلالياً ومنسقة عبر الوسائط". يتيح ذلك للنموذج تخليق محتوى فيديو وصوت مستقر ومتزامن حتى للمطالبات التي تتضمن علاقات سببية معقدة، وأفعال متعددة المراحل، وتفاعلات بين متحدثين متعددين، مما يضع معياراً جديداً لتوليد الفيديو والصوت المشترك مفتوح المصدر.