ملخص تقني: Vorch-Director

بيان المشكلة

يوفر الاستمرار التكراري (Autoregressive continuation) مساراً لتوليد محتوى سمعي بصري متعدد اللقطات ذي مدة زمنية بالدقائق عبر تمديد مولد ذي نافذة قصيرة بشكل متكرر. ومع ذلك، فإن هناك عدم تطابق بين التدريب والاختبار (انحياز التعرض - exposure bias) يعيق هذا النهج. أثناء التدريب، يتم تكييف النماذج مع سجلات حقيقية نظيفة (الإجبار بالمعلم - teacher forcing)، بينما تعتمد في مرحلة الاستنتاج على مخرجاتها السابقة. يؤدي هذا الاستخدام المتكرر للتنبؤات غير المثالية إلى تراكم الأخطاء، مما يتجلى في شكل انزياح الهوية (identity drift)، والنعومة المفرطة، وعدم اتساق الحركة، وعدم التزامن السمعي البصري عبر الآفاق الزمنية الطويلة.

تحاول الحلول الحالية التخفيف من ذلك عبر استرجاع الذاكرة (الذي يفترض وجود سياق نظيف) أو تدريب التمرير الذاتي (الذي يكون مكلفاً حاسوبياً). أما الأساليب خفيفة الوزن الحديثة، مثل Matrix-Game، فتقوم بحقن بقايا التنبؤ (prediction residuals) في تاريخ التكييف لمحاكاة أخطاء وقت الاستنتاج أثناء التدريب. ومع ذلك، تغفل هذه الأساليب خاصية جوهرية لنماذج الانتشار (diffusion models): وهي أن بقايا التنبؤ تعتمد بطبيعتها على مستوى ضجيج تدفق المطابقة ($\sigma$) الذي أُنتجت عنده. تمثل بقايا $\sigma$ العالية انحرافات هيكلية خشنة، بينما تلتقط بقايا $\sigma$ المنخفضة أخطاء التفاصيل الدقيقة. إن إعادة استخدام البقايا دون تمييز عبر مستويات ضوضاء مختلفة يؤدي إما إلى فساد ناقص أو فساد مفرط في التاريخ، مما يفشل في محاكاة توزيع الاستنتاج بأمانة.

بالإضافة إلى ذلك، يفرض التوليد طويل الأمد مشكلات الاستقراء الموضعي (positional extrapolation). تعتمد نماذج الاستمرار القياسية على مؤشرات موضعية مستمرة تنمو مع طول التوليد، مما يجبر النموذج على الاستقراء خارج نطاقات التدريب. وهذا يخلق مصدراً ثانياً لانحياز التعرض.

المنهجية: Vorch-Director

يعالج Vorch-Director هذه التحديات من خلال استراتيجية تصحيح الخطأ المدرك للضجيج المبنية على نموذج LTX-2 (Audio-visual Diffusion Transformer - DiT).

1. حقن البقايا المدرك لـ $\sigma$

الابتكار الجوهري هو استراتيجية توائم الأخطاء المحقونة مع عملية إزالة الضجيج:

• جمع البقايا: أثناء التدريب، يتم جمع بقايا إعادة البناء ($\delta = \hat{x}_0 - x_0$) من الرموز المستهدفة وتخزينها في ذاكرة حلقية (ring buffer). ومن المهم ملاحظة أن كل بقايا يتم وسمها بـ مستوى الضجيج $\sigma$ الذي أُنتجت عنده.
• أخذ العينات المتوافق مع الضجيج: عند تشويه تاريخ التكييف لخطوة إزالة ضجيج معينة بمستوى ضجيج $\sigma$، يقوم النظام بأخذ عينات من البقايا من المخزن المؤقت حيث يحقق مستوى الضجيج المخزن $\sigma'$ الشرط $|\sigma' - \sigma| \leq \tau_\sigma$.
• الحقن: يتم حقن هذه البقايا المتوافقة في رموز التاريخ بقوة $\gamma$ (تُسحب من التوزيع الموحد $U(0.9, 1.2)$). يضمن هذا أن التاريخ "المفسد" المقدم للنموذج أثناء التدريب يحاكي نظام الخطأ المحدد الذي يتعلمه النموذج حالياً لإزالة الضجيج، بدلاً من تطبيق ضجيج عشوائي.

2. استقرار التكييف وتضمينات المهام

لمنع الانهيار الكامل الناتج عن حقن الخطأ والتعامل مع تعقيد تعدد اللقطات:

• مصب التكييف النظيف (Clean Conditioning Sink): يتم إلحاق نافذة قصيرة غير مشوهة (ثانية واحدة) من التاريخ كـ "مصب" ($\tau_{sink}$). يوفر هذا مرجعاً ثابتاً ونظيفاً للنموذج للاسترشاد به، مما يمنع انزياح الهوية بينما يظل باقي التاريخ ($\tau_{hist}$) مشوهاً.
• تضمينات المهام (Task Embeddings): لحل مشكلة الاستقراء الموضعي، يستخدم النموذج تضمينات مهام خفيفة الوزن ($e_\tau$) لتمييز أدوار الرموز (هدف، تاريخ، مصب، صور مرجعية، صوت مرجعي) بدلاً من الاعتماد فقط على المؤشرات الموضعية المتنامية. يسم old هذا بإعادة ضبط المؤشرات الموضعية للمقاطع الجديدة مع الحفاظ على الاتساق الزمني، وفصل الأدوار الدلالية عن الموقع المطلق.
• قالب المطالبة الموحد: يربط قالب مطالبة مهيكل بين المراجع الموضوعية (الصور والصوت) وأوصاف اللقطات، مما يمكن نموذجاً واحداً من التعامل مع مهام تحويل النص إلى فيديو، والصورة إلى فيديو، والاستمرار السمعي البصري.

3. هدف التدريب

يتم تدريب النموذج على مجموعة بيانات مختلطة المهام رباعية المسارات (25% لكل منها):

1. استمرار الفيديو (التاريخ فقط).
2. الاستمرار + صورة (التاريخ + مراجع الموضوع).
3. Subject-IP (توليد مدفوع بالصورة المرجعية).
4. الاستمرار السمعي البصري (فيديو/صوت التاريخ + المراجع).

دالة الخسارة هي خسارة مطابقة التدفق المقنعة (masked flow-matching loss) التي تُطبق فقط على الرموز المستهدفة، مما يضمن بقاء إشارة الإشراف نظيفة بينما يتطابق توزيع السياق مع ظروف الاستنتاج.

المساهمات الرئيسية

1. حقن البقايا المدرك لـ $\sigma$: استراتيجية توائم بقايا التنبؤ مع مستوى مطابقة التدفق المقابل، مما يقلل بشكل كبير من انحياز التعرض في توليد الانتشار التكراري.
2. واجهة تكييف موحدة: نظام تضمين مهام خفيف الوزن يميز بين الفيديو التاريخي، والصور المرجعية، والفيديو المستهدف، مما يسمح بإعادة استخدام الترميز الموضعي عبر خطوات الاستمرار ويقضي على انحياز الاستقراء الموضعي.
3. إطار عمل متكامل: إطار عمل مبني على LTX-2 يجمع بين استراتيجية التدريب المقترحة وتدريب المهام المختلطة، مما يدعم توليد المحتوى السمعي البصري متعدد اللقطات، ومتعدد الموضوعات، والموجه بالمرجع ضمن نموذج واحد.
4. معيار قياس جديد: التقييم على ST-Bench وتقديم معيار جديد طويل الأمد للسمعي البصري يتميز بمقاييس الاتساق بالنسبة للمرتكز (ARC) و الظهور مجدداً (Reappear)، والتي توضح التدهور التدريجي بشكل أفضل من تقييمات اللقطات المتجاورة القياسية.

النتائج

تظهر التجارب المكثفة أن Vorch-Director يحسن الاستقرار والدقة السمعية البصرية مقارنة بالنماذج المرجعية القوية:

• ST-Bench (قصة متعددة اللقطات): يتفوق Vorch-Director على جميع مقاييس الاتساق عبر اللقطات بفارق كبير. ومن الملاحظ أنه يحقق درجة ViCLIP تبلغ 0.7887 مقارنة بأفضل نموذج مرجعي (JoyAI-Echo) الذي سجل 0.5900. كما يتفوق بشكل كبير على النماذج المرجعية في مقاييس الهوية طويلة المدى (ARC: 0.6570 مقابل 0.3961؛ Reappear: 0.6648 مقابل 0.4114).
• UnityShots (T2V & R2V): في إعدادات تحويل النص إلى فيديو (T2V)، يتصدر Vorch-Director في مقاييس ViCLIP وARC وReappear. وفي إعدادات المرجع إلى الفيديو (R2V)، يتفوق على أقوى نموذج مرجعي في جميع مقاييس الاتساق الأربعة.
• المعيار السمعي البصري طويل الأمد: في مهمة توليد دقيقة كاملة مكونة من 22 لقطة مع صوت متزامن:
  • يحسن Vorch-Director كل مقياس اتساق عبر اللقطات مقابل النموذج المرجعي السمعي البصري JoyAI-Echo (على سبيل المثال، ViCLIP 0.6269 مقابل 0.4922).
  • بينما تظهر النماذج المرجعية البصرية فقط (StoryMem, Memento) درجات أعلى في بعض مقاييس التشابه، يشير البحث إلى أن هذه الأنظمة لا تولد صوتاً (مما يحل مشكلة أسهل تقنياً) وتظهر حركة أقل بين الإطارات، مما يضخم درجات التشابه.
  • نوعياً، يحافظ Vorch-Director على إمكانية التعرف على البطل وسلامة المشهد عبر 22 لقطة دون الفساد اللوني أو انهيار الهوية الذي شوهد في نماذج مثل Memento وStoryMem.

الأهمية والادعاءات

يزعم البحث أن العائق الرئيسي أمام التوليد السمعي البصري ذي المدة الطويلة ليس طول السياق نفسه، بل عدم تطابق التاريخ الناتج عن انحياز التعرض. ومن خلال مواءمة البقايا المحقونة مع عملية إزالة الضجيج عبر الوعي بمستوى الضجيج، ينتج Vorch-Director تواريخ تكرارية أكثر واقعية مع الاحتفاظ بكفاءة التدريب باستخدام الإجبار بالمعلم.

يضع المؤلفون Vorch-Director كتحسين متعامد مع آليات الذاكرة والبوابات الموجودة؛ فبدلاً من تقرير ماذا يسترجع من التاريخ، فإنه يجعل نموذج الاستمرار الأساسي قوياً في مواجهة التاريخ المسترجع أو المولد غير المثالي. يوضح العمل أن نموذجاً واحداً يمكنه دعم توليد سمعي بصري معقد، متعدد اللقطات، متعدد الموضوعات، ومتزامن، مما يعالج مشكلات الانزياح وعدم التزامن التي تحد حالياً من التوليد المرئي التكراري. يشير البحث بتواضع إلى أن سد الفجوة مع الأنظمة البصرية فقط مع الحفاظ على الصوت المتزامن يظل تحدياً مفتوحاً، لكن Vorch-Director يمثل خطوة كبيرة نحو التوليد المستقر طويل الأمد.