StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration
يُعد StreamChar إطار عمل للبث المباشر في الوقت الفعلي لتوليد الصوت والفيديو للشخصيات طويل الأمد، حيث يفصل بين التنسيق القائم على النماذج اللغوية الكبيرة وبين إزالة الضجيج المشترك للصوت والفيديو، ويستخدم مسار تقطير ثنائي المراحل مع محاذاة مدركة للتقدم وذاكرة كتل الغمر لتحقيق دقة عالية وتزامن واستقرار ضمن ميزانيات زمن انتقال صارمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تُخرج مسرحية تفاعلية حية، حيث يجب على الممثل إلقاء نص، والتحرك بشكل طبيعي، وأن يبدو تماماً مثل نفسه، كل ذلك بينما يشاهده الجمهور في الوقت الفعلي. القيام بذلك لبضع ثوانٍ أمر صعب؛ لكن القيام به لدقائق دون أن ينسى الممثل نصوصه، أو يفقد ملامح وجهه، أو يتلعثم، هو كابوس حقيقي.
تقدم هذه الورقة البحثية StreamChar، وهو نظام جديد صُمم لحل هذه المشكلة تحديداً: توليد تدفقات طويلة ومستمرة لشخصية تتحدث وتتحرك من نص مكتوب، وكل ذلك في الوقت الفعلي.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة الجوهرية: "السير على حبل مشدود"
معظم مولدات الفيديو بالذكاء الاصطناعي تشبه طالباً يؤدي اختباراً: يمكنهم كتابة مقال رائع (مقطع فيديو قصير) إذا أُعطوا وقتاً كافياً للتفكير. ولكن إذا طلبت منهم كتابة رواية كاملة (فيديو طويل) جملة بجملة، فإنهم يميلون إلى:
- نسيان الحبكة: ينحرفون عن النص الأصلي.
- فقدان الهوية: يبدأ وجه الشخصية في التحول أو التغير.
- التعثر: يختل التزامن بين الصوت والفيديو (لا تتطابق حركة الشفاه مع الكلمات).
- البطء الشديد: عادة ما يتطلب الفيديو عالي الجودة من الذكاء الاصطناعي أن "يفكر" لفترة طويلة، مما يكسر قاعدة "الوقت الفعلي".
2. الحل: فريق من شخصين (التنسيق المنفصل)
بدلاً من إجبار عقل واحد ضخم للذكاء الاصطناعي على القيام بكل شيء في وقت واحد، يقسم StreamChar المهمة إلى دورين متخصصين، مثل المخرج والممثل.
- المخرج (منسق النماذج اللغوية الكبيرة - LLM Orchestrator): هذا ذكاء اصطناعي ذكي لغوياً. مهمته الوحيدة هي قراءة النص وسجل ما حدث للتو. هو لا يرسم الفيديو، بل يحدد فقط ما الذي يجب أن يُقال وكيف يجب أن يكون صوته في الجزء التالي. يعمل كدليل "متوافق مع الإطار"، مما يضمن بقاء الشخصية ملتزمة بالنص.
- الممثل (نموذج الانتشار عبر الزمن - DiT): هذا هو الذكاء الاصطناعي لصناعة الفيديو. يتلقى تعليمات المخرج ويركز فقط على المهمة الفورية: جعل شفاه الشخصية تتحرك وجسدها يتغير خلال الثواني القليلة القادمة. ولأنه ليس مضطراً للقلق بشأن النص بأكمله، يمكنه التركيز على الحركة الطبيعية عالية الجودة.
3. الحفاظ على استمرارية العرض: "المرساة" و"المؤشر"
حتى مع وجود مخرج وممثل، يمكن للأخطاء أن تتراكم بمرور الوقت. يستخدم StreamChar خدعتين ذكيتين لمنع العرض من الانهيار:
- كتلة الغرق (المرساة - The Sink-Chunk): تخيل أن الثواني الأولى من الفيديو هي مرساة ثقيلة أُلقيت في المحيط. كل كتلة فيديو جديدة يتم توليدها لاحقاً تكون "مربوطة" بهذه المرساة الأصلية. هذا يمنع وجه الشخصية من الانحراف أو تغير المظهر مع زيادة طول الفيديو.
- المؤشر المدرك للتقدم (المايسترو - The Progress-Aware Pointer): بينما يقوم الذكاء الاصطناعي بتوليد الصوت، يعمل هذا الأداة مثل عصا المايسترو، حيث يتحقق باستمرار: "هل أنهينا للتو هذه الجملة من النص؟" يضمن ذلك معرفة الذكاء الاصطناعي بالضبط أين يتوقف في الكتلة الحالية ويبدأ في التالية، مما يحافظ على تطابق النص والصوت بشكل مثالي.
4. تسريع العملية: "المعسكر التدريبي" (التقطير على مرحلتين)
عادة ما يستغرق توليد الفيديو عالي الجودة وقتاً طويلاً (مثل رسام دقيق وبطيء). ولجعله سريعاً بما يكفي للبث في الوقت الفعلي، استخدم الفريق عملية تدريب من خطوتين:
- المرحلة الأولى (العدو السريع): علموا الذكاء الاصطناعي رسم لوحة في 4 ضربات فرشاة فقط بدلاً من 50. جعل هذا الأمر سريعاً، لكن النتائج كانت جامدة ومتكررة بعض الشيء.
- المرحلة الثانية (البروفة): تركوا الذكاء الاصطناعي يتدرب على تقديم العرض بأكمله (توليد كتلة تلو الأخرى) بمفرده. إذا ارتكب خطأ في الكتلة الأولى، فإنه يتعلم كيفية تصحيحه في الكتلة الثانية. هذه "البروفة" علمت الذكاء الاصطناعي كيفية البقاء مستقراً ومتسقاً عبر فترات طويلة دون فقدان الجودة.
5. النتائج
عند اختباره، أثبت StreamChar قدرته على العمل على شريحة كمبيوتر واحدة قوية (H100 GPU) وتوليد الفيديو بنفس سرعة مشاهدة البشر له (الوقت الفعلي).
- يلتزم بالنص: تقول الشخصية بالضبط ما يقوله النص.
- يلتزم بالشخصية: لا يتغير الوجه أو ينحرف عبر دقائق من الفيديو.
- يتحرك بشكل طبيعي: على عكس الطرق الأخرى التي تكتفي بهز الفم فقط، يقوم هذا النظام بتحريك الجزء العلوي من الجسم واليدين بشكل طبيعي.
باختصار: StreamChar يشبه توظيف مشرف نص مخصص وممثل موهوب تدربا معاً بشكل جيد للغاية بحيث يمكنهما تقديم مسرحية مثالية تستمر لساعات في الوقت الفعلي، دون نسيان سطر واحد أو فقدان ملابسهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.