Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length
تقدم هذه الورقة Live Avatar، وهو إطار عمل خوارزمي-نظام مصمم بشكل مشترك يتيح أول توليد عملي، في الوقت الفعلي، وبطول لانهائي لصور رمزية (avatars) مدفوعة بالصوت ذات 14 مليار معلمة، وذلك عبر الجمع بين خط معالجة انتشار سببي مكرر (distilled causal diffusion pipeline) وتوازي خط أنابيب فرض الخطوات الزمنية (Timestep-forcing Pipeline Parallelism) لتحقيق 45 إطاراً في الثانية مع القضاء على انحراف الهوية طويل المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية سرد قصة. تريد منه أن يتحدث، ويحرك شفتيه، ويغير تعبيرات وجهه بتزامن تام مع صوتك، كل ذلك بينما يبدو كإنسان حقيقي. هذا هو عالم توليد الصور الرمزية المدفوعة بالصوت (audio-driven avatar generation). لفترة طويلة، كان العلماء يبنون "ممثلين رقميين" باستخدام نوع من الذكاء الاصطناعي يسمى نموذج الانتشار (diffusion model). فكر في نموذج الانتشار كأنه نحات يبدأ بكتلة من الضجيج الساكن ثم يقوم تدريجياً بنحت الضجيج ليكشف عن تمثال مثالي. عادةً ما يعمل هذا النحات بترتيب صارم للغاية: يجب عليه إنهاء الرأس قبل أن يبدأ في الجسد، ويجب أن يفعل ذلك خطوة بخกัน، مما يستغرق وقتاً طويلاً.
المشكلة الكبيرة هي أنه إذا طلبت من هذا الروبوت سرد قصة لمدة ساعة، فإنه يميل إلى الارتباك. قد ينسى كيف كان شكل وجه الشخصية قبل خمس دقائق، أو قد يبدأ صوته في التحول ليبدو كشخص مختلف تماماً. يُسمى هذا "الانحراف" (drift). علاوة على ذلك، ولأن النحات يعمل ببطء، لا يمكنك إجراء محادثة حقيقية معه في الوقت الفعلي؛ فبحلول الوقت الذي ينتهي فيه من جملة، ستكون قد نسيت بالفعل ما قلته. كان الهدف للباحثين هو بناء ممثل رقمي سريع بما يكفي للتحدث إليك مباشرة، وذكي بما يكفي للحفاظ على هويته لساعات، ودقيق بما يكفي ليكون واقعياً للغاية.
إليك Live Avatar، وهو مشروع جديد يعمل مثل قائد أوركسترا ماهر لمجموعة ضخمة من شرائح الكمبيوتر. لقد اكتشف الباحثون وراء هذا العمل، بقيادة فرق من جامعة العلوم والتكنولوجيا في الصين وشركة علي بابا، كيفية جعل نموذج ذكاء اصطناعي ضخم يحتوي على 14 مليار معلمة (نموذج "14B"، وهو ضخم في عالم الذكاء الاصطناعي) يتحدث، ويتحرك، ويبث الفيديو في الوقت الفعلي دون أن يفقد اتزانه.
عادةً، يكون صنع فيديو بهذا الطول وهذه السرعة تناقضاً. يمكنك الحصول على السرعة، أو الجودة، ولكن ليس كليهما. يحل Live Avatar هذه المشكلة عن طريق تغيير طريقة "تفكير" الذكاء الاصطناعي في الوقت والذاكرة. بدلاً من محاولة تذكر كل تفصيل مثالي من الماضي (مما يسبب ارتباك الذكاء الاصطناعي وانحرافه)، يقوم النظام بتخزين ذاكرة "ضوضائية". تخيل محاولة تذكر أغنية من خلال دندنة اللحن بشكل تقريبي بدلاً من محاولة استحضار كل نوتة موسيقية بدقة؛ هذه الذاكرة "التقريبية" تعمل كمرشح، مما يحافظ على استقرار وجه الشخصية بينما يسمح للفم بالتحرك بشكل طبيعي.
ابتكر الفريق أيضاً طريقة ذكية لتسريع العملية تسمى التوازي المتوازي للخطوات الزمنية (Timestep-forcing Pipeline Parallelism). تخيل خط تجميع في مصنع حيث، بدلاً من أن يقوم عامل واحد بكل خطوة من خطوات بناء سيارة، لديك فريق من العمال. في نموذج فيديو عادي، ينتظر كل عامل انتهاء العامل السابق قبل أن يبدأ. يغير Live Avatar القواعد: يتم تخصيص خطوة محددة لكل عامل في الخط (أو لكل شريحة كمبيوتر، المعروفة باسم GPU). فبينما يقوم العامل (أ) بتلميع العجلات، يقوم العامل (ب) بطلاء الباب، ويقوم العامل (ج) بتركيب المحرك، وكل ذلك في نفس الوقت. هذا يحول عملية تسلسلية بطيئة إلى عملية متوازية سريعة.
النتائج مبهرة. في إعداد يحتوي على 5 من بطاقات الرسوميات القوية H100، يمكن لـ Live Avatar توليد فيديو بسرعة 45 إطاراً في الثانية (FPS)، وهي أسرع من سرعة الرؤية البشرية. يستغرق الأمر 1.21 ثانية فقط لبدادة توليد الإطار الأول بعد تحدثك. والأهم من ذلك، يمكنه الاستمرار للأبد. اختبره الباحثون بجعل الصورة الرمزية تتحدث لأكثر من 10,000 ثانية (أي ما يقرب من ثلاث ساعات متواصلة)، ولم تنحرف الشخصية، ولم يحدث بها خلل، ولم تفقد هويتها.
هذا ليس مجرد فوز نظري؛ فقد بنى الفريق ساحة اختبار جديدة تسمى GenBench لإثبات أن الطرق الأخرى تفشل في المدد الطويلة بينما ينجح منهجهم. وجدوا أنه بينما قد تبدو الأنظمة الأخرى جيدة لبضع ثوانٍ، إلا أنها تبدأ في التدهور، أو تغير الألوان، أو تفقد ملامح الشخص بعد بضع دقائق. ومع ذلك، يظل Live Avatar ثابتاً. وهذا يشير إلى أنه من خلال الجمع بين استراتيجية "الذاكرة الضوضائية" ونظام خط التجميع الذكي، يمكننا أخيراً الحصول على بشر رقميين مستعدين لمحادثات لانهائية وفي الوقت الفعلي.
ينفي البحث صراحةً فكرة أنك بحاجة لتدريب الذكاء الاصطناعي على ساعات من الفيديو لجعله يعمل لساعات. بدلاً من ذلك، أظهروا أن التدريب على مقاطع قصيرة (حوالي 3 ثوانٍ) كافٍ، بشرط استخدام خدعة "التاريخ الضوضائي" الخاصة بهم. كما جادلوا ضد الاعتقاد القديم بأنه يجب عليك الاختيار بين نموذج سريع ومنخفض الجودة، أو نموذج بطيء وعالي الجودة. مع طريقتهم، يمكنك الحصول على نموذج ضخم وعالي الجودة يعمل في الوقت الفعلي.
بينما النظام سريع للغاية، يشير المؤلفون إلى أنه لا يزال هناك تأخير بسيط. الوقت من لحظة تحدثك حتى ظهور الفيديو على الشاشة يبلغ حوالي 3 ثوانٍ عند تضمين وقت انتقال الشبكة. هذا سريع بما يكفي للعديد من التفاعلات، ولكنه قد لا يكون سريعاً بما يكفي لمحادثة سلسة وجهاً لوجه حيث كل ميلي ثانية لها أهميتها. ومع ذلك، بالنسبة للبث، والمساعدين الافتراضيين، وسرد القصص الرقمي، فإن هذه قفزة هائلة للأمام، مما يشير إلى أن عصر الصور الرمزية الرقمية اللانهائية وفي الوقت الفعلي لم يعد مجرد حلم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.