LeapTalk: Breaking the Latency-Quality Trade-off in Talking Head Generation

تخيل أنك تحاول تعليم روبوت سرد قصة باستخدام صورة واحدة فقط لشخص وتسجيل لصوته. تريد من الروبوت ألا يكتفي بتحريك فم الشخص فحسب، بل أن يجعله يرمش، ويبتسم، ويحرك رأسه بشكل طبيعي، مع الحفاظ على ملامح وجهه لتكون مطابقة تماماً للشخص الموجود في الصورة. هذا هو عالم "توليد الرؤوس المتحدثة" (talking-head generation)، وهو فرع من فروع الذكاء الاصطنا-عي يحاول بث الحياة في الصور الثابتة. لفترة طويلة، ظل العلماء عالقين في صراع محبط؛ فمن ناحية، هناك طرق تبدو واقعية للغاية ولكنها بطيئة جداً لدرجة أنها تستغرق دقائق لتوليد بضع ثوانٍ فقط من الفيديو — كأنك تشاهد طلاءً يجف ببطء شديد. ومن ناحية أخرى، هناك طرق سريعة بما يكفي للعمل في الوقت الفعلي، لكنها تميل إلى الارتباك مع مرور الوقت؛ فقد يبدأ وجه الشخص بالذوبان، أو تزيغ عيناه، أو يتوقف شفتيه عن مطابقة الكلمات. الأمر يشبه محاولة الجري في ماراثون: يمكنك الركض بسرعة وتتعب سريعاً، أو تمشي ببطء وتظل ثابتاً، لكن الجمع بين الاثنين معاً بدا مستحيلاً.

يقدم هذا البحث نظاماً جديداً يسمى LeapTalk يدعي كسر هذا الجمود. يقترح الباحثون طريقة لتوليد فيديوهات للرؤوس المتحدثة تكون سريعة للغاية (تصل إلى 200 إطار في الثانية) ومستقرة بما يكفي للعمل لساعات دون أن ينحرف وجه الشخص أو يتدهور. لقد حققوا ذلك عبر تغيير الرياضيات الأساسية لكيفية "تفكير" الذكاء الاصطناعي في إنشاء الفيديو. فبدلاً من بناء الفيديو من الصفر باستخدام الضوضاء العشوائية في كل مرة، يعامل LeapTalk العملية كرحلة موجهة بين نقطتين ثابتتين: الصورة الأصلية والإطار الجديد. ومن خلال ربط الفيديو بالصورة الأصلية في كل خطوة، يمنع النظام الشخص من "نسيان" كيف يبدو شكله، حتى بعد دقائق من التحدث.

المشكلة: فخ السرعة مقابل الجودة

لفهم سبب أهمية LeapTalk، يجب أن ننظر إلى الطريقتين الرئيسيتين اللتين يحاول بهما الذكاء الاصطناعي حالياً صنع هذه الفيديوهات، ولماذا تعاني كلتاهما من عيوب كبيرة.

النهج الأول يشبه الرسام الدقيق والبطيء. هذه الأنظمة (التي تسمى غالباً نماذج الانتشار - diffusion models) تبدأ بلوحة بيضاء مليئة بالضوضاء الساكنة وتقوم بمسح الضوضاء ببطء للكشف عن الصورة. ولصنع فيديو، يتعين عليها القيام بعملية المسح هذه مرات عديدة لكل إطار واحد. النتيجة هي فيديو جميل وعالي الجودة، لكن الأمر يستغرق وقتاً طويلاً جداً. إذا أردت مقطعاً مدته 10 ثوانٍ، فقد تضطر للانتظار دقائق. علاوة على ذلك، فإن هذه الأنظمة مصممة عادة للعمل "أوفلاين" (غير متصل بالإنترنت)، مما يعني أنها لا تستطيع بث الفيديو حياً أثناء حديثك.

النهج الثاني يشبه الرسام السريع والمتسرع. هذه الأنظمة (تسمى النماذج ذات الترتيب الذاتي - autoregressive models) تحاول توليد الفيديو إطاراً تلو الآخر، باستخدام الإطار السابق لتخمين الإطار التالي. إنها أسرع بك كثيراً ويمكنها بث الفيديو في الوقت الفعلي. ومع ذلك، تعاني من مشكلة تسمى "تراكم الأخطاء". تخيل أنك تلعب لعبة "الهاتف المكسور" حيث تهمس برسالة عبر صف طويل من الناس؛ بحلول الوقت الذي تصل فيه الرسالة إلى النهاية، تكون قد تغيرت تماماً. في هذه النماذج، تتضاعف الأخطاء الصغيرة في الإطارات الأولى وتنتقل عبر السلسلة. بعد دقيقة أو دقيقتين، قد يبدأ وجه الشخص في التحول ليبدو كشخص آخر، أو قد تتوقف شفتاه عن الحركة مع الصوت، أو قد يتحول الفيديو إلى كتلة ضبابية.

حل LeapTalk: استراتيجية "الجسر"

يقترح LeapTalk حلاً وسطاً ذكياً. يقترح المؤلفون أن نتوقف عن التفكير في توليد الفيديو كعملية "مسح للضوضاء" ونبدأ في التفكير فيه كعملية بناء جسر.

1. الجسر البراوني (Brownian Bridge): تثبيت الرحلة
في طريقة "الضوضاء إلى البيانات" القديمة، يبدأ الذكاء الاصطناعي من لا شيء (الضوضاء) ويحاول تخمين الوجهة. في LeapTalk، يبدأ الذكاء الاصطناعي بمرساة صلبة: الصورة المرجعية للشخص. لقد استخدموا مفهوماً رياضياً يسمى الجسر البراوني. تخيل أن لديك شريطاً مطاطياً؛ أحد طرفيه مثبت في صورة الشخص (نقطة البداية)، والطرف الآخر مثبت في الإطار الجديد الذي تريد إنشاءه (الوجهة). يمثل الشريط المطاطي المسار الذي يتخذه الذكاء الاصطناعي لتوليد الفيديو.

ولأن الشريط المطاطي مثبت من كلا الطرفين، فإن الذكاء الاصطناعي لا يفقد رؤية الوجه الأصلي أبداً. حتى لو كان الفيديو مدته 10 دقائق، فإن كل جزء جديد من الفيديو يظل مرتبطاً بالصورة الأصلية. هذا يمنع تأثير "لعبة الهاتف" حيث ينحرف الوجه تدريجياً عن الهوية الأصلية. يشير البحث إلى أن طريقة "فرض الجسر" (Bridge Forcing) هذه تحافظ على اتساق الشخص، حتى في الفيديوهات الطويلة.

2. التقطير غير المتجانس (Heterogeneous Distillation): زر التقديم السريع
حتى مع وجود الجسر، فإن حساب المسار إطاراً بإطار يمكن أن يظل بطيئاً. يحتاج LeapTalk للقيام بذلك في خطوة واحدة ليكون سريعاً حقاً في الوقت الفعلي. ولتحقيق ذلك، استخدموا تقنية تسمى التقطير (Distillation). فكر في هذا كمعلم ماهر (ذكاء اصطناعي بطيء وعالي الجودة) يعلم طالباً (ذكاء LeapTalk السريع) كيفية تخطي الخطوات الوسطى.

عادةً، يتعلم المعلم والطالب بنفس الطريقة. لكن هنا، يستخدم المعلم طريقة "مطابقة التدفق" (flow-matching) البطيئة، بينما يستخدم الطالب طريقة "الجسر" السريعة. ولجعلهم يفهمون بعضهم البعض، ابتكر المؤلفون تحويلاً زمنياً. إنه يشبه الترجمة بين لغتين مختلفتين تقيسان الوقت بشكل مختلف. لقد ابتكروا صيغة خاصة لمواءمة "مستويات الضوضاء" بين المعلم والطالب بحيث يمكن للطالب تعلم عادات المعلم عالية الجودة دون الحاجة إلى اتباع المسار البطيء.

3. الدليل المدفوع بالصوت (Audio-Driven Guide): الحفاظ على تزامن الشفاه
عندما تتخطى الخطوات لتكون سريعاً، فإنك غالباً ما تفقد التفاصيل الدقيقة، مثل الحركات الطفيفة للشفاه. لإصلاح ذلك، يضيف LeapTalk دليلاً مدفوعاً بالصوت. تخيل قائد أوركسترا يقود الفرقة؛ يستمع الذكاء الاصطناعي إلى المسار الصوتي ويستخدمه لإجبار الفيديو على مطابقة الصوت تماماً، حتى أثناء توليد الفيديو في خطوة واحدة فقط. هذا يضمن أن تتحرك الشفاه بدقة مع الكلمات، مما يمنع المظهر "الروبوتي" الذي يحدث غالباً في توليد الفيديو السريع.

ما توصلوا إليه

اختبر الباحثون LeapTalk على مجموعة بيانات للرؤوس المتحدثة وقارنوه بأفضل الطرق الأخرى. إليكم ما تشير إليه تجاربهم:

• السرعة: يمكن لـ LeapTalk توليد فيديو بسرعة تصل إلى 200 إطار في الثانية (FPS) على وحدة معالجة رسومات قوية واحدة. هذه قفزة هائلة مقارنة بالطرق الأخرى التي غالباً ما تكافح للوصات إلى 15 أو 20 إطاراً في الثانية.
• الاستقرار: في الاختبارات التي ولدوا فيها فيديوهات تصل مدتها إلى 12 دقيقة، حافظ LeapTalk على شكل وجه الشخص كما هو. بدأت الطرق الأخرى تظهر "انحراف الهوية"، حيث يتغير وجه الشخص أو يبدو مشوهاً بمر over الوقت. يشير البحث إلى أن LeapTalk حافظ على درجة تشابه عالية مع الصورة الأصلية طوال الفيديو بالكامل.
• تزامن الشفاه: حقق النظام درجات عالية في مطابقة الشفاه مع الصوت، حتى مع استخدام خطوة واحدة فقط من التوليد. الطرق الأخرى التي حاولت التوليد في خطوة واحدة غالباً ما أنتجت حركات شفاه ضبابية أو غير دقيقة.
• الجودة: كانت جودة الفيديو حادة وتفصيلية. وجد الباحثون أن إزالة أي من خدعهم الثلاث الرئيسية (الجسر، أو التحويل الزمني، أو الدليل الصوتي) أدى إلى انخفاض الجودة بشكل كبير، مما يثبت أن جميع الأجزاء الثلاثة كانت ضرورية.

الحكم النهائي

يوضح LeapTalk أننا لسنا مضطرين للاختيار بين فيديو بطيء ومثالي، وفيديو سريع ومليء بالأخطاء. من خلال التعامل مع توليد الفيديو كرحلة موجهة بين نقطتين ثابتتين (الصورة والإطار الجديد) واستخدام نظام ترجمة ذكي لتعليم الذكاء الاصطناعي كيفية تخطي الخطوات، نجح المؤلفون في إنشاء نظام يتميز بالسرعة والاستقرار معاً. وبينما يركز البحث على النجاح التقني للطريقة، فإن النتائج تشير إلى أن هذا النهج يمكن أن يجعل الصور الرمزية الرقمية عالية الجودة في الوقت الفعلي أمراً واقعاً لأشياء مثل المساعدين الافتراضيين وإنشاء المحتوى المباشر، مما يكسر أخيراً المقايضة الطويلة بين السرعة والجودة.