Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
يُعد Talker-T2AV إطار عمل انتشار ذاتي الانحدار لتوليد الصوت والفيديو بشكل مشترك، وهو يحقق تماسكاً وكفاءة فائقتين عبر الوسائط من خلال استخدام عمود فقري مشترك للاستدلال الدلالي عالي المستوى وفك تشفير خاص بكل وسيط للتحسين منخفض المستوى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إخراج مشهد سينمائي حيث يتعين على ممثل إلقاء خطاب. لجعل الأمر يبدو واقعيًا، تحتاج إلى حدوث شيئين في وقت واحد وبمثالية: يجب على الممثل نطق الكلمات الصحيحة بالعاطفة الصحيحة (الصوت)، ويجب أن تتحرك شفتاه ووجهه بتزامن تام مع تلك الكلمات (الفيديو).
في عالم الذكاء الاصطناعي، تحاول معظم النماذج القيام بذلك بإحدى طريقتين، وكلتاهما بها عيوب. إحدى الطرق تشبه "سباق التتابع" (الأنبوب المتتالي): أولاً، يقوم ذكاء اصطناعي بكتابة الصوت، ثم يقوم ذكاء اصطناعي ثانٍ بمراقبة هذا الصوت ومحاولة تحريك الوجه. المشكلة؟ إذا تعثر العداء الأول (الصوت) أو أسرع أكثر من اللازم، فلن يتمكن العداء الثاني (الفيديو) من اللحاق به، وسيبدو تزامن الشفاه مثل فيلم ك kung-fu مدبلج بشكل سيء. الطريقة الأخرى تشبه "العقدة المتشابكة" (الانتشار ثنائي المسار): حيث يتم إنشاء كل من الصوت والفيديو في نفس الوقت في "حساء" واحد كبير وفوضوي. وبينما يظلان متزامنين، يصاب الذكاء الاصطناعي بالارتباك لأن محاولة فهم "نسيج الصوت" هي وظيفة مختلفة تمامًا عن فهم "نسيج الجلد والضوء".
يقدم Talker-T2AV طريقة ثالثة أكثر ذكاءً: المهندس المعماري الرئيسي والمتخصصان.
1. المهندس المعماري الرئيسي (العمود الفقري التكراري)
بدلاً من القفز مباشرة إلى التفاصيل، يبدأ النموذج بـ "مهندس معماري رئيسي". هذا الجزء من الذكاء الاصطناعي لا يهتم بالاهتزازات الدقيقة للصوت أو بالطريقة التي يسقط بها الضوء على عظمة الخد. هو يهتم فقط بـ المخطط.
فكر في هذا الأمر كقائد أوركسترا. القائد لا يعزف على الكمان أو الطبول؛ هو فقط يلوح بعصاه ليقول: "في هذه الثانية بالضبط، نحتاج إلى نوتة عالية وسعيدة، وعلى عازف الطبول أن يضرب الصنج". هذا "المهندس المعماري" ينظر إلى النص الذي قدمته ويقوم بإنشاء جدول زمني رفيع المستوى لما يجب أن يحدث ومتى يحدث.
2. المتخصصان (رؤوس الانتشار)
بمجرد أن يضع المهندس المعماري المخطط، فإنه يسلم التعليمات إلى خبيرين منفصلين:
- مهندس الصوت (رأس الصوت): يأخذ هذا المتخصص المخطط ويركز تمامًا على موسيقى الصوت البشري — طبقة الصوت، والنبرة، والإيقاع.
- مدير التصوير (رأس الفيديو): يأخذ هذا المتخصص نفس المخطط تمامًا ويركز تمامًا على الرقص البصري — كيف تتشكل الشفاه حول صوت حرف "P" أو كيف تتقلص العينان أثناء الضحك.
ولأنهما ينظران إلى نفس المخطط، فإنهما يظلان متزامنين تمامًا. ولكن لأنهما خبيران منفصلان، فإن مهندس الصوت لا يتشتت بـ "الأنسجة البصرية"، ومدير التصوير لا يتشتت بـ "ترددات الصوت". وهذا يجعل كلاهما أفضل بكثير في مهامه المحددة.
لماذا يعد هذا أمرًا مهمًا؟ (تأثير "السكين السويسري")
لأن هذا النموذج يستخدم نظام "المخطط المشترك"، فهو مرن للغاية. إنه يشبه السكين السويسري للرؤوس المتحدثة:
- من النص إلى الفيديو: تعطيه نصًا، فيقوم ببناء الأوركسترا بأكملها من الصفر (صوت + فيديو).
- من الصوت إلى الفيديو: تعطيه تسجيلًا، فيقوم فقط بتفعيل "مدير التصوير" لتحريك وجه ليتناسب معه.
- من الفيديو إلى الصوت (الدبلجة): تعطيه فيديو صامتًا، فيقوم فقط بتفعيل "مهندس الصوت" لإنشاء التعليق الصوتي المثالي.
النتيجة
باختصار، يتوقف Talker-T2AV عن محاولة القيام بكل شيء في آن واحد في ضبابية فوضوية. من خلال فصل "التخطيط" عن "الرندرة" (التصيير)، فإنه يخلق بشرًا رقميين يتحدثون بوضوح أكبر، ويبدون أكثر واقعية، والأهم من ذلك، لا يفوتون أي نبضة أبدًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.