Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

تخيل عالماً حيث يمكن للحاسوب أن يشاهد وصفاً لمشهد ما ويقوم فوراً بإنشاء مقطع فيديو مكتملاً بالصوتات التي تنتمي إليه. إذا كتبت "كلب ينبح في حديقة"، فإن الآلة تولد المشهد البصري للحديقة والصوت الخاص بالنباح. لقد تطورت هذه التكنولوجيا، المعروفة باسم التوليد من النص إلى الفيديو والصوت، بسرعة كبيرة، مما سمح للآلات بتخليق مشاهد كاملة من الكلمات وحدها. ومع ذلك، ظل هناك قصور كبير مستمراً: فبينما يمكن للحاسوب أن يقرر ماهية الأصوات التي يصدرها، فإنه لا يستطيع تحديد مَن يصدرها. إن الصوت الذي يتحدث أو ينبح في المخرج هو في الأساس عشوائي، مستمد من مجموعة واسعة من الاحتمالات التي تعلمتها الآلة، مما يترك المبدعين غير قادرين على تحديد أن شخصية معينة يجب أن تبدو بصوت شخص محدد. هذا النقص في التحكم جعل من الصعب استخدام هذه الأدوات للقصص الشخصية، أو دبلجة الشخصيات الكرتونية، أو إضفاء صوت فرد معين على صورة رمزية رقمية.

في الوقت نفسه، أتقن فرع مختلف من الذكاء الاصطناعي فن استنساخ الصوت، حيث يمكن للنظام محاكاة نبرة فريدة لشخص ما بعد سماع بضع ثوانٍ فقط من حديثه. ومع ذلك، فإن أنظمة استنساخ الصوت هذه تقتصر بصرامة على الصوت فقط؛ فهي لا تستطيع توليد الفيديو المصاحب، وغالباً ما تتطلب هياكل متخصصة ومعقدة مبنية من الصفر. وقد كان التحدي الذي واجه الباحثين هو الجمع بين هذين العالمين: أخذ مولد فيديو وصوت قوي وتعليمه كيفية نسخ صوت معين دون تدمير قدرته على إنشاء مشاهد واقعية أو تطلب إعادة بناء كاملة للنظام.

لقد أظهر فريق من الباحثين طريقة بسيطة بشكل مدهش لسد هذه الفجوة. فقد أظهروا أن نموذجاً ضخماً موجوداً مسبقاً قادراً على توليد كل من الفيديو والصوت يمكن تحويله إلى أداة لاستنساخ الصوت عن طريق إضافة طبقة واحدة صغيرة وفارغة من الروابط الرياضية فوق وحدة معالجة الصوت الخاصة به. تبدأ هذه الطبقة الجديدة بدون أي معلومات متعلمة، مما يعني أن النموذج يتصرف تماماً كما كان يفعل قبل التغيير. قام الباحثون بعد ذلك بتدريب هذا النظام المعدل لفترة قصيرة نسبياً باستخدام طريقة محددة؛ حيث غدوا النموذج بتسجيل قصير لصوت المتحدث المستهدف جنباً إلى جنب مع الوصف النصي. تعلم النظام الاستماع إلى ذلك التسجيل واستخدام خصائص الصوت الفريدة الخاصة به لتشكيل الصوت الجديد الذي يولده، كل ذلك مع الحفاظ على عملية توليد الفيديو سليمة.

يكمن مفتاح هذا النجاح في كيفية تقديم الباحثين للصوت المرجعي إلى الآلة. فقد استخدموا إشارتين متكاملتين؛ أولاً، أخذوا التمثيل الرقمي للتسجيل المرجعي القصير ووضعوه في بداية تدفق البيانات الصوتية، مما سمح للنموذج بالنظر إلى الخلف باستمرار أثناء إنشاء أصوات جديدة. ثانياً، استخرجوا ملخصاً واحداً مدمجاً لصوت المتحدث واستخدموه لتدفع نبرة كل صوت ينتجه النموذج بلطف. تطلب هذا النهج طبقة خطية واحدة جديدة فقط، وهي إضافة صغيرة تم تهيئتها إلى الصفر حتى لا يتم تعطيل النموذج خلال المراحل الأولى من التعلم. ومن خلال تدريب النظام على الانتباه لهذه الإشارات، تمكن الباحثون من نسخ طابع الصوت، أو "اللون" الفريد للصوت، بدقة عالية.

تم اختبار نتائج هذا النهج مقابل خمسة أنظمة رائدة أخرى لاستنساخ الصوت باستخدام معيار يتضمن 674 زوجاً فريداً من النص والصوت لـ 30 متحدثاً مختلفاً. تفوق النموذج الجديد، الذي يحتوي على خمسة مليارات معلمة، على جميع الأنظمة الأخرى في قدرته على مطابقة صوت المتحدث المستهدف. لقد حقق أعلى الدرجات عبر ثلاث شبكات تحقق مستقلة، وهي أدوات متخصصة مصممة لقياس مدى تشابه صوتين مع بعضهما البعض. وجد الباحثون أن نموذجهم يمكنه التقاط السمات الطبيعية الدقيقة لصوت المتحدث، بما في ذلك النسيج الصوتي المحدد الذي يجعل الصوت مميزاً، حتى لو كان ذلك يعني أن الكلام الناتج قد يحتوي أحياناً على أخطاء طفيفة في اختيار الكلمات. يشير هذا المقايضة إلى أن النموذج يعطي الأولوية لإعادة البناء الأصيلة لصوت المتحدث على الدقة النصية المثالية، وهو سلوك يختلف عن الأنظمة الأخرى التي تميل إلى إنتاج أصوات أكثر نظافة ولكن أقل تميزاً.

ثمة فائدة غير متوقعة لهذا الهيكل، وهي إمكانية فصل أجزاء الفيديو والصوت من النظام خلال المرحلة النهائية من الإنشاء. ولأن النموذج صُمم بهيكل غير متماثل، حيث تتم معالجة تدفقات الصوت والفيديو بشكل مختلف ولكنها متصلة، وجد الباحثون أنه يمكنهم تشغيل الجزء الصوتي من النموذج بمفرده. سمح لهم ذلك بتوليد الصوت المستنسخ دون انتظار إنشاء الفيديو، مما أدى إلى زيادة في السرعة بنحو ثلاثين ضعفاً مقارنة بتشغيل النظام الكامل. هذا المتغير، الذي يستخدم جزءاً صغيرا من قوة الحوسبة الإجمالية، حافظ أيضاً على القدرة على استنساخ الأصوات بفعالية، مما يوفر طريقة عملية لتجربة أصوات مختلفة بسرعة قبل الالتزام بعملية توليد فيديو كاملة.

والأهم من ذلك، تحقق الباحثون من أن إضافة قدرة استنساخ الصوت هذه لم تضر بالقدرات الأصلية للنموذج. فعندما اختبروا النموذج المعدل في مهام لم يتم فيها تقديم صوت مرجعي، كان أداؤه أفضل من النسخة الأصلية، حيث أنتج صوتاً أكثر طبيعية وتوافقاً مع الأوصاف النصية. يشير هذا إلى أن الطبقة الجديدة، التي بدأت من حالة محايدة، عملت كإضافة مرنة عززت النظام دون إجباره على نسيان ما عرفه بالفعل. وتخلص الدراسة إلى أنه من الممكن تجهيز مولدات الفيديو والصوت المتقدمة بالقدرة على محاكاة أصوات معينة من خلال تغييرات هيكلية دنيا، مما يفتح الباب أمام إنشاء محتوى سمعي بصري أكثر تخصيصاً وتحكماً دون الحاجة إلى إعادة تدريب ضخمة أو تصميمات جديدة معقدة.