21Codec: Decoder-side Speaker Control for Text-to-Speech
تقترح الورقة البحثية 21Codec، وهو نموذج تدفق للنص إلى كلام يحقق تحكماً قوياً في هوية المتحدث من جانب فك التشفير عبر استخدام التدريب التنافسي وتعزيز البيانات لتقليل معلومات المتحدث في تدفق الرموز (tokens)، مما يضمن اتساق هوية المتحدث عبر الأجزاء (chunks).
تخيل عالماً يمكن فيه للحاسوب أن يقرأ جملة وينطقها بصوت يشبه تماماً شخصاً معيناً، بما في ذلك نبرته الفريدة وإيقاعه. هذا هو الوعد الذي تقدمه تقنية تحويل النص إلى كلام الحديثة، وهو مجال انتقل من الأصوات الروبوتية الرتيبة إلى الواقعية القريبة من البشر. وفي قلب هذه القدرة تكمن خطوة حاسمة تسمى ضغط الصوت، أو ما يعرف بـ "الترميز" (codec). فكر في هذه العملية كأنها مترجم يحول الموجات الصوتية الخام إلى تدفق مدمج من الرموز الرقمية، تماماً مثل تحويل رواية طويلة إلى سلسلة من الملاحظات المختصرة. تُرسل هذه الملاحظات بعد ذلك إلى وحدة فك الترميز، التي تعيد بناء الصوت. لسنوات، عملت هذه الأنظمة بشكل جيد، لكنها واجهت عقبة عندما طُلب منها التحدث في الوقت الفعلي. فلكي تواكب المحادثة الحية، يجب على الحاسوب معالجة الصوت في دفعات صغيرة وسريعة. والمشكلة هي أنه عندما يحاول النظام تخمين من المتحدث بناءً على هذه الدفعات الصغيرة فقط، فإنه غالباً ما يفقد طريقه، مما يتسبب في تذبذب الصوت أو انحرافه نحو هوية مختلفة في منتصف الجملة.
لقد عالج الباحثون في جامعة لايدن في هولندا عدم الاستقرار هذا بنظام جديد أطلقوا عليه اسم 21Codec. يعالج عملهم خللاً جوهرياً في كيفية تعامل الآلات الحالية مع هوية الصوت. في النماذج الحالية، يحاول الحاسوب معرفة من المتحدث من خلال النظر في التسلسل الكامل للملاحظات التي تم إنشاؤها حتى الآن. وعندما يُجبر النظام على العمل في الوقت الفعلي، فإنه لا يستطيع رؤية سوى جزء صغير من تلك الملاحظات في المرة الواحدة. وبناءً على ذلك، فإنه يعيد تخمين هوية المتحدث لكل جزء على حدة، وغالباً ما تتعارض هذه التخمينات مع بعضها البعض، مما يؤدي إلى صوت يبدو وكأنه يغير رأيه بشأن هويته المفترضة. ويرى الباحثون أن هذه ليست مشكلة في كيفية فك تشفير الصوت، بل هي مشكلة في كيفية تخزين المعلومات. وهم يقترحون أنه لا ينبغي إخفاء هوية الصوت داخل الملاحظات نفسها، بانتظار تخمينها، بل يجب بدلاً من ذلك تزويد وحدة فك الترميز بتعليمات منفصلة مباشرة.
ولتحقيق ذلك، بنى الفريق نظاماً يعمل بنشاط على تجريد هوية المتحدث من الملاحظات الرقمية قبل إرسالها إلى وحدة فك الترميز. لقد قاموا بتدريب نموذجهم باستخدام تقنية ذكية تتضمن "معلماً" يحاول تحديد هوية المتحدث من الملاحظات. ويتعلم النموذج خداع هذا المعلم، مما يؤدي فعلياً إلى إخفاء هوية المتحدث داخل تدفق البيانات المضغوطة. وبدلاً من الاعتماد على الملاحظات لحمل الصوت، يستخدم النظام إشارة تحكم منفصلة، وهي بصمة رقمية محددة للمتحدث المطلوب، لتوجيه عملية إعادة البناء. يتم تطبيق هذه الإشارة في نهاية العملية تماماً، مما يضمن بقاء الصوت ثابتاً من الكلمة الأولى وحتى الأخيرة، بغض النظر عن مدى صغر حجم أجزاء البيانات. وقد اختبر الباحثون ذلك من خلال أخذ تسلسل واحد من الملاحظات وتشغيله ببصمات صوتية مختلفة، ونجحوا في تغيير المتحدث دون تغيير الكلمات أو معنى الجملة.
تظهر النتائج أن هذا النهج يعمل بشكل جيد للغاية في الحفاظ على صوت ثابت. فعندما قام النظام بفك تشفير نفس تسلسل الملاحظات في أجزاء صغيرة في الوقت الفعلي، لم ينحرف الصوت، على عكس النماذج السابقة حيث كان الصوت يتغير بشكل ملحوتز بين المتحدثين. ووجد الفريق أنه يمكنهم تغيير هوية المتحدث حتى أثناء توليد الصوت، ببساطة عن طريق استبدال إشارة التحكم، دون الحاجة إلى إرسال أي بيانات إضافية أو زيادة حجم الملف. ومع ذلك، فإن هذا التحسن في التحكم يأتي مع مقايضة طفيفة؛ فبينما يبدو الصوت طبيعياً وتكون هوية المتحدث مستقرة، فإن النظام يكون أقل دقة قليلاً في الحفاظ على الكلمات الدقيقة مقارنة بالنماذج التي لا تجرد معلومات المتحدث. وقد قاس الباحثون ذلك من خلال التحقق من عدد المرات التي أخطأ فيها الحاسوب في سماع الكلمات، ووجدوا زيادة طفيفة في الأخطاء، رغم أن الجودة العامة للصوت ظلت عالية.
يشير هذا العمل إلى أنه لكي تصبح أنظمة تحويل النص إلى كلام موثوقة حقاً للتطبيقات في الوقت الفعلي، مثل الترجمة الحية أو المساعدات التفاعلية، يجب أن تتغير الطريقة التي تتعامل بها مع هوية المتحدث. ومن خلال نقل مسؤولية تحديد المتحدث من الملاحظات المضغوطة إلى إشارة تحكم خارجية، يتجنب النظام الارتباك الذي يسبب انحراف الأصوات. ويقر الباحثون بأن نموذجهم لا يزال قيد التطوير، وأن الأرقام التي أبلغوا عنها هي على الأرجح أرقام متحفظة، لأنهم توقفوا عن التدريب مبكراً بسبب قيود الميزانية. ومع ذلك، فإن نتائجهم تقدم مساراً واضحاً للمضي قدماً: نظام لا يكون فيه الصوت لغزاً يجب حله من بضع ملاحظات، بل خياراً يتم اتخاذه صراحةً من قبل الآلة، مما يضمن بقاء الشخص المتحدث هو الشخص نفسه من البداية إلى النهاية.
ملخص تقني: 21Codec – التحكم في المتحدث من جانب فك التشفير للتحويل من النص إلى الكلام
بيان المشكلة تعتمد أنظمة تحويل النص إلى كلام (TTS) ذاتية الانحدار (autoregressive) الحالية بشكل متزايد على الرموز الصوتية المنفصلة (discrete audio tokens) كتمثيل وسيط. ومع ذلك، فإن نماذج فك التشفير (codec) الحالية (مثل NeuCodec وWavTokenizer) تستنتج هوية المتحدث من تدفق الرموز نفسه، معتمدة على السياق العالمي المتاح أثناء التدريب غير السببي (non-causal training). وعند تكييف هذه النماذج لأنظمة تحويل النص إلى كلام التدفقية (streaming TTS)، فإنها تعمل على قطع قصيرة ومستقلة من الرموز. وهذا يجبر فك التشفير على إعادة استنتاج هوية المتحدث من السياق المحلي لكل قطعة بمفردها، مما يؤدي إلى "انزياح المتحدث" (speaker drift). وبناءً على ذلك، قد يتذبذب الصوت المصنع داخل التعبير الواحد بشكل مسموع بين هويات متحدثين مختلفين، مما يجعل النماذج المتطورة الحالية (SOTA) غير متوافقة مع متطلبات التخليق في الوقت الفعلي حيث تكون نوافذ الرموز القصيرة ضرورية لتقليل زمن الاستجابة (latency).
المنهجية يقترح المؤلفون 21Codec، وهو نموذج فك تشفير تدفقي يعمل بمعدل 0.80 كيلوبت في الثانية وبمعدل إطار قدره 50 هرتز. الابتكار الجوهري يكمن في التحول التمثيلي: يقوم النموذج بكبح هوية المتحدث ضمن تدفق الرموز ويعيد إدخالها حصرياً عند جانب فك التشفير عبر متجه شرطي خارجي.
البنية الهيكلية:
المشفر (Encoder): يتكون من مشفر صوتي (CNN مع كتل متبقية وتنشيط SnakeBeta) ومشفر دلالي مجمد من نوع Wav2Vec2. يتم دمج المخرجات وتكميمها باستخدام التكميم القياسي المحدود (FSQ) بثمانية أبعاد عند أربعة مستويات، مما ينتج 16 بت لكل إطار (0.80 كيلوبت في الثانية). المشفر غير سببي (non-causal).
فك التشفير (Decoder): يعتمد على هيكل Transformer مع رأس ISTFT، مصمم ليكون سببياً بالقطع (chunk-causal) (باستخدام أقنعة الانتباه الذاتي لحظر القطع المستقبلية فقط). يستخدم تقنية التعديل التكيفي المستوحاة من DiT لتهيئة عملية التوليد بناءً على تضمينات المتحدث من نوع Ecapa-TDNN.
استراتيجية التدريب:
مصنف المتحدث التنافسي (Adversarial Speaker Classifier): يتم تدريب مسبار (ϕ) للتنبؤ بهوية المتحدث من الأكواد المكممة. يتم تدريب فك التشفير باستخدام عقوبة ارتباك (Lconf) لدفع الاحتمال اللاحق للمسبار نحو توزيع موحد، مما يجبر تدفق الرموز فعلياً على أن يصبح "خالياً من الهوية".
تعزيز البيانات (Data Augmentation): يستخدم المؤلفون تعزيز إزاحة الصيغة (formant-shift) بأسلوب NANSY، والذي يقوم بتشويه الغلاف الطيفي على طول المحور الترددي (عامل 1.14–1.33) مع الحفاظ على التردد الأساسي (F0) والنغمة. يضمن ذلك اعتماد النموذج على تضمين المتحدث المقدم بدلاً من الإشارات التي لا يستطيع التعزيز إزالتها.
الهدف (Objective): تجمع الخسارة الإجمالية بين خسارة مخطط الطيف الميلي (mel-spectrogram loss)، وخسارة الطاقة، والخسارة التنافسية، وخسرة الميزات، وعقوبة ارتباك المتحدث (λspk=1).
المساهمات الرئيسية
فك تشفير تدفقي مع تقليل معلومات المتحدث: نموذج ينجح في كبح هوية المتحدث من تدفق الرموز، مما يسمح بإعادة إنتاج الصوت لمكبرات أخرى عبر تغيير التضمين الشرطي ببساطة.
التحكم في منتصف التدفق: القدرة على تغيير هوية المتحدث أثناء الاستدلال التدفيقي دون زيادة معدل البت أو الحاجة لإعادة تخليق القطع السابقة.
المتانة تجاه التقطيع (Chunking): تقييم يظهر أن فك التشفير التدفيقي السببي يحافظ على اتساق هوية المتحدث بشكل يقارب فك التشفير غير السببي، حتى مع أحجام قطع صغيرة (تصل إلى 500 مللي ثانية / 25 إطاراً).
النتائج
التحكم في المتحدث: عند فك تشفير نفس الأكواد المصدرية باستخدام تضمين متحدث مختلف، يحقق المخرج تشابهاً في المتحدث قدره 0.763 مع المتحدث المرجعي، بينما تنخفض نسبة التشابه مع المتحدث الأصلي إلى 0.283. هذا يؤكد أن هوية المصدر قد تمت إزالتها إلى حد كبير من تدفق الرموز.
تقييم المستمعين: في اختبار متوسط الرأي للتشابه (SMOS)، سجلت العبارات المعاد إنتاجها صوتياً 3.58 (قريبة من أزواج المتحدث الحقيقي نفسه البالغة 3.89)، وهي تتفوق بشكل ملحوظ على تشابه المصدر (2.05) ونماذج المتحدثين المختلفين (1.50).
المقايضة بين الوضوح والقدرة على التحكم: تنطوي الطريقة على تكلفة في الوضوح (intelligibility). فقد ارتفع معدل خطأ الكلمات (WER) من 0.047 (النموذج الأساسي غير المشروط) إلى 0.095 لـ 21Codec. ومع ذلك، ظلت مقاييس الطبيعية (DNSMOS, NISQA) وتقييمات البشر للطبيعية مقاربة بين النماذج المشروطة وغير المشروطة.
الأداء التدفيقي: يحافظ النموذج على تشابه المتحدث ضمن نطاق 0.002 من فك التشفير غير السببي عند حجم قطعة 500 مللي ثانية. عوامل الوقت الحقيقي (RTF) هي 0.129 على المعالج (CPU) و0.035 على معالج الرسوميات (GPU) لقطع بحجم 160 مللي ثانية.
المقارنة: مقابل النماذج المرجعية مثل NeuCodec وWavTokenizer، يحقق 21Codec تشابهاً أعلى في استهداف المتحدث في مهام إعادة الإنتاج الصوتي (0.763) مقارنة بـ WavTokenizer الذي حقق تشابهاً في إعادة بناء المصدر قدره (0.801)، رغم أن WavTokenizer يحتفظ بدقة أعلى للمتحدث الأصلي. والأهم من ذلك، يظهر 21Codec استقراراً فائقاً في فك التشفير المقطع غير المخزن مؤقتاً (uncached)، بينما تظهر النماذج الأخرى انزياحاً كبيراً في هوية المتحدث. لاحظ أنه بينما يعمل 21Codec ومعظم الأنظمة الأخرى في التقييم بمعدل 0.80 كيلوبت في الثانية، يعمل WavTokenizer بمعدل 0.90 كيلوبت في الثانية.
الأهمية والادعاءات يزعم البحث أن 21Codec يعد مرشحاً واعداً لأنظمة تحويل النص إلى كلام التدفقية نظراً لقدرته على توفير تحكم أفضل في هوية المتحدث دون عدم الاستقرار الناتج عن انزياح المتحدث في التقطيع. ويؤكد المؤلفون أن نهجهم يعالج مشكلة تمثيلية بدلاً من كونها مشكلة في فك التشفير.
يشير المؤلفون صراحةً إلى القيود: فقد توقف التدريب بعد 5 أيام بسبب قيود الميزانية ولم يكتمل التقارب (convergence) تماماً، مما يعني أن الأرقام المسجلة هي حدود دنيا. بالإضافة إلى ذلك، يعتمد أداء الطريقة على نموذج تضمين المتحدث المحدد المستخدم (Ecapa-TDNN). ويخلص البحث إلى أنه بينما توجد مقايضة بين الوضوح وإزالة هوية المتحدث من تدفق الرموز، فإن القدرة على الحفاظ على هوية متسقة عبر قطع التدفق تمثل تقدماً كبيراً في التخليق في الوقت الفعلي.