💬 NLP

Improving X-Codec-2.0 for Multi-Lingual Speech: 25 Hz Latent Rate and 24 kHz Sampling

تقدم هذه الورقة نسخة محسنة من X-Codec-2.0 تعمل على تقليل معدل الكامن إلى 25 هرتز وزيادة معدل العينات إلى 24 كيلوهرتز من خلال تعديلات هيكلية بسيطة، محققةً جودة كلام متعددة اللغات وكفاءة متفوقة مقارنة بالنسخة الأصلية المرجعية.

المؤلفون الأصليون: Husein Zolkepli

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Husein Zolkepli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال تسجيل عالي الجودة لأوركسترا سيمفونية إلى صديق لك، لكن اتصال الإنترنت لديك بطيء. لديك خياران:

الطريقة القديمة (X-Codec-2.0): ترسل الموسيقى في لقطات صغيرة وسريعة للغاية (50 لقطة في الثانية). ولأنك ترسل الكثير من اللقطات، فإن حجم الملف ضخم، ويستغرق وقتاً طويلاً للإرسال. وأيضاً، لكي تبقي حجم الملف صغيراً، تضطر لضغط الصوت بشكل كبير بحيث تبدو النغمات العالية (مثل الكمان) "مكتومة" أو باهتة قليلاً، كأنك تستمع إلى الموسيقى من خلال بطانية سميكة.
الطريقة الجديدة (حل هذه الورقة البحثية): تقرر إرسال عدد أقل من اللقطات (25 لقطة فقط في الثانية)، ولكنك تجعل كل لقطة أكبر وأوضح بكثير. كما تقوم بترقية جودة الصوت نفسه، لتجعله نقياً ومشرقاً (24 كيلو هرتز بدلاً من 16 كيلو هرتز).

النتيجة؟ ترسل نصف عدد اللقطات، ولكن الموسيقى تبدو أفضل وتصل بشكل أسرع.

إليك تفصيل لكيفية تحقيق المؤلف، حسين زولكيبلي، لهذه الخدعة السحرية، باستخدام تشبيهات بسيطة:

1. المشكلة: الكثير من الصور الصغيرة جداً

كانت نسخة X-Codec-2.0 الأصلية تشبه كاميرا مراقبة تلتقط صورة لصوت المتحدث 50 مرة كل ثانية.

المشكلة: كانت تلتقط الكثير من الصور (50 هرتز)، مما جعل تدفق البيانات ثقيلاً. وأيضاً، لأنها كانت تحاول حشر الكثير من الصور في مساحة صغيرة، كانت "دقة" الصوت محدودة بـ 16 كيلو هرتز. هذا يشبه النظر إلى صورة ضبابية قليلاً؛ حيث تفقد التفاصيل الدقيقة للأصوات عالية الطبقة (مثل صوت السين "s" الحاد أو التاء "t" الواضحة).

2. الحل: خدعة "الابتعاد عن المشهد" (Zoom Out)

لم يقم المؤلف بإعادة بناء الكاميرا بالكامل، بل أجرى تعديلين بسيطين على العدسة:

التعديل (أ): "السلم المتدرج" (زيادة حجم الخطوة):
تخيل أنك تمشي في ممر. كان النموذج القديم يخطو خطوات صغيرة كل 320 بوصة. أما النموذج الجديد فيقوم بقفزة عملاقة قدرها 960 بوصة. من خلال اتخاذ خطوات أكبر، أنت تقطع نفس المسافة (الزمن) بعدد خطوات (رموز/tokens) أقل. هذا يقلل معدل البيانات إلى النصف (من 50 هرتز إلى 25 هرتز).
التعديل (ب): "التجميع" (Pooling):
قبل التقاط الصورة، يقوم النموذج الجديد بتجميع تفصيلين صغيرين معاً ودمجهما في تفصيل واحد واضح وقوي. هذا يشبه النظر إلى حشد من الناس ووصفهم بأنهم "مجموعة من 50 شخصاً" بدلاً من سرد كل وجه على حدى. هذا يحافظ على إيقاع الكلام بشكل مثالي ولكنه يقلل من كمية البيانات المطلوبة لوصفه.

3. سحر "تمطيط" وحدة فك الترميز (Decoder)

عندما تغير الخطوات (من صغيرة إلى كبيرة)، تصاب الآلة التي تعيد بناء الصوت (فك الترميز) بالارتباك لأنها تتوقع حجماً مختلفاً.

الحل: بدلاً من رمي وحدة فك الترميز القديمة وبناء واحدة جديدة من الصفر، استخدم المؤلف تقنية تسمى الاستكمال الخطي (Linear Interpolation).
التشبيه: تخيل أن لديك شريطاً مطاطياً مرسوماً عليه نمط معين. إذا قمت بشد الشريط المطاطي لجعله أطول، فإن النمط سيتشوه. بدلاً من إعادة رسم النمط بالكامل، قام المؤلف ببساطة بـ "مط" النمط الموجود رياضياً ليتناسب مع الحجم الجديد. سمح هذا للنموذج بالاحتفاظ بكل معرفته السابقة مع التكيف مع السرعة الجديدة والأسرع.

4. النتائج: صوت أفضل، بيانات أقل

اختبر المؤلف هذا "الترميز الفائق" (Super Codec) على مكتبة ضخمة من الأصوات التي تتحدث 116 لغة مختلفة (من الإنجليزية إلى الملايو إلى الهندية).

النتيجة: استخدموا حكماً آلياً (UTMOSv2) يتنبأ بمدى إعجاب البشر بالصوت. سجل النموذج الجديد 0.29 نقطة أعلى من النموذج القديم. وفي عالم الصوت، هذه قفزة هائلة!
المقارنة: لقد تفوق على جميع برامج ترميز الصوت المنافسة التي تعمل بهذه السرعة (25 هرتز). إنه يبدو أكثر وضوحاً، خاصة للأصوات عالية الطبقة، وهو أكثر كفاءة للنماذج الذكية في المعالجة.

5. ما التالي؟ (القيود)

المؤلف صريح بشأن ما لا يستطيع هذا النموذج فعله بعد:

مشكلة "الغرفة النظيفة": تم تدريب النموذج غالباً على أصوات نظيفة بجودة الاستوديو. إذا حاولت استخدامه في شارع صاخب أو مع صوت غاضب أو صراخ، فقد يرتبك. الأمر يشبه طباخاً بارعاً جداً في صنع السوشي المثالي، لكنه لم يتعلم بعد كيفية طبخ كاري حار وفوضوي.
تحدي "المفردات الكبيرة": نظرًا لأن هذا النموذج فعال للغاية، فإن كل "رمز" (وحدة صوت/كلمة) يحمل الكثير من المعلومات. وهذا يجعل من الصعب قليلاً على نماذج الذكاء الاصطناعي الأخرى التنبؤ بالكلمة التالية، تماماً مثل محاولة تخمين البطاقة التالية في مجموعة أوراق لعب حيث كل بطاقة هي لغز معقد بدلاً من كونها مجرد رقم بسيط.

الملخص

لقد أخذ المؤلف برنامج ضغط صوتي جيد جداً، وأبطأ "سرعة غالق الكاميرا" لالتقاط صور أقل، وجعل تلك الصور أكبر وأوضح. ومن خلال القيام بذلك، ابتكر نسخة أكثر كفاءة بمرتين ولكنها تبدو أفضل، مما يجعلها أداة مثالية لمساعدي الذكاء الاصطناعي المستقبليين الذين يحتاجون للتحدث بلغات عديدة دون تأخير أو ظهور بمظهر آلي.

إليك ملخص تقني مفصل لورقة البحث "تحسين X-Codec-2.0 للغات متعددة: معدل كامن 25 هرتز ومعدل أخذ عينات 24 كيلو هرتز" بقلم حسين زولكيبلي.

1. بيان المشكلة

يعتبر X-Codec-2.0 الأصلي مشفر صوت عصبي متعدد اللغات متطور للغاية، يستخدم مشفر دلالي (HuBERT) مجمد وبنية تعتمد على المحولات (Transformer). ومع ذلك، فإنه يعمل ضمن قيود محددة تحد من أدائه في سيناريوهات معينة:

دقة زمنية منخفضة: يعمل بمعدل إطارات كامنة قدره 50 هرتز مع معدل أخذ عينات 16 كيلو هرتز.
أمانة الصوت: يحد معدل الـ 16 كيلو هرتز من محتوى الترددات العالية، مما يؤدي غالباً إلى صوت "مكتوم" في الترددات العالية.
الكفاءة: يولد معدل الـ 50 هرتز تسلسلات أطول من الرموز (tokens) للنماذج ذات التوليد الذاتي (مثل النماذج اللغوية الكبيرة LLMs)، مما يزيد من العبء الحسابي أثناء التوليد.
عدم الاستغلال الأمثل: مع نمو مجموعات البيانات متعددة اللغات، قد يفشل معدل الـ 50 هرتز الثابت في التقاط التباينات الدقيقة في الكلام بشكل فعال.

يهدف المؤلفون إلى تحسين الكفاءة الزمنية والجودة الإدراكية دون تغيير البنية الأساسية أو الحاجة إلى إعادة تدريب كاملة من الصفر.

2. المنهجية

يتضمن الحل المقترح تعديلات معمارية طفية على X-Codec-2.0، مع التركيز على التجميع الزمني (Temporal Pooling) وتكييف وحدة فك التشفير (Decoder Adaptation).

أ. التجميع الزمني وتعديل حجم القفزة (Hop Size)

زيادة حجم القفزة: تم رفع حجم القفزة للمشفر من 320 عينة (الأصلي) إلى 960 عينة.
طبقة التجميع: تم إدخال طبقة تجميع متوسط إضافية (AvgPool1d بحجم نواة $k=2$ وخطوة $2$) قبل التكميم المتجهي (Vector Quantization).
النتيجة: أدى هذا إلى تقليل معدل الإطارات الكامنة من 50 هرتز إلى 25 هرتز، مما قلل فعلياً عدد الرموز المنفصلة لكل ثانية إلى النصف مع الحفاظ على التماسك الزمني.

ب. استكمال أوزان فك التشفير (Decoder Weight Interpolation)

إن تغيير حجم القفزة يغير أبعاد طبقة المخرجات في وحدة فك التشفير. وبدلاً من التخلص من الأوزان المدربة مسبقاً، طبق المؤلفون استكمالاً خطياً أحادي الأبعاد لمعلمات إسقاط المخرجات لرأس المولد (الأوزان والانحيازات).

الصيغة: $w'_i = (1 - \alpha_i) w_{\lfloor x_i \rfloor} + \alpha_i w_{\lceil x_i \rceil}$ ، حيث تقوم $x_i$ برسم خرائط الفهرس الجديد إلى الفهرس القديم بناءً على نسبة الطول الجديد ( $L'$ ) إلى الطول القديم ( $L$ ).
الفائدة: يسمح هذا لوحدة فك التشفير بالاحتفاظ بالخصائص الطيفية للنموذج الأصلي مع التكيف بسلاسة مع دقة الـ 24 كيلو هرتز الجديدة دون الحاجة لإعادة التدريب من الصفر.

ج. إعدادات التدريب

المكونات المجمدة: يبقى المشفر الدلالي (HuBERT) ومشفر الـ codec مجمدين.
الضبط الدقيق (Fine-Tuning): يتم فقط ضبط وحدة فك التشفير (decoder) لتلائم حجم القفزة الجديد والتجميع.
البيانات: تم التدريب على حوالي 16,000 ساعة من الكلام متعدد اللغات الذي تمت إعادة أخذ عيناته إلى 24 كيلو هرتز.
دالة الخسارة: دالة خسارة متعددة الأهداف تجمع بين مخطط ميل (Mel-spectrogram)، والخسارة التنافسية (adversarial)، والخسائر الدلالية (بنفس المعاملات للنموذج المرجعي).

3. المساهمات الرئيسية

الكفاءة المعمارية: أثبت أن تعديلاً بسيطاً (التجميع + تعديل حجم القفزة) يمكنه تقليل معدل الرموز بنسبة 50% (50 هرتز $\leftarrow$ 25 هرتز) وفي الوقت نفسه زيادة معدل أخذ عينات الصوت (16 كيلو هرتز $\leftarrow$ 24 كيلو هرتز).
استراتيجية نقل الأوزان: قدم طريقة الاستكمال الخطي لأوزان فك التشفير، مما يتيح إعادة استخدام النماذج المدربة مسبقاً لدقات (resolutions) جديدة دون إعادة تدريب كاملة.
أداء رائد (State-of-the-Art): حقق أفضل أداء مسجل بين جميع المشفرات التي تعمل بمعدل رموز 25 هرتز.
الإطلاق مفتوح المصدر: تم إصدار الكود المصدري، ونقاط التفتيش (checkpoints)، ومقارنات التوليد على Hugging Face.

4. النتائج التجريبية

تم تقييم النموذج على مجموعة اختبار Common Voice 17 (116 لغة) باستخدام UTMOSv2 (متنبئ عصبي لمتوسط درجة الرأي - MOS).

تحسن في الـ MOS: حقق النموذج المقترح تحسناً قدره +0.29 في درجة MOS مقارنة بالنموذج المرجعي X-Codec-2.0 الأصلي.
الاتساق عبر اللغات: كانت التحسينات متسقة عبر 116 لغة، مع ملاحظة مكاسب محددة في إعادة بناء الترددات العالية والوضوح الإدراكي.
المقارنة المرجعية: في مقارنة مع 13 مشفراً آخر (بما في ذلك DAC، Encodec، Mimi، وSpeechTokenizer)، تفوق النموذج المقترح (25 هرتز، 24 كيلو هرتز) على جميع المنافسين الذين يعملون بمعدل 25 هرتز.
- مثال (الإنجليزية): نموذجنا (2.457) مقابل X-Codec-2.0 المرجعي (2.168).
- مثال (الإسبانية): نموذجنا (2.314) مقابل X-Codec-2.0 المرجعي (2.139).

5. الأهمية والقيود

الأهمية

التكامل مع النماذج اللغوية الكبيرة (LLM): تقليل معدل الرموز إلى 25 هرتز يخفض بشكل كبير التكلفة الحسابية لتوليد الكلام في النماذج اللغوية الكبيرة، مما يجعل نمذجة الكلام أكثر قابلية للتوسع.
صوت عالي الدقة: رفع معدل أخذ العينات إلى 24 كيلو هرتز يحسن إعادة إنتاج الأصوات عالية التردد، مما يعالج الجودة "المكتومة" لمشفرات الـ 16 كيلو هرتز.
النمطية (Modularity): يثبت أن تصميم X-Codec-2.0 قوي بما يكفي للتعامل مع تغييرات كبيرة في الدقة الزمنية بأقل تدخل معماري.

القيود

تحيز البيانات: كانت بيانات التدريب في الغالب كلاماً نقياً من Common Voice، مما يحد من القدرة على التعميم على الكلام المليء بالضجيج، أو العاطفي، أو التعبيري (مثل الغناء أو التمثيل).
مقاييس التقييم: الاعتماد على UTMOSv2 (المدرب غالباً على الإنجليزية) للتقييم متعدد اللغات، ورغم أنه يرتبط جيداً بالتقدير البشري، إلا أنه قد لا يلتقط تماماً التفضيلات الذاتية عبر جميع اللغات.
التعقيد اللاحق: حجم المفردات الكبير (65,536) مع معدلات الرموز المنخفضة يزيد من كثافة المعلومات لكل رمز، مما قد يرفع من درجة الارتباك (perplexity) للنماذج ذات التوليد الذاتي.

العمل المستقبلي

يقترح المؤلفون استكشاف:

التغيير المنهجي في معدلات الإطارات الكامنة (من 10 هرتز إلى 100 هرتز) لإيجاد المقايضات المثلى.
زيادة عمق وحدة فك التشفير أو حقول الاستقبال (receptive fields) للتعويض عن فقدان المعلومات عند معدلات الإطارات المنخفضة.
التدريب على مجموعات بيانات متنوعة، مليئة بالضجيج، وتعبيرية.
تقييم الأداء في عمليات تحويل النص إلى كلام (TTS) ونماذج لغة-كلام اللاحقة.