⚡ electrical engineering

Rethinking Discrete Speech Representation Tokens for Accent Generation

تقدم هذه الورقة أول استقصاء منهجي حول كيفية ترميز معلومات اللكنة في رموز تمثيل الكلام المنفصلة (DSRTs)، مقدمةً إطار تقييم موحد يكشف أن اختيار الطبقة هو العامل الأكثر حسمًا للاحتفاظ باللكنات، بينما تؤدي الإشرافات الخاصة بالتعرف التلقائي على الكلام (ASR) إلى تقليلها بشكل كبير، في حين يفشل الاختزال الساذج لكتاب الرموز (codebook) في الفصل بين اللكنة والمعلومات الصوتية ومعلومات المتحدث.

المؤلفون الأصليون: Jinzuomu Zhong, Yi Wang, Korin Richmond, Peter Bell

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinzuomu Zhong, Yi Wang, Korin Richmond, Peter Bell

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال رسالة صوتية إلى صديق، لكنك تريد أن تبدو الرسالة تماماً مثلك (بصوتك) ولكن بلكنة محددة، مثل لكنة اسكتلندية أو نبرة جنوب الولايات المتحدة.

في عالم الذكاء الاصطناعي الصوتي، هناك أداة شائعة تسمى رموز الكلام المنفصلة (Discrete Speech Tokens - DSRTs). فكر في هذه الرموز كأنها "اختصار رقمي" أو "ملف مضغوط" للصوت. بدلاً من إرسال الموجة الصوتية الخام بالكامل (وهي ضخمة جداً)، يقوم الذكاء الاصطناعي بتفكيك الصوت إلى قائمة من الأرقام (الرموز) التي تمثل الأصوات.

لفترة طويلة، اعتقد الباحثون أن هذه الرموز رائعة في التقاط ماذا قيل (الكلمات) ومن الذي قالها (الصوت). لكنهم تجاهلوا إلى حد كبير كيف قيلت من حيث اللكنة. تسأل هذه الورقة البحثية: إذا أردنا توليد أو تغيير اللكنات، هل تحتفظ هذه الرموز الرقمية بمعلومات اللكنة فعلياً، أم أنها تضيع في عملية الضغط؟

إليك تفصيل لنتائجهم باستخدام بعض التشبيهات البسيطة:

1. مشكلة "طبقات الكعكة"

تخيل أن نموذج الذكاء الاصطناعي الذي ينشئ هذه الرموز هو كعكة ضخمة متعددة الطبقات.

الطبقات السفلية: تشبه المكونات الخام. فهي تحمل التفاصيل الأساسية والصلبة للصوت (مثل طبقة الصوت الدقيقة أو "قرمشة" الحروف الساكنة).
الطبقات الوسطى: هذا هو المكان الذي تعيش فيه "نكهة" اللكنة. وجد الباحثون أنك إذا أردت الحفاظ على اللكنة، فأنت بحاجة للنظر إلى الطبقات الوسطى من الكعكة.
الطبقات العليا: تشبه هذه الطبقات "الكريمة" (Frosting). وهي جيدة جداً في فهم معنى الكلمات (الصوتيات) وهوية المتحدث، لكنها جردت الصوت غالباً من "النكهة" المحددة للكنة.

الاكتشاف: معظم أنظمة الذكاء الاصطناعي الحالية تستخدم "الطبقات العليا" (الكريمة) لإنشاء رموز الكلام. وقد وجد المؤلفون أنه بحلول الوقت الذي يصل فيه الذكاء الاصطناعي إلى الطبقة العليا، تكون معلومات اللكنة قد تبخرت في الغالب. الأمر يشبه محاولة خبز كعكة فراولة باستخدام كريمة الفانيليا فقط؛ نكهة الفراولة ستكون قد اختفت.

2. فخ "الإشراف عبر التعرف الآلي على الكلام" (ASR Supervision)

حاول بعض الباحثين جعل هذه الرموز أفضل من خلال تدريبها لتكون بارعة حقاً في نسخ الكلام (تحويل الصوت إلى نص). وهذا ما يسمى "الإشراف عبر التعرف الآلي على الكلام" (ASR supervision).

فكر في هذا الأمر كأنك توظف محرراً صارماً لا يهتم إلا بالإملاء والقواعد. إذا طلبت منه تلخيص قصة، فسيعطيك الحبكة المثالية (الكلمات) وأسماء الشخصيات المثالية (المتحدث)، لكنه سيحذف بصرامة كل العاميات الإقليمية واللهجات لأنها "ليست معيارية".

النتيجة: وجدت الورقة البحثية أنه عندما تدرب الرموز لتكون مثالية في قراءة النصوص، فإنها تحذف معلومات اللكنة عن طريق الخطأ. يتم "تحرير" اللكنة وإزالتها لأنها ليست ضرورية للقراءة.

3. أسطورة "الضغط السحري"

ادعت بعض الدراسات السابقة أنه إذا جعلت "الملف المضغوط" أصغر (تقليل حجم قاموس الرموز)، فإن الذكاء الاصطناعي سيفصل "الكلمات" عن "اللكنة" و"الصوت" بشكل سحري. ظنوا: "إذا ضغطنا البيانات بقوة كافية، فستظهر اللكنة من تلقاء نفسها".

اختبار الواقع: اختبر المؤلفون هذا ووجدوا أنه لا يعمل.

التشبيه: تخيل أن لديك عصير "سموذي" يحتوي على الفراولة (اللكنة)، والموز (الكلمات)، والزبادي (الصوت). إذا حاولت عصر السموذي عبر فتحة صغيرة لفصل المكونات، فلن تحصل على فراولة نقية وموز نقي. ستحصل فقط على سموذي أصغر وأكثر فوضوية حيث يكون كل شيء أقل وضوحاً.
النتيجة: مجرد جعل قائمة الرموز أصغر لا يفصل اللكنة عن الكلمات بشكل نظيف، بل يجعل الشيء برمته أسوأ.

4. الحل: وصفة جديدة

بما أن الوصفات القديمة (استخدام الطبقات العليا أو الملفات المضغوطة الصغيرة) كانت تفقد اللكنة، فقد اقترح المؤلفون طريقة جديدة للطهي:

للحفاظ على اللكنة (Accent-Preserving VC): لا تستخدم الطبقات العليا. استخدم الطبقات الوسطى من "كعكة" الذكاء الاصطناعي حيث لا تزال نكهة اللكنة قوية.
لتغيير اللكنة (Accent-Adaptive VC): استخدم مزيجاً من الرموز يحافظ على وضوح الكلمات ولكنه يسمح للذكاء الاصطناعي باستبدال "طبقة اللكنة" بطبقة جديدة.

لقد اختبروا هذه الوصفة الجديدة من خلال سؤال الناس عن سماع النتائج. الطريقة الجديدة بدت أكثر شبهاً باللكنة المقصودة وأقل عرضة لكون الذكاء الاصطناعي مجرد "يخمن" اللكنة (وهو ما يسمى "الهلوسة" في اللكنة).

الخلاصة الكبرى

إذا كنت تريد من الذكاء الاصطناعي أن يتحدث بلكنة معينة، فلا يمكنك مجرد استخدام الطبقات "الذكية" القياسية للذكاء الاصطناعي التي تجيد قراءة النصوص. يجب عليك الغوص بشكل أعمق في الطبقات الوسطى حيث لا تزال "النكهة الإقليمية" مخزنة، ولا يمكنك الاعتماد على تقليص حجم البيانات لفصل اللكنة عن الكلمات بشكل سحري.

باختصار: للحصول على لكنة جيدة، عليك التوقف عن النظر إلى "الكريمة" (المعنى رفيع المستوى) والبدء في تذوق "الطبقات الوسطى" (أنماط الصوت المحددة) لكعكة الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "إعادة التفكير في رموز تمثيل الكلام المنفصلة لتوليد اللهجات" (Rethinking Discrete Speech Representation Tokens for Accent Generation).

1. بيان المشكلة

أصبحت رموز تمثيل الكلام المنفصلة (DSRTs) حجر الزاوية لربط إشارات الكلام مع النماذج اللغوية الكبيرة (LLMs)، مما يتيح مهام مثل تحويل النص إلى كلام صفري القدرة (Zero-Shot TTS) والترجمة من الكلام إلى الكلام. ومع ذلك، بينما حللت الأبحاث السابقة بشكل مكثف كيفية تشفير المعلومات اللفظية (phonetic) والمتحدث (speaker)، لا يزال تشفير معلومات اللهجة (accent) غير مستكشف إلى حد كبير.

غالبًا ما تعاني أنظمة ZS-TTS الحالية من "هلوسة اللهجة" (accent hallucination)، حيث يتبنى الكلام المولد لهجة مختلفة عن المتحدث المرجعي. وتزعم الادعاءات الحالية أن التحكم في اللهجة يمكن تحقيقه من خلال طرق بدائية مثل تعديل أحجام الرموز (codebook sizes) أو استخدام نماذج خاضعة لإشراف التعرف التلقائي على الكلام (ASR). ويجادل المؤلفون بأن هذه الادعاءات تفتقر إلى التحقيق المنهجي، مما يترك عدم وضوح ما إذا كانت قدرات توليد اللهجة نابعة من تمثيلات الرموز نفسها أم أنها مجرد نواتج ثانوية للتدريب المسبق واسع النطاق.

أسئلة البحث الجوهرية:

كيف تؤثر الاختيارات التصميمية المختلفة في DSRTs (اختيار الطبقة، إشراف ASR، حجم الرمز) على كمية معلومات اللهجة المشفرة؟
كيف يمكن الاستفاء من هذه الرؤى لتمكين توليد أكثر تحكمًا في اللهجة (على سبيل المثال، في تحويل الصوت)؟

2. المنهجية

يقترح المؤلفون إطار تقييم موحد يقيم DSRTs من منظورين متميزين: إمكانية الوصول (Accessibility) (مدى سهولة استخراج المعلومات) وإمكانية الاسترداد (Recoverability) (مدى جودة إعادة بناء المعلومات في الكلام المُخلق).

أ. إطار التقييم

إمكانية الوصول (مهمة Accent ABX):
- قدم المؤلفون مهمة Accent ABX جديدة. بخلاف مهمة Phone ABX التقليدية (التي تختبر التمييز بين الفونيمات) أو Speaker ABX (التي تختبر الهوية)، تختبر مهمة Accent ABX القدرة على التمييز بين الكلمات المنطوقة بلهجات مختلفة.
- بناء الثلاثيات (Triplet Construction): يتم إنشاء ثلاثيات $(a, b, x)$ حيث يتشارك $a$ و $x$ نفس اللهجة، بينما يمتلك $b$ لهجة مختلفة. ومن الضروري أن يكون $a$ و $b$ و $x$ متحدثين مختلفين لتجنب انحياز هوية المتحدث، ويجب أن يتشاركوا في محتوى معجمي متطابق (نفس الكلمة) بدلاً من مجرد سياق صوتي، لأن اللهجات غالبًا ما تغير تسلسل الفونيمات.
- اختيار الكلمات: يختار نهج قائم على البيانات أكثر 100 كلمة تكرارًا ويحدد أفضل 10% من مجموعات (اللهجة أ، اللهجة ب، الكلمة) التي تعطي أدنى معدلات خطأ في ABX (الأكثر تمييزًا)، مع التركيز على الإشارات الصوتية مثل الـ (rhoticity) وجودة الحروف المتحركة.
إمكانية الاسترداد (تحويل الصوت عبر اللهجات - Cross-Accent VC):
- يقوم المؤلفون بتدريب نماذج Unit-to-Speech (مثل HiFiGAN) لإعادة تخليق الكلام من DSRTs.
- تحويل الصوت عبر اللهجات (Cross-Accent VC): يقومون بإجراء الاستدلال باستخدام DSRTs من متحدث مصدر (باللهجة أ) ومعرف متحدث مستهدف (باللهجة ب).
- المقاييس:
  - تشابه اللهجة (Accent Similarity): تشابه جيب التمام لتمثيلات اللهجة (باستخدام GenAID).
  - تشابه المتحدث (Speaker Similarity): تشابه جيب التمام لتمثيلات المتحدث (باستخدام WavLM).
  - التشابه اللفظي (Phonetic Similarity): مسافة جينسن-شانون لـ (Phonetic Posteriorgrams - PPGs).
  - الوضوح (Intelligibility): معدل خطأ الكلمة (WER).
- يحدد هذا الإعداد ما إذا كانت اللهجة في المخرج مشتقة من DSRTs المصدر (تحافظ على لهجة المصدر) أم يتم تجاوزها بواسطة معرف المتحدث المستهدف (تتكيف مع لهجة الهدف).

ب. الإعداد التجريبي

النماذج: HuBERT (base)، وHuBERT الذي تم ضبطه لـ ASR (HuBERT-ft)، وWhisper.
الترميز (Discretization): RepCodec مع التكميم المتجهي (Vector Quantization - VQ) باستخدام أحجام رموز متنوعة (من 32 إلى 8192).
مجموعة البيانات: مجموعة بيانات VCTK (13 منطقة لهجوية) وLibriSpeech (للتدريب على المكمم/quantizer).

3. المساهمات الرئيسية

أول تحقيق منهجي للهجة في DSRTs: الورقة هي الأولى التي تقيس صراحةً كيفية تشفير معلومات اللهجة في رموز الكلام المنفصلة، متحديةً الافتراض بأن اللهجة متميزة طبيعيًا أو يمكن التحكم فيها بسهولة.
إطار تقييم مبتكر: تقديم مهمة Accent ABX لإمكانية الوصول وخط إنتاج Cross-Accent VC لإمكانية الاسترداد، مما يوفر مجموعة مقاييس شاملة لتحليل اللهجة.
النتائج التجريبية حول الاختيارات التصميمية:
- اختيار الطبقة (Layer Selection): تظهر معلومات اللهجة بشكل بارز في الطبقات المتوسطة المبكرة (مثل الطبقات 6-9) من نموذج HuBERT، وهي متميزة عن معلومات المتحدث (الطبقات المبكرة) والمعلومات اللفظية (الطبقات المتوسطة).
- إشراف ASR: النماذج التي تم ضبطها لـ ASR (مثل HuBERT-ft وWhisper) تتخلص بشكل كبير من معلومات اللهجة، خاصة في الطبقات العميقة، مما يجعلها غير مثالية للمهام التي تتطلب الحفاظ على اللهجة.
- حجم الرمز (Codebook Size): التقليل الساذج لحجم الرمز (على سبيل المثال، من 8192 إلى 32) لا يؤدي بفعالية إلى فصل اللهجة عن المعلومات اللفظية أو معلومات المتحدث. بدلاً من ذلك، يعمل كضاغط فاقد للمعلومات (lossy compressor)، مما يؤدي إلى تدهور جميع أنواع المعلومات في آن واحد.
تصميمات الرموز المقترحة: بناءً على النتائج، يقترح المؤلفون تكوينين محددين للرموز:
- رموز المحتوى-اللهجة (Content-Accent Tokens): استخدام HuBERT الطبقة 9 مع رمز كبير (8192) لتحويل الصوت الذي يحافظ على اللهجة.
- رموز المحتوى (Content Tokens): استخدام HuBERT-ft الطبقة 18 مع رمز أصغر (256) لتحويل الصوت المتكيف مع اللهجة (حيث يجب كبت اللهجة).

4. النتائج

التبعية للطبقة (Layer Dependency): تصل إمكانية استرداد اللهجة إلى ذروتها عند الطبقة 6-9 في HuBERT. في المقابل، تظهر النماذج الخاضعة لإشراف ASR انخفاضًا حادًا في إمكانية استرداد اللهجة في الطبقات اللاحقة.
محدودية حجم الرمز: أدى تقليل حجم الرمز من 1024 إلى 32 إلى انخفاض حاد في تشابه جيب تمام اللهجة (A-SIM) وارتفاع في مسافة PPG، مما يثبت أن الرموز الصغيرة لا تعزل "المحتوى" عن "اللهجة" بل تدمر كليهما.
مقارنة الأداء:
- تفوق مقترح رموز المحتوى-اللهجة (HuBERT L9, size 8192) بشكل كبير على نهج Vevo المتطور (HuBERT L18, size 8192) في تحويل الصوت الذي يحافظ على اللهجة.
- التقييم الذاتي (MOS): حققت الطريقة المقترحة درجات أعلى في تشابه اللهجة مع المتحدث الأصلي (3.61 مقابل 2.39 لـ Vevo) مع الحفاظ على وضوح عالٍ وتشابه في المتحدث مع الهدف.
- نماذج ASR: أظهرت نماذج Whisper وHuBERT-ft ذروة أقل في استرداد اللهجة مقارنة بنموذج HuBERT القياسي، مما يؤكد أن إشراف ASR يقوم بفلترة إشارات اللهجة.

5. الأهمية والآثار المترتبة

إعادة التفكير في تصميم الرموز: تفند الورقة الممارسة الشائعة لاستخدام الطبقات العميقة والخاضعة لإشراف ASR أو الرموز الصغيرة لتمثيل "المحتوى" في توليد الكلام. وتوضح أن هذه الاختيارات تؤدي دون قصد إلى تجريد رموز المحتوى من معلومات اللهجة، مما يؤدي إلى "هلوسة اللهجة" الملحوظة في أنظمة ZS-TTS.
التوجيه نحو التوليد القابل للتحكم: توفر النتائج خارطة طريق واضحة لتصميم DSRTs:
- للحفاظ على اللهجة، استخدم الطبقات المتوسطة المبكرة من النماذج غير الخاضعة لإشراف ASR (مثل HuBERT L6–L9) مع رموز كبيرة.
- للتكيف مع لهجة مستهدفة، استخدم نماذج خاضعة لإشراف ASR أو طبقات أعمق حيث يتم إضعاف معلومات اللهجة طبيعيًا.
الاتجاهات المستقبلية: يسلط المؤلفون الضوء على أن اللهجة وهوية المتحدث متشابكان جزئيًا في التمثيلات الحالية. قد يتطلب الفصل الكامل بينهما إشرافًا صريحًا (مثل رؤوس تصنيف اللهجة) بدلاً من الاعتماد فقط على التكميم غير الخاضع للإشراف.

في الختام، يثبت هذا العمل أن اللهجة هي ميزة متميزة تعتمد على الطبقة في تمثيلات الكلام، ولا يمكن التحكم فيها عبر مجرد تعديلات بسيطة في حجم الرموز. كما يقدم إطارًا صارمًا وتوصيات معمارية محددة لبناء أنظمة توليد كلام أكثر شمولية وقابلية للتحكم.