Acoustic and perceptual differences between standard and accented Chinese speech and their voice clones
تكشف هذه الدراسة أنه بينما تُظهر استنساخات الأصوات للغة الماندارين القياسية والمُصابة بلكنة مسافات متشابهة قائمة على التضمين لأصولها، فإن التقييمات الإدراكية تُظهر أن اللكنة تؤثر بشكل كبير على كل من تطابق الهوية المُدرك وتحسينات الوضوح، مما يشير إلى ضرية تقييمهما كأبعاد متميزة في استنساخ الصوت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك آلة تصوير سحرية، ولكن بدلاً من نسخ الأوراق، تقوم بنسخ الأصوات. هذه التكنولوجيا، التي تُسمى "استنساخ الصوت"، يمكنها أخذ تسجيل مدته 20 ثانية لشخص يتحدث وتوليد جمل جديدة تبدو تماماً مثله.
لكن هنا تكمن المشكلة: ماذا يحدث إذا كان الشخص يمتلك لهجة إقليمية قوية؟ هل تحتفظ هذه الآلة السحرية بـ "النكهة" الفريدة، أم أنها تقوم بالخطأ بتنعيمها لتصبح لهجة عامة ومعيارية؟ وهل يغير ذلك من شعورنا تجاه الصوت؟
تبحث هذه الورقة البحثية في هذا الأمر تحديداً، باستخدام متحدثين باللغة الصينية المندرينية يمتلكون لهجات إقليمية قوية مقابل لهجة "معيارية". استخدم الباحثون طريقتين مختلفتين للتحقق من النتائج: روبوت حاسوبي (رياضيات) ومستمعين بشريين (آذان).
إليك تفصيل نتائجهم باستخدام بعض التشبيهات البسيطة:
1. وجهة نظر الكمبيوتر: ماسح "بطاقة الهوية"
طلب الباحثون أولاً من نظام حاسوبي (ذكاء اصطناعي يعمل كجهاز فحص هوية صوتية) قياس مدى تشابه الصوت الأصلي مع الصوت المستنسخ.
- التشبيه: تخيل أن الكمبيوتر هو حارس أمن عند ملهى ليلي يفحص بطاقات الهوية. إنه ينظر إلى "هوية الصوت" للشخص الأصلي وللشخص المستنسخ.
- النتيجة: قال الحارس: "إنهما يبدوان متشابهين". وسواء كان الشخص لديه لهجة ثقيلة أو لهجة معيارية، لم يستطع الكمبيوتر ملاحظة فرق كبير بين الأصلي والمستنسخ. كانت "المسافة" بين الصوتين على خريطة الكمبيوتر متساوية تقريباً للجميع.
- الخلاصة: بالنسبة للرياضيات، لم يبدُ أن اللهجة قد اختفت. اعتقد الكمبيوتر أن النسخ المستنسخة هي نسخ وفية للأصل.
2. وجهة نظر البشر: اختبار "الأذن"
بعد ذلك، طلب الباحثون من أشخاص حقيقيين الاستماع إلى التسجيلات وتقييمها. وقد طرحوا سؤالين:
- التشابه: "هل يبدو هذا كأنه نفس الشخص؟"
- وضوح النطق: "ما مدى سهولة فهم ما يقولونه؟"
التشبيه: تخيل أنك تستمع إلى صديق يحكي قصة.
- السيناريو (أ) (لهجة معيارية): يتحدث صديقك بوضوح. النسخة المستنسخة تبدو تماماً مثله. تقول: "نعم، هذا هو بالتأكيد!"
- السيناريو (ب) (لهجة ثقيلة): لدى صديقك لهجة قوية تجعل بعض الكلمات صعبة الالتقاط. النسخة المستنسخة تنطق نفس الكلمات، ولكن فجأة، تبدو اللهجة "أخف" أو أكثر قرباً من النسخة المعيارية.
النتيجة:
- التشابه: لاحظ البشر شيئاً فات الكمبيوتر. شعروا أن النسخ المستنسخة لـ المتحدثين بلهجات تبدو أقل شبهاً بالشخص الأصلي مقارنة بالمتحدثين باللهجة المعيارية. وكأن النسخة قد "غسلت" النكهة الإقليمية الفريدة، مما جعل المتحدث يبدو كشخص غريب.
- وضوح النطق: ومع ذلك، لاحظ البشر أيضاً أن النسخ المستنسخة من أصحاب اللهجات كانت أسهل بكثير في الفهم من التسجيلات الأصلية. لقد قامت "الآلة السحرية" بتنظيف الكلام عن غير قصد، مما جعله أكثر وضوحاً.
3. التحول الكبير: تأثير "السموذي"
لماذا قال الكمبيوتر "متشابه!" بينما قال البشر "مختلف!"؟
فكر في الصوت ذو اللهجة الثقيلة مثل سموذي الفاكهة الذي يحتوي على قطع كبيرة من الفاكهة.
- الكمبيوتر (ماسح الهوية): يتحقق فقط من اللون والقاعدة السائلة. يرى اللون الأحمر ويقول: "هذا سموذي فراولة". هو لا يهتم بالقطع.
- الإنسان (المتذوق): الإنسان يتذوق القوام. عندما يتم استنساخ الصوت، يبدو أن الذكاء الاصطناعي يقوم بـ "خلط" السموذي، مما يجعل القطب الكبيرة (اللهجة الثقيلة) أكثر نعومة لتجعله ينساب بسلاسة أكبر.
- النتيجة 1: لأن القطع اختفت، يصبح طعم السموذي "أنعم" وأسهل في الشرب (وضوح نطق أعلى).
- النتيجة 2: ولكن لأن القطع الفريدة قد اختفت، يقول المتذوق: "هذا لا يشبه تماماً سموذي الخاص بي بعد الآن" (تشابه أقل).
4. لماذا يهم هذا الأمر؟
تخلص الورقة البحثية إلى أن استنساخ الصوت ليس مجرد نسخ لصوت؛ بل هو نسخ لـ "شخص".
- المشكلة: أدوات الذكاء الاصطناعي الحالية بارعة في جعل الأصوات تبدو واضحة، لكنها قد تقوم دون قصد بـ "توحيد المعايير" للناس. إذا كنت تمتلك لهجة قوية، فقد يجعل الذكاء الاصطناعي صوتك يبدو مثل مذيع أخبار عام بدلاً من أن يبدو "أنت".
- مخاطر السلامة: إذا بدا النسخ المستنسخ "نظيفاً" جداً وفقد اللهجة، فقد يكون من السهل اكتشاف أنه مزيف. ولكن إذا تم الحفاظ على اللهجة بشكل مثالي، فقد يكون من الصعب اكتشافه، ولكنه أيضاً سيكون صعب الفهم.
- الحل: نحن بحاجة إلى اختبار استنساخ الصوت بطريقتين منفصلتين:
- هل يبدو مثل الشخص؟ (الهوية)
- هل يبدو مثل اللهجة؟ (الأسلوب)
باختصار: يعتقد الكمبيوتر أن النسخ المستنسخة هي نسخ مثالية. لكن آذاننا تخبرنا أنه بالنسبة للمتحدثين بلهجات، فإن النسخ المستنسخة "نظيفة" أكثر من اللازم. إنها أسهل في الفهم، لكنها تبدو أقل شبهاً بالشخص الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.