Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS
تقترح هذه الورقة استراتيجية اختيار للمطالبات مكونة من مرحلتين، تقوم بتقييم المرشحين بناءً على السمات العروضية، وجودة الصوت، والتماسك بين النص والعاطفة قبل عملية التوليد، وتعمل على مواءمتهم مع النص المدخل أثناء التوليد، وذلك لتحسين اتساق المتحدث وكثافة العاطفة بشكل كبير في توليد تحويل النص إلى كلام من نوع "الصفر لقطعة" (zero-shot).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج يحاول تصوير مشهد سينمائي حيث يتعين على الممثل إلقاء جملة بـ حزن مثالي أو غضب متفجر. لديك نص (الكلمات)، لكنك تحتاج إلى "مقطع مرجعي" (المطالبة/Prompt) لتُظهر للممثل كيف ينطقها.
إذا قدمت للممثل مقطعاً مرجعياً وهو يهمس بهدوء، فقد يهمس بالجملة الحزينة. وإذا قدمت له مقطعاً وهو يصرخ فرحاً، فقد يصرخ بالجملة الحزينة. المقطع المرجعي هو ما يحدد الجو العام، ونبرة الصوت، وشدة الأداء.
هذه الورقة البحثية، بعنوان "التوجيه التعبيري" (Expressive Prompting)، تعالج مشكلة كبيرة في توليد الصوت بالذكاء الاصطناعي: كيف نختار المقطع المرجعي المثالي لجعل الذكاء الاصطناعي يبدو تماماً كما نريد؟
إليك تفصيل حله، ExpPro، باستخدام تشبيهات بسيطة.
المشكلة: لعبة "التخمين العشوائي"
حالياً، تختار معظم أنظمة الصوت بالذكاء الاصطناعي مقطعاً مرجعياً بشكل عشوائي أو بمجرد مطابقة الكلمات.
- النهج العشوائي: يشبه طلب "أغنية عشوائية" من صديق لضبط الحالة المزاجية لحفلة. قد تحصل على أغنية حزينة بينما كنت تريد أغنية راقصة.
- نهج النص فقط: يشبه النظر إلى عنوان أغنية ("عيد ميلاد سعيد") والافتراض بأن الأغنية تبدو سعيدة. ولكن ماذا لو كان المغني يؤديها كمرثية جنائزية؟ الكلمات متطابقة، لكن العاطفة خاطئة.
النتيجة؟ يبدو صوت الذكاء الاصطناعي مسطحاً، أو تكون العاطفة ضعيفة، أو يبدو الصوت شخصاً مختلفاً عن ذاك الذي أردته.
الحل: "تجربة أداء لعملية اختيار الممثلين" (ExpPro)
يقترح المؤلفون استراتيجية ذكية مكونة من خطوتين للعثور على أفضل مقطع مرجعي دون الحاجة لإعادة تدريب الذكاء الاصطناعي (وهو ما يشبه تعليم الممثل مهارة جديدة من الصفر). يطلقون عليه اسم ExpPro.
المرحلة الأولى: "تجربة الأداء" (الاختيار الساكن)
قبل أن يبدأ الذكاء الاصطناعي في التحدث، يعمل النظام كمخرج تجارب أداء صارم يمتلك كومة ضخمة من المقاطع المرجعية. يقوم بتصفيتها عبر ثلاث عدسات محددة:
فحص "طبقة الصوت" (مقبض التحكم في الصوت):
- التشبيه: فكر في طبقة الصوت (Pitch) كـ "مستوى طاقة" للصوت. الهمهمة المنخفضة والثابتة عادة ما تكون هادئة أو حزينة. أما الصوت المرتفع والمتذبذب فعادة ما يكون سعيداً أو متفاجئاً.
- ماذا يفعلون: يقيس النظام متوسط الارتفاع (المتوسط) والتقلبات (التباين) في الصوت في المقاطع. يقوم بتجميعها في مجموعات. إذا كنت تريد صوتاً "غاضباً"، فإنه يختار المقاطع ذات الطاقة العالية والمضطربة. إذا كنت تريد صوتاً "حزيناً"، فإنه يختار المقاطع المنخفضة والمسطحة.
"فحص الجو العام" (الإدراك ومطابقة النص):
- التشبيه: تخيل ناقداً موسيقياً يستمع إلى المقطع. هل الصوت واضح وطبيعي؟ وأيضاً، هل النص في المقطع يتوافق بالفعل مع العاطفة؟
- ماذا يفعلون: يستخدمون ذكاءً اصطناعياً "ناقداً" (مثل ChatGPT) لقراءة نص المقطع المرجعي وسؤاله: "هل هذه الجملة تبدو حقاً 'غاضبة'؟". إذا كان المقطع يقول "أنا سعيد جداً" ولكنه يبدو مملاً، فسيتم رفضه.
"البروفة" (أداء النموذج):
- التشبيه: هذه هي الخطوة الأكثر أهمية. مجرد كون المقطع يبدو جيداً بمفرده لا يعني أن الذكاء الاصطناعي يمكنه تقليده جيداً. الأمر يشبه مغنياً رائعاً يبدو مذهلاً في العروض الحية ولكنه سيء جداً عند تسجيله بهاتف رخيص.
- ماذا يفعلون: يقوم النظام فعلياً باختبار أفضل المقاطع من خلال الطلب من الذكاء الاصطناعي نطق بعض الجمل المحايدة باستخدام ذلك المقطع كدليل. ويتحقق من:
- هل فهم الذكاء الاصطناعي الكلمات؟ (معدل الخطأ في الحروف)
- هل حافظ على نفس الصوت؟ (تشابه المتحدث)
- هل حافظ على نفس العاطفة؟ (تشابه العاطفة)
- المقاطع التي يستطيع الذكاء الاصطناعي تقليدها جيداً فقط هي التي يتم الاحتفاظ بها.
المرحلة الثانية: "المطابقة النهائية" (الاختيار الديناميكي)
بعد "تجربة الأداء"، تصبح لديك قائمة قصيرة لأفضل 5 أو 10 مقاطع. الآن، تحتاج إلى اختيار المقطع الذي يناسب الجملة المحددة التي تريد من الذكاء الاصطناعي قولها الآن.
- التشبيه: لديك قائمة قصيرة من 5 ممثلين رائعين. أنت على وشك تصوير مشهد يقول فيه الشخصية: "لا أصدق أنك فعلت ذلك!".
- إذا كان المشهد كوميدياً، تختار الممثل الذي يجيد الأداء الساخر.
- إذا كان المشهد تراجيدياً، تختار الممثل الذي يجيد أداء الانكسار والحزن.
- ماذا يفعلون: يقارن النظام بين معنى الجملة الجديدة ومعنى المقاطع الموجودة في القائمة القصيرة. يختار المقطع الأقرب دلالياً. إذا كان النص الجديد يدور حول "الفقد"، فإنه يختار المقطع "الحزين" من القائمة القصيرة، وليس المقطع "السعيد"، حتى لو اجتاز كلاهما المرحلة الأولى.
لماذا هذا مهم؟
تثبت الورقة البحثية أنه باستخدام عملية "تجربة الأداء" ثنائية الخطوات هذه، يصبح الذكاء الاصطناعي:
- أكثر عاطفية: الأصوات تشعر حقاً بالغضب أو الحزن أو السعادة، وليست مجرد أصوات روبوتية.
- أكثر اتساقاً: يبدو الصوت كأنه نفس الشخص طوال فترة الكلام.
- أفضل جودة: يبدو الكلام أكثر وضوحاً وطبيعية.
الخلاصة
فكر في ExpPro كمساعد ذكي للغاية لا يلتقط مجرد عينة صوت عشوائية. بدلاً من ذلك، هو يقوم بـ:
- إجراء تجارب أداء لآلاف المقاطع للعثور على تلك التي تمتلك الطاقة والوضوح المناسبين.
- اختبارها لمعرفة أي منها يمكن للذكاء الاصطناعي تقليده جيداً بالفعل.
- مطابقة الفائز النهائي مع الحالة المزاجية المحددة لجملتك.
النتيجة؟ ذكاء اصطناعي يمكنه سرد قصة بنفس العمق العاطفي واتساق الصوت مثل الممثل البشري، ببساطة عن طريق اختيار "المرجع" الصحيح للبدء به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.