Context-Adaptive Emotional Speech Synthesis via Feature Control in Multi-Turn Dialogue (ChinaMM 2026)
تقترح هذه الورقة إطار عمل متكيف مع السياق لتوليد الكلام العاطفي متعدد الأدوار، يستفيد من ذاكرة الحوار التاريخية ومدخل مشترك ثنائي الأنماط من الإشارات الصوتية والنص لتوقع والتحكم ديناميكياً في السمات الصوتية، مما يتغلب على قيود الطرق التقليدية القائمة على النسخ النصي لتحقيق استجابات طبيعية ومتماسكة عاطفياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل محادثة يبدو فيها الصوت على الطرف الآخر بشرياً تماماً، ليس فقط في الكلمات التي ينطق بها، بل أيضاً في طريقة تنفسه، وتوقفه، وتغيير نبرته ليتناسب مع مزاج اللحظة. لعقود من الزمن، عانت التكنولوجيا التي تحول النص إلى كلام من افتقارها إلى هذا التلميح الدقيق. وبينما تستطيع الآلات الآن قراءة جملة بصوت عالٍ بوض وضوح تام، إلا أنها غالباً ما تفتقر إلى التيارات العاطفية الخفية التي تتدفق بين المتحدثين في حوار حقيقي. فهي تفشل في تمييز الفرق بين عبارة مسطحة وبين همس سرّي، أو في فهم أن ضحكة في الجملة السابقة يجب أن تؤثر على نبرة الجملة التالية. يوجد هذه الفجوة لأن معظم الأنظمة تعتمد على وسيط: فهي تقوم أولاً بتحويل صوت الشخص المتحدث إلى نص مكتوب لفهم السياق، ثم تستخدم هذا النص لتوليد صوت جديد. في هذه العملية، تُجرد التفاصيل الغنية وغير المرئية للصوت الأصلي — مثل ارتفاع وانخفاض حدة الصوت، أو الشهيق الحاد، أو الإيقاع المحدد للتوقف — مما يترك الكمبيوتر مع الهيكل العظمي المجرد للمحادثة فقط.
لقد طور فريق من الباحثين في جامعة الصين للاتصالات نهجاً جديداً لسد هذه الفجوة، مما يسمح للآلات بالاستماع إلى الصوت الفعلي للمحادثة بدلاً من مجرد نصها المكتوب. يقدم عملهم، الذي سيُعرض في مؤتمر ChinaMM 2026، نظاماً يمكنه مشاهدة حوار متعدد الأدوار وتوليد استجابة تبدو متصلة عاطفياً ومتماسكة بشكل طبيعي. وبدلاً من تحويل تاريخ الدردشة إلى كلمات، يقوم منهجهم بتغذية النظام بالصوت الخام للدور السابق مباشرة جنباً إلى جنب مع النص الجديد المراد نطقه. وهذا يسمح للكمبيوتر بإدراك الحالة العاطفية والإشارات شبه اللغوية — مثل الضحك، أو التنهد، أو الضغط — المضمنة في الموجات الصوتية نفسها. ومن خلال القيام بذلك، يمكن للنظام التنبؤ بدقة بكيفية صياغة الجملة التالية، مما يضمن أن النبرة الحزينة في الماضي تؤدي إلى استجابة متعاطفة، أو أن دفقة من الحماس تُقابل بطاقة مماثلة.
بنى الباحثون حلهم على محرك يتكون من جزأين مصمم لمحاكاة كيفية معالجة البشر للمحادثة. يعمل الجزء الأول كـ "مستمع" شديد الانتباه، مدرب على فهم العلاقة بين صوت الجملة السابقة ونص الجملة التالية. ولتعليم هذا النظام، استخدم الفريق استراتيجية ذكية تتضمن عملية تعلم "على مرحلتين". أولاً، علموا نموذجاً التعرف على سمات محددة في مقاطع صوتية قصعة ومعزولة، مثل تحديد توقف يستمر لأكثر من جزء من الثانية أو رصد تغير مفاجئ في حدة الصوت يشير إلى الغضب. واستخدموا مجموعة صغيرة من الأمثلة المصنفة بعناقة لبناء أساس من المعرفة. بعد ذلك، وسعوا هذا التدريب ليشمل أزواجاً من المحادثات: صوت ما قيل للتو ونص ما سيقال بعد ذلك. سمح هذا للنموذج ليس فقط بتعلم شكل هذه السمات، بل بكيفية تطورها عبر الحوار. تعلم النموذج التنبؤ بالنبرة العاطفية والتفاصيل الصوتية المحددة للاستجابة القادمة بناءً على التاريخ الذي سمعه للتو.
ومع ذلك، فإن التنبؤ بهذه السمات هو نصف المعركة فقط؛ إذ يجب على النظام أيضاً ترجمة تلك التوقعات إلى تعليمات يمكن لمولد الكلام اتباعها بالفعل. يعمل الجزء الثاني من إطار عملهم كمترجم دقيق. يقوم الجزء الأول بتوليد وصف للصوت المطلوب بلغة طبيعية، لكن تغذية مولد الكلام بأوصاف خام مباشرة قد يسبب ارتباكاً، مما يؤدي بالآلة إلى نطق التعليمات بدلاً من اتباعها. ولمنع ذلك، أنشأ الباحثون مجموعة من القوالب الصارمة التي تحول السمات المتوقعة إلى تنسيق معياري. على سبيل المثال، إذا توقع النظام وجود ضحكة، فإن المترجم يضمن تنسيقها كأمر محدد لإدراج ضحكة عند نقطة معينة، بدلاً من كونها وصفاً غامضاً. تضمن هذه الخطوة تنفيذ التفاصيل الدقيقة، مثل التنفس بين الكلمات أو التشديد على مقطع لفظي معين، بدقة تامة كما هو مقصود.
عند اختباره مقابل الأساليب الحالية، أظهر إطار العمل الجديد قدرة واضحة على الحفاظ على الاتساق العاطفي عبر المحادثة. وفي تجارب باستخدام مجموعتين مختلفتين من الحوارات البشرية، أنتج النظام كلاماً صنف المستمعون صوته بأنه أكثر طبيعية ودقة عاطفية بشكل ملحوظ مقارنة بالتقنيات السابقة. وقد قاس الباحثون ذلك من خلال جعل المستمعين البشريين يقيمون جودة الأصوات، وباستخدام برامج لمقارنة الفئات العاطفية للكلام المولد مقابل التسجيلات الأصلية. وأظهرت النتائج أن منهجهم حقق دقة أعلى في مطابقة العاطفة المقصودة، حيث وصلت الدرجات إلى 54.7 في المئة في إحدى مجموعات البيانات و47.4 في المئة في أخرى، متفوقاً على الأنظمة الرائدة الأخرى. علاوة على ذلك، أظهر الكلام المُولد تشوهاً أقل في جودة الصوت، مما يعني أنه يبدو أقرب إلى صوت بشري حقيقي من مخرجات النماذج الأساسية.
يوجد الدليل البصري لهذا النجاح في الطريقة التي يتعامل بها النظام مع تدفق المحادثة. في حالة اختبار واحدة، عندما قال المتحدث: "إليك فاتورتك"، توقع النظام بشكل صحيح انخفاضاً في حدة الصوت في نهاية الجملة، مما يعكس الخاتمة الطبيعية للعبارة، بينما أنتجت النماذج الأقدم نبرة مسطحة وثابتة. وفي حالة أخرى، عندما أشار السياق إلى لحظة مبهجة، نجح النظام في توليد ضحكة في نهاية الجملة، وهي ميزة فشلت النماذج السابقة في إنتاجها لأنها افتقرت إلى السياق لمعرفة أن ذلك مناسب. وبالمثل، تعلم النظام إدراج توقفات وتنفسات طبيعية في اللحظات المناسبة، مما خلق إيقاعاً يبدو وكأنه تفاعل بشري حقيقي وليس مجرد تلاوة روبوتية. وقد تحققت هذه القدرات دون إبطاء العملية كثيراً؛ إذ يعمل النظام بأكمله، من الاستماع إلى الدور السابق إلى توليد الصوت الجديد، في أقل من ثانية واحدة، مما يجعله سريعاً بما يكفي للمحادثة في الوقت الفعلي.
كما سلطت الدراسة الضوء على أهمية خيارات التصميم المحددة التي اتخذها الفريق. فعندما اختبروا النظام بدون خطوة الترجمة، انخفضت جودة الكلام بشكل كبير، مما أكد أن التوقعات الخام من نموذج الاستماع كانت غير منظمة للغاية بحيث لا يمكن استخدامها مباشرة. أثبت هذا أن التخطيط المهيكل للسمات كان ضرورياً لعمل النظام. وأشار الباحثون إلى أنه بينما يعمل النظام بشكل استثنائي في المحادثات الثنائية، فإنه مصمم حالياً للبيئات الهادئة نسبياً. وهم يخططون لاستكشاف كيفية توسيع هذه التكنولوجيا للتعامل مع سيناريوهات أكثر تعقيداً، مثل المحادثات الجماعية أو البيئات الصاخبة، وتطوير عملية التعلم لتقليل الأخطاء بشكل أكبر. وفي الوقت الحالي، يعد هذا العمل خطوة مهمة نحو جعل الآلات قادرة حقاً على الاستماع والاستجابة بعمق عاطفي يضاهي الشريك البشري، مما يثبت أن مفتاح الصوت الطبيعي لا يكمن فقط في الكلمات، بل في صوت الصمت الذي بينها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.