Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
تقدم هذه الورقة معياراً للتقييم الميتافيزيقي القائم على الأبعاد والمستند إلى الأسس اللغوية لأنظمة تحويل النص إلى كلام، لتكشف أن المقيمات الآلية الحالية، بما في ذلك متنبئات متوسط درجة التفضيل (MOS) وقضاة النماذج اللغوية الكبيرة الصوتية (Audio-LLM)، تفشل في رصد كامل نطاق أبعاد الإدراك الصوتي بما يتجاوز الجودة الصوتية الأساسية بشكل موثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يتحدث. تريد منه أن يبدو كبشر حقيقي، وليس كشخصية في لعبة فيديو مليئة بالأخطاء التقنية. ولكن كيف تعرف ما إذا كان الروبوت يؤدي عملاً جيداً؟ لفترة طويلة، استخدم العلماء "متوسط درجة الرأي" (MOS). فكر في هذا الأمر كأنه تقرير دراسي يعطي فيه مستمع بشري للروبوت درجة واحدة، مثل "B" أو "4 من 5"، بناءً على مدى طبيعة صوته. ومؤخراً، بدأنا في استخدام قضاة ذكاء اصطناعي فائق الذكاء (يُطلق عليهم Audio-LLMs) لإعطاء هذه الدرجات تلقائياً، آملين في توفير الوقت الذي كنا سنقضيه في سؤال البشر للاستماع إلى آلاف التسجيلات.
السؤال الكبير هو: هل يدرك هؤلاء القضاة التلقائيون حقاً لماذا يبدو الصوت سيئاً؟ هل السبب هو أن الروبوت أخطأ في نطق كلمة ما؟ أم أنه يتحدث بسرعة كبيرة؟ أم لأن صوت الروبوت يبدو آلياً؟ إذا أعطى قاضي الذكاء الاصطناعي درجة "B" دون معرفة أي من هذه الأشياء المحددة قد حدث خطأ فيه، فإنه يشبه معلماً يعطي طالباً درجة سيئة في اختبار رياضيات لكنه لا يخبره ما إذا كان قد أخطأ في الجمع، أم الطرح، أم الضرب. يبحث هذا البحث فيما إذا كانت أحكامنا التلقائية الحالية ذكية بما يكفي لرصد هذه الأخطاء المحددة، أم أنها مجرد تخمين بناءً على مدى "الضجيج" في الصوت.
قرر الباحثون في "ServiceNow" وضع هؤلاء القضاة التلقائيين تحت اختبار محدد للغاية. لقد بنوا مجموعة بيانات ضخمة ومصممة خصصاً تضم 860 عينة كلامية، لكنهم لم يسجلوا جملًا عشوائية فحسب. بل كانوا مثل "العلماء المجانين"، حيث قاموا بحقن أنواع محددة من الأخطاء في الكلام عن عمد. لقد ابتكروا 10 "نكهات" مختلفة من الأخطاء، تتراوح من أخطاء بسيطة على مستوى الكلمة (مثل قول "قطة" بدلاً من "بطة") إلى مشكلات أكبر مثل التحدث بانفعال خاطئ أو امتلاك صوت يبدو مستحيلاً فيزيائياً لبشر. ثم جعلوا لغويين بشريين مدربين يستمعون إلى كل مقطع ويحددون بالضبط ما الذي حدث خطأ.
ومع وجود هذا "مفتاح الإجابة" المثالي في أيديهم، اختبروا أربعة أنواع مختلفة من متنبئات (MOS) التلقائية وأربعة أنواع من قضاة (Audio-LLM). وطلبوا من نماذج الذكاء الاصطناعي هذه تقييم الكلام تحت ظروف مختلفة: أحياناً عبر سؤالهم عن "الطبيعية" العامة، وأحياناً أخرى عبر تزويدهم بقائمة مراجعة مفصلة تضم 10 أنواع محددة من الأخطاء للبحث عنها.
كانت النتائج بمثابة "صحوة". تبين أن متنبئات (MOS) التقليدية (تلك التي تعطي مجرد رقم واحد) كانت تشبه كاشف الدخان الذي لا يعمل إلا عند حدوث حريق، ولكنه يتجاهل النافذة المكسورة. فقد كانت بارعة في رصد الأعطال الواضحة ومنخفضة المستوى مثل الطنين الروبوتي أو التشويش الغريب (ما يسميه البحث "أخطاء المعقولية البشرية")، لكنها كانت عمياء تماماً عن الأخطاء اللغوية. فإذا أخطأ الروبوت في نطق كلمة أو وضع النبرة على المقطع الصوتي الخاطئ، فإن متنبئ (MOS) غالباً لم يهتم على الإطلاق، مانحاً درجة عالية حتى عندما كان المستمعون البشر يشعرون بالاشمئزاز.
أما قضاة (Audio-LLM) فكانوا أكثر تعقيداً. فقد أظهروا قدرة على رصد الأخطاء، ولكن فقط إذا سألتهم بالطريقة الصحيحة. فعندما سألهم الباحثون ببساطة: "هل هذا طبيعي؟"، كانت أحكام الذكاء الاصطناعي غير متسقة وفقدت الكثير من الأخطاء المحددة. ومع ذلك، عندما زودهم الباحثون بـ "دليل مرجعي" (مخطط) يسرد الـ 10 أبعاد التي يجب فحصها، أصبح القضاة أفضل بكثير في رصد الأخطاء على مستوى الكلمات. لكن كان هناك عقبة: إذا طلبت من الذكاء الاصطناعي فحص جميع الأبعاد العشرة في وقت واحد، فإنه غالباً ما يصاب بالارتباك وينهار، ويعطي نفس الدرجة لكل شيء. لقد كان العمل الأفضل عندما تطلب منه التركيز على نوع واحد محدد من الأخطاء في كل مرة.
في النهاية، يشير البحث إلى أنه لا يمكننا الاعتماد على درجة "طبيعية" واحدة لنعرف ما إذا كان نظام تحويل النص إلى كلام جيداً أم لا. إن القضاة التلقائيين الحاليين يشبهون الطلاب الذين يجيدون رصد المكتب الفوضوي لكنهم سيئون في رصد خطأ إملائي. إنهم يميلون إلى التركيز على جودة صوت التسجيل بدلاً من اللغة التي يتم التحدث بها بالفعل. ويخلص المؤلفون إلى أنه لكي نطور هذه الأنظمة حقاً، نحتاج إلى التوقف عن معاملة "الطبيعية" كغموض كبير واحد، والبدء في تقييم الكلام من خلال النظر في كل بُعد محدد - مثل النطق، والنبرة، والانفعال، والسرعة - بشكل فردي. وإلى أن نفعل ذلك، قد تعطينا أحكامنا التلقائية درجة نجاح لروبوت يبدو كالبشر، لكنه في الواقع يقول الكلمات الخاطئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.