HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
تقدم هذه الورقة البحثية HATS، وهي مجموعة بيانات فرنسية جديدة تحتوي على أخطاء نسخ مدركة بشرياً من 143 مُقيِّماً، للتحقيق في وتقييم الارتباط بين التفضيلات البشرية ومختلف مقاييس التعرف التلقائي على الكلام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قاضٍ في مسابقة طبخ. قام اثنان من الطهاة (لنطلق عليهما الشيف (أ) والشيف (ب)) بإعداد طبق بناءً على وصفة سرية. مهمتك هي تذوق كل منهما لتقرر أيهما أقرب إلى الوصفة الأصلية.
في عالم الحواسيب، هذا بالضبط ما يفعله التعرف التلقائي على الكلام (ASR). فهو يستمع إلى إنسان يتحدث ويحاول كتابة الكلمات، تماماً مثل شيف يحاول إعادة إنشاء طبق ما.
لفترة طويلة، كانت الطريقة الوحيدة للحكم على هؤلاء "الطهاة الحاسوبيين" هي عدّ الأخطاء. إذا كتب الحاسوب "قطة" بدلاً من "خفاش"، فهذا خطأ واحد. وإذا كتب "ق-ط-ة" بدلاً من "خ-ف-ا-ش"، فهذا أيضاً خطأ. يُسمى هذا معدل خطأ الكلمات (WER). إنه يشبه القاضي الذي يكتفي فقط بعدّ المكونات المفقودة، دون تذوق النكهة.
المشكلة: القاضي "العداد" صارم للغاية
يجادل مؤلفو هذه الورقة البحثية بأن القاضي "العداد" ليس جيداً بما يكفي في فهم ما يهتم به البشر حقاً. فأحياناً، يرتكب الحاسوب خطأً يغير الكلمة لكنه يحافظ على المعنى واضحاً (مثل قول "أكلتُ تفاحة" بدلاً من "أكلتُ إجاصة"). المستمع البشري سيفهم الجملة تماماً، لكن القاضي "العداد" سيعتبرها فشلاً.
أراد الباحثون معرفة: أي مقياس حاسوبي يتوافق فعلياً مع ما يعتبره الإنسان "نسخة جيدة"؟
الحل: تجربة HATS
لمعرفة ذلك، أنشأ الفريق مجموعة بيانات جديدة تسمى HATS (التقييم البشري للمقارنة بين النسخ المكتوبة). فكر في هذا كأنه حدث ضخم ومنظم لتذوق الطعام.
- الإعداد: جمعوا 143 متطوعاً بشرياً.
- المهمة: قاموا بتشغيل تسجيل لشخص يتحدث. ثم عرضوا على المتطوعين نسختين مختلفتين من النصوص التي أنشأها الحاسوب لنفس التسجيل. كلتا النسختين تحتويان على أخطاء.
- الاختيار: كان على المتطوعين اختيار أي من النسختين المكتوبتين كانت "أفضل" أو أسهل في الفهم. لم يكن بإمكانهم القول "إنهما متساويان". كان عليهم اختيار فائز.
اختار الباحثون خصيصاً حالات صعبة حيث كانت النسختان الحاسوبيتان متشابهتين جداً في الجودة، مما أجبر البشر على التفكير بعمق في تفاصيل اللغة.
النتائج: ماذا فضل البشر؟
قام الباحثون بعد ذلك بمقارنة خيارات البشر مقابل أنظمة تقييم حاسوبية مختلفة لمعرفة أي منها يتفق مع البشر أكثر.
إليك ما وجدوه، باستخدام تشبيهات بسيطة:
- الطريقة القديمة (WER/CER): "معدل خطأ الكلمات" التقليدي كان يشبه القاضي الذي يعد فقط عدد الحروف الخاطئة. وقد كان أداؤه ضعيفاً، حيث اختار غالباً النسخة "الأسوأ" مقارنة بما فضله البشر.
- الطريقة الجديدة (المقاييس الدلالية): اختبر الباحثون مقاييس أكثر ذكاءً تنظر إلى معنى الكلمات، وليس فقط تهجئتها. استخدموا أدوات مثل BERTScore و SemDist.
- تخيل BERTScore كقاضٍ يفهم أن "كبير" و"ضخم" لهما نفس المعنى، حتى لو اختلفت الكلمات.
- تخيل SemDist كقاضٍ ينظر إلى بنية الجملة الكاملة ليرى ما إذا كان "الجو العام" أو المعنى صحيحاً.
الفائز: المقياس الذي اتفق أكثر مع المتطوعين البشر هو SemDist (تحديداً باستخدام نموذج يسمى Sentence-BERT). لقد كان الأفضل في التنبؤ بالنسخة التي سيجدها البشر أسهل في الفهم.
تحول مفاجئ: "صوت" النص
كان هناك اكتشاف مثير للاهتمام حول معدل خطأ الوحدات الصوتية (PhonER). هذا المقياس يعد الأخطاء بناءً على كيفية نطق الكلمات (أصواتها)، وليس كيفية تهجئتها.
- على الرغم من أن البشر كانوا يقرؤون النص فقط (وليس يستمعون إلى الصوت)، إلا أن المقياس "القائم على الصوت" تنبأ باختيارات البشر بشكل أفضل من مقياس "عد الكلمات".
- التشبيه: الأمر كما لو أن البشر، أثناء قراءة النص، كانوا "يسمعون" الكلمات في رؤوسهم لا شعورياً. لقد فضلوا النص الذي يبدو صوته صحيحاً، حتى لو كانوا ينظرون فقط إلى الحروف.
الخلاصة
تخلص الورقة البحثية إلى أنه إذا كنت تريد معرفة ما إذا كان نظام تحويل الكلام إلى نص جيداً حقاً بالنسبة للبشر، فلا ينبغي لك مجرد عد أخطاء التهجئة. أنت بحاجة إلى مقياس يفهم معنى و تدفق الجملة.
لقد أتاح الباحثون بيانات "اختبار التذوق" الخاصة بهم (HATS) مجاناً حتى يتمكن العلماء الآخرون من استخدامها لبناء أنظمة تعرّف على الكلام أكثر ملاءمة للبشر.
ملاحظة هامة: يحذر المؤلفون من أن هذه الدراسة أُجريت بالكامل باللغة الفرنسية. ومجرد كون هذه القواعد تعمل في الفرنسية لا يعني أنها تعمل تلقائياً في الإنجليزية أو اللغات الأخرى. أيضاً، لأنهم اختاروا أمثلة صعبة للغاية للاختبار، فقد لا تمثل البيانات كل خطأ يمكن أن يرتكبه الحاسوب في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.