Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study
تقدم هذه الورقة دراسة مقارنة تثبت أنه في حين أن المقاييس القائمة على المشفرات (مثل BERTScore وSemDist) والمعدة بشكل صحيح تحقق ارتباطاً قوياً مع الأحكام البشرية لتقييم التعرف الآلي على الكلام (ASR)، فإن النماذج اللغوية الكبيرة التوليدية تقدم نقاط قوة تكميلية في اختيار الفرضيات الزوجية وتحسين قابلية التفسير لتحليل الأخطاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يستمع جهاز كمبيوتر إلى صوت بشري ويكتب ما يسمعه، تُسمى هذه العملية بالتعرف التلقائي على الكلام. ولعقود من الزمن، كانت الطريقة القياسية للحكم على مدى جودة عمل هذه الأنظمة هي مجرد عدّ الأخطاء. فإذا كتب الكمبيوتر كلمة "قطة" بينما قال المتحدث "بات" (bat)، فإن ذلك يُحتسب خطأً. وإذا أضاف كلمة إضافية أو أغفل واحدة، فهذه أيضاً أخطاء. هذه الطريقة، المعروفة باسم معدل خطأ الكلمات، تعامل كل خطأ على أنه سيئ بنفس القدر؛ فهي لا تهتم إذا كان الخطأ يغير معنى الجملة أو إذا كان مجرد اختلاف طفيف في الإملاء قد يتغاضى عنه القارئ البشري بسهولة. ونتيجة لذلك، يمكن لنظام ما أن يحصل على درجة مثالية في هذا الاختبار القديم بينما ينتج نصاً يبدو آلياً أو مربكاً بالنسبة للإنسان.
ولإصلاح ذلك، اتجه الباحثون إلى طرق أحدث تنظر إلى المعنى وراء الكلمات بدلاً من مجرد النظر إلى الحروف نفسها. تستخدم هذه الطرق نماذج لغوية كبيرة، وهي برامج حاسوبية ضخمة تم تدريبها على كميات هائلة من النصوص لفهم كيفية عمل اللغة. بعض هذه النماذج مصمم لقراءة وفهم النصوص، بينما صُممت نماذج أخرى لتوليد نصوص جديدة، مثل كتابة قصة أو الإجابة على سؤال. وكان السؤال الكبير في هذا المجال هو ما إذا كانت هذه الأدوات الجديدة القوية يمكنها القيام بمهمة أفضل في تقييم التعرف على الكلام مقارنة بطرق العد القديمة، وإذا كان الأمر كذلك، فما هو نوع النموذج الأفضل للقيام بدور الحكم.
قام فريق من الباحثين في معهد "إيدياب" للأبحاث (Idiap Research Institute) في سويسرا، بالتعاون مع زملاء من جامعات في فرنسا، بتحديد الإجابة على هذا السؤال. أرادوا معرفة كيف تقارن أنواع مختلفة من النماذج اللغوية الكبيرة عند مطالبتها بتقييم جودة النصوص المنسوخة من الكلام. لم يكتفوا باختبار النماذج بشكل عام، بل اختبروها بطريقتين مختلفتين تماماً. أولاً، عاملوها كأدوات لقياس المسافة بين الكلمات المنطوقة والنص المكتوب، بحثاً عن درجة رياضية تتوافق مع الرأي البشري. ثانياً، طلبوا من النماذج أن تعمل كحكم يشبه البشر، حيث تقرأ نسختين مختلفتين من النص المنسوخ وتقرر أيهما أفضل، أو ببساطة تصنف النسخة المنسوخة الواحدة بأنها جيدة أو سيئة أو مربكة.
اختبر الباحثون أفكارهم باستخدام مجموعة بيانات تسمى (HATS)، والتي تحتوي على تفضيلات بشرية زوجية لفرضيات التعرف التلقائي على الكلام باللغة الفرنسية الناتجة عن أنظمة حاسوبية متنوعة. ومن الأهمية بمكان أن هذه المجموعة تتضمن أيضاً آراء المستمعين البشر الذين طُلب منهم تقييم جودة النصوص المنسوخة. وقد سمح هذا للباحثين بمعرفة ما إذا كانت النماذج الحاسوبية تصدر أحكاماً مماثلة لتلك التي يصدرها البشر. بدأ الباحثون باختبار النماذج كأدوات قياس؛ حيث قاموا بحساب (BERTScore) و(SemDist) باستخدام التضمينات المستخرجة من النماذج لتوليد درجة بناءً على مدى تشابه نسخة الكمبيوتر مع نسخة الإنسان. ووجدوا أن أفضل النتائج لم تأتِ ببساطة من استخدام أكبر أو أقوى نموذج، بل اعتمد النجاح على كيفية اختيار الباحثين لمعالجة المعلومات داخل النموذج.
بالنسبة للنماذج المصممة لقراءة وفهم النصوص، اكتشف الباحثون أن أفضل النتائج جاءت من خلال النظر في طبقات محددة من البنية الداخلية للنموذج، بدلاً من مجرد النظر إلى المخرج النهائي. كما وجدوا أن النماذج المدربة خصيصاً لإنشاء ملخصات على مستوى الجملة كانت تؤدي بشكل أفضل من النماذج العامة الأغراض. وبالنسبة للنماذج المصممة لتوليد النصوص، كانت النتائج مماثلة: تطلب الأداء الأفضل اختياراً دقيقاً للجزء الذي يجب استخدامه من المعرفة الداخلية للنموذج. وفي هذه الاختبارات، أدت النماذج المصممة لتوليد النصوص أداءً يضاهي، وأحياناً يتفوق قلياً على، النماذج المصممة للقراءة، إلا أن النماذج التي تركز على القراءة حققت ذلك بموارد حاسوبية أقل بكثير، مما جعلها خياراً فعالاً جداً لهذه المهمة المحددة.
انتقل الباحثون بعد ذلك إلى الجزء الثاني من دراستهم، حيث طلبوا من النماذج أن تعمل كأحكام. في السيناريو الأول، أعطوا النموذج جملة مرجعية ونسختين مختلفتين مولدتين حاسوبياً من تلك الجملة، وكان على النموذج اختيار النسخة التي يفضلها البشر. في هذه المهمة، أدت النماذج التوليدية الأكثر تقدماً، بما في ذلك بعض أكبر النماذج المتاحة، أداءً استثنائياً؛ حيث اتفقت مع الخيارات البشرية بنسبة 94 بالمائة في أفضل الحالات، متفوقة بذلك على طريقة العد القديمة وطرق التسجيل الجديدة. يشير هذا إلى أنه عندما يُسمح للنموذج بقراءة الجملة بأكملة والتفكير في السياق، فإنه يستطيع رصد الاختلافات الدقيقة في الجودة التي تغفل عنها الرياضيات البسيطة.
وفي التجربة النهائية، طلب الباحثون من النماذج النظر في نسخة منسوخة واحدة وتصنيفها بملصق: مطابقة، أو مفيدة، أو سيئة، أو غير مفهومة. قدم هذا النهج نوعاً جديداً من الرؤية؛ فبدلاً من الحصول على رقم واحد، حصل الباحثون على وصف للخطأ. على سبيل المثال، استطاع النموذج تحديد أن الجملة مفهومة رغم وجود بعض الأخطاء الإملائية، أو أنها كانت مربكة تماماً. ورغم أن النماذج لم تكن مثالية في هذه المهمة، إلا أنها أظهرت قدرة واضحة على تنظيم الأخطاء حسب شدتها. وأشارت النتائج إلى أن هذه النماذج يمكنها تقديم تقرير أكثر تفصيلاً وصديقاً للبشر حول سبب فشل نظام الكلام، بدلاً من مجرد القول بأنه فشل.
تخلص الدراسة إلى أن النماذج اللغوية الكبيرة توفر طريقة مرنة وقوية لتقييم التعرف على الكلام. فالنماذج التي تركز على القراءة توفر درجات سريعة ودقيقة تتوافق مع الإدراك البشري، بينما تتفوق النماذج المولدة للنصوص في مقارنة النسخ المختلفة من النص وشرح طبيعة الأخطاء. ووجد الباحثون أن حجم النموذج كان أقل أهمية من كيفية استخدامه؛ إذ يمكن لنموذج أصغر ومعد بشكل جيد أن يقوم غالباً بمهمة نموذج أكبر بكثير. وفي النهاية، يظهر العمل أنه من خلال الجمع بين هذه المنهجيات المختلفة، يمكننا الانتقة من مجرد عد الأخطاء البسيطة إلى فهم أعمق لمدى قدرة الكمبيوتر حقاً على فهم الصوت البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.