Evaluation of Automatic Speech Recognition Using Generative Large Language Models
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة القائمة على فك التشفير تتفوق بشكل كبير على معدل خطأ الكلمات التقليدي والمقاييس الدلالية الحالية في تقييم التعرف الآلي على الكلام، وذلك من خلال تحقيق توافق بنسبة 92-94% مع المقيّمين البشريين في اختيار الفرضيات، وتقديم مسار واعد نحو تقييم مفسر ومدرك للمعنى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تقوم بتصحيح مقال لأحد الطلاب. لعقود من الزمن، كانت الطريقة الوحيدة التي تصحح بها هذه المقالات هي عدّ الكلمات التي كُتبت بشكل خاطئ أو استُبدلت بكلمات أخرى. هذا يشبه المعيار القديم للتحقق من برامج تحويل الكلام إلى نص (والذي يسمى معدل خطأ الكلمات أو WER).
لكن هنا تكمن المشكلة: إذا كتب طالب "The cat sat on the mat" وكتب آخر "The feline rested on the rug"، فإن نظام التصحيح القديم سيعطيهما درجة رسوب لأن كل كلمة مختلفة تقريبًا. ومع ذلك، فإن المعلم البشري يعرف أن كلتا الجملتين تعنيان الشيء نفسه تمامًا! النظام القديم جامد للغاية؛ فهو يعد الأخطاء المطبعية لكنه يفتقد إلى المعنى.
هذه الورقة البحثية تسأل سؤالاً بسيطاً: هل يمكننا استخدام ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير أو LLM) لتصحيح نصوص الكلام هذه كما يفعل البشر؟
إليك تفاصيل تجربتهم، باستخدام بعض التشبيهات من الحياة اليومية:
١. "اختبار التذوق" (اختيار الخيار الأفضل)
الإعداد: تخيل أن لديك نسختين من نص مسجل من تسجيل غير واضح.
- النسخة أ: "It's to him self." (خاطئة قواعدياً، لكنها واضحة).
- النسخة ب: "It's uh to him-self." (تحتوي على تأتأة، لكنها صحيحة قواعدياً).
الطريقة القديمة (WER): يقوم الكمبيوتر بعد الأخطاء. قد يقول إن النسخة (أ) أفضل لأنها تحتوي على "أخطاء" أقل، رغم أن النسخة (ب) تبدو أكثر طبيعية للأذن البشرية.
الطريقة الجديدة (القاضي الذكاء الاصطناعي): طلب الباحثون من ذكاء اصطناعي فائق الذكاء (مثل GPT-4 أو Qwen) قراءة كليهما واختيار النسخة التي تبدو أكثر منطقية للإنسان.
- النتيجة: كان الذكاء الاصطناعي حكماً رائعاً. فقد اتفق مع الخبراء البشر بنسبة ٩٢-٩٤٪.
- التشبيه: فكر في النظام القديم كإنسان آلي يعد الحروف المفقودة. أما الذكاء الاصطناعي الجديد فهو مثل محرر خبير يدرك أن القليل من التأتأة ("uh") أمر مقبول، ولكن الجملة المكسورة ليست كذلك. كان الذكاء الاصطناعي أفضل بكثير في رصد ما يهم المستمع البشري حقاً.
٢. "بصمة الإصبع" (قياس المعنى باستخدام الرياضيات)
الإعداد: أحياناً لا تريد فقط اختيار فائز؛ بل تريد قياس مدى قرب جملتين في المعنى.
- الطريقة القديمة: تأخذ "بصمة" للجملة باستخدام نماذج ذكاء اصطناعي قديمة (المشفرات - Encoders). هذه النماذج تشبه الكاميرات عالية الجودة التي تلتقط صورة للمعنى.
- الطريقة الجديدة: جرب الباحثون أخذ بصمات باستخدام نماذج "المفككات" (Decoders) الجديدة (روبوتات الدردشة). وتساءلوا: هل تفهم روبوتات الدردते هذه المعنى بقدر ما تفهمه الكاميرات المتخصصة؟
النتيجة: للمفاجأة، كانت روبوتات الدردشة جيدة بقدر الكاميرات المتخصصة في التقاط "بصمة" المعنى.
- التحول المفاجئ: وجدوا أن مجرد أخذ الكلمة الأخيرة من الجملة (مثل النظر إلى المشهد الأخير من فيلم) لم يكن كافياً لفهم القصة بأكملها. بدلاً من ذلك، كان عليهم النظر إلى متوسط الجملة بأكملها.
- التشبيه: تخيل أنك تحاول تخمين حبكة فيلم من خلال النظر فقط إلى المشهد النهائي. قد تخطئ في ذلك. ولكن إذا نظرت إلى متوسط جميع المشاهد، فستحصل على القصة بأكملها. يعمل الذكاء الاصطناعي بشكل أفضل عندما يأخذ في الاعتبار "الفيلم" بأكمله، وليس فقط نهايته.
٣. "التقرير الدراسي" (تصنيف الأخطاء)
الإعداد: بدلاً من مجرد إعطاء درجة، طلب الباحثون من الذكاء الاصطناعي إعطاء درجة نوعية، مثل تعليق المعلم. لقد طلبوا من الذكاء الاصطناعي تصنيف الأخطاء إلى أربعة فئات:
١. متطابق: مثالي.
٢. مفيد: بعض الأخطاء المطبعية، لكن الفكرة واضحة.
٣. سيء: المعنى مشوه، لكن يمكنك تخمين ما كان مقصوداً.
٤. غير مفهوم: هراء تام.
النتيجة: كان الذكاء الاصطناعي ممتازاً في ذلك. لم يكتفِ بإعطاء رقم، بل شرح لماذا كان النص سيئاً.
- التشبيه: النظام القديم يعطيك درجة مثل "٧/١٠". أما الذكاء الاصطناعي الجديد فيعطيك تقريراً دراسياً يقول: "لقد خسرت نقاطاً لأنك أغفلت الفكرة الرئيسية، ولكن الإملاء كان جيداً". هذا أكثر فائدة بكثير لإصلاح البرمجيات.
الخلاصة الكبرى
لسنوات، كنا نقيس التعرف على الكلام بمسطرة تقيس الطول فقط (معدل خطأ الكلمات). تُظهر هذه الورقة البحثية أنه يجب علينا استخدام ذكاء اصطناعي ذكي ومدرك بدلاً من ذلك.
- إنه أكثر إنسانية: يهتم بالمعنى، وليس فقط بالإملاء.
- إنه قابل للتفسير: يمكنه إخبارك لماذا كان الشيء خطأ، وليس فقط أنه خطأ.
- إنه متاح للجميع: نماذج الذكاء الاصطناعي مفتوحة المصدر (المجانية) قدمت أداءً يضاهي النماذج المدفوعة والمكلفة.
باختصار، نحن ننتقل من عالم حيث تعد فيه الحواسيب أخطاءنا إلى عالم حيث تفهم فيه الحواسيب مقاصدنا. هذه خطوة كبيرة للأمام لجعل تقنية الصوت تعمل فعلياً من أجل البشر الحقيقيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.