Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation
تقدم هذه الورقة أول معيار مرجعي قابل للتكرار للتعرف الآلي على الكلام متعدد اللغات للغة البشتوية، كاشفةً أنه في حين تعاني النماذج ذات التعلم الصفري من معدلات خطأ فادحة وفشل حرج في توليد النص البشتوي، فإن النماذج التي خضعت لضبط دقيق لا تزال تواجه تدهوراً كبيراً عبر المجالات، مع وجود فونيمات محددة تتسبب في أخطاء غير متناسبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة عملاقة وذكية للغاية تحتوي على كتب مكتوبة بآلاف اللغات. تريد بناء آلة يمكنها الاستماع إلى شخص يتحدث اللغة البشتوية (وهي لغة يتحدث بها ما بين 60 إلى 80 مليون نسمة في أفغانستان وباكستان) وكتابتها بدقة تامة.
هذه الورقة البحثية تشبه "تقرير درجات" لأفضل "آلات الاستماع" (نماذج الذكاء الاصطناعي) في العالم حول مدى جودة تعاملها مع اللغة البشتوية. وجد المؤلف، حنيف رحمان، أنه بينما تعتبر هذه الآلات مذهلة في التعامل مع الإنجليزية أو الإسبانية أو الفرنسية، إلا أنها تائهة تماماً عندما يتعلق الأمر بالبشتوية.
إليك تفاصيل ما حدث، باستخدام بعض التشبيهات من الحياة اليومية:
1. مشكلة "الكاتب الشبح" (فشل النص/الخط)
الصدمة الكبرى في الورقة هي أن أشهر نموذج ذكاء اصطناعي، وهو Whisper (الذي صنعته OpenAI)، لا "يسمع" البشتوية فعلياً.
- التشبيه: تخيل أنك تطلب من مترجم أن يترجم قصة من البشتوية إلى البشتوية. بدلاً من الكتابة بالبشتوية، يرتبك المترجم ويكتب القصة باللغة العربية، أو الأردية، أو حتى باستخدام حروف لاتينية (الأبجدية الإنجليزية).
- الواقع: عندما اختبر الباحثون نموذج الذكاء الاصطناعي Whisper، فإنه نادراً ما كتب بالخط البشتوي الصحيح. كان يخرج نصوصاً تستخدم حروفاً عربية تبدو كأنها بشتوية ولكنها كلمات خاطئة في الواقع.
- الدرجة: إذا نظرت فقط إلى "معدل خطأ الكلمات" (وهو درجة رياضية معيارية)، سيبدو Whisper جيداً. لكن إذا تحققت مما إذا كان قد كتب بالخط الصحيح، فستجده فاشلاً تماماً. الأمر يشبه طالباً يحصل على درجة عالية في اختبار الرياضيات ولكنه يكتب الإجابات بلغة لا يتحدثها.
- الفائزون: نماذج أخرى مثل MMS-1B و SeamlessM4T و OmniASR كتبت بالفعل بالخط البشتوي الصحيح أكثر من 93% من المرات. هؤلاء هم الذين "استمعوا" حقاً.
2. مفاجأة "الحجم لا يهم"
عادةً في مجال الذكاء الاصطناعي، تعمل النماذج الأكبر (ذات القدرة العقلية الأكبر) بشكل أفضل. ليس هنا.
- التشبيه: فكر في نماذج Whisper مثل السيارات. من المتوقع أن تقود الشاحنة "الكبيرة" بشكل أفضل من سيارة السيدان "المتوسطة".
- الواقع: سيارة Whisper "المتوسطة" تعطلت تماماً. بدأت بالقيادة في دوائر (خلل تقني يسمى "تكرار وحدة فك التشفير" أو decoder looping)، حيث تكرر كلاماً غير مفهوم مراراً وتكراراً. لقد كانت الأسوأ أداءً، رغم أنها أكبر من النسخة "الصغيرة".
- الدرس: بالنسبة للغات النادرة، مجرد جعل الذكاء الاصطناعي أكبر لا يحل المشكلة. أحياناً، المحرك الأصغر والمتخصص يعمل بشكل أفضل.
3. اختبار "الاستوديو مقابل الشارع" (التقييم عبر المجالات)
اختبر الباحثون أيضاً نماذج تم "تدريبها" (تعليمها) خصيصاً على بيانات بشتوية.
- التشبيه: تخيل طالباً درس بجد من أجل اختبار باستخدام أمثلة من الكتب المدرسية فقط (تسجيلات ذات جودة استوديو نظيفة). عندما تعطيه اختباراً من العالم الحقيقي يحتوي على ضوضاء شارع، ميكروفونات سيئة، ولهجات مختلفة، فإنه يفشل فشلاً ذريعاً.
- الواقع: النموذج الذي ادعى امتلاك "معدل خطأ 14%" (وهو رقم يبدو رائعاً) قفز فجأة إلى "معدل خطأ 59%" عند اختباره على مجموعة بيانات مختلفة. كان الأمر كأن طالباً تفوق في الاختبار التجريبي لكنه رسب في الامتحان الحقيقي لأن الظروف تغيرت.
- البطل: النموذج w2v-b2-aug، الذي تم تدريبه مع إضافة "الضوضاء" إلى البيانات (مثل التدريب في مقهى صاخب)، قدم أداءً ثابتاً جيداً في كل من اختبارات الاستوديو النظيفة واختبارات الشارع الصاخبة. لم ينهار عندما تغيرت البيئة.
4. "قطع الأحجية المفقودة" (الأصوات الفريدة)
تمتلك اللغة البشتوية بعض الأصوات المحددة جداً التي لا توجد في العربية أو الإنجليزية أو حتى اللغات المجاورة مثل الأردية.
- التشبيه: تخيل بيانو يحتوي على جميع المفاتيح القياسية، لكن البشتوية تتطلب منك الضغط على مفتاح "ارتدادي" (retroflex) خاص لا تستخدمه أي لغة أخرى. نماذج الذكاء الاصطناعي استمرت في محاولة الضغط على أقرب مفتاح قياسي (مثل حرف "T" أو "S" عادي) بدلاً من المفتاح الخاص.
- الواقع: ارتكب الذكاء الاصطناعي معظم أخطائه في هذه الأصوات الفريدة (مثل الأصوات الارتدادية والاحتكاكية الجانبية). ولأن بيانات التدريب لم تكن تحتوي على أمثلة كافية لهذه الأصوات المحددة، قام الذكاء الاصطناعي بمجرد التخمين الخاطئ.
5. لماذا تهم هذه الورقة البحثية؟
قبل هذه الورقة، لم تكن هناك طريقة معيارية لقياس مدى فهم الذكاء الاصطل للغة البشتوية. كان الأمر يشبه محاولة قياس سرعة سيارة سباق بدون ساعة توقيت أو مضمار.
- الفجوة: لم يكن أحد يعرف ما إذا كان الذكاء الاصطناعي يتحسن أم يسوء لأن الجميع كان يختبره باستخدام بيانات خاصة ومختلفة.
- الحل: وضعت هذه الورقة مضمار اختبار موحد (باستخدام مجموعات بيانات عامة مثل FLEURS و Common Voice). الآن، يمكن لأي شخص اختبار ذكائه الاصطناعي للبشتوية على نفس هذا المضمار ورؤية النتيجة الحقيقية.
- المستقبل: يرى المؤلف أننا بحاجة للتوقف عن الادعاء بأن هذه النماذج تعمل بشكل مثالي. نحن بحاجة لبناء أدوات تفهم البشتوية بشكل صحيح، وليس مجرد التخمين باللغة العربية.
الملخص
هذه الورقة هي بمثابة صرخة تنبيه. إنها تخبرنا أن "سحر" الذكاء الاصطناي الذي نراه في الأخبار ليس سحرياً للجميع. بالنسبة لمتحدثي البشتوية، فإن نماذج الذكاء الاصطناعي الرائدة حالياً غالباً ما تكون مرتبكة، وتكتب بخطوط خاطئة، وتفشل عندما تصبح البيئة صاخبة.
ومع ذلك، تقدم الورقة أملاً: من خلال استخدام النماذج الصحيحة (مثل SeamlessM4T) وتدريبها على نوع البيانات الصحيح (بما في ذلك الضوضاء والأصوات الفريدة)، يمكننا بناء أنظمة تعمل حقاً لـ 60-80 مليون متحدث بالبشتوية ممن تم تهميشهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.