Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

لقد حققت تقنية التعرف على الكلام خطوات ملحوظة، مما سمح للآلات بفهم الأصوات البشرية عبر العديد من اللغات. ومع ذلك، بالنسبة للمتحدثين باللهجات الأقل توثيقاً، غالباً ما تصطدم هذه التقنية بجدار. لا تكمن المشكلة في أن الآلة قد تفشل في سماع صوت معين بشكل صحيح فحسب؛ بل إن المشكلة أحياناً هي أن الآلة والإنسان يتحدثان "لغات" كتابة مختلفة تماماً. في عالم اللغة الكردية، وهي لغة يتحدث بها الناس في إيران والعراق وتركيا وسوريا، يبدو هذا الانقسام حاداً. فبعض التنويعات تُكتب باستخدام أبجدية تعتمد على الحروف العربية، بينما تُكتب تنويعات أخرى، أو حتى نفس التنويعة في مناطق مختلفة، باستخدام الأبجدية اللاتينية مع علامات خاصة لالتقاط الأصوات الفريدة. عندما تحاول حاسوب مدرب على نص معين قراءة جملة مكتوبة بنص آخر، فإنها غالباً ما تفشل ليس لأنها لا تستطيع سماع الكلمات، بل لأنها لا تستطيع التعرف على الرموز. وهذا يخلق مشكلة في القياس: إذا نجحت الآلة في ضبط الصوت ولكنها كتبته بالخط المكتوب الخاطئ، فإن الاختبارات القياسية تعتبر ذلك فشلاً تاماً، مما يخفي حقيقة أن الآلة قد فهمت الكلام بالفعل.

هذا هو اللغز المحدد الذي عالجه هيفا أسدبور أثناء دراسته للغة "الغروسي"، وهي تنوع كردي يتحدث به الناس في إيران. أراد أسدبور معرفة مدى قدرة نظام قوي وموجود مسبقاً للتعرف على الكلام على فهم المتحدثين باللغة الغروسية، على الرغم من أن النظام لم يتم تدريبه قط على هذا اللهجة المحددة. النظام المستخدم، والمعروف باسم MMS-1B-all، تم تكييفه للغة الكردية المركزية ويخرج نصوصاً بالخط العربي. ومع ذلك، قام الباحثون بجمع تسجيلات من خمسة متحدثين باللغة الغروسية وكتابة الكلمات الصحيحة باستخدام الأبجدية اللاتينية مع علامات صوتية. ولمقارنة الاثنين، كان عليهم جسر الفجوة بين الخط العربي الذي أنتجه الجهاز والخط اللاتيني الذي كتبوه. وقد فعلوا ذلك من خلال إنشاء عملية خطوة بخطوة: أولاً، قاموا بتحويل مخرجات الآلة العربية إلى حروف لاتينية، ثم قاموا بتبسيط تلك الحروف لتتطابق مع الأسلوب المحدد للنص المرجعي. سمحت هذه الطريقة لهم برؤية مقدار الخطأ الناتج عن اختلاف نظام الكتابة بدقة، ومقدار الخطأ الناتج عن فشل الآلة فعلياً في سماع الكلمات.

كشفت النتائج عن واقع صارخ. فعندما قارن الباحثون مخرجات الآلة العربية الخام مباشرة مع مرجعهم اللاتيني دون أي تحويل، بدا أن النظام قد فشل تماماً. فقد سجل معدل خطأ في الكلمات يزيد عن 111 بالمائة، مع عدم تطابق أي كلمة. حدث هذا لأن النصين لا يشتركان في أي حروف مشتركة؛ كانت الآلة تتحدث لغة بصرية مختلفة عن لغة الباحثين. ومع ذلك، بمجرد أن قام الباحثون بتحويل مخرجات الآلة إلى حروف لاتينية، تغيرت الصورة بشكل كبير، حيث انخفض معدل الخطأ بشكل ملحو-ظ، مما أظهر أن الآلة قد تعرفت بالفعل على العديد من الأصوات بشكل صحيح، لكن اختلاف الخط كان يحجب هذا النجاح. وعندما طبقوا خطوة نهائية لتبسيط اختلافات الهجاء، انخفض معدل الخطأ أكثر، رغم أنه ظل مرتفعاً. وحتى بعد إصلاح مشكلات نظام الكتابة، ظل النظام ينجح في ضبط حوالي 14 بالمائة فقط من الكلمات بدقة تامة. وهذا يعني أنه بينما كان نظام الكتابة عقبة هائلة، إلا أن الآلة لا تزال تكافح لفهم الأصوات وهياكل الكلمات المحددة لهذه اللهجة.

اختبرت الدراسة أيضاً نظاماً مختلفاً تم ضبطه خصيصاً للغة الكردية الجنوبية، وهي فئة يعتقد بعض اللغويين أنها تشمل الغروسية. ومن المثير للدهشة أن هذا النظام المتخصص كان أداؤه أسوأ من نظام الكردية المركزية العام. فقد أنتج كلمات إضافية كثيرة عن النص المرجعي وفشل في مطابقة كلمات المتحدثين الفعلية بقدر ما فعل النظام الأبسط. ويشير هذا إلى أن مجرد تدريب نموذج على لهجة ذات صلة لا يضمن عمله بشكل جيد على تنوع محدد ومتميز مثل الغروسية، خاصة عندما تأتي البيانات المستخدمة للتدريب من جمل مقروءة ومنقحة بدلاً من الكلام الطبيعي المسجل ميدانياً. بدا أن النظام المتخصص يفرط في توليد النصوص، مضيفاً كلمات لم تكن موجودة، بينما كان النظام العام يميل إلى إغفال الكلمات.

إن أحد النتائج الرئيسية لهذا العمل هو أن الطريقة التي نقيس بها النجاح تهم بقدر أهمية التكنولوجيا نفسها. لقد أظهر الباحثون أن الاختبارات القياسية يمكن أن تكون مضللة إذا لم تأخذ في الاعتبار الاختلافات في أنظمة الكتابة. ومن خلال تثبيت النص المرجعي وتغيير طريقة عرض مخرجات الآلة فقط، استطاعوا عزل تأثير تحويل الخط. ووجدوا أن تحويل الخط وتبسيط الهجاء قلل من الأخطاء المقاسة بهامش كبير، مما أثبت أن جزءاً كبيراً من "الفشل" كان في الواقع مجرد مشكلة في التنسيق. ومع ذلك، ظل قدر كبير من الخطأ قائماً حتى بعد هذه الإصلاحات، مما يشير إلى أن الآلة لا تزال أمام طريق طويل لتفهم حقاً هذه اللهجة المحددة. وتخلص الدراسة إلى أنه بالنسبة للغات ذات الخطوط المتعددة أو اللهجات، يجب على الباحثين توخي الحذر بشأن كيفية تسجيل النتائج. فهم بحاجة إلى نشر النص الدقيق الذي استخدموه لإجراء التقييم حتى يتمكن الآخرون من التحقق من الأرقام، ويجب عليهم الإقرار بأن معدل الخطأ المرتفع قد يكون سببه جزئياً طريقة كتابة النص، وليس فقط قدرة الآلة على السمع.

يسلط هذا البحث الضوء على قضية أوسع في تكنولوجيا الكلام: الفجوة بين النماذج عالية التقنية واللغات المتنوعة والواقعية التي من المفترض أن تخدمها. بالنسبة للمتحدثين باللغة الغروسية، وللكثير من المجتمعات الأخرى ذات اللغات قليلة الموارد، فإن الطريق نحو التعرف الدقيق على الكلام ليس مسدوداً بنقص البيانات فحسب، بل بتعقيد كيفية كتابة تلك اللغات وتصنيفها. لا تقدم الدراسة حلاً مثالياً، لكنها تقدم خريطة أوضح للعقبات. فهي تظهر أنه قبل أن ندعي أن الآلة تفهم لغة ما، يجب علينا أولاً التأكد من أن الآلة والإنسان يتحدثان نفس اللغة البصرية، وأن اختباراتنا عادلة بما يكفي للتمييز بين آلة لا تستطيع السمع وآلة تكتب ببساطة بشكل مختلف.