Targeted Syntactic Evaluation of Language Models on Georgian Case Alignment
تقيم هذه الورقة النماذج اللغوية القائمة على المحولات في حالة التوافق الإعرابي المتبادل (split-ergative) للغة الجورجية باستخدام مجموعة بيانات تم إنشاؤها حديثاً تتكون من 370 زوجاً أدنى، مما يكشف أن النماذج تعاني أكثر مع حالة الرفع الإرغاتي (ergative case) النادرة بسبب انخفاض وتيرة ظهورها وندرة البيانات، بينما تؤدي بشكل أفضل في حالة الرفع الاسمية (nominative case) الأكثر شيوعاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً التحدث بلغة جديدة. أنت لا تريد منه مجرد حفظ الكلمات، بل تريد معرفة ما إذا كان يفهم حقاً القواعد التي تجعل تلك الكلمات تتناسب مع بعضها البعض.
هذه الورقة البحثية تشبه "اختبار قيادة" متخصصاً للروبوتات الذكية، ولكن بدلاً من قيادة سيارة، فهي تقود عبر القواعد النحوية المعقدة للغة الجورجية، وهي لغة يتحدث بها سكان جبال القوقاز.
إليك تفصيل ما قام به الباحثون، باستخدام بعض التشبيهات من الحياة اليومية.
١. لغز اللغة: نظام "الارغاتيفية المنقسمة" (Split-Ergative)
معظم اللغات (مثل الإنجليزية) تشبه نظام إشارات مرور بسيطاً:
- الفاعل (الفاعل/القام بالفعل) يكون دائماً باللون الأخضر.
- المفعول به (المستقبل للفعل) يكون دائماً باللون الأحمر.
أما الجورجية، فهي تشبه نظام مرور متقلب الأشكال. اعتماداً على متى يحدث الفعل (في الماضي، أو الحاضر، أو حالة "الاكتمال")، تتغير القواعد تماماً.
- في بعض الأحيان، يرتدي "الفاعل" قبعة الرفع (Nominative).
- وفي أحيان أخرى، يرتدي قبعة الإرغاتيف (Ergative).
- وفي أحيان أخرى، يرتدي قبعة الجر (Dative).
أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي قادرة على معرفة أي قبعة يجب ارتداؤها في كل موقف.
٢. الاختبار: "الأزواج الدنيا" (Minimal Pairs)
لاختبار الروبوتات، أنشأ الباحثون ٣٧٠ لغزاً صغيراً.
تخيل جملة مثل: "الطفل يأكل التفاحة".
يُعرض على الذكاء الاصطناعي هذه الجملة مع وجود مساحة فارغة حيث يجب أن تكون كلمة "الطفل". ثم يُعطى الذكاء الاصطناعي ثلاثة خيارات:
١. الطفل-حالة الرفع (الشكل الصحيح لهذا الوقت تحديداً).
٢. الطفل-حالة الإرغاتيف (الشكل الخاطئ لهذا الوقت).
٣. الطفل-حالة الجر (شكل خاطئ آخر).
على الذكاء الاصطناعي اختيار الشكل الذي يبدو "صحيحاً نحوياً". إذا اختار الشكل الصحيح، فإنه يجتاز الاختبار. وإذا اختار الشكل الخاطئ، فإنه يفشل.
٣. النتائج: "مشكلة القبعة النادرة"
كانت النتائج واضحة جداً، واتبعت نمطاً قائماً على التكرار (مدى تكرار رؤية هذه الكلمات أثناء تعلم الذكاء الاصطناعي لها).
- قبعة الرفع (القبعة الشائعة): كان الذكاء الاصطناعي بارعاً في هذا. لقد رأى هذا الشكل آلاف المرات في بيانات التدريب الخاصة به، وأصابه بنسبة ٩٠٪ تقريباً.
- قبعة الجر (القبعة المتوسطة): كان الذكاء الاصطناعي جيداً في هذا، لكنه ارتكب المزيد من الأخطاء.
- قبعة الإرغاتيف (القبعة النادرة والخاصة): عانى الذكاء الاصطناعي بشدة. لقد أخطأ في هذا معظم الوقت.
لما لـذا؟
فكر في بيانات تدريب الذكاء الاصطناعي كمكتبة:
- شكل الرفع يشبه رواية من الأكثر مبيعاً؛ المكتبة تحتوي على ١٠,٠٠٠ نسخة منها، وقد قرأها الذكاء الاصطناعي مليون مرة.
- شكل الإرغاتيف يشبه كتيّباً نادراً ومغطى بالغبار موجود في مؤخرة المكتبة. توجد نسخ قليلة جداً منه فقط.
ولأن شكل الإرغاتيف نادر جداً في اللغة الجورجية (ونادر بشكل أكبر في البيانات التي غُذي بها الذكاء الاصطناعي)، لم يحصل الذكاء الاصطناعي على ممارسة كافية. لقد حاول التخمين، وغالباً ما خمن شكل "الرفع" الشائع بدلاً من ذلك، حتى عندما كان مخطئاً.
٤. "انحياز الافتراض" (Default Bias)
وجد الباحثون أنه عندما يصاب الذكاء الاصطناعي بالحيرة، فإنه يلجأ إلى شبكة أمان.
- إذا لم يعرف أي قبعة يرتدي، فإنه يعود دائماً تقريباً إلى قبعة الرفع.
- الأمر يشبه طالباً لا يعرف الإجابة على مسألة رياضية، فيكتب "٤" ببساطة لأنها الإجابة التي يستخدمها في أغلب الأحيان.
٥. الخلاصة
تخلص الورقة البحثية إلى أن ندرة البيانات تمثل مشكلة كبيرة للقواعد النحوية المعقدة.
- على الرغم من ذكاء الذكاء الاصطناعي، إلا أنه لا يمكنه تعلم قاعدة ما إذا لم يرَ أمثلة كافية عليها.
- حالة "الإرغاتيف" في اللغة الجورجية محددة ونادرة جداً لدرجة أن نماذج الذكاء الاصطرى الحالية ببساطة لم "تَرَ" ما يكفي منها لتعلم النمط.
باختصار: بنى الباحثون اختباراً لمعرفة ما إذا كان الذكاء الاصطناعي يفهم قواعد اللغة الجورجية. ووجدوا أن الذكاء الاصطناعي بارع في القواعد الشائعة ولكنه يضيع عندما تكون القواعد نادرة ومحددة. ولإصلاح ذلك، نحتاج إلى تغذية الذكاء الاصطناعي بمزيد من الأمثلة على هذه الأنماط النحوية الصعبة والنادرة، وليس فقط الأنماط الشائعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.