Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs
تقدم هذه الورقة البحثية J-PragEval-v0، وهو معيار للأزواج الدنيا للظواهر البراغماتية في اللغة اليابانية، وتستخدم سبر الخطوط المستقيمة وتوجيه التنشيط على نموذج ثنائي اللغة بحجم 1.5 مليار معلمة لتوضيح أنه بينما يمكن فك تشفير صيغ التبجيل خطياً في التدفقات المتبقية، فإن التباينات البراغماتية الأخرى مثل الموضوعات الضمنية والإشارات داخل المجموعة يتم حلها أثناء التوليد بدلاً من تخزينها عند المطالبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن اللغة أكثر من مجرد مجموعة من الكلمات وقواعد النحو؛ إنها نظام حي من الإشارات الاجتماعية، والاتفاقات غير المعلنة، والسياق الثقافي. عندما يتحدث شخص ما باليابانية، فإنه يتنقل باستمرار في خريطة معقدة من العلاقات، ويقرر من هو داخل دائرة ثقته ومن هو خارجها، ويختار كلمات تعكس بدقة شعوره تجاه الشخص الذي يخاطبه. هذا هو مجال التداولية (pragmatics)، وهو دراسة كيفية تشكيل السياق للمعنى. لعقود من الزمن، برعت الذكولة الاصطناعية في ترجمة الكلمات والإجابة على الأسئلة، لكنها غالباً ما تتعثر عندما يُطلب منها فهم هذه الطبقات الاجتماعية الدقيقة. قد يعرف الكمبيوتر التعريف القاموسي لعبارة مهذبة، لكنه كثيراً ما يفشل في معرفة متى يستخدمها، أو والأسوأ من ذلك، يستخدمها بطريقة تبدو فظة أو غريبة للمستمع البشري. هذه الفجوة واسعة بشكل خاص بالنسبة للغة اليابانية، وهي لغة تملي فيها العلاقة بين المتحدثين بنية الجملة نفسها. وبينما يبني الباحثون نماذج حاسوبية أصغر وأكثر كفاءة مصممة للعمل على الأجهزة اليومية، برز سؤال حاسم: هل تفهم هذه النماذج المدمجة حقاً القواعد الثقافية للغات التي تتحدثها، أم أنها مجرد محاكاة للأنماط السطحية؟
يتناول بحث حديث أجراه الباحث المستقل فلوريان براون هذا السؤال من خلال النظر في داخل نموذج حاسوبي صغير ثنائي اللغة يتحدث الإنجليزية واليابانية. يركز البحث على نوع معين من الذكاء الاصطناعي يُعرف باسم "نموذج اللغة الصغير"، المصمم ليكون قوياً بما يكفي للمهام المفيدة وخفيفاً بما يكفي للعمل دون خوادم ضخمة تستهلك الكثير من الطاقة. وبينما أصبحت هذه النماذج شائعة في اليابان، إلا أنه غالباً ما يتم اختبارها فقط على مدى جودة ترجمتها للنصوص أو إجابتها على أسئلة الاستيعاب القرائي. ومع ذلك، فإن هذه الاختبارات القياسية تغفل الجزء الأكثر صعوبة في التواصل البشري: القدرة على "قراءة الغرفة" (فهم الأجواء). ولإصلاح ذلك، أنشأ الباحث أرضية اختبار جديدة تسمى J-PragEval. فبدلاً من مطالبة النموذج بترجمة جملة، يقدم هذا الاختبار للنموذج سيناريوهين متطابقين تقريباً يختلفان فقط في تفصيل اجتماعي واحد، مثل ما إذا كان المتحدث يتحدث إلى مدير أو صديق. يجب على النموذج بعد ذلك اختيار الطريقة الصحيحة لإكمال الجملة بناءً على ذلك التفصيل الاجتماعي. يغطي الاختبار أربعة مجالات محددة من الحياة الاجتماعية اليابانية: استخدام صيغ التبجيل لإظهار الاحترام، والقدرة على تخمين من يتم التحدث عنه عندما يُحذف الفاعل من الجملة، واختيار الأفعال التي توضح ما إذا كان الشخص من الداخل (المقربين) أو من الخارج، وفن رفض الطلب بأدب دون قول "لا" صريحة.
بعد ذلك، نظر الباحث في داخل النموذج الحاسوبي، الذي يتكون من 28 طبقة من المعالجة، ليرى أين يخزن المعرفة اللازمة لاجتياز هذه الاختبارات. وباستخدام طريقة تعمل مثل المجهر لأفكار النموذج الداخلية، درست الدراسة نشاط النموذج في مراحل مختلفة من المعالجة. وكشفت النتائج عن انقسام مفاجئ في كيفية تعامل النموذج مع هذه القواعد الاجتماعية. فبالنسبة لاستخدام صيغ التبجيل، يتصرف النموذج مثل مكتبة منظمة جيداً؛ حيث تُخزن المعلومات المتعلقة بمستوى اللباقة المطلوب بوضوح في طبقة محددة من النموذج، ويمكن لفحص بسيط العثور عليها بدقة تقارب 96 بالمئة. النموذج يعرف القاعدة، ويحتفظ بتلك القاعدة جاهزة للاستخدام. ومع ذلك، تتغير الصورة بالنسبة للقواعد الاجتماعية الأخرى. فعندما كان على النموذج أن يقرر من الذي يتم التحدث عنه في جملة ذات فاعل مفقود، أو يختار الفعل المناسب لشخص من الداخل مقابل شخص من الخارج، لم يستطع الباحثون العثốt على ذاكرة ثابتة وواضحة لهذه القواعد داخل النموذج في اللحظة التي ينتهي فيها من قراءة النص. كانت الإشارات الداخلية ضعيفة جداً بحيث لا يمكن اكتشافها بواسطة الفحص القياسي. ومع ذلك، عندما قام النموذج بالفعل بتوليد إجابة، فقد اختار الخيار الصحيح بنسبة تتراوح بين 77 إلى 79 بالمئة. وهذا يشير إلى أن النموذج لا يقوم ببساطة باسترجاع قاعدة مخزنة لهذه المهام؛ بل بدلاً من ذلك، يستنتج الإجابة "على الطاير"، ويقوم بحساب السياق الاجتماعي أثناء بنائه للجملة كلمة بكلمة.
كشف البحث أيضاً عن فخ في كيفية اختبار هذه النماذج. فأحد الاختبارات الأربعة، والذي ركز على الرفض غير المباشر، بدا في البداية وكأن النموذج قد أتقن المهارة، حيث سجل درجة اكتشاف بلغت 95 بالمئة. ومع ذلك، عندما نظر الباحث عن كثب في كيفية سلوك النموذج فعلياً، تبين أن النموذج كان يفشل في هذا الاختبار في معظم الأحيان. لقد كان هذا الرقم المرتفع إنذاراً كاذباً ناتجاً عن خلل في تصميم الاختبار نفسه: إذ كانت الإجابات الصحيحة تصادف كونها جملًا أطول، وكان النموذج ببساطة يخمن بناءً على طول الجملة بدلاً من فهم الفوارق الاجتماعية الدقيقة. وبمجرد تعديل الاختبار ليأخذ طول الجملة في الاعتبار، ظهر عدم قدرة النموذج الحقيقية على التعامل مع الرفض غير المباشر. وتعد هذه النتيجة بمثابة تحذير من أن الدرجات العالية في اختبارات الكمبيوتر يمكن أن تخفي أحياناً سوء فهم عميق إذا لم تُصمم الاختبارات بعناية للفصل بين الفهم الحقيقي والحيل السطحية.
ولمعالجة هذه النتائج، اقترح الباحث طريقة جديدة لتوجيه هذه النماذج دون الحاجة إلى إعادة تدريبها من الصفر. الفكرة، التي تسمى "توجيه التمثيل التداولي" (Pragmatic Representation Steering)، تتضمن دفع النشاط الداخلي للنموذج بلطف في الاتجاه الصحيح في اللحظة التي يقوم فيها بتوليد النص. فكر في الأمر كضبط دقيق للبوصلة الداخلية للنموذج بدلاً من إجراء عملية إصلاح شاملة لدماغه. وأظهرت الدراسة أن الاتجاه الرياضي اللازم للقيام بهذه الدفعات موجود ضمن بنية النموذج، على الأقل بالنسبة للقواعد المخزنة بوضوح. وهذا يش يشير إلى أنه من الممكن جعل نماذج اللغة الصغيرة أكثر وعياً ثقافياً وملاءمة اجتماعياً دون التكلفة الباهظة لإعادة التدريب الكامل. وبينما من المخطط اختبار طريقة التوجيه هذه على نماذج أكبر في العمل المستقبلي، فإن الدراسة الحالية تثبت أن الآلية الداخلية للفهم الثقافي موجودة، حتى لو كانت مخفية بطرق مختلفة للقواعد الاجتماعية المختلفة. وتخلص الدراسة إلى أنه لكي تخدم نماذج اللغة الصغيرة مستخدمي اليابانية حقاً، يجب أن ننظر إلى ما وراء درجات الترجمة البسيطة ونفهم كيف تعالج هذه النماذج القواعد غير المرئية وغير المعلنة للتواصل البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.