Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "جسر الفجوة الثقافية: إطار عمل للتوطين الاجتماعي والثقافي المدفوع بالنماذج اللغوية الكبيرة للمسائل اللفظية الرياضية في اللغات ذات الموارد المنخفضة."

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في حل المسائل اللفظية الرياضية (MWPs)، ولكن أداءها في اللغات ذات الموارد المنخفضة (LRLs) غالبًا ما يتم تقييمه باستخدام معايير هي مجرد ترجمات مباشرة لمجموعات بيانات إنجليزية (مثل GSM8K). تعاني هذه المعايير المترجمة من التحيز المتمحور حول الإنجليزية:

• عدم التوافق الثقافي: فهي تحتفظ بكيانات خاصة بالثقافة الإنجليزية (أسماء مثل "Mandy"، وعملات مثل "$"، ومنظمات) التي لا تعكس الواقع الاجتماعي والثقافي لمتحدثي اللغة المستهدفة.
• عيوب التقييم: تفشل المعايير الحالية في اختبار ما إذا كانت النماذج يمكنها الاستنتاج بشكل صحيح عندما يكون سياق المسألة متجذرًا في الثقافة المحلية.
• مشكلات القابلية للتوسع: إن إنشاء مجموعات بيانات موطنة حقًا عبر التوسيم البشري أمر مكلف للغاية وبطيء، مما يؤدي إلى ندرة البيانات عالية الجودة والمكيفة ثقافيًا للتدريب والتقييم في اللغات ذات الموارد المنخفضة.

سؤال البحث الجوهري هو: هل تمتلك النماذج اللغوية الكبيرة قدرة حقيقية على الاستنتاج الرياضي متعدد اللغات، أم أنها تعتمد على أنماط متمحورة حول الإنجليزية تنهار عند إدخال كيانات ثقافية محلية؟

2. المنهجية

يقترح المؤلفون إطار عمل للتوطين الآلي مدفوع بالنماذج اللغوية الكبيرة لسد هذه الفجوة. يقوم خط الإنتاج بتحويل معايير الاختبار المترجمة إلى نسخ مكيفة ثقافيًا من خلال عملية متعددة المراحل:

أ. خط إنتاج التوطين (The Localization Pipeline)

يعمل إطار العمل على ثلاث نسخ من العينة المدخلة: النسخة الإنجليزية الأصلية ($x_{en}$)، والنسجمة المباشرة ($x_{trans}$)، والنسخة المستبدلة بالكيانات ($x_{ent}$).

1. تصنيف الكيانات: باستخدام نموذج لغوي كبير (تحديدًا نماذج Gemini مع مخرجات مهيكلة)، يحدد النظام الكيانات الرئيسية في النص: أسماء الأشخاص، أسماء المنظمات، والعملات. وجد المؤلفون أن النماذج اللغوية تتفوق على تقنيات التعرف على الكيانات المسماة (NER) أو وسم أجزاء الكلام (POS) التقليدية في التعامل مع الاختلافات في التهجئة وحالات الأحرف في اللغات ذات الموارد المنخفضة.
2. قاعدة بيانات الكيانات متعددة اللغات: تم إنشاء قاعدة بيانات منسقة من الأسماء المحلية غير المتحيزة للجنس (unisex)، والمنظمات، ووحدات العملات لـ 18 لغة أفريقية (لتجنب التحيز الجنسي).
3. قاموس الاستبدال: يقوم النظام بربط الكيانات الإنجليزية بما يعادلها محليًا من الناحية الثقافية (على سبيل المثال، "$"$\leftarrow$ "shilingi"، و"Mandy" $\leftarrow$ "Camari").
4. التوطين الآلي (الخطوة الجوهرية): بدلاً من طلب الترجمة من النموذج اللغوي من الصفر، يستخدم النظام استراتيجية التلقين بنموذج واحد (one-shot prompting). حيث يوفر للنموذج الزوج $(x_{en}, x_{trans})$ كنموذج سياقي، ويطلب منه ترجمة الجملة الإنجليزية المستبدلة بالكيانات ($x_{ent}$) إلى اللغة المستهدفة. يضمن ذلك الحفاظ على السلامة الهيكلية للمسألة مع استبدال الكيانات الثقافية.
5. ضبط الجودة:
   • فحوصات الطول والتشابه: التأكد من أن المخرج الموطن يطابق طول الترجمة المباشرة ويمتلك تشابهًا دلاليًا عاليًا (باستخدام difflib).
   • التحقق من الكيانات: التأكد من وجود الكيانات المستبدلة وعدم إضافة كيانات غير مقصودة.
   • آلية التراجع: إذا فشلت فحوصات الجودة، يعود النظام إلى الترجمة المباشرة الأصلية لمنع حدوث ضجيج في البيانات.

ب. مجموعات البيانات

• المصدر: GSM8K (الإنجليزية) وAfriMGSM (المترجمة يدويًا إلى 18 لغة أفريقية).
• بيانات التدريب: تم توليدها بتطبيق خط الإنتاج على GSM8K، مع تصفيتها بناءً على جودة الترجمة (درجة SSA-COMET > 0.65)، مما نتج عنه حوالي 25 ألف مثال موطن.
• بيانات التقييم: نسخة موطنة من مجموعة اختبار AfriMGSM حيث تم استبدال الكيانات بما يعادلها محليًا.

ج. الإعداد التجريبي

• النماذج التي تم تقييمها: مزيج من النماذج مفتوحة المصدر (Gemma-2-9b-it, LLaMA-3-8B/70B, Mistral, Aya) والنماذج مغلقة المصدر (GPT-4o-mini).
• المقاييس: المطابقة الرقمية (Numeric Match - NM)، والتي تتحقق مما إذا كان الرقم المتوقع يطابق الحقيقة، مع تجاهل التنسيق.
• أسئلة البحث (RQs):
  • RQ1: هل يمكن لخطوط إنتاج النماذج اللغوية الكبيرة توطين المعايير بفعالية؟
  • RQ2: هل يؤدي إدخال الكيانات المحلية إلى كشف التفاوتات في الأداء؟
  • RQ3: هل يمكن للضبط الدقيق (fine-tuning) على البيانات الموطنة تحسين متانة النموذج؟

3. المساهمات الرئيسية

1. إطار عمل للتوطين الآلي: خط إنتاج قابل للتوسع يولد مسائل لفظية رياضية مكيفة ثقافيًا لـ 18 لغة ذات موارد منخفضة دون الاعتماد على المنسقين البشريين المكلفين لكل خطوة.
2. اكتشاف التحيز الثقافي: تثبت الدراسة تجريبيًا أن معايير الاختبار المترجمة القياسية تحجب القدرات الحقيقية للنماذج. فغالبًا ما تؤدي النماذج أداءً أسوأ بكثير عندما يتم إدخال الكيانات المحلية، مما يكشف عن اعتماد مفرط على الأنماط المتمحورة حول الإنجليزية.
3. فجوات الأداء: حدد المؤلفون انخفاضًا في الأداء يصل إلى 9% (في المطابقة الرقمية) لنماذج مثل GPT-4o-mini عند تقييمها على البيانات الموطنة مقابل البيانات المترجمة.
4. المتانة عبر الضبط الدقيق: توضح الورقة أن الضبط الدقيق للنماذج على مجموعات البيانات الموطنة يحسن بشكل كبير من متانتها وقدرتها على التعميم عبر اللغات، مما "يعلم" النموذج فعليًا كيفية التعامل مع الاختلافات الثقافية.

4. النتائج والتحليل

RQ1: فعالية خط الإنتاج

• التحقق البشري: حقق خط الإنتاج الآلي اتفاقًا عاليًا بين المقيّمين (معامل كوهين كابا ~0.79–0.84) مقارنة بالتلقين المباشر.
• الجودة: أنتج خط الإنتاج مخرجات أكثر ملاءمة ثقافيًا من التلقين المباشر، الذي غالبًا ما فشل في استبدال الكيانات أو عاد إلى الترجمة الأصلية.

RQ2: تفاوتات الأداء ("الفجوة الثقافية")

• الترجمة مقابل التوطين: أدت النماذج عمومًا أداءً أفضل في الترجمات المباشرة (التي تحتوي على كيانات إنجليزية) مقارنة بالنسخ الموطنة آليًا.
• حساسية المعيار الإنجليزي: حتى عند الاختبار باستخدام مطالبات إنجليزية، فإن استبدال الكيانات الإنجليزية بكيانات محلية (مثل تغيير "Mandy" إلى اسم محلي) تسبب في انخفاض الأداء في عدة نماذج (مثل Aya-expanse-32b)، مما يثبت أن النماذج حساسة لتجذير الكيانات، وليس اللغة فقط.
• التباين اللغوي: اختلف التأثير باختلاف اللغة والنموذج. على سبيل المثال، أظهرت الفرنسية والسواحيلية تأثيرات واضحة في نماذج Deepseek وMistral.

RQ3: تحسين المتانة

• تأثير الضبط الدقيق: أدى الضبط الدقيق على مجموعات البيانات الموطنة ($\hat{x}_{loc}$) إلى تحسين متانة النموذج.
• النهج الهجين: تم تحقيق أفضل النتائج من خلال الجمع بين البيانات المترجمة، والبيانات المستبدلة بالكيانات، والبيانات الموطنة بالكامل. يشير هذا إلى أن مصادر التدريب المتنوعة تساعد النماذج على التعميم بشكل أفضل على الاختلافات الثقافية.
• خصوصية النماذج: أظهر نموذج Gemma-2-9b-it مكاسب ثابتة من البيانات الموطنة، بينما أظهر LLaMA-3-8B-Instruct نتائج مختلطة، مما يسلط الض الضوء على أن بنية النموذج تؤثر على القدرة على التكيف الثقافي.

5. الأهمية والعمل المستقبلي

• إعادة تقييم المعايير: تجادل الورقة بأن معايير الاختبار متعددة اللغات الحالية معيبة لأنها لا تأخذ السياق الاجتماعي والثقافي في الاعتبار. فالنموذج الذي يجتاز معيارًا مترجمًا قد يفشل في التطبيقات الواقعية حيث تُستخدم الكيانات المحلية.
• حل قابل للتوسع: يوفر إطار العمل طريقة فعالة من حيث التكلفة لتوليد مجموعات بيانات عالية الجودة ومتجذرة ثقافيًا للغات ذات الموارد المنخفضة، مما يعالج مشكلة ندرة البيانات.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا النهج إلى ما وراء الرياضيات ليشمل مهام الاستنتاج الأخرى، والتركيز على إنشاء مسائل متجذرة في أنشطة مجتمعية محددة بدلاً من مجرد استبدال الأسماء.

الخلاصة:
تؤسس هذه الدراسة حقيقة أن الاستنتاج الرياضي في النماذج اللغوية الكبيرة ليس خالياً من الثقافة. من خلال تقديم إطار عمل مؤتمت للتوطين الاجتماعي والثقافي، يثبت المؤلفون أن النماذج الحالية هشة أمام الكيانات المحلية. ومع ذلك، فإن تعزيز بيانات التدريب بالمتغيرات المكيفة ثقافيًا يمكن أن يحسن بشكل كبير من متانة النماذج، مما يمهد الطريق لنشر أكثر موثوقية وإنصافًا للذكاء الاصطناعي في السياقات اللغوية ذات الموارد المنخفضة.