Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "الموقع غير موجود: كشف التحيزات الضمنية المحلية والعالمية في النماذج اللغوية الكبيرة متعددة اللغات."

1. بيان المشكلة

نجحت النماذج اللغوية الكبيرة (LLMs) متعددة اللغات إلى حد كبير في سد الفجوة في الطلاقة اللغوية عبر اللغات المختلفة. ومع ذلك، فإن هذا التقدم يحجب قصوراً حرجاً: التوطين (Localization). فبينما يمكن للنماذج توليد نصوص طليقة باللغة المستهدفة، إلا أنها غالباً ما تفشل في ربط هذا النص بالواقع الإقليمي الصحيح (مثل القوانين، أو القياسات، أو الأعراف الثقافية) المرتبط بتلك اللغة.

المشكلة الجوهرية هي غموض الموقع (Locale-ambiguity). فالعديد من الاستعلامات باللغة الطبيعية (مثل: "ما هو رقم هاتف الطوارئ؟" أو "متى ينتهي العام المالي؟") هي استعلامات غامضة بطبيعتها لأن الإجابة تعتمد على بلد أو منطقة محددة، وليس فقط على اللغة. التقييمات الحالية غالباً ما تخلط بين الطلاقة والتوطين، أو تعتمد على التوجيه الصريح (مثل: "ما هو القانون في فرنسا؟")، وهو ما يعمل كـ "عراف" (Oracle) ويخفي التحيزات الضمنية للنموذج. يرى المؤلفون أنه عندما تحل النماذج هذه الغموضات دون سياق صريح، فإنها تكشف عن أولوياتها الكامنة، حيث تميل غالباً إلى تبني رؤية عالمية متمحورة حول الولايات المتحدة أو إعطاء الأولوية للديموغرافيا على حساب العدالة الجغرافية.

2. المنهجية: معيار LocQA

لتكميم هذه التحيزات، قدم المؤلفون LocQA، وهو معيار تشخيصي مصمم لاختبار الأولويات الضمنية.

• بناء مجموعة البيانات:

  • النطاق: 2,156 سؤالاً عبر 12 لغة (الإنجليزية، الإسبانية، الفرنسية، الألمانية، العبرية، الهندية، الإندونيسية، الإيطالية، اليابانية، الكورية، البرتغالية، الصينية) تغطي 49 موقعاً (Locale) متميزاً.
  • التصميم: الأسئلة ثابتة دلالياً ولكنها تعتمد على الموقع. وهي لا تحتوي على مؤشرات صريحة للمنطقة المستهدفة باستثناء اللغة نفسها.
  • الحقيقة الأرضية (Ground Truth): قدم المقيّمون إجابات خاصة بكل موقع لكل سؤال. وإذا لم يكن للسؤال إجابة في موقع معين (مثل: "من كان أول رئيس؟" في نظام ملكي)، يتم تمييزه بـ N/A.
  • التحقق من الصحة: ضمنت عملية التحقق المتقاطع ذات المرحلتين، والتي شملت مقيمين ثنائيي اللغة ومراجعة يدوية، جودة البيانات.

• مقاييس التقييم:
  حدد المؤلفون مقي-ين أساسيين لقياس التحيز:

  1. التحيز العالمي ($B_{US}$): يقيس مدى اعتماد النماذج على معايير الولايات المتحدة حتى عند الاستعلام بلغات غير الإنجليزية. وهو يحسب الفرق بين التكرار الملحوظ للإجابات الأمريكية في مخرجات النموذج وبين التكرار المتوقع بناءً على تصادم البيانات (حيث تتصادف الإجابات الأمريكية مع مواقع أخرى).
     • الصيغة: $B_{US} = P_{obs}(A_{US}) - P_{exp}(A_{US})$
  2. التحيز الإقليمي ($B_R$): يقيس التحيز داخل اللغة الواحدة. ويقيم ما إذا كانت النماذج تبالغ في تمثيل أو تقلل من تمثيل مواقع معينة ضمن لغة مشتركة (على سبيل المثال، تفضيل إسبانيا على المكسيك في الاستعلامات الإسبانية). ويُحسب كـ "رفع" (Lift) يقارن الاحتمال الملحوظ لإجابة موقع ما مقابل احتماله المتوقع في مجموعة البيانات.
     • الصيغة: $B_R(c) = \frac{P_{obs}(c)}{P_{exp}(c)}$

• خط أنابيب التقييم:

  • النماذج: تم تقييم 32 نموذجاً (بما في ذلك النسخ الأساسية والمضبوطة بالتعليمات لنماذج Gemma, Qwen, OLMo, Falcon, Granite, GPT, Claude, Gemini, إلخ).
  • الإعداد: توليد صفري (Zero-shot) بدون سياق موقع صريح.
  • الحكم الآلي: خط أنابيب ذو مرحلتين باستخدام نموذج لغوي (Gemini-2.5-Flash) لاستخراج الإجابات، وكشف التصادمات الدلالية، وتحديد "أسلوب التأطير" (Framing Style) (مثل استخدام الولايات المتحدة كمرتكز مفاهيمي).

3. المساهمات الرئيسية

1. معيار LocQA: مجموعة أدوات تم التحقق من صحتها تضم 2,156 سؤالاً غامضاً للموقع، مصممة لعزل الأولويات الافتراضية للنماذج اللغوية الكبيرة دون سياق صريح.
2. إطار عمل مزدوج المقاييس: منهجية مبتكرة لتكميم التحيزات على محورين: التحيز العالمي (المركزية الأمريكية) والتحيز الإقليمي (الانحراف الديموغرافي).
3. أدلة تجريبية على تحيز المحاذاة: أول عرض واسع النطاق يثبت أن ضبط التعليمات (Alignment) يؤدي إلى تفاقم التحيز المتمحور حول الولايات المتحدة بينما يقلل في الوقت نفسه من التشويه الإقليمي، مما يكشف عن "ضريبة المحاذاة الثقافية".

4. النتائج الرئيسية

أ. التحيز العالمي (المركزية الأمريكية)

• الانتشار: تظهر جميع النماذج الـ 32 تقريباً تحيزاً واضحاً للولايات المتحدة. متوسط $B_{US}$ عبر النماذج هو 0.24، مما يعني أن الإجابات الأمريكية تظهر في مخرجات النماذج بنسبة 50% من الوقت، رغم أنها تمثل الحقيقة الأرضية لحوالي 26% فقط من البيانات (بسبب التصادمات).
• أنواع التحيز: صنف المؤلفون الأخطاء المتمحورة حول الولايات المتحدة إلى خمسة أنواع:
  1. الاقتحام (Intrusion) (17.5%): إدراج إجابات أمريكية بشكل غير مبرر بجانب الإجابات المحلية الصحيحة.
  2. المحو (Erasure) (6.5%): استبدال الواقع المحلي تماماً بمعايير الولايات المتحدة.
  3. الاختيار (Selection) (8.7%): تفضيل الخيار الأمريكي في السياقات الغامضة.
  4. التأطير (Framing) (1.4%): التباين الصريح بين الإجابات المحلية والولايات المتحدة.
  5. التداخل الصحيح (Valid Overlap): التوافق المصادف.
• ضبط التعليمات: تظهر النماذج المضبوطة بالتعليمات تحيزاً عالمياً أعلى بكثير من نظيراتها الأساسية. فكلما زادت قدرة النماذج، زاد اعتمادها على الرؤى المتمحورة حول الولايات المتحدة.

ب. التحيز الإقليمي (الانحراف الديموغرافي)

• الارتباط بالسكان: تعمل النماذج كـ "محركات احتمالية ديموغرافية". هناك ارتباط لوغاريتمي قوي ($R^2 = 0.41$) بين حجم سكان الموقع ودرجة تمثيله.
• عدم المساواة: المراكز السكانية الكبيرة (الولايات المتحدة، البرازيل، المكسيك) والدول الغربية (إسبانيا، فرنسا) ممثلة بشكل مفرط باستمرار. أما المواقع الطرفية (مثل بوليفيا، هايتي، مالي) فتعاني من محو منهجي.
• تأثير ضبط التعليمات: على العكس من ذلك، فإن ضبط التعليمات يقلل من التحيز الإقليمي. فمن خلال سرد خيارات متعددة وصحيحة لتبدو "مفيدة" و"شاملة"، تقوم النماذج المتوافقة بتسطيح التمثيل عبر المواقع، مما يقرب $B_R$ من الحياد.

ج. "ضريبة المحاذاة الثقافية"

يحدد البحث مقايضة:

• النماذج الأساسية: أكثر عرضة للالتزام بإجابة محلية واحدة (تحيز عالمي أقل في بعض الحالات، ولكن تحيز إقليمي أعلى/محو للدول الصغيرة).
• النماذج المضبوطة بالتعليمات: تحاول أن تكون "متنوعة" عبر سرد خيارات متعددة. هذا يقلل من محو الدول الصغيرة (تحيز إقليمي أقل) ولكنه يدخل الولايات المتحدة كمرتكز عالمي للمقارنة، مما يزيد بشكل كبير من التحيز العالمي.
• الاستنتاج: ممارسات المحاذاة تضحي بالدقة الثقافية لصالح تجانس "آمن" وعام يعود افتراضياً إلى معايير الولايات المتحدة.

د. النتائج الخاصة بالمجالات

• الدولة والبلد / اللغة: أعلى مركزية أمريكية ($B_{US} \approx 0.23-0.30$) ولكن مع تشويه إقليمي أقل.
• الترف والثقافة: أدنى مركزية أمريكية ($B_{US} \approx 0.07$) ولكن مع تحيز إقليمي شديد ($|B_R - 1| = 0.69$)، حيث تفضل بشدة الدول ذات الكثافة السكانية العالية.

هـ. التوجيه الصريح

حتى عند إخبار النموذج صراحة بـ "الموقع: المكسيك"، لا تزال النماذج عالية الدقة ترتكب أخطاءً بإدخال إجابات أمريكية في حوالي 6-20% من الحالات. الارتباط بين قدرة النموذج والهلوسة الأمريكية إيجابي ($r=0.64$ للنماذج عالية الأداء)، مما يشير إلى أن التحيز الأمريكي هو نمط فشل متبقٍ وثابت، وليس مجرد نقص في المعرفة.

5. الأهمية والآثار المترتبة

• إعادة تعريف الطلاقة: تجادل الورقة بأن الطلاقة اللغوية هي مؤشر غير كافٍ للترسيخ الثقافي. يمكن للنموذج أن يتحدث الفرنسية ببراعة ولكنه لا يزال يعتمد على معايير (فرنسا) بدلاً من معايير (هايتي أو الكونغو)، أو الأسوأ من ذلك، يعود إلى معايير الولايات المتحدة.
• خطر محاذاة "السلامة": ممارسات المحاذاة الحالية (RLHF/ضبط التعليمات) التي تهدف لجعل النماذج "مفيدة" و"آمنة" قد تفرض دون قصد رؤية عالمية متمحورة حول الولايات المتحدة، مما يمحو الحقائق الخاصة بالثقافات غير المهيمنة.
• الاتجاهات المستقبلية: يدعو المؤلفون إلى الانتقال من النمذجة متعددة اللغات إلى النمذجة متعددة الثقافات ومتعددة المناطق. وهم يدعون إلى معاملة "الموقع" كجانب متميز يجب مراعاته صراحة في التدريب والتقييم لضمان الكفاية الواقعية لجميع المستخدمين العالميين.
• القصور: تغطي الدراسة 12 لغة و49 موقعاً (وهي نسبة ضئيلة من التنوع العالمي)، وتعتمد على حكام آليين، وتركز على التوطين الواقعي بدلاً من القيم الأخلاقية الذاتية.

باختما، يكشف LocQA أن النماذج اللغوية الكبيرة متعددة اللغات الحالية ليست مراقبين عالميين محايدين، بل هي منحازة بنيوياً نحو معايير الولايات المتحدة وحجم السكان، وهو تحيز يعززه بشكل متناقض نفس تقنيات المحاذاة التي تهدف لجعلها أكثر فائدة.