It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt

ملخص تقني: التحيز الجيوسياسي في النماذج اللغوية الكبيرة ينشأ في مرحلة ما بعد التدريب

بيان المشكلة
الافتراض السائد في مجال التحيز في النماذج اللغوية الكبيرة (LLMs) هو أن التفضيلات الجيوسياسية موروثة مباشرة من مجموعة بيانات ما قبل التدريب (pre-training corpus). ووفقًا لهذا المنظور، فإن بيانات التدريب المتحيزة تنتج نماذج متحيزة، مما يعني أن جهود التخفيف يجب أن تركز على البيانات نفسها. تتحدى هذه الورقة ذلك الافتراض، وتقترح أن التحيز الجيوسياسي ليس مجرد انعكاس لبيانات ما قبل التدريب، بل يتم إدخاله بنشاط أو تضخيمه بشكل كبير خلال مرحلة ما بعد التدريب (ضبط التعليمات والمواءمة/alignment). علاوة على ذلك، يبحث المؤلفون فيما إذا كانت اللغة المستخدمة في توجيه النموذج (prompting) تعدل من هذه التحيزات.

المنهجية
تستخدم الدراسة أسلوب "الاستقصاء بالاختيار القسري في سيناريوهات مزدوجة" للمقارنة بين النماذج "الأساسية" (ما قبل التدريب فقط) مقابل متغيراتها "الدردشية" (ما قبل التدريب + ما بعد التدريب) عبر سبع عائلات مختلفة من النماذج من سبعة مختبرات متميزة.

• اختيار النماذج: اختار المؤلفون سبع عائلات من النماذج مفتوحة الأوزان (7-9 مليارات معلمة) لضمان إمكانية إعادة إنتاج النتائج على وحدة معالجة رسومية واحدة (GPU). شمل الاختيار ثلاث عائلات من صنع الغرب (Mistral AI/فرنسا، Meta/أمريكا، Google/أمريكا) وأربع عائلات من صنع الصين (Alibaba، Baichuan Inc.، 01.AI، Zhipu AI/Tsinghua).
• بنك السيناريوهات: تم إنشاء بنك يضم 79 سيناريو جيوسياسيًا، يغطي 13 نوعًا من الأحداث (مثل انتهاكات المجال الجوي، الحدود البحرية، الإكراه التجاري). يتضمن كل سيناريو دولتين، وقد صُمم بـ "توازن الأدوار" (تبديل أدوار المعتدي/المدافع) و"إطار السؤال المزدوج" (السؤال عن أي دولة تصرفت بشكل أكثر أو أقل عدلاً) لعزل التحيز الحقيقي عن الآثار الموضعية أو اللفظية.
• بروتوكول القياس:
  • تم توجيه النماذج باللغات الإنجليزية والفرنسية والصينية.
  • بالنسبة للنماذج المضبوطة للتعليمات، تم إدراج عبارة "تحوط محايدة" (neutral hedge) في البداية لتقليل معدلات الرفض.
  • تم تحليل "اللوجيتس" (logits) عند موضع توكن الإجابة. طبق المؤلفون "مجموع تنوع التوكن" (token-variant sum) لمجزئات SentencePiece لتجميع احتمالات توكنات الإجابة (مثل "A"، " A"، "(A") التي قد يتم تقسيمها بواسطة المجزئ بشكل صحيح.
  • قام "مرشح التماسك" (coherence filter) بتقييد التحليل بالسيناريوهات التي انقلب فيها اتجاه تفضيل النموذج بين الأسئلة "المبررة" و"غير المبررة" في 70% على الأقل من مجموعات (النموذج-اللغة).
  • تُعرض النتائج بصيغة لوغاريتم النسب الأرجحية ($\log P(A) - \log P(B)$)، حيث تشير القيم الموجبة إلى التفضيل لصالح الدولة (A).
• اختبارات المتانة: تضمنت الدراسة دراسات استئصال (ablation studies) على التحوط، وتنوع الصياغة، والتوجيه المتقاطع (خلط لغات السيناريو والسؤال)، واستخدام أسماء دول خيالية ذات إشارات صوتية لاستبعاد الارتباطات الحقائقية المحفوظة. كما أُجريت تقييمات التوليد الحر للتحقق من أن التفضيلات تستمر خارج قيود الاختيار القسري.

النتائج الرئيسية

1. التحيز ينشأ في مرحلة ما بعد التدريب:

   • في ست من أصل سبع عائلات، كانت النماذج الأساسية محايدة إحصائيًا فيما يتعلق بتفضيل الدول.
   • أدت مرحلة ما بعد التدريب باستمرار إلى إبعاد هذه النماذج عن الحياد. المثال الأكثر بروزًا هو نموذج Qwen 2.5 من Alibaba: أظهر نموذج ما قبل التدريب عدم وجود تحيز معنوي لصالح الصين ($-0.15$لوغاريتم النسب الأرجحية،$p=0.15$)، بينما تحول متغير الدردشة (ما بعد التدريب) إلى تفضيل قوي لصالح الصين ($+2.91$لوغاريتم النسب الأرجحية،$p < 10^{-4}$)، مما يمثل تحولًا بمقدار 18 ضعفًا في النسب الأرجحية.
   • كان GLM 4 (من Zhipu) استثناءً، حيث كان نموذج ما قبل التدريب متحيزًا بالفعل ($-1.47$)، وقامت مرحلة ما بعد التدريب بضغط التحيز بدلاً من توسيعه، رغم أن المؤلفين أشاروا إلى عدم اليقين بشأن ما إذا كانت النسخة "الأساسية" المنشورة هي حقًا نسخة ما قبل التدريب فقط.

2. الارتباط بجنسية الصانع:

   • تتبع اتجاه التحول في مرحلة ما بعد التدريب جنسية المختبر المطور للنموذج في 6 من أصل 7 حالات.
   • مالت المختبرات الغربية (Mistral، LLaMA، Gemma) نحو مواقف معادية للصين.
   • مالت ثلاث من أربع مختبرات صينية (Alibaba، Baichuan، Zhipu) نحو مواقف مؤيدة للصين.
   • عمل نموذج Yi من 01.AI كمثال مضاد، حيث تحول نحو مواقف معادية للصين بعد مرحلة ما بعد التدريب، وهو اكتشاف لم يكن ليظهر لولا تصحيح آثار قوالب الاستجابة.

3. التعديل اللغوي:

   • لغة التوجيه (Prompt) تعدل بشكل كبير من التحيز المُعبر عنه.
   • التوجيه بالفرنسية: أصبح نموذج Mistral المصنوع في فرنسا مؤيدًا لفرنسا بشكل حاسم فقط عند التوجيه بالفرنسية (تحول قدره $+1.91$ لوغاريتم النسب الأرجحية من الإنجليزية إلى الفرنسية)، بينما ظل معادياً لفرنسا بالإنجليزية.
   • التوجيه بالصينية: بينما أظهرت خمسة من أصل سبعة نماذج (بعد التدريب) زيادة وصفية في التفضيل لصالح الصين عند التوجيه بالصينية، إلا أن هذا التأثير على مستوى السكان لم يكن متميزًا إحصائيًا عن الاتجاه الملاحظ في النماذج الأساسية ($p=0.66$). ومع ذلك، أظهرت نماذج محددة مثل Mistral وYi تضخمًا ملحوءوظًا.

4. دقة التحيز:

   • التحيز لصالح الصين في النماذج الصينية ليس متجانسًا. نموذج Qwen 2.5 قوي لصالح الصين ضد الدول الغربية ولكنه أضعف ضد دول الجنوب العالمي. نموذج Yi 1.5 مؤيد للصين فقط ضد الولايات المتحدة ومعادٍ للصين ضد الدول الأخرى.
   • التحيز واسع النطاق عبر أنواع المواضيع (المواضيع السياسية "الساخنة" والمواضيع الإجرائية "الباردة") وليس متركزًا في مجالات حساسة محددة.

5. المتانة:

   • استمرت التحيزات حتى عندما طُلب من النماذج أن "تكون محايدة"، وإن كان حجم التحيز قد انخفض.
   • لوحظت التحيزات باستخدام أسماء دول خيالية تعتمد على إشارات صوتية (مثل "Zhaodong" للنماذج المتحيزة للصين)، مما يشير إلى أن التحيز مرتبط بإشارات الهوية وليس فقط بالحقائق المحفوظة عن الدول الحقيقية.
   • أكدت تقييمات التوليد الحر أن التفضيلات المقاسة في اختبارات الاختيار القسري تعكس تفضيلات حقيقية في طبقة الاستدلال، وليس مجرد آثار ناتجة عن قوالب الاستجابة.

الأهمية والادعاءات
تدعي الورقة إعادة صياغة فهم التحيز الجيوسياسي في النماذج اللغوية الكبيرة. يجادل المؤلفون بأن هذه التفضيلات ليست مجرد موروثة من بيانات الإنترنت واسعة النطاق، بل يتم تشكيلها بنشاط خلال مرحلة ما بعد التدريب.

• المواءمة كآلية: تقترح الدراسة أن عمليات المواءمة (SFT، RLHF) تعمل كآلية لترسيخ القيم المؤسسية أو الثقافية أو الجيوسياسية في أنظمة الذكاء الاصطناعي.
• الحاجة إلى الشفافية: نظرًا لأن مرحلة ما بعد التدريب تحدد كيفية تمثيل النماذج للدول والمنظورات السياسية، يدعو المؤلفون إلى مزيد من الشفافية والتدقيق والإشراف على أهداف المواءمة ومصادر البيانات.
• المساهمة المنهجية: تسلط الورقة الضوء على ضرورة مقارنة النسخ الأساسية والدردشية بشكل مباشر وتصحيح آثار الموزع (tokenizer) وآثار قالب الاستجابة (مثل بادئات السطر الجديد أو المقدمات المطولة) لقياس التحيز بدقة. وتوضح أن طرق القياس الساذجة يمكن أن تقلل بشكل منهجي من تقدير التحيز في النماذج ذات أنماط RLHF المحددة.

يبقى المؤلفون متواضعين فيما يتعلق بالمكونات المحددة لمرحلة ما بعد التدب المسؤولة عن ذلك (مثل SFT مقابل RLHF مقابل تدريب السلامة)، مشيرين إلى أن المختبرات لا تكشف عن تفاصيل كافية لتفكيك هذه التأثيرات. كما أشاروا إلى أنه بينما اتجاه التحول ثابت، فإن حجمه يختلف حسب النموذج ونوع الاختبار.