Who Pays More for Safety? Measuring the Disparate Cost of Safety Alignment across Languages
تقدم هذه الورقة مقياس "تكلفة السلامة" لتوضيح أن مواءمة السلامة تفرض عقوبات غير متناسبة على اللغات غير الإنجليزية من خلال فقدان أكبر في المنفعة وحماية أضعف مقارنة باللغة الإنجليزية، مما يكشف عن عدم مساواة منهجي في ممارسات السلامة الحالية.
المؤلفون الأصليون:Chanwoong Yoon, Jungsoo Park, Alan Ritter
في عالم الذكاء الاصطناعي، تُعد النماذج اللغوية الكبيرة هي المحركات الرقمية التي تشغل برامج الدردشة الآلية، والمترجمين، والمساعدين. وقبل أن تصبح هذه الآلات مفيدة للبشر، تخضع لعملية تدريب صارمة تسمى "المحاذاة". فكر في هذا الأمر كفترة مدرسية حيث لا يتعلم النموذج فقط كيفية الإجابة على الأسئلة، بل يتعلم كيفية الإجابة عليها بأمان، مع الالتزام بالقيم الإنسية ورفض توليد محتوى ضار مثل تعليمات العنف أو الأعمال غير القانونية. هذا التدريب على السلامة أمر ضروري، لكنه يأتي بثمن خفي. فتماماً كما قد تتوقف سيارة ذات مكابح حساسة للغاية بسرعة كبيرة بسبب عائق بسيط، فإن الذكاء الاصطناعي الذي يتسم بالحذر المفرط قد يصبح غير مفيد، حيث يرفض الإجابة على أسئلة غير ضارة أو يقدم استجابات غامضة ومبتذلة. يُعرف فقدان الفائدة هذا بـ "تكلفة المنفعة". لسنوات، عرف الباحثون أن التدريب على السلامة يقلل من الأداء العام للنموذج، ولكن ظل هناك سؤال جوهري دون إجابة: هل تقع هذه التكلفة بالتساوي على الجميع، أم أن بعض اللغات تعاني أكثر من غيرها؟
لقد شرع فريق من الباحثين في التحقيق فيما إذا كان عبء محاذاة السلامة يتم تقاسمه بعدالة عبر لغات العالم. وركزوا على ظاهرة محددة حيث قد ترفض النماذج طلبات آمنة لمجرد أنها تبدو خطرة قليلاً، وهو سلوك يُعرف باسم "الإفراط في الرفض". ولقياس التكلفة الحقيقية للسلامة، ابتكر الفريق طريقة مقارنة ذكية؛ حيث أخذوا نماذج قوية محاذية للسلامة وأنشأوا نسخاً "غير محاذية" من نفس البرمجيات. لم تكن هذه النسخ غير المحاذية مدربة لتكون خطيرة، بل قام الباحثون بإزالة آليات السلامة المحددة التي تسببت في رفض النماذج للطلبات جراحياً، تاركين بقية معرفة النموذج وقدرته على التحدث سليمة. ومن خلال مقارنة استجابات النموذج المحاذي للسلامة مقابل توأمه غير المحاذي لنفس السؤال، استطاع الباحثون عزل مقدار الفائدة المفقودة بسبب تدريب السلامة وحده. وقد اختبروا ذلك عبر اللغة الإنجليزية وخمس لغات أخرى، بما في ذلك الصينية والعربية والكورية والفيتنامية والتايلاندية، باستخدام مجموعة من الأسئلة المصممة لتكون غير ضارة ولكن من المرجح أن تثير إنذار السلامة.
كشفت النتائج عن عدم مساواة صارخة ومنهجية. فقد وجد الباحثون أن المستخدمين غير الناطقين بالإنجليزية يدفعون باستمرار ثمناً أعلى مقابل السلامة مقارنة بالمتحدثين بالإنجليزية. وفي كثير من الحالات، كانت مرشحات السلامة أقل فعالية في حماية المتحدثين بغير الإنجليزية من الأخطار الحقيقية، ومع ذلك تلقى هؤلاء المستخدمون إجابات أسوأ بكثير وأقل فائدة لأسئلتهم غير الضارة. حددت الدراسة ثلاثة أنماط متميزة وراء هذا التفاوت. أولاً، وقعت العديد من اللغات في منطقة "العقوبة المزدوجة": حيث حصلت على حماية أضعف ضد المخاطر الحقيقية بينما عانت في الوقت نفسه من انخفاض أكبر بكثير في جودة إجاباتها. ثانياً، في بعض الحالات، بدت لغة ما وكأنها تمتلك تكلفة سلامة منخفضة فقط لأن مرشحات السلامة فشلت في العمل على الإطلاق، مما ترك المستخدمين معرضين لمحتوى ضار دون أن يدرك النموذج ذلك. ثالثاً، حتى بالنسبة للغات ذات الموارد العالية مثل الصينية، والتي تمتلك كميات هائلة من بيانات التدريب، كانت تكلفة تحقيق نفس مستوى السلامة مثل الإنجليزية أعلى بشكل ملحوظ. لم يكن فقدان المنفعة يتعلق فقط بكون النموذج يقول "لا" عندما كان يجب أن يقول "نعم"، بل اكتشف الباحثون أنه حتى عندما يجيب النموذج، كانت الاستجابة غالباً أقل عمقاً وأقل تفصيلاً وأقل دقة من الناحية الواقعية. لقد جرد تدريب السلامة الاستجابة بهدوء من العمق والدقة، مما جعل الذكاء الاصطناعي أقل فائدة دون أن يدرك المستخدم السبب بالضرورة.
يشير هذا العمل إلى أن الأساليب الحالية لجعل الذكاء الاصطناዊ آمناً ليست معايرة بشكل عادل عبر الثقافات واللغات المختلفة. فتدريب السلامة، المتأثر بشدة بالبيانات والمعايير باللغة الإنجليزية، يخلق دون قصد فجوة هيكلية حيث يحصل المتحدثون بغير الإنجليزية على تجربة أسوأ. ويرى الباحثون أن هذا ليس أثراً جانبياً لا مفر منه لجعل الذكاء الاصطناعي آمناً، بل هو خلل في كيفية تنفيذ السلامة حالياً. ومن خلال قياس تكلفة السلامة المحددة في كل لغة، تكشف الدراسة عن عدم مساواة أساسي؛ فهي تظهر أنه بينما قد يحصل المتحدثون بالإنجليزية على استجابة آمنة ومفيدة، قد يحصل المتحدث بلغة أخرى على استجابة إما غير آمنة أو غامضة بشكل غير مفيد، وكل ذلك لأن آليات السلامة ليست مضبوطة وفقاً لسياقهم اللغوي الخاص. وتدعو هذه النتائج إلى نهج جديد للمحاذاة مع السلامة، نهج يضمن توزيع تكلفة كوننا آمنين بالتساوي، بحيث لا تتقلص فوائد الذكاء الاصطناعي بسبب اللغة التي يُتحدث بها.
ملخص تقني: من يدفع الثمن الأكبر مقابل السلامة؟ قياس التكلفة المتباينة لمواءمة السلامة عبر اللغات
بيان المشكلة
صُممت مواءمة السلامة (Safety alignment) في النماذج اللغوية الكبيرة (LLMs) لمنع المخرجات الضارة، ولكنها غالبًا ما تتسبب في "تكلفة نفعية" (utility cost)، مما يؤدي إلى تدهور مدى فائدة النموذج وإفادته. وبينما أثبتت الأبحاث السابقة وجود هذه المقايضة (مثل الإفراط في الرفض أو تدهور القدرات)، لا يزال هناك سؤال جوهري دون إجابة: هل تفرض مواءمة السلامة هذه التكلفة النفعية بشكل متساوٍ عبر اللغات المختلفة؟
تفشل طرق التقييم الحالية، التي تقارن عادةً الأداء المطلق عبر اللغات باستخدام نموذج واحد موائم للسلامة، في التمييز بين ما إذا كانت فجوات الأداء تنبع من نقص القدرات الموجود مسبقًا (مثل انخفاض الكفاءة في اللغات ذات الموارد المحدودة) أم من عملية مواءمة السلامة نفسها. علاوة على على ذلك، غالبًا ما تكون التكلفة النفعية ضمنية؛ فقد تبدو النماذج مفيدة بينما هي تحجب المعلومات بهدوء، وهو تدهور تعجز مقاييس التقييم القياسية عن رصده.
المنهجية
لعزل التأثير المحدد لمواءمة السلامة، قدم المؤلفون بروتوكول تقييم صارم يتمحور حول مفهوم تكلفة السلامة (Safety Cost).
1. تعريف تكلفة السلامة
تُعرف تكلفة السلامة بأنها خسارة المنفعة التي تُعزى مباشرة إلى مواءمة السلامة في الاستعلامات الحميدة حيث يُتوقع الحصول على استجابة مفيدة وممتثلة. ويتم قياسها باحتمالية تفضيل النموذج غير الموائم (Munaligned) على النموذج الموائم للسلامة (Maligned) في تقييم زوجي للمساعدة: CostL=P(Munaligned≻Maligned∣L) حيث تمثل L لغة محددة.
2. الإعداد التجريبي
تزاوج النماذج: تستخدم الدراسة نماذج موائمة للسلامة من أربع عائلات رئيسية (Llama-3.3-70B, Qwen2.5-72B, Gemma-3-27B, Qwen3-32B) ونظيراتها غير الموائمة. يتم توليد النماذج غير الموائمة عبر استئصال اتجاه الرفض (refusal-direction ablation)، وهي تقنية تقوم بإسقاط أوزان النموذج بشكل متعامد مع اتجاه رفض واحد، مما يزيل دفاعات السلامة مع الحفاظ على المعرفة الأساسية والقدرة على اتباع التعليمات.
اختيار المعايير المرجعية: يركز التقييم على مجموعات بيانات الإفراط في الرفض (XSTest, OR-Bench, OR-Bench-Hard). تحتوي هذه المجموعات على مطالبات حميدة تشبه لغويًا أو موضوعيًا الاستعلامات غير الآمنة، وهي مصممة لتحفيز آليات السلامة دون أن تكون ضارة فعليًا. يضمن هذا بقاء مرشح السلامة نشطًا مع السماح بقياس خسارة المنفعة.
مقياس التقييم: تستخدم الدراسة إطار مقارنة زوجي (مستوحى من Chatbot Arena) باستخدام نموذج لغوي كبير كـ "حَكَم" (GPT-5-mini) لتحديد أي الاستجابتين أكثر فائدة. ويتم حساب التكلفة الهامشية للسلامة (MSC) كفرق بين تكلفة السلامة للغة ما وتكلفة اللغة الإنجليزية (MSCL=CostL−CostEnglish).
المتغيرات الضابطة: لضمان أن التباينات الملحوظة ليست ناتجة عن عملية الاستئصال أو جودة الترجمة، أجرى المؤلفون ضوابط واسعة النطاق، شملت:
مقارنة "فروق فجوة المواءمة" في المهام الحميدة لاستبعاد العجز اللغوي المسبق.
التحقق من جودة الترجمة عبر المتحدثين الأصليين والترجمة العكسية.
تكرار النتائج باستخدام نقاط تفتيش متطابقة تم تدريبها من الصفر (Qwen3-8B) مع ومع بدون بيانات السلامة، لتجنب عملية الاستئصال تمامًا.
المساهمات الرئيسية
عدم المساواة المنهجي: تقدم الورقة أدلة تجريبية على أن مستخدمي اللغات غير الإنجليزية يتحملون باستمرار تكلفة سلامة أعلى من مستخدمي اللغة الإنجليزية. ويستمر هذا التباين حتى في النماذج التي تؤكد على الدعم متعدد اللغات الواسع وتدريب السلامة الصارم.
تحديد ثلاثة أنماط للتباين:
منطقة العقوبة المزدوجة: تقع العديد من اللغات غير الإنجليزية في ربع حيث تعاني من ضعف حماية السلامة (انخفاض مكسب السلامة) وارتفاع خسارة المنفعة (ارتفاع تكلفة السلامة) في آن واحد.
التكلفة المنخفضة الزائفة: في بعض الحالات (مثل Qwen3)، تكون التكلفة المنخفضة الظاهرية للسلامة هي في الواقع نتيجة لفشل مرشحات السلامة في التفاعل مع المدخلات غير الإنجليزية، مما يترك المستخدمين معرضين للمخرجات الضارة بدلاً من تقديم مقايضة متوازنة.
تباين الموارد العالية: حتى اللغات ذات الموارد العالية (مثل الصينية) تتحمل تكلفة سلامة أعلى بكثير من الإنجليزية لتحقيق مستويات مماثلة من السلامة.
آلية التدهور: تكشف الدراسة أن تكلفة السلامة لا تنتج فقط عن الرفض الصريح. إذ ينبع جزء كبير من الخسارة النفعية من التدهور النوعي الضمني، حيث تقدم النماذج الموائمة استجابات أقل إفادة، وأقل قدرة على التنفيذ، وأقل دقة من نظيراتها غير الموائمة، حتى عندما لا ترفض الطلب.
الإطار المنهجي: يقترح المؤلفون بروتوكولاً مضبوطاً لقياس تكلفة السلامة يعزل تأثير المواءمة عن قدرات النموذج المسبقة، مما يوفر عدسة أكثر دقة لتقييم السلامة متعددة اللغات.
النتائج
النتائج الكمية: عبر عائلات النماذج المتعددة، تظهر اللغات غير الإنجليزية تكلفة سلامة هامشية موجبة، مما يشير إلى عقوبة نفعية غير متناسبة. على سبيل المثال، في عائلتي Gemma-3 وQwen2.5، أظهرت اللغات غير الإنجليزية تكاليف أعلى بكثير من الإنجليزية.
الرفض مقابل التكلفة الضمنية: يظهر التحليل أنه بينما تساهم معدلات الرفض الصريح في التكلفة (خاصة في المعايوهات "الصعبة")، إلا أنها لا تفسر التباين بالكامل. في كثير من الحالات، يقدم النموذج غير الموائم إجابة أكثر شمولاً وقابلية للتنفيذ من النموذج الموائم، حتى عندما يمتثل كلاهما للطلب.
اختبارات المتانة: تظل النتائج قائمة عند استخدام نقاط تفتيش متطابقة تم تدريبها من الصفر، مما يؤكد أن التباين ينبع من هدف مواءمة السلامة نفسه وليس من آثار تقنية الاستئصال.
الأهمية
تجادل الورقة بأن ممارسات مواءمة السلامة الحالية تحتوي على خلل جوهري: فهي تفرض عقوبة هيكلية تعتمد على اللغة وتؤدي إلى تدهور تجربة المستخدم لغير المتحدثين بالإنجليزية. ومن خلال الكشف عن أن آليات السلامة غالبًا ما تكون غير معايرة للمدخلات غير الإنجليزية — مما يؤدي إما إلى خسارة نفعية مفرطة أو حماية غير كافية — يحث المؤلفون على تطوير آليات سلامة عادلة.
تخلص الدراسة إلى أن مواءمة السلامة لا ينبغي النظر إليها كعملية موحدة. وبدلاً من ذلك، يجب على المطورين قياس ومعالجة تكلفة السلامة عبر جميع اللغات المدعومة لضمان توزيع المقايضة بين السلامة والمنفعة بشكل عادل، بدلاً من تحميل مستخدمي اللغات غير الإنجليزية عبئًا غير متناسب. يسلط هذا العمل الضوء على الحاجة إلى تجاوز نماذج السلامة المتمحورة حول اللغة الإنجليزية لتحقيق أنظمة ذكاء اصطناي شاملة ومفيدة حقًا.