Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs
تقدم هذه الورقة البحثية INCLUDE، وهو معيار متعدد اللغات لتقييم التحيزات الاجتماعية والثقافية المتمحورة حول الهند عبر ست لغات، مما يكشف أن محاذاة السلامة الحالية المتمحورة حول اللغة الإنجليزية في النماذج اللغوية الكبيرة تخلق فجوة سلامة حرجة عابرة للغات، حيث تظهر المخرجات غير الإنجليزية، لا سيما باللغة البنغالية وفي النماذج مغلقة المصدر، تحيزاً أعلى بكثير من نظيراتها الإنجليزية.
تخيل عالماً يكون فيه صوت المساعد الحاسوبي بطلاقة وإنصاف في قرية ريفية في الهند بقدر ما هو عليه في مكتب صاخب في لندن. لسنوات، تم تدريب التكنولوجيا الكامنة وراء هؤلاء المساعدين بشكل أساسي على النصوص الإنجليزية، حيث تعلمت التعرف على الصور النمطية الضارة ورفض الطلبات المسيئة من خلال عملية تسمى "المواءمة الأمنية". يعمل هذا التدريب كمرشح (فلتر)، مصمم لمنع الآلة من تكرار التحيزات المتعلقة بالعرق أو الدين أو الوضع الاجتماعي. ومع ذلك، ظل هناك سؤال جوهري بلا إجابة: هل يعمل هذا المرشح بنفس الكفاءة عندما يتحدث المستخدم بالهندية، أو البنغالية، أو مزيج من الإنجليزية والهندية؟ إذا كان هذا المرشح يفهم الإنجليزية فقط، فإن ملايين الأشخاص الذين يتحدثون لغات أخرى يظلون عرضة للتحيزات ذاتها التي كان من المفترض أن تمنعها هذه التكنولوجيا. هذا هو صلب القلق الذي تثيره دراسة جديدة تبحث فيما إذا كان وعد الذكاء الاصطناعي الآمن يتحقق عبر المشهد اللغوي المتنوع في الهند.
لقد سعى الباحثون، بقيادة ناميا بهاتناجار، لقياس هذه الفجوة من خلال إنشاء اختبار متخصص يسمى INCLUDE. صُمم هذا المعيار لمعرفة مدى قدرة نماذج الذكاء الاصطناعي المختلفة على التعامل مع الصور النمطية الخاصة بالثقافات عند توجيه الأوامر لها بست لغات مختلفة: الإنجليزية، والهندية، والبنغالية، والماراثية، والتاميلية، و"الهينجليش" (Hinglish)، وهي مزيج شائع من الهندية والإنجليزية يُستخدم في المحادثات اليومية. لبناء هذا الاختبار، حدد الفريق أولاً ستة مجالات تظهر فيها التحيزات غالباً، مثل الطبقة الاجتماعية (Caste)، والدين، والمنطقة. ثم جمعوا لجنة مكونة من عشرين خبيراً، بمن فيهم معلمون وأعضاء هيئة تدريس جامعية، لمراجعة وتنقيح آلاف الأسئلة. وقد صيغت هذه الأسئلة بعناقة لتكون طبيعية، حيث تطلب من النماذج إكمال جمل بطرق قد تكشف ما إذا كانت تميل نحو الصور النمطية الضارة أو ترفضها. قام الفريق بترجمة هذه المطالبات إلى اللغات الهندية الخمس، مع ضمان بقاء المعنى وكثافة الصور النمطية متسقين عبر جميع النسخ.
قيمت الدراسة عشرة نماذج مختلفة من الذكاء الاصطني، مقسمة إلى مجموعتين: تلك المفتوحة التي يمكن لأي شخص فحصها وتعديلها، والأنظمة المغلقة المملوكة لشركات التكنولوجيا الكبرى. وعندما اختبر الباحثون النماذج مفتوحة المصدر، وجدوا نمطاً واضحاً ومثيراً للقلق؛ فقد كانت النماذج أكثر عرضة لإنتاج إجابات متحيزة ونمطية عندما تُكتب المطالبات باللغات الهندية مقارنة بالإنجليزية. ومن بين اللغات الهندية، أدت اللغة البنغالية إلى أعلى مستوى من التحيز، تلتها الهندية عن قرب. ومن المثير للدهشة أن المطالبات بالإنجليزية أسفرت في الواقع عن أدنى درجات التحيز لهذه النماذج مفتوحة المصدر، مما يشير إلى أن مرشحات السلامة تعمل بشكل جيد للمتحدثين بالإنجليزية ولكنها تفشل بالنسبة للجميع غيرهم. وهذا يخلق وهماً بالأمان، حيث قد يشعر المستخدم بالحماية بالإنجليزية بينما يظل معرضاً للخطر بلغته الأم.
أما النتائج المتعلقة بالنماذج مغلقة المصدر، والتي تُستخدم غالباً لتشغيل وظائف البحث والاسترجاع للمساعدات الصوتية، فقد روت قصة مختلفة وأكثر تعقيداً. في هذه المجموعة، انقلب النمط تماماً؛ حيث أظهرت النماذج أقوى الارتباطات بالتحيز عندما كانت المطالبات بالإنجليزية، بينما أظهرت اللغات الهندية درجات تحيز أقل. هذا الانعكاس يشير إلى أن مصدر المشكلة ليس شيئاً واحداً فقط. فبالنسبة للنماذج مفتوحة المصدر، يبدو أن المشكلة تكمن في أن التدريب على السلامة تم معظمه بالإنجليزية، مما ترك اللغات الأخرى دون حماية. أما بالنسبة للنماذج مغلقة المصدر، فيبدو أن التحيز يأتي من الكم الهائل من النصوص الإنجليزية التي تدربت عليها في الأصل، والتي رسخت صوراً نمطية قوية في فهمها الجوهري للعالم.
كان أحد أهم النتائج المتعلقة بـ "الهينجليش"، وهي اللغة المختلطة المستخدمة من قبل الملايين في الهند. وجدت الدراسة أن "الهينجليش" لم تحصل على فوائد السلامة التي توفرها الإنجليزية. فرغم احتوائها على كلمات إنجليزية، إلا أن النماذج عاملتها إحصائياً كبقية اللغات الهندية ذات الموارد المنخفضة، حيث وضعتها ضمن مجموعة الهندية والتاميلية بدلاً من الإنجليزية. وهذا يعني أن المستخدمين الذين يعتمدون على هذه اللغة المختلطة للتفاعل الصوتي لا يحصلون على نفس مستوى الحماية الذي يحصل عليه متحدثو الإنجليزية الصرفة. كما لاحظ الباحثون أنه بينما تباينت درجات التحيز، إلا أن الاختلافات لم تكن عشوائية؛ بل كانت متسقة بما يكفي لاعتبارها فشلاً حقيقياً وقابلاً للقياس في كيفية بناء هذه الأنظمة.
تخلص الدراسة إلى أن سلامة الذكاء الاصطناعي ليست موحدة عبر اللغات. فهي تكشف أن الطرق الحالية لتدريب هذه النماذج تخلق انقساماً حيث يتم حماية المتحدثين بالإنجليزية من الصور النمطية الضارة، بينما لا يتم ذلك لمتحدثي اللغات الأخرى. وتشير النتائج إلى أن مجرد ترجمة قواعد السلامة من الإنجليزية ليس كافياً؛ بل يجب أن يتغير الهيكل الأساسي لكيفية تعلم هذه النماذج وكيفية مواءمتها لتراعي الفروق الدقيقة للثقافات واللغات المختلفة. ومن خلال تحديد هذه الفجوات، يأمل الباحثون في توفير خارطة طريق للمطورين لبناء أنظمة عادلة حقاً للجميع، بغض النظر عن اللغة التي يتحدثونها. إن هذا العمل يسلط الضوء على أن تحقيق العدالة الحقيقية في الذكاء الاصطناعي يتطلب النظر إلى ما وراء اللغات المهيمنة ومعالجة السياقات الثقافية المحددة التي تُنشر فيها هذه التقنيات.
ملخص تقني: وهم المحاذاة الأمنية: الفجوة الأمنية عبر اللغات في النماذج اللغوية الكبيرة (LLMs)
بيان المشكلة إن تدريب المحاذاة الأمنية الحالي للنماذج اللغوية الكبيرة (LLMs) يتركز بشكل مفرط حول اللغة الإنجليزية، مما يخلق "وهماً للمحاذاة الأمنية". فبينما قد تجتاز النماذج عمليات تدقيق أمني صارمة باللغة الإنجليزية، فإنها غالباً ما تفشل في مد هذه الحمايات إلى اللغات ذات الموارد المنخفضة واللغات المختلطة برمجياً (code-mixed). وتعد هذه الفجوة حرجة بشكل خاص لتقنيات اللغة المنطوقة (مثل المساعدات الصوتية) المنتشرة في مناطق متنوعة لغوياً مثل الهند. حيث يتعرض المستخدمون ذوو الإلمام المحدود بالقراءة والكتابة، أو أولئك الذين يعتمدون على التفاعل الصوتي بسبب صعوبة التعامل مع النصوص غير اللاتينية، لخطر غير متناسب من المخرجات التي تعزز الصور النمطية والتحيزات الضارة عند التفاعل باللغات الإقليمية أو السجلات المختلطة مثل "الهينجليش" (Hinglish). إن المعايير المرجعية الحالية (مثل StereoSet وCrowS-Pairs) تركز على الإنجليزية، بينما اقتصرت الدراسات الهندية السابقة على نطاق لغوي محدود أو افتقرت إلى تقييم اللغات المختلطة برمجياً.
المنهجية لمعالجة هذه الفجوة، قدم المؤلف INCLUDE (عدسة ثقافية هندية لفهم وكشف التحيزات الضمنية)، وهو معيار تقييم متعدد اللغات مصمم لقياس التحيزات الاجتماعية والثقافية المتمحورة حول الهند.
بناء مجموعة البيانات: تتكون INCLUDE من 2,604 مطالبة (prompts) تغطي ست لغات: الإنجليزية، والهندية، والبنغالية، والماراثية، والتاميلية، والهينجليش (خليط هندي-إنجليزي). تستهدف هذه المطالبات ستة محاور للتحيز: الطائفة (Caste)، والتقاطعية (Intersectionality)، والمنطقة، والدين، والوضع الاجتماعي والاقتصادي (SES)، واللغة المنطوقة، وتغطي 27 مجموعة هوية.
التحقق من الصحة: قامت لجنة خبراء مكونة من 20 شخصاً (معلمين، وأعضاء هيئة تدريس، ومتحدثين أصليين) بالتحقق بشكل متكرر من مقاطع التحيز لضمان دقة الصور النمطية. تم إجراء الترجمات إلى خمس لغات ذات موارد منخفضة عبر مسار مؤتمت باستخدام GPT-4o، وتم التحقق منها بصرامة من قبل مدققين ثنائيي اللغة باستخدام مقياس ليكرت الخماسي والترجمة العكسية. كما تم تقييم الاتفاق بين المدققين باستخدام معامل "كوهنز كابا" الموزون (weighted Cohen's κ)، والذي تراوح من "ضعيف" (البنغالية) إلى "شبه مثالي" (الهينجليش والتاميلية).
مقاييس التقييم:
النماذج مفتوحة المصدر (6 نماذج: TinyLlama, Qwen, MistralAI, DeepSeek, GPT-2, Gemma): تم تقييمها باستخدام تسجيل احتمالية اللوغاريتم الشرطية (conditional log-likelihood scoring). يتم حساب درجة التحيز (δi) كفرق في الخسارة (loss) بين الإكمالات المضادة للنمط والإكمالات النمطية. تشير الدرجات الموجبة إلى تفضيل الصور النمطية.
النماذج مغلقة المصدر (4 نماذج تضمين: Voyage-3.5, Voyage-3-Large, OpenAI text-embedding-3-large, Cohere embed-multilingual-v3.0): تم تقييمها باستخدام اختبار ارتباط تضمين الكلمات (WEAT) عبر تشابه جيب التمام (cosine similarity). يقيس هذا قوة الارتباط بين ناقلات الهوية المستهدفة وناقلات السمات النمطية مقابل المضادة للنمط.
التحليل الإحصائي: نظراً لطبيعة البيانات ذات القياسات المتكررة (نفس المطالبات عبر اللغات)، تم تجنب تحليل التباين (ANOVA) القياسي. بدلاً من ذلك، استخدمت الدراسة النماذج الخطية ذات التأثيرات المختلطة واختبارات فريدمان غير المعلمية للفروق الإجمالية بين المجموعات، متبوعة باختبارات ويلكوكسون لمرتبة الإشارة مع تصحيح "هولم" للمقارنات الزوجية.
المساهمات الرئيسية
كشف عدم التماثل في النماذج مفتوحة المصدر: تظهر الدراسة أن جميع اللغات الهندية الخمس ذات الموارد المنخفضة تثير تحيزاً أعلى بكثير من الإنجليزية في النماذج مفتوحة المصدر. وهذا يؤكد أن عمليات محاذاة ما بعد التدريب (مثل Constitutional AI) فعالة بشكل غير متناسب للإنجليزية، مما يترك المتحدثين باللغات الإقليمية دون حماية خوارزمية ذات معنى.
اكتشاف "الانعكاس الإنجليزي" في النماذج مغلقة المصدر: على النقل، أظهرت نماذج التضمين مغلقة المصدر انعكاساً حيث أدت المطالبات الإنجليزية إلى أقوى الارتباطات النمطية. يشير هذا إلى أن تكوين مجموعة بيانات ما قبل التدريب (هيمنة النصوص الإنجليزية) يقدم مسار تحيز متميز يعمل بشكل مستقل عن، وغالباً بما يخالف، محاذاة ما بعد التدريب.
توصيف "الهينجليش": يكشف المعيار المرجعي أن "الهينجليش"، رغم تشابهه المعجمي مع الإنجليزية، لا يمكن تمييزه إحصائياً عن اللغات الهندية ذات الموارد المنخفضة من حيث ملفات التحيز. فهو يرث كامل مخاطر التحيز للغات ذات الموارد المنخفضة بدلاً من فوائد الأمان المرتبطة بالإنجليزية.
النتائج
نتائج النماذج مفتوحة المصدر: سجلت اللغة البنغالية أعلى متوسط درجة تحيز (ABS = 1.46)، تلتها الهندية (1.41) والإنجليزية (1.40). أكد التحليل الإحصائي أن الإنجليزية تختلف بشكل كبير عن اللغات الأخرى، حيث تثير تحيزاً أقل. وكانت البنغالية متميزة بشكل فريد عن الهندية ضمن الكتلة الهندية.
نتائج النماذج مغلقة المصدر: لوحظ تباين كبير على مستوى اللغة (أقوى مما هو عليه في النماذج مفتوحة المصدر). أظهرت الأهداف الإنجليزية درجات تحيز أعلى بكثير من اللغات الهندية، وخاصة البنغالية. وهذا يؤكد أن مساحات التضمين تشفر ارتباطات نمطية-سمات أقوى للأهداف الإنجليزية في السياق الهندي.
خصوصيات الهينجليش: سجلت الهينجليش أدنى متوسط درجة تحيز (ABS) بين جميع اللغات في النماذج مفتوحة المصدر، لكنها ظلت مجمعة إحصائياً مع اللغات الهندية بدلاً من الإنجليزية. يشير هذا إلى أنه بينما يحفز المعجم الإنجليزي بعض آليات الأمان، فإن البنية النحوية المختلطة تحتفظ بأنماط التحيز للغات ذات الموارد المنخفضة.
الأهمية والادعاءات يزعم البحث أن INCLUDE يوفر إطاراً صارماً للكشف عن الفجوات الأمنية عبر اللغات والتي لا يمكن رصدها حالياً عبر عمليات التدقيق المتمحورة حول الإنجليزية. وتتحدى النتائج الافتراض بأن المحاذاة الأمنية مستقلة عن اللغة، كاشفة عن آليتين متميزتين للتحيز:
فجوات محاذاة ما بعد التدريب في النماذج التوليدية التي تفشل في حماية اللغات ذات الموارد المنخفضة.
تحيزات مجموعة بيانات ما قبل التدريب في نماذج التضمين التي تشفر صوراً نمطية أقوى للأهداف الإنجليزية.
ويؤكد المؤلف أن هذه النتائج حاسمة لتطوير مساعدات صوتية وتقنيات لغة منطوقة عادلة في الهند. ومن خلال إثبات أن التفاعلات المختلطة (الهينجليش) لا ترث فوائد أمان الإنجليزية، يجادل العمل بضرية وجود أطر تقييم مستنيرة ثقافياً. وتضع هذه الدراسة INCLUDE كخطوة نحو دمقرطة الوصول إلى ذكاء اصطناعي عادل، موفرة أداة عملية للباحثين والمطورين لتحديد وتخفيف التحيزات التي تعزز عدم المساواة المجتمعية في السياقات غير الغربية. وتختتم الورقة بتواضع، مشيرة إلى أن العمل المستقبلي يجب أن يوسع هذه التقييمات لتشمل الأنظمة متعددة الوسائط، والسياقات العالمية المتنوعة، واللغات المختلطة الأخرى، وتقترح أن الترجمة البشرية المهنية يمكن أن تعزز الصلاحية بشكل أكبر.