💬 NLP

Side-by-side Comparison Amplifies Dialect Bias in Language Models

تكشف هذه الورقة أن التحيز الخفي للهجات في النماذج اللغوية، والذي يربط الصور النمطية السلبية بإنجليزية سكان أمريكا من أصل أفريقي (AAVE)، يتفاقم بشكل كبير عند مقارنة الإنجليزية الأمريكية القياسية وتغريدات (AAVE) جنبًا إلى جنب، وهو اكتشاف يتحدى طرق التقييم وجهود التخفيف الحالية.

المؤلفون الأصليون: Kritee Kondapally, Claire J. Smerdon, Pooja C. Patel, Ogheneyoma Akoni, Jevon Torres, Jaspreet Ranjit, Matthew Finlayson, Swabha Swayamdipta

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kritee Kondapally, Claire J. Smerdon, Pooja C. Patel, Ogheneyoma Akoni, Jevon Torres, Jaspreet Ranjit, Matthew Finlayson, Swabha Swayamdipta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "المقارنة جنباً إلى جنب تضخم التحيز اللهجي في النماذج اللغوية"، مقسمة إلى مفاهيم بسيطة مع تشبيهات من الحياة اليومية.

الفكرة الكبرى: فخ "الجنب إلى جنب"

تخồi أنك حَكَم في برنامج مواهب. لديك مغنيان، أليكس وجوردان. كلاهما يغني نفس الأغنية تماماً وبنفس المعنى.

أليكس يغني بأسلوب رسمي ومصقول (اللغة الإنجليزية الأمريكية القياسية، أو SAE).
جوردان يغني بأسلوب ثقافي مريح وإيقاعي (الإنجليزية العامية للأمريكيين من أصل أفريقي، أو AAVE).

السؤال الذي تطرحه الورقة البحثية هو: هل يعامل الحَكَم (الذكاء الاصطناي) كل منهما بإنصاف؟

وجد الباحثون أن الذكاء الاصطناعي غير عادل بالفعل عندما يستمع إليهما بشكل منفرد. ولكن إليكم الجزء الصادم: عندما يستمع الذكاء الاصطناعي إليهما في وقت واحد (جنباً إلى جنب)، يصبح أكثر عدم إنصاف بشكل كبير.

الإعداد: لعبة "السمات المتطابقة"

لاختبار ذلك، استخدم الباحثون خدعة تسمى "السمات المتطابقة" (Matched Guise). فكر في الأمر كخدعة سحرية حيث الشيء الوحيد الذي يتغير هو اللهجة، لكن القصة تظل كما هي.

أخذوا 2000 تغريدة.
لكل تغريدة مكتوبة بلهجة AAVE، وجدوا نسخة مكتوبة بلهجة SAE تعني الشيء نفسه تماماً.
طلبوا من نماذج ذكاء اصطناعي مختلفة (مثل LLaMA وDeepSeek وGPT) تقييم هذه التغريدات بناءً على 12 سمة شخصية، مثل "مدى ذكاء هذا الشخص؟" أو "مدى أدبه؟" على مقياس من 1 إلى 5.

طريقتان للتحكيم

اختبر الباحثون الذكاء الاصطناعي في غرفتين مختلفتين:

1. الغرفة المنفردة (التلقين المطلق - Absolute Prompting)
يرى الذكاء الاصطناعي تغريدة أليكس، يقيمها، ثم يرى تغريدة جوردان، ويقيم تلك لاحقاً.

النتيجة: كان الذكاء الاصطناعي متحيزاً. فقد أعطى أليكس (SAE) درجات أعلى في "الذكاء" و"الأدب"، وأعطى جوردان (AAVE) درجات أعلى في "الوقاحة" أو "الغباء". لكن التحيز كان يشبه منحدرًا لطيفًا.

2. غرفة المقارنة (التلقين التبايني - Contrastive Prompting)
يرى الذكاء الاصطناعي كلا التغريدتين على الشاشة في نفس الوقت ويُطلب منه: "قارن بين هذين الاثنين".

النتيجة: انفجر التحيز. كان الأمر كما لو أن الذكاء الاصطناعي ارتد فجأة عصبة عين لا تسمح له إلا برؤية الاختلافات. اتسعت الفجوة بين الدرجات بشكل هائل. بدأ الذكاء الاصطناعي يعطي أليكس 5/5 في "الذكاء" وجوردان 1/5، رغم أنهما يقولان الشيء نفسه تماماً.

التشبيه: تخيل أنك تتذوق كوبين من القهوة.

منفرداً: تتذوق الكوب (أ)، ثم الكوب (ب). قد تعتقد أن الكوب (أ) أفضل قليلاً.
جنباً إلى جنب: ترفع الكوبين أمام أنفك في وقت واحد. فجأة، يبدو الفرق هائلاً. وجدت الورقة البحثية أن مقارنة اللهجات جنباً إلى جنب تجعل تحيز الذكاء الاصطناعي أعلى وأكثر وضوحاً.

مفاجأة "الملصق" (Label)

حاول الباحثون أيضاً إخبار الذكاء الاصطناعي صراحةً: "هذه التغريدة مكتوبة بلهجة AAVE".

المنطق السليم: قد تعتقد: "إذا أخبرت الذكاء الاصطناعي باللهجة، فسيحاول جاهداً أن يكون عادلاً".
الواقع: وجدت الورقة البحثية العكس. عندما تم إخبار الذكاء الاصطناعي بملصقات اللهجة، أصبح التحيز أسوأ. الأمر كما لو أن الذكاء الاصطناعي كان ينتظر سبباً ليكون متحيزاً، وقد أعطاه الملصق الإذن للتمسك بالصور النمطية بقوة أكبر.

محاولة "الإصلاح": تعليم الذكاء الاصطناعي أن يكون عادلاً

حاول الباحثون إصلاح ذلك عن طريق "الضبط الدقيق" (Finetuning) للذكاء الاصطناعي. علموا النموذج: "مهلاً، إذا كانت هاتان التغريدتان تعنيان الشيء نفسه، فأعطهما نفس الدرجة".

النتيجة: ساعد ذلك قليلاً عندما كان الذكاء الاصطناعي يحكم على التغريدات واحدة تلو الأخرى (الغرفة المنفردة).
المشكلة: عندما أُجبر الذكاء الاصطناعي على مقارنتهما جنباً إلى جنب (غرفة المقارنة)، لم ينجح الإصلاح بشكل جيد. عاد التحيز بقوة. الأمر يشبه محاولة تعليم شخص ما أن يكون هادئاً في غرفة هادئة، لكن عندما تضعه في جدال صاخب وفوضوي، يفقد هدوءه مرة أخرى.

لماذا يهم هذا الأمر (وفقاً للورقة البحثية)

تحذرنا الورقة البحثية من كيفية استخدامنا للذكاء الاصطناعي في الحياة الواقعية.

الخطر الخفي: غالباً ما نعتقد أن الذكاء الاصطناعي عادل إذا لم نره يُطلب منه مقارنة الأشياء. لكن في العالم الحقيقي، غالباً ما يُستخدم الذكاء الاصطناعي لـ ترتيب أو الاختيار بين الناس (مثل التوظيف لوظيفة ما أو اتخاذ قرار بشأن من يستحق قرضاً).
المضخم: عندما يُطلب من الذكاء الاصطناعي ترتيب المرشحين جنباً إلى جنب، فإنه لا يرى فقط الاختلاف في اللهجة؛ بل يضخم هذا الاختلاف. فرق صغير في طريقة حديث شخص ما يتحول إلى فرق ضخم في مدى ظهورهم بمظهر "الذكي" أو "الوقح".

ملخص في إيجاز

الذكاء الاصطناعي متحيز: هو يفضل بالفعل اللغة الإنجليزية القياسية (SAE) على لهجة AAVE.
المقارنة تجعل الأمر أسوأ: طلب مقارنة الاثنين جنباً إلى جنب يجعل التحيز أقوى بكثير من طلب الحكم عليهما بشكل منفرد.
الملصقات تجعل الأمر أسوأ: إخبار الذكاء الاصطناعي باسم اللهجة لا يساعد، بل يجعل التحيز أقوى.
الإصلاحات صعبة: يمكننا تعليم الذكاء الاصطناعي أن يكون عادلاً في حالة العزل، لكنه يكافح ليبقى عادلاً عندما يتعين عليه إجراء مقارنات مباشرة.

تخلص الورقة إلى أننا بحاجة إلى توخي الحذر الشديد في كيفية اختبار الذكاء الاصطناي. إذا اختبرناه فقط عبر مطالبته بالحكم على شيء واحد في كل مرة، فقد نغفل عن مدى سوء تمييزه عندما يقوم فعلياً بعملية ترتيب ومقارنة الناس.

ملخص تقني: المقارنة جنباً إلى جنب تضخم التحيز اللهجي في النماذج اللغوية

بيان المشكلة
تُظهر النماذج اللغوية الكبيرة (LMs) تحيزات منهجية ضد المتحدثين بناءً على التباينات اللهجية، وهي ظاهرة تُعرف بالتحيز اللهجي الخفي. يحدث هذا حتى في حالة غياب تسميات اللهجات الصريحة، حيث تربط النماذج الصور النمطية السلبية بالإنجليزية الأمريكية المتداولة بين الأفريقيين الأمريكيين (AAVE) مقارنة بالإنجليزية الأمريكية القياسية (SAE). وبينما أثبتت الأبحاث السابقة وجود هذا التحيز في حالة العزل، لا يزال من غير الواضح كيف يتجلى التحيز في سياقات اتخاذ القرار عالية المخاطر حيث يُطلب من النماذج ترتيب أو مقارنة المرشحين جنباً إلى جنب. علاوة على ذلك، من غير المعروف ما إذا كان تحديد تسميات اللهجات صراحة (التحيز العلني) يخفف أم يفاقم هذه التفاوتات مقارنة بالاستدلال الضمني (التحيز الخفي). تعتمد أطر التقييم الحالية غالباً على التلقين المطلق (تقييم التغريدات بشكل منفصل)، مما قد يؤدي إلى التقليل من شدة التحيز في الإعدادات المقارنة.

المنهجية
يستخدم المؤلفون تقنية "الاستقصاء عبر القناع المتطابق" (matched-guise probing) باستخدام مجموعة بيانات مكونة من 2,019 زوجاً من التغريدات متساوية القصد (واحدة بـ SAE وأخرى بـ AAVE) مستمدة من Groenwold et al. [20]. تدرس الدراسة ثلاثة نماذج: LLaMA-3.1-8B، وDeepSeek-V3، وGPT-4.0-mini.

يتم إجراء التقييم عبر أربعة حالات متميزة:

التلقين المطلق: يتم تقييم تغريدات SAE وAAVE بشكل مستقل.
التلقين التبايني: تُعرض تغريدات SAE وAAVE جنباً إلى جنب للمقارنة المباشرة.
الإعداد الخفي: لا يتم تقديم تسميات لهجية صريحة؛ حيث يستنتج النموذج اللهجة من السمات اللغوية.
الإعداد العلني: يتم تضمين تسميات لهجية صريحة (مثل "هذه التغريدة مكتوبة بلهجة AAVE") في التلقين.

يُطلب من النماذج تقييم كل تغريدة على مقياس ليكرت من 1 إلى 5 عبر 12 سمة نمطية مجمعة في ستة أزواج من القيم (مثل: الذكاء/الغباء، اللباقة/الوقاحة)، استناداً إلى Princeton Trilogies [18, 25, 26].

لقياس التحيز، تستخدم الدراسة:

معامل كوهين $d$ : لقياس حجم الفوارق في الدرجات بين SAE وAAVE.
فجوة العدالة المضادة للواقع (CF Gap): لقياس متوسط الخطأ المطلق المعياري بين الدرجات الممنوحة للأزواج متساوية القصد.
قيمة $Q$ : وهو مقياس نسبة لوغاريتم الاحتمالية لتقييم ثقة النموذج في تخصيص درجات معينة للهجات مختلفة.

وللتخفيف من حدة التحيز، يطبق المؤلفون الضبط الدقيق للعدالة المضادة للواقع على LLaMA-3.1-8B. يتضمن ذلك تدريب النموذج على تخصيص درجات سمات متطابقة لأزواج تغريدات SAE وAAVE، باستخدام درجات SAE الخاصة بالنموذج من الإعداد المطلق كحقيقة أرضية. كما تم اختبار نهج تخفيف التحيز القائم على التلقين كخط أساس.

النتائج الرئيسية

التضخم في الإعدادات التباينية: النتيجة الأكثر أهمية هي أن المقارنة جنباً إلى جنب تضخم بشكل كبير التحيز اللهجي الخفي. عبر جميع النماذج، كانت أحجام التأثير (Cohen's $d$ ) وفجوات CF أكبر بكثير في الإعداد التبايني مقارنة بالإعداد المطلق. على سبيل المثال، أظهر DeepSeek-V3 زيادة بنسبة 51.78% في قيم Cohen's $d$ عند الانتقال من التلقين المطلق إلى التلقين التبايني. يشير هذا إلى أن السياقات المقارنة، الشائعة في التوظيف أو الإشراف على المحتوى، تفاقم التحيزات الموجودة بما يتجاوز ما يتم ملاحظته في حالة العزل.
تفاقم التحيز العلني: خلافاً للافتراض بأن التسمية الصريحة قد تقلل التحيز من خلال جعل النموذج مدركاً للسياق، فإن تحديد تسميات اللهجات صراحة (الإعداد العلني) غالباً ما يضاعف التحيز، لا سيما في السيناريوهات التباينية. في الإعداد التبايني العلني، وصلت التفاوتات في سمات مثل "الفصاحة" و"الرقي" إلى أحجام تأثير كبيرة.
حساسية النماذج: أظهر LLaMA-3.1-8B أعلى حساسية للتباين اللهجي، حيث سجل أكبر فجوات CF وأقل اتساق ذاتي (استقرار الدرجات عبر التلقينات المتكررة) لمدخلات AAVE مقارنة بـ SAE.
محدودية التخفيف: نجح الضبط الدقيق للعدالة المضادة للواقع في تقليل التحيز لمجموعة فرعية من السمات (مثل: عدم الرقي، الغباء، عدم الترابط) في الإعداد المطلق. ومع ذلك، لم تصمد هذه التحسينات باستمرار في الإعداد التبايني. في بعض الحالات، أدى الضبط الدقيق إلى زيادة التفاوتات لسمات أخرى (مثل: الذكاء، اللباقة) عندما أُجبرت النماذج على مقارنة اللهجات مباشرة. وأظهر التخفيف القائم على التلقين نتائج مختلطة وكان أقل موثوقية بسبب الحساسية لصياغة التلقين.

الأهمية والمساهمات
يقدم البحث أربع مساهمات رئيسية:

التضخم التبايني: يثبت أن التحيز اللهجي الخفي ليس ثابتاً، بل يتضخم ديناميكياً عند قيام النماذج بأحكام مقارنة، وهي رؤية بالغة الأهمية للتطبيقات الواقعية التي تتضمن التصنيف أو الاختيار.
المقارنة بين العلني والخفي: يقدم مقارنة مباشرة توضح أن الإشارات اللهجية العلنية لا تخفف التحيز بل غالباً ما تكثفه، مما يتحدى فعالية استراتيجيات محاذاة السلامة الحالية في التعامل مع إشارات الهوية الصريحة.
إطار التقييم: يسلط الضوء على أن إعدادات التقييم القياسية (التلقين المطلق) قد تقلل بشكل كبير من شدة التحيز اللهجي، مما يستوجب تضمين الاختبار التبايني في عمليات تدقيق العدالة.
تحديات التخفيف: يكشف أن الضبط الدقيق للعدالة المضادة للواقع، رغم قدرته على تقليل التحيز الإجمالي، إلا أنه غير كافٍ لضمان العدالة المتسقة عبر جميع السمات وسياقات التقييم، لا سيما في السيناريوهات المقارنة عالية المخاطر.

يخلص المؤلفون إلى أن التحيز اللهجي يظل مشكلة غير محلولة في النماذج اللغوية، وأن استراتيجيات التخفيف الحالية تفشل في معالجة آثار التضخم المتأصلة في عملية صنع القرار التبايني. ويطالبون بإطارات تقييم أكثر قوة تأخذ في الاعشن الديناميكيات المقارنة لمنع تعزيز عدم المساواة الهيكلية في الأنظمة المؤتمتة.