💬 NLP

A Heuristic Perspective on Debiasing Language Models

تقدم هذه الورقة HEIMAT، وهو إطار عمل آلي لإزالة التحيز قائم على الاستدلال يجمع بين الكشف عن التحيز الموجه بالقوالب وبين الضبط الدقيق لتقليل التباين من أجل التخفيف بفعالية من التحيزات الثقافية في النماذج اللغوية مع الحفاظ على قدراتها في فهم اللغة الطبيعية، مما يوفر بديلاً قابلاً للتوسع للطرق الحالية المكلفة.

المؤلفون الأصليون: Tian Lan, Yemin Wang, Chuancheng Shi, Xiangyu Wu, Zesheng Shi, Yuan Wang, Jiang Li, Guanglai Gao, Xiangdong Su

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tian Lan, Yemin Wang, Chuancheng Shi, Xiangyu Wu, Zesheng Shi, Yuan Wang, Jiang Li, Guanglai Gao, Xiangdong Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك بنيت روبوتاً فائق الذكاء يقرأ كل كتاب، وموقع إلكتروني، ومنتدى على الإنترنت ليتعلم كيف يتحدث البشر. هذا الروبوت، المسمى "نموذج لغوي"، يشبه طالباً عبقرياً قرأ المكتبة بأكملة، لكنه لم يتعلم بعد كيفية تصفية الأفكار الفوضوية أو غير العادلة أو النمطية التي وجدها في تلك الكتب. إذا سألت هذا الروبوت: "كيف تبدو الممرضة؟"، فقد يخمن أنها "امرأة" لأنه رأى هذا النمط مليون مرة في بيانات تدريبه، رغم أن الرجال يمكن أن يكونوا ممرضين أيضاً. ليس هذا لأن الروبوت "شرير"، ولكن لأنه تعلم من عالم مليء بالتحيزات البشرية. يحاول العلماء إصلاح ذلك ليعامل الروبوت الجميع بإنصاف، لكن معظم الحلول الحالية تشبه محاولة تنظيف بقعة ضخمة بفرشاة أسنان صغيرة: فهي تستغرق وقتاً طويلاً، أو تكلف ثروة، أو تعمل فقط لنوع واحد محدد من البقع.

هنا يأتي دور دراسة جديدة تقترح طريقة أكثر ذكاءً وخفة لتنظيف هذه الروبوتات. اعتبر "HEIMAT" ليس كمنظف ثقيل، بل كـ "محقق تحيز" يستخدم بعض الحيل البسيطة والذكية لمعرفة ما يفكر فيه الروبوت، ثم يدفعه بلطف لتغيير رأيه. بدلاً من الحاجة إلى قائمة ضخمة ومعدة مسبقاً من الإجابات "الصحيحة" و"الخاطئة" (وهو أمر صعب الصنع لكل ثقافة)، يقوم HEIMAT بسؤال الروبوت سلسلة من الأسئلة الماكرة للكشف عن افتراضاته الخفية، ثم يعلمه أن يكون أكثر توازناً. اختبر الفريق هذه الطريقة على عدة روبوتات مختلفة ووجدوا أنها نجحت في تقليل التخمينات غير العادلة بشأن الجنس والعرق، مع السماح للروبوت بالقيام بعمله في فهم اللغة بنفس الكفاءة السابقة.

المشكلة: "المكتبة الداخلية" للروبوت

تتدرب النماذج اللغوية على أكوام ضخمة من النصوص من الإنترنت. ولأن الكتابة البشرية غالباً ما تحتوي على صور نمطية (مثل "النساء ممرضات" أو "الرجال أطباء")، فإن الروبوت يمتص هذه الأنماط. عندما تطلب منه ملء فراغ، مثل "الـ [MASK] هو طبيب"، قد يخمن "هو" أكثر من "هي"، ببساطة لأنه رأى ذلك أكثر من غيره في بيانات تدريبه. يمكن أن يؤدي هذا إلى ضرر في العالم الحقيقي، مثل تعزيز الأفكار غير العادلة حول من يمكنه القيام بأي وظيفة.

الطريقة القديمة مقابل الحيلة الجديدة

في السابق، حاول العلماء إصلاح هذا بطريقتين رئيسيتين:

طريقة "إعادة الكتابة الشاملة": حيث يقومون يدوياً بإنشاء آلاف الجمل المتوازنة تماماً لإعادة تدريب الروبوت. هذا يشبه محاولة تعليم طفل أن يكون منصفاً عبر كتابة كتاب مدرسي جديد لكل موضوع على حدة. إنه أمر مكلف، بطيء، ويصعب القيام به لكل لغة في العالم.
طريقة "الإسقاط الرياضي": حاولوا استخدام رياضيات معقدة لمحو التحيز من ذاكرة الروبوت الداخلية. غالباً ما تنجح هذه الطريقة في المشكلات البسيطة، لكنها تصبح معقدة عندما يكون التحيز عميقاً ومتشابكاً.

يجادل مؤلفو هذه الورقة بأن هذه الأساليب جامدة ومكلفة للغاية. ويتساءلون: هل يمكننا جعل الروبوت يدرك تحيزه الخاص ويصلحه دون الحاجة إلى كتاب قواعد ضخم ومكتوب مسبقاً؟

كيف يعمل HEIMAT: المحقق والمرآة

صمم الباحثون HEIMAT (وهو إطار عمل تلقائي بأسلوب استدلالي) ليعمل في خطوتين بسيطتين وممتعتين.

الخطوة 1: "كشف التحيز" (المحقق)
أولاً، يعمل HEIMAT كمحقق. يستخدم بعض القوالب البسيطة المكتوبة مسبقاً لسؤال الروبوت أسئلة قد تثير إجابة متحيزة.

مثال: "هذه الشابة تظهر غالباً في مستشفى، ووظيفتها هي [MASK]."
إذا خمن الروبوت "ممرضة" أكثر بكوثير من "طبيبة"، يعرف HEIMটি: "آها! هذا الروبوت يعتقد أن النساء ينتمين لأدوار التمريض."
وللتأكد من رصد جميع أنواع التحيز، يقوم النظام بعد ذلك بطلب من الروبوت سرد كلمات أخرى ذات صلة (مثل "هسبانية"، "آسيوية"، "لاتينية") وإنشاء "قائمة استبدال". الأمر يشبه قيام المحقق بجمع طاقم من المشتبه بهم لرؤية من يعامله الروبوت بشكل مختلف.

الخطوة 2: "تصحيح المرآة" (المعلم)
بمجرد كشف التحيز، ينشئ HEIMAT مجموعة من الجمل المتطابقة تقريباً والتي تختلف فقط بالكلمة الديموغرافية (على سبيل المثال: "هذه المرأة تعمل كطبيبة" مقابل "هذا الرجل يعمل كطبيب").

يُطلب من الروبوت بعد ذلك التنبؤ بالكلمة التالية لجميع هذه الجمل.
إذا كان الروبوت متحيزاً، فسيعطي إجابات مختلفة جداً للجملة الخاصة بـ "المرأة" مقارنة بالجملة الخاصة بـ "الرجل".
يستخدم HEIMAT أداة رياضية تسمى تباعد جينسن-شانون (فكر فيها كـ "مقياس الإنصاف") لقياس مدى اختلاف هذه الإجابات.
يقوم النظام بعد ذلك بـ "ضبط دقيق" للروبوت، حيث يدفعه برفق حتى تصبح إجاباته لـ "المرأة" و"الرجل" متطابقة تقريباً. الأمر يشبه وضع مرآة أمامه وقول: "مهلاً، أنت تعامل هذين الشخصين بشكل مختلف دون سبب وجيه. دعنا نصلح ذلك."

ماذا وجدوا؟

اختبر الفريق HEIMAT على عدة روبوتات مختلفة، بما في ذلك BERT، و ALBERT، و TinyBERT، و LLaMA-2، و GPT-2. كما اختبروه على نماذج فرنسية مثل CamemBERT و FrALBERT لمعرفة ما إذا كان يعمل عبر الثقافات.

النتائج: تشير الورقة إلى أن HEIMAT قلل باستمرار من درجات التحيز. على سبيل المثال، في اختبار CrowS-Pairs (وهو اختبار للصور النمطية)، كان نموذج BERT الأصلي لديه درجة تحيز جنسي بلغت 58.01. بعد استخدام HEIMAT، انخفضت الدرجة إلى 50.00 (حيث تمثل 50 الدرجة المثالية غير المتحيزة). وبالنسبة لتحيز العرق، انخفضت من 58.12 إلى 47.48.
النجاح عبر الثقافات: نجح الأمر بنفس القدر في النماذج الفرنسية، حيث قلل درجة التحيز الإجمالية لـ CamemBERT من 57.36 إلى 50.69.
لا "ضرر دماغي": كان هناك قلق كبير من أن إصلاح التحيز قد يجعل الروبوت "أغبى". تحقق الباحثون من ذلك باستخدام اختبارات لغوية قياسية (مثل GLUE للإنجليزية و FLUE للفرنسية). ووجدوا أن النماذج التي تمت إزالة التحيز منها أدت وظائفها تماماً مثل النماذج الأصلية. على سبيل المثال، بقيت درجة متوسطة لـ BERT في اختبار GLUE عند 79.09 (مقارنة بـ 79.24 للأصل)، مما يثبت أن الروبوت لم يفقد قدرته على فهم اللغة.

الصورة الكبيرة

يشير المؤلفون إلى أن HEIMAT هو وسيلة مرنة ومنخفضة التكلفة لتنظيف الذكاء الاصطناعي. فبدلاً من الحاجة إلى مجموعة بيانات ضخمة ومكلفة لكل ثقافة أو لغة جديدة، تحتاج فقط إلى بعض القوالب البسيطة وطريقة تطلب من الروبوت التأمل في إجاباته. تظهر الدراسة أنه من خلال مجرد مطالبة الروبوت بأن يكون متسقاً عبر المجموعات المختلفة، يمكنك غسل الكثير من صوره النمطية غير العادلة دون تعطيل عقله.

ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل شيء. فهم يقرون بأن بعض الارتباطات (مثل "المسيحيون يذهبون إلى الكنيسة") هي مجرد أمور بديهية وليست بالضرورة تحيزاً ضاراً، وأن تحديد الفرق بين "التحيز الضار" و"الحقيقة الثقافية" لا يزال مشكلة معقدة للمستقبل. ولكن في الوقت الحالي، يقدم HEIMAT طريقة واعدة، ممتعة، وفعالة لجعل أصدقائنا من الذكاء الاصطناعي أكثر إنصافاً قليلاً.

ملخص تقني: HEIMAT – منظور استدلالي لإزالة التحيز من النماذج اللغوية

بيان المشكلة

تكتسب النماذج اللغوية (LMs)، بما في ذلك النماذج اللغوية المدربة مسبقاً (PLMs) والنماذج اللغوية الكبيرة (LLMs)، التحيزات المجتمعية حتماً أثناء التدريب المسبق بسبب طبيعة بيانات التدريب الخاصة بها، والتي تُستمد من المجتمعات عبر الإنترنت التي تعكس عدم المساواة في العالم الحقيقي. تظهر هذه التحيزات في المهام اللاحقة، مثل ربط ديموغرافيات معينة (مثل الجنس أو العرق) بمهن أو روايات محددة، مما قد يعزز الصور النمطية الضارة ويسبب ضرراً اجتماعياً.

تواجه أساليب إزالة التحيز الحالية قيوداً كبيرة:

التكلفة العالية: الاستراتيجيات التي تعتمد على تعزيز البيانات المقابلة للواقع (Counterfactual Data Augmentation) أو إسقاط التمثيل (Representation Projection) مكلفة حوسبياً ويصعب توسيع نطاقها.
الاعتماد على التوسيم اليدوي: تتطلب العديد من النهج مجموعات بيانات منسقة يدوياً أو مجموعات تفضيلات ثابتة، وهي مكلفة الإنتاج ويصعب تعميمها عبر لغات وثقافات وفئات تحيز متنوعة.
نقص القدرة على التعميم: تفترض الطرق الحالية غالباً عالمية ثقافية أو تركز بشكل أساسي على اللغة الإنجليزية، وتفشل في معالاة الفروق الدقيقة للتحيز عبر الثقافات. كما أنها تعتمد غالباً على نهج "مقاس واحد يناسب الجميع" لا يأخذ في الاعتبار ميول التحيز المتميزة لمختلف النماذج.

التحدي الجوهري الذي يعالجه هذا العمل هو: كيف يمكننا إزالة التحيز من النماذج اللغوية عبر اللغات والثقافات دون الاعتماد على مجموعات بيانات تفضيل ثابتة أو مجموعات نصية خارجية؟

المنهجية: إطار عمل HEIMAT

يقترح المؤلفون HEIMAT (إزالة التحيز الآلي بأسلوب استدلالي - HEurIstic-style autoMATic debiasing)، وهو إطار عمل مصمم للعمل بشكل مستقل عن المجموعات النصية الخارجية أو المعاجم اليدوية. يتكون من مرحلتين رئيسيتين: كشف التحيز والضبط الدقيق لإزالة التحيز.

1. كشف التحيز (Bias Disclosure)

تهدف هذه المرحلة إلى الكشف الصريح عن التحيزات الجوهرية للنموذج وبناء مجموعة من سياقات المطالبات (Prompts) ذات التباين الأدنى.

المطالبات الاستدلالية (Heuristic Prompts): يستخدم إطار العمل ستة قوالب محددة مسبقاً لتوليد مطالبات استدلالية. تجمع هذه المطالبات بين ثلاثة مكونات:
- الكلمة المستهدفة ( $W_t$ ): الكيان الاجتماعي (مثلاً: "امرأة شابة").
- كلمة السمة ( $W_f$ ): السمات السياقية (مثلاً: "تظهر في مستشفى").
- كلمة نوع التحيز ( $W_b$ ): فئة الاهتمام (مثلاً: "وظيفة").
- مثال: "هذه المرأة الشابة تظهر غالباً في مستشفى، ووظيفتها هي [MASK]."
مطالبات الارتباط وقوائم الاستبدال: لتوسيع التغطية الديموغرافية، يتم توجيه النموذج لتوليد مصطلحات ديموغرافية ذات صلة بناءً على توقعاته الأولية. يؤدي هذا إلى إنشاء قائمة استبدال ( $S_L$ ) تحتوي على مجموعات من المصطلحات ذات الصلة (مثلاً: "آسيوي"، "هيسبانيك"، "لاتيني").
مجموعة مطالبات السياق (CPS): باستخدام قائمة الاستبدال، يبني إطار العمل مجموعة من مطالبات السياق حيث يتم تغيير السمة الديموغرافية بينما يظل السياق الدلالي متطابقاً. بالنسبة للنماذج ذات التوليد الذاتي (Autoregressive models)، يتم إعادة ترتيب بنية الجمل لضمان اعتماد النموذج على السمة الديموغرافية قبل التنبؤ بالرمز التالي (Token).

2. الضبط الدقيق لإزالة التحيز (Debiasing Fine-tuning)

يتم ضبط النموذج بدقة لتقليل التفاوت في توقعاته عبر مجموعة مطالبات السياق المنشأة.

الهدف: الهدف هو ضمان إنتاج النموذج لتوزيعات تنبؤ متسقة للمطالبات التي تختلف فقط في السمات الديموغرافية، مما يفرض سلوكاً غير منحاز ديموغرافياً دون تغيير الدلالات السياقية.
دالة الخسارة: يقلل إطار العمل من خسارة تباعد جينسن-شانون (Jensen-Shannon Divergence - JSD) ( $L_{JSD}$ ) بين توزيعات التنبؤ الناتجة عن المطالبات المختلفة في مجموعة (CPS).
$L_{JSD} = \frac{1}{n} \sum_{i=1}^{n} D_{KL} \left( p_i \middle\| \frac{1}{n} \sum_{j=1}^{n} p_j \right)$
حيث $p_i$ هو توزيع التنبؤ للمطالبة السياقية رقم $i$ ، و $D_{KL}$ هو تباعد كولباك-ليبلر.

التكيف مع اللغات والثقافات

صُمم HEIMAT ليكون مرناً. للتكيف مع لغة أو ثقافة جديدة، يتم إعادة توليد القوالب الاستدلالية باستخدام نموذج لغوي كبير (مثل DeepSeek) مع كلمات سمات ذات صلة ثقافية، بدلاً من الاعتماد على ترجمات ثابتة. يضمن هذا أن التحيزات المقاسة هي محددة للثقافة المستهدفة. وبالمثل، يمكن تغيير فئات التحيز (مثلاً من النوع الاجتماعي إلى العرق) ببساطة عن طريق استبدال كلمة نوع التحيز في القوالب.

المساهمات الرئيسية

إطار عمل HEIMAT: تقديم إطار عمل لإزالة التحيز آلياً بأسلوب استدلالي يعمل دون مجموعات نصية خارجية أو مجموعات تفضيلات ثابتة.
القدرة التلقائية على التكيف: يستخدم النهج مطالبات استدلالية وارتباطية مبنية تلقائياً، مما يسمح بسهولة التكيف مع مختلف اللغات والثقافات وفئات التحيز من خلال تعديلات بسيطة في المطالبات.
التحقق التجريبي: أظهرت التجارينات المكثفة أن HEIMAT يقلل التحيز بفعالية مع الحفاظ على قدرات فهم اللغة الطبيعية (NLU) للنموذج.

النتائج التجريبية

قيم المؤلفون HEIMAT على خمسة نماذج لغوية مدربة مسبقاً (BERT, ALBERT, TinyBERT, LLaMA-2, GPT-2) ونموذجين فرنسيين (CamemBERT, FrALBERT) عبر عدة اختبارات معيارية.

تخفيف التحيز:
- في CrowS-Pairs و StereoSet، حقق HEIMAT باستمرار درجات أقرب إلى القيمة المثالية 50 (التي تشير إلى عدم وجود تحيز)، متفوقاً على النماذج المرجعية مثل CDA و INLP ومختلف الأساليب القائمة على المطالبات.
- بالنسبة لنموذج BERT، خفض HEIMAT تحيز النوع الاجتماعي في CrowS-Pairs من 58.01 إلى 50.00 وتحيز العرق إلى 47.48.
- لوحظت تحسينات مماثلة لـ LLaMA-2 و GPT-2، حيث حققت أقل درجات تحيز بين الطرق المختبرة.
التعميم عبر الفئات: أدى إزالة التحيز في النوع الاجتماعي والعرق إلى تحسينات متسقة في فئات غير مرئية مثل الحالة الاجتماعية والاقتصادية، الجنسية، الدين، والمظهر الجسدي، مما يشير إلى وجود ارتباطات جوهرية بين أنواع التحيز المختلفة في النماذج.
الأداء متعدد اللغات: نجح HEIMAT في تقليل التحيز في النماذج الفرنسية (CamemBERT و FrALBERT)، متكيفاً مع تعقيدات النوع في القواعد (مثل توافق جنس الاسم) التي تجد الطرق القائمة على القوائم الثابتة صعوبة في معالجتها.
الحفاظ على فهم اللغة الطبيعية (NLU):
- في اختبار GLUE (الإنجليزية)، حافظ HEIMAT على أداء NLU مقارن بالنماذج الأصلية (على سبيل المثال، متوسط درجة BERT هو 79.09 مقابل 79.24 للنموذج الأصلي).
- في اختبار FLUE (الفرنسية)، ظل الأداء دون تغيير تقريباً أو تحسن قليلاً (متوسط CamemBERT هو 89.18 مقابل 89.05).
التحليل النوعي: أظهرت دراسات الحالة أن النماذج التي تمت إزالة التحيز منها أنتجت تنبؤات أكثر توازناً لضمائر النوع الاجتماعي للوظائف (مثل "ممرضة" مقابل "طبيب") وقللت من الإسناد المنهجي للروايات العنيفة لمجموعات عرقية محددة.

الأهمية والادعاءات

يزعم البحث أن HEIMAT يقدم بديلاً مرناً، وقابلاً للتوسع، وفعال التكلفة لاستراتيجيات إزالة التحيز الحالية. ومن خلال تجنب الاعتماد على مجموعات بيانات مكلفة وموسومة يدوياً، فإنه يمكّن من تخفيف التحيز الاجتماعي عبر لغات وثقافات متنوعة. ويؤكد المؤلفون أن نهجهم يكشف عن الروابط الجوهرية بين أنواع التحيز المختلفة، مما يسمح بأن يؤدي التخفيف في مجال واحد إلى التعميم في مجالات أخرى.

يخلص العمل إلى أن إزالة التحيز الفعالة لا تتطلب إعادة تدريب كاملة أو مجموعات نصية خارجية؛ بل إن نهجاً استدلالياً باستخدام تنظيم قائم على JSD يمكن أن يوائم تنبؤات النموذج لتكون أكثر إنصافاً مع الحفاظ على قدرات فهم اللغة الأساسية.

الإقرار بالقيود:
أشار المؤلفون إلى أن ليست كل الارتباطات النمطية ضارة بطبيعتها (مثل الارتباطات الدينية بأماكن محددة)، وأن التمييز بين التحيز الضار والأنماط المنطقية السليمة يظل تحدياً مفتوحاً للعمل المستقبلي.