🤖 machine learning

Understanding and Mitigating Bias Inheritance in LLM-based Data Augmentation on Downstream Tasks

تقدم هذه الورقة أول استقصاء منهجي لـ "توريث التحيز"، حيث توضح كيف يمكن للنماذج اللغوية الكبيرة المستخدمة في تعزيز البيانات أن تنقل وتضخم تحيزات التدريب إلى المهام اللاحقة، مع تحديد عوامل عدم الاتساق الرئيسية واقتراح ثلاث استراتيجيات تخفيف متميزة لمعالجة هذا التحدي.

المؤلفون الأصليون: Miaomiao Li, Hao Chen, Yang Wang, Tingyuan Zhu, Weijia Zhang, Kaijie Zhu, Kam-Fai Wong, Jindong Wang

نُشر 2026-05-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Miaomiao Li, Hao Chen, Yang Wang, Tingyuan Zhu, Weijia Zhang, Kaijie Zhu, Kam-Fai Wong, Jindong Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

نظرة عام way: مشكلة "المُقلد"

تخيل أنك طاهٍ تحاول تعليم متدرب جديد (نموذج ذكاء اصطناعي أصغر) كيفية الطبخ. لديك بعض الوصفات الحقيقية وعالية الجودة (بيانات حقيقية)، لكن ليس لديك ما يكفي منها. لذا، تطلب من طاهٍ مشهور وذو خبرة (نموذج ذكاء اصطناعي ضخم) أن يكتب لك بعض الوصفات الجديدة لسد الفجوة.

ما المشكلة؟ الطاهي المشهور قرأ ملايين الصحف والكتب القديمة. وبعض تلك المصادر تحتوي على صور نمطية عفا عليها الزمن (مثل: "النساء بارعات فقط في الخبز" أو "المهندسون هم الرجال فقط"). عندما يكتب الطاهي المشهور وصفات جديدة بناءً على تلك الكتب القديمة، فإنه ينسخ تلك الصور النمطية عن غير قصد.

يطلق هذا البحث على هذه الظاهرة اسم "وراثة الانحياز" (Bias Inheritance). وهي عندما يتعلم ذكاء اصطناعي جديد من بيانات "زائفة" تم إنشاؤها بواسطة ذكاء اصطناعي آخر، ويرث بالتبعية تحيزات الذكاء الاصطناعي الأصلي، مما يجعلها أكثر قوة.

التجربة: خلط الحساء

أراد الباحثون معرفة مدى سوء هذه "الوراثة". لذا أعدوا تجربة داخل مطبخ:

المكونات: أخذوا بيانات حقيقية وغير منحازة (مثل مرق صافٍ) وخلطوها مع بيانات "اصطناعية" أنتجها ذكاء اصطناعي.
الوصفة: أنشأوا أنواعاً مختلفة من الوصفات "المنحازة". بعضها كان واضحاً (صريحاً)، مثل قول "الرجال أفضل في الرياضيات". والبعض الآخر كان خفياً (ضمنياً)، مثل استخدام اسم يوحي بثقافة أو جنس معين دون التصريح بذلك مباشرة.
اختبار التذوق: قاموا بتدريب نماذج ذكاء اصطناعي جديدة على هذه "الحساء المختلط"، ثم اختبروها في مهام من العالم الحقيقي، مثل:
- التوظيف: "من يجب أن نوظفه لهذه الوظيفة؟"
- الراتب: "كم يجب أن ندفع لهذا الشخص؟"
- سرد القصص: "اكتب قصة عن شخصية ما."

ما وجدوه: تأثير "غرفة الصدى"

كانت النتائج مفاجئة ومثيرة للقلق:

الأغلبية يصبح صوتها أعلى: عندما تم تدريب الذكاء الاصطناعي على بيانات منحازة، أصبح أفضل في التنبؤ بالأمور بالنسبة لمجموعة "الأغلبية" (مثل الرجال أو الثقافات الغربية) ولكنه أصبح أسوأ في فهم "الأقليات" (مثل النساء أو الثقافات غير الغربية).
الفجوة تتسع: لم يكن الأمر مقتصرًا على تراجع أداء الأقليات فحسب؛ بل إن الفجوة بين المجموعتين اتسعت بشكل هائل. على سبيل المثال، في مهام الرواتب، بدأ الذكاء الاصطناعي يقترح رواتب أعلى بكثير للرجال وأقل بكلاً للنساء، حتى عندما كانت السير الذاتية متطابقة تماماً.
خطر "انهيار النموذج": عندما كرروا التجربة عدة مرات (تدريب ذكاء اصطناعي على بيانات صنعها ذكاء اصطناعي تدرب بدوره على بيانات صنعها ذكاء اصطنا آخر)، أصبح الانحياز يزدရّد سوءاً باستمرار. كان الأمر يشبه لعبة "الهاتف المكسور" (Telephone) حيث تتشوه الرسالة في كل مرة تُنقل فيها، لتتحول في النهاية إلى صورة كاريكاتورية مشوهة للواقع.
الخفاء هو الأخطر: لم تكن الانحيازات الصاخلة والواضحة هي الأكثر خطورة، بل كانت الانحيازات "الضمنية" الهادئة (مثل استخدام اسم معين أو سياق ثقافي محدد) هي الأكثر خطورة، لأنها كانت أصعب في الإصلاح وتسبب ضرراً أكبر لأنها كانت مخفية في الخلفية.

لماذا يحدث هذا؟ (الاختلالات الثلاثة)

وجد الباحثون ثلاثة أسباب رئيسية تجعل الذكاء الاصطناعي يتشتت وينحاز:

عدم تطابق القيم: فكرة الذكاء الاصطناعي حول "ما يعتقده الناس" لا تتطابق مع ما يعتقده البشر الحقيقيون. إذا سألت ذكاءً اصطناعياً عن القيم الثقافية، فقد يخطئ في التقدير لأنه يقرأ من مجموعة بيانات منحازة، وليس من خلال التحدث مع بشر حقيقيين.
عدم تطابق المجموعات: الذكاء الاصطناعي ببسال لا يُنتج بيانات كافية لمجموعات معينة. إذا طلبت منه كتابة سير ذاتية، فقد يكتب 90 عن الرجال و10 فقط عن النساء، ببساطة لأن هذا ما رآه في بيانات تدريبه.
عدم تطابق البيانات: البيانات "الزائفة" تبدو مختلفة عن البيانات "الحقيقية" في عقل الذكاء الاصطناعي. حتى لو كانت الكلمات متشابهة، فإن "الشكل" الرياضي للبيانات الزائفة يكون مختلفاً، مما يجعل الذكاء الاصطناعي يتعلم أنماطاً خاطئة.

الحلول: ثلاث طرق لإصلاح الحساء

حاول الفريق تجربة ثلاث طرق لمنع انتشار الانحياز، لكنهم وجدوا أن "الحل الواحد لا يناسب الجميع".

"ملصق التحذير" (القائم على الرموز - Token-based):
- التشبيه: وضع ملصق على الوصفة يقول: "تحذير: هذه الوصفة قد تكون منحازة".
- النتيجة: يعمل هذا بشكل جيد للمهام البسيطة (مثل تصنيف المسمى الوظيفي) لأنه يذكر الذكاء الاصطناعي بأن يكون حذراً. ولكن في المهام المعقدة (مثل كتابة قصة)، غالباً ما يتجاهل الذكاء الاصطناዊ هذا الملصق.
"قلم الشطب" (القائم على القناع - Mask-based):
- التشبيه: شطب الكلمات المحددة التي تسبب الانحياز (مثل "إسباني" أو "أنثى") واستبدالها بمساحة فارغة [MASK] حتى لا يتمكن الذكاء الاصطناعي من رؤيتها.
- النتيجة: يساعد هذا قليلاً عندما يكون الانحياز واضحاً جداً. ولكن إذا كان الانحياز مخفياً في طريقة سرد القصة (وليس فقط في الكلمات)، فإن شطب الكلمات لا يجدي نفعاً.
"اختبار التذوق" (القائم على الخسارة - Loss-based):
- التشبيه: إجبار الذكاء الاصطناعي على تذوق "الحساء" الخاص به ومقارنته بحساء "الطاهي الحقيقي". إذا كانت النكهات مختلفة جداً، يجب على الذكاء الاصطناعي تعديل وصفته حتى تتطابق.
- النتيجة: كانت هذه هي الطريقة الأقوى لإصلاح "نكهة" البيانات، خاصة للمهام المعقدة. فهي تجبر الذكاء الاصطناعي على مواءمة فهمه مع الواقع.

الخلاصة

يخلص البحث إلى أنه بينما يعد استخدام الذكاء الاصطناعي لإنشاء المزيد من البيانات فكرة رائعة، إلا أنها سلاح ذو حدين. إذا لم نكن حذرين، فنحن لا ننسخ البيانات فحسب، بل ننسخ ونضخم أيضاً تحيزاتنا المجتمعية.

لا يوجد "زر سحري" واحد لإصلاح هذا الأمر. فاعتماداً على ما إذا كنت تقوم بالتوظيف، أو تحديد الرواتب، أو كتابة القصص، فأنت بحاجة إلى أداة مختلفة لوقف الانحياز. يأمل الباحثون أن يساعد هذا العمل المطورين في المستقبل على بناء أنظمة أكثر عدلاً، وليس فقط أسرع.

ملخص تقني: فهم وتخفيف وراثة التحيز في تعزيز البيانات القائم على النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

أدى انتشار النماذج اللغوية الكبيرة (LLMs) إلى جعل تعزيز البيانات الاصطناعية استراتيجية حاسمة لتعزيز أداء النماذج، لا سيما في مراحل ما بعد التدريب حيث تندر البيانات الحقيقية عالية الجودة. ومع ذلك، هناك خطر حرج وغير مستكشف بشكل كافٍ وهو: وراثة التحيز (bias inheritance). نظرًا لأن النماذج اللغوية الكبيرة تعكس بطبيعتها التحيزات الاجتماعية الموجودة في مجموعات بيانات التدريب المسبق الخاصة بها، فإن استخدامها لتوليد بيانات اصطناعية يمكن أن يؤدي إلى نشر هذه التحيزات بل وتضخيمها. عندما يتم ضبط النماذج اللاحقة (downstream models) باستخدام هذه البيانات الاصطناعية المتحيزة، فقد تعاني من تدهور في العدالة والمتانة، مما يؤثر بشكل خاص على المجموعات الأقلية. وخلافًا للانهيار العام في الأداء (مثل انهيار النموذج الناتج عن الانزياح التوزيعي)، فإن وراثة التحيز تضخم تحديدًا الصور النمطية الاجتماعية عبر المجموعات الديموغرافية، مما قد يزيد من عدم الإنصاف حتى لو بدت مقاييس الدقة الإجمالية مستقرة أو محسنة للمجموعات الأكثرية.

المنهجية

يقدم المؤلفون أول تحقيق منهجي في وراثة التحيز، باستخدام إطار عمل متعدد الأبعاد لمحاكاة وتحليل وتخفيف هذه الظاهرة.

1. إطار توليد التحيز متعدد الأبعاد

للتحكم الكمي في التحيز ودراسته، صمم المؤلفون إطار عمل يولد بيانات اصطناعية عبر ستة أنواع متميزة من التحيز، مشتقة من ثلاثة أبعاد رئيسية:

السياقي مقابل التبايني (Contextual vs. Contrastive): ينشأ التحيز السياقي من المعلومات السردية المحيطة، بينما ينشأ التحيز التبايني من المقارنات المباشرة بين المجموعات (مثل الاختيار بين مرشحين بهويتين مختلفتين).
المنفرد مقابل التقاطعي (Single vs. Intersectional): يركز التحيز المنفرد على سمة هوية واحدة (مثل الجنس)، بينما يدرس التحيز التقاطعي الآثار التراكمية لسمات متعددة (مثل الجنس، والثقافة، والعمر).
الصريح مقابل الضمني (Explicit vs. Implicit): يتضمن التحيز الصريح إشارات مباشرة للهوية، بينما يعتمد التحيز الضمني على إشارات دقيقة، مثل الأسماء أو الأوصاف الثقافية التي تحمل ارتباطات متأصلة.

2. الإعداد التجريبي

البيانات: تجمع الدراسة بين مجموعات بيانات حقيقية غير متحيزة (GlobalOpinionQA للمنظورات الثقافية؛ وBiasinBios للسير المهنية) وبيانات اصطناعية مولدة بواسطة النماذج اللغوية الكبيرة (بشكل أساسي Llama-3.1-8B-Instruct و GPT-4o-mini).
نسب التحيز ( $\gamma$ ): يتم تغيير نسبة البيانات الاصطناعية المتحيزة في مجموعة الضبط الدقيق (fine-tuning set) عبر القيم $\{0\%, 5\%, 10\%, 20\%, 50\%\}$ .
المهام اللاحقة: تغطي التقييمات 10 مهام عبر 17 مجموعة بيانات، مصنفة إلى:
- مهام مرتبطة بالتحيز بشكل مباشر: مهام تستهدف التمييز صراحةً (مثل اكتشاف خطاب الكراهة، واكتشاف رهاب المثلية أو رهاب النساء).
- مهام مرتبطة بالتحيز بشكل غير مباشر: مهام قد يؤثر فيها التحيز على النتائج ولكن ليس هو الهدف الأساسي (مثل اكتشاف الرسائل المزعجة، واكتشاف اللغة المسيئة).
- مهام التوليد: توليد القصص وتوصيات الرواتب/التوظيف.
النماذج: تستخدم التجارب الأساسية Llama-3.1-8B-Instruct، مع التحقق من صحة البنية المتعددة عبر نماذج سلسلة Qwen و DeepSeek.

3. التحليل واستراتيجيات التخفيف

يحلل المؤلفون الأسباب الجذرية لوراثة التحيز من خلال ثلاثة عوامل "عدم توافق" ويقترحون استراتيجيات تخفيف مقابلة:

عدم توافق القيم: تختلف استجابات النماذج اللغوية الكبيرة للأسئلة القائمة على القيم عن الاستجابات الثقافية البشرية.
- التخفيف (القائم على الرموز - Token-based): إضافة رموز مسبقة (مثل "النص التالي قد يحتوي على تحيز") للإشارة إلى التحيز المحتمل للنموذج.
عدم توافق المجموعات: يؤدي توليد البيانات الاصطناعية إلى عدم توازن في التمثيل عبر المجموعات الديموغرافية (مثل التمثيل المفرط للمجموعات الأكثرية).
- التخفيف (القائم على القناع - Mask-based): استبدال معرفات المجموعات الحساسة (مثل الملصقات الثقافية المحددة أو الضمائر الجندرية) بعلامات مثل [MASK] لمنع النموذج من الاعتماد على السمات المتحيزة.
عدم توافق توزيع البيانات: يختلف توزيع متجه الميزات للبيانات الاصطناعية بشكل كبير عن البيانات الحقيقية في فضاء التضمين (embedding space).
- التخفيف (القائم على الخسارة - Loss-based): إدخال دالة خسارة محاذاة أثناء الضبط الدقيق لتقليل المسافة الإقليدية بين تضمينات النص المولد والنص الحقيقي.

النتائج الرئيسية

فهم وراثة التحيز

التفاوتات في الأداء: يؤدي إضافة بيانات التعزيز المتحيزة باستمرار إلى تحسين الأداء للمجموعات الأكثرية (مثل الذكور، والثقافات الغربية) مع تدهور الأداء للمجموعات الأقلية (مثل الإناث، والثقافات العربية).
حساسية المهام:
- المهام المرتبطة بشكل غير مباشر: غالبًا ما يتحسن الأداء عند نسب التحيز المنخفضة (10-20%)، مما يشير إلى أن بعض البيانات الاصطناعية تعزز التعميم.
- المهام المرتبطة بشكل مباشر: ينخفض الأداء بشكل كبير حتى مع كميات صغيرة من البيانات المتحيزة، حيث تتعلم النماذج إعطاء الأولوية للأنماط المتحيزة على حساب اكتشاف عدم المساواة.
- مهام التوليد: تؤدي وراثة التحيز إلى اتساع فجوات الأجور بين الجنسين في توصيات الرواتب وزيادة الصفات السلبية في توليد القصص للثقافات الأقلية.
التضخيم: وراثة التحيز ليست ثابتة؛ فهي تتضخم عبر جولات التدريب المتكررة. وفي النهاية، يؤثر التحيز سلبًا حتى على المجموعات الأكثرية، مما يؤدي إلى انهيار عام في الأداء عبر جميع الديموغرافيات.
الشدة: يُظهر التحيز التباين الصريح (Contrastive Explicit) والتحيز السياقي الضمني (Contextual Implicit) أكثر الآثار السلبية حدة على المهام اللاحقة.

نتائج التحليل

عدم توافق القيم: تواجه النماذج اللغوية الكبيرة صعوبة في محاكاة القيم الثقافية البشرية، لا سيما بالنسبة للثقافات الشرقية (العربية، والصينية)، مما يؤدي إلى انحرافات كبيرة في الإجابة على الأسئلة القائمة على القيم.
اختلال توازن المجموعات: بدون آليات توازن صريحة، تولد النماذج اللغوية الكبيرة بيانات اصطناعية تعزز الاختلالات الموجودة في التدريب المسبق (مثل توليد المزيد من السير الذاتية للذكور للمهن التي يهيمن عليها الذكور).
انزياح التوزيع: يكشف تحليل التضمين عن فجوات توزيعية كبيرة بين البيانات الاصطناعية والحقيقية، وهو ما يرتبط بتدهور الأداء.

فعالية التخفيف

لا يوجد استراتيجية واحدة تحل المشكلة عالميًا؛ فالفعالية دقيقة للغاية:

القائم على الرموز (Token-based): فعال للتحيزات البسيطة والصريحة ومهام التصنيف، ولكنه أقل فعالية في التحيزات الثقافية المعقدة أو السيناريوهات الضمنية.
القائم على القناع (Mask-based): يظهر وعودًا عند نسب التحيز المنخفضة (5%) للمهام ذات المصطلحات الصريحة، لكنه يفشل في معالجة التحيزات التوزيعية الدقيقة في مهام التوليد المعقدة.
القائم على الخسارة (Loss-based): فعال للغاية للمهام خشنة الحبيبات والمسافات التوزيعية الكبيرة (مثل توصية الرواتب) ولكنه يعاني مع التحيزات الضمنية دقيقة الحبيبات.

الأهمية والمساهمات

يدعي البحث تقديم المساهمات التالية في مجال تعزيز البيانات للنماذج اللغوية الكبيرة:

التصور المفاهيمي: قدم مفهوم وراثة التحيز كظاهرة متميزة عن الانهيار العام للنموذج أو انتشار التحيز القياسي، مع تسليط الضوء على المخاطر المحددة للبيانات الاصطناعية المولدة بواسطة النماذج اللغوية الكبيرة.
التحقيق المنهجي: يقدم أول تحليل شامل ومتعدد الأبعاد لوراثة التحيز، يغطي ستة أنواع من التحيز عبر عشر مهام لاحقة وعدة أبعاد ثقافية وجندرية.
إطار تحليلي: حدد ثلاثة عوامل عدم توافق رئيسية (القيم، المجموعات، التوزيعات) التي تقود وراثة التحيز، مما يوفر طريقة مهيكلة لتشخيص المشكلة.
رؤى التخفيف: يقترح ويقيم ثلاث استراتيجيات تخفيف متميزة، موضحًا أن اختيار الاستراتيجية يجب أن يتناسب مع نوع التحيز، وتعقيد المهمة، ونسبة البيانات. تؤكد هذه الأعمال على التحدي الكبير المتمثل في تصميم حل موحد، مما يشير إلى أن الأبحاث المستقبلية يجب أن تتجاوز مجرد تعديلات الضبط الدقيق لمعالجة الأسباب الجذرية في توليد البيانات الاصطناعية.

يخلص المؤلفون إلى أنه بينما يعد تعزيز البيانات أمرًا ضروريًا لمستقبل تطوير النماذج اللغوية الكبيرة، فإن خطر وراثة التحيز يتطلب مناهج صارمة ومتعددة الأوجه لضمان العدالة والمتانة في التطبيقات اللاحقة.