💬 NLP

DebiasRAG: A Tuning-Free Path to Fair Generation in Large Language Models through Retrieval-Augmented Generation

تقترح الورقة البحثية DebiasRAG، وهو إطار عمل لا يتطلب ضبطاً، يعمل على تعزيز العدالة في توليد النماذج اللغوية الكبيرة من خلال استرجاع وإعادة ترتيب السياقات المخففة للتحيز ديناميكياً إلى جانب المعلومات القياسية لمواجهة الصور النمطية الاجتماعية دون الحاجة إلى تدريب إضافي للنموذج.

المؤلفون الأصليون: Rui Chu, Bingyin Zhao, Thanh Quoc Hung Le, Duy Cao Hoang, Huawei Lin, Ping Li, Weijie Zhao, Khoa D Doan, Yingjie Lao

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rui Chu, Bingyin Zhao, Thanh Quoc Hung Le, Duy Cao Hoang, Huawei Lin, Ping Li, Weijie Zhao, Khoa D Doan, Yingjie Lao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكيًا جدًا ومطلعًا (وهو النموذج اللغوي الكبير، أو LLM) يمكنه كتابة القصص، والإجابة على الأسئلة، وحل المشكلات. هذا الأمين موهوب للغاية، لكن لديه عيب: أحيانًا، عندما لا يعرف الإجابة، يقوم بتأليف أشياء من خياله (الهلوسة)، أو والأسوأ من ذلك، يكرر الصور النمطية الضارة التي التقطها من الكتب التي تدرب عليها (التحيز).

على سبيل المثال، إذا سألته: "ماذا تفعل الممرضة؟"، فقد يقول تلقائيًا: "هي تعتني بالمرضى"، مفترضًا أن الممرضات نساء دائمًا، رغم أن الرجال ممرضون أيضًا.

الطرق القديمة لإصلاح أمين المكتبة

في السابق، حاول الناس إصلاح هذا بطريقتين رئيسيتين، وكلتاهما تشبه محاولة إعادة تعليم أمين المكتبة:

الضبط الدقيق (Fine-Tuning): هذا يشبه إرسال أمين المكتبة للعودة إلى المدرسة لشهور ليعيد تعلم كل شيء من الصفر. إنه يعمل بشكل جيد، ولكنه مكلف، ويستغرق الكثير من الوقت، ويتطلب مكتبة ضخمة من الكتب المدرسية الجديدة.
هندسة الأوامر (Prompt Engineering): هذا يشبه كتابة ملاحظة طويلة وصارمة لأمين المكتبة قبل أن يبدأ عمله، تقول له: "يرجى أن تكون عادلًا ولا تستخدم الصور النمطية". المشكلة هي أن كتابة هذه الملاحظات أمر صعب، ويتطلب خبيرًا، وأحيانًا يتجاهلها أمين المكتبة أو يرتبك.

الحل الجديد: DebiasRAG

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة تسمى DebiasRAG. فكر في هذا ليس كإعادة تعليم لأمين المكتبة، بل كإعطائه "ورقة غش للعدالة" ذكية وفورية قبل أن يجيب على سؤالك.

إليك كيف يعمل الأمر، مقسمًا إلى ثلاث خطوات بسيطة:

1. قائمة "التجنب" (إيجاد الفخ)

أولاً، يبحث النظام في سؤالك. لديه مجلد "وثائق التجنب" الخاص المليء بأمثلة على التفكير المنحاز (مثل: "الممرضات نساء"، "المهندسون رجال").

التشبيه: تخيل أن أمين المكتبة يرى سؤالك ويتحقق فورًا من قائمة "منطقة الخطر". إذا كان سؤالك عن "الممرضات"، فإن النظام يسحب فورًا الأفكار المنحازة المرتبطة بهذه الكلمة من منطقة الخطر.

2. خدعة "العكس" (إنشاء الحجة المضادة)

بمجرد أن يعرف النظام ماهية التحيز، فإنه لا يتجاهله فحسب. بل يستخدم ذكاء أمين المكتبة نفسه لـ عكس هندسة العكس.

التشبيه: إذا كانت "منطقة الخطر" تقول "الممرضات نساء"، فإن النظام يكتب فورًا ملاحظة جديدة وعادلة تقول: "الممرضات يمكن أن يكن أي شخص، بغض النظر عن الجنس". إنه ينشئ هذه الملاحظة العادلة في اللحظة ذاتها، والمصممة خصيصًا لسؤالك. الأمر يشبه امتلاك شريك في المناظرة يواجه كل حجة سيئة بحجة جيدة فورًا.

3. "فلتر العدالة" (اختيار الإجابة الأفضل)

الآن، لدى أمين المكتبة كومتان من المعلومات:

الكومة (أ): حقائق عادية من موسوعة كبيرة (مثل ويكيبيديا).
الكومة (ب): الملاحظات العادلة الجديدة التي تم إنشاؤها في الخطوة 2.

يعمل النظام كمحرر صارم. ينظر إلى جميع المعلومات ويعيد ترتيبها. ويسأل: "أي من هذه الحقائق تساعد في الإجابة على السؤال دون أن تكون منحازة؟"

التشبيه: تخيل أن أمين المكتبة على وشك اختيار كتاب من الرف. يقول المحرر (DebiasRAG): "تمهل! هذا الكتاب يحتوي على صورة نمطية. لنستبدله بهذا الكتاب الآخر الذي يحتوي على نفس الحقائق ولكن تمت كتابته بشكل أكثر عدلاً". يستخدم النظام "درجة" رياضية لضمان أن المزيج النهائي من المعلومات هو الأكثر توازنًا قدر الإمكان.

لماذا هذا الأمر مميز؟

يدعي المؤلفون أن هذه الطريقة هي "مسار خالٍ من الضبط" (Tuning-Free Path)، مما يعني:

لا توجد عملية إعادة تعليم: لا يتعين عليك إعادة تدريب أمين المكتبة. أمين المكتبة يبقى كما هو تمامًا؛ أنت فقط تغير المعلومات التي يُسمح له بالاطلاع عليها الآن.
ديناميكي: يتغير بناءً على سؤالك المحدد. إذا سألت عن "الممرضات"، فإنه يعالج تحيز الممرضات. إذا سألت عن "الطيارين"، فإنه يعالج تحيز الطيارين.
سريع ورخيص: لا يحتاج إلى حواسيب فائقة أو مجموعات بيانات ضخمة. يحتاج فقط إلى قائمة صغيرة من "الأمثلة السيئة" ليعرف ما يجب تجنبه.

النتائج

اختبر المؤلفون هذه الطريقة على عدة "أمناء مكتبة" مشهورين (نماذج ذكاء اصطناي مثل LLaMa و GPT). ووجدوا أن:

تحيز أقل: ارتكب الذكاء الاصطناعي أخطاء نمطية أقل بكثير (مقتربًا من درجة العدالة المثالية وهي 50).
لا يزال ذكيًا: لم يفقد الذكاء الاصطناعي قدرته على كتابة جمل جيدة أو الإجابة على الأسئلة بشكل صحيح. في الواقع، في بعض الحالات، أصبح أفضل في الإجابة لأنه كان لديه معلومات أوضح وأكثر عدلاً للعمل بها.
أفضل من الطرق القديمة: كان أداؤه مساويًا أو أفضل من طرق "إعادة التعليم" المكلفة، ولكن دون تكلفة أو وقت.

باختصار، DebiasRAG يشبه إعطاء مدرب عدالة للذكاء الاصطناعي يعمل في الوقت الفعلي، يهمس في أذنه بالسياق الصحيح وغير المنحاز قبل أن يتحدث، مما يضمن أن تكون المخرجات ذكية وعادلة في آن واحد دون الحاجة لتغيير عقل الذكاء الاصطناعي.

ملخص تقني لـ DebiasRAG

بيان المشكلة
حققت النماذج اللغوية الكبيرة (LLMs) نجاحاً ملحوًا في المهام التوليدية، لكنها غالباً ما تنتج هلوسات ومخرجات تحتوي على تحيزات مجتمعية، مثل الصور النمطية. تعتمد استراتيجيات التخفيف الحالية بشكل أساسي على الضبط الدقيق (Fine-tuning) أو هندسة الأوامر (Prompt engineering).

الضبط الدقيق: يتطلب موارد حوسبة هائلة، ومجموعات بيانات ضخمة، وتحسين المعلمات الفائقة (hyperparameters)، مما قد يؤدي إلى خطر تدهور القدرات الأصلية للنموذج.
هندسة الأوامر: تتجنب تحديث المعلمات ولكنها تعتمد غالباً على تصميم يدوي يتطلب خبرة في المجال، أو سياقات ثابتة، أو تعديلات في الاستعلام يمكن أن تؤدي إلى تدهور الأداء.
توجد فجوة حرجة في توفير سياقات إلغاء التحيز الديناميكية والمحددة للاستعلام دون الحاجة إلى تدريب إضافي أو بيانات مساعدة. تركز مناهج استرجاع المعزز بالتوليد (RAG) الحالية للعدالة على استرجاع السياق "الأكثر عدلاً" أو تصفية المحتوى المتحيز، لكنها لا تعمل بنشاط على تقليل التحيز الموجود في نموذج لغوي كبير "نظيف" عبر توليد سياقات مضادة.

المنهجية: DebiasRAG
يقترح المؤلفون DebiasRAG، وهو إطار عمل يعتمد على RAG لتخفيف التحيز ديناميكياً أثناء الاستدلال دون الحاجة إلى ضبط (tuning-free). يعمل الإطار في سيناريو "التعلم من الصفر" (zero-shot) حيث يقدم المستخدم فقط مجموعة من الوثائق "المسببة للتحيز" (مجموعة التجنب، $A$ )، دون الحاجة إلى مستودعات بيانات عادلة خارجية أو بيانات تدريب. يتكون إطار العمل من ثلاث مراحل رئيسية:

إنتاج سياق إلغاء التحيز الخاص بالاستعلام:
- يقوم النظام باسترجاع مجموعة فرعية من الوثائق المتحيزة ( $A_q$ ) من مجموعة التجنب $A$ الأكثر تشابهاً مع استعلام المستخدم $q$ .
- باستخدام هذه السياقات المتحيزة كإشارات شرطية، يقوم مولد التعزيز المضاد للواقع ( $g_\phi$ ) بعملية "توليد عكسي". حيث يطبق معجم سمات محدد مسبقاً (مثل تبديل المصطلحات المرتبطة بالنوع الاجتماعي) لتخليق مجموعة من السياقات المضادة العادلة ( $\tilde{F}_q$ ). تعمل هذه السياقات كقيد عدالة ديناميكي للنموذج اللغوي الكبير.
تكوين مجمع مرشحي السياق:
- تقوم عملية استرجاع RAG قياسية بجلب الوثائق الطبيعية ذات الصلة ( $D_q$ ) من متن نصي أساسي $D$ (مثل ويكيبيديا). لاحظ أن $D$ اختياري؛ إذ يمكن لإطار العمل العمل باستخدام مجموعة التجنب فقط.
- يتكون المجمع المرشح $C$ من اتحاد المرشحين الطبيعيين ( $D_q$ ) والسياقات العادلة المُخلّقة ( $\tilde{F}_q$ ).
إعادة التصنيف الموجه بإلغاء التحيز والمحدث بالتدرج:
- يخصص النظام درجة موجهة لإلغاء التحيز لكل مرشح في $C$ $C$ . توازن هذه الدرجة بين عاملين:
  - صلة الاستعلام ( $s_q$ ): التشابه بين المرشح والاستعلام.
  - المسافة عن التجنب ( $s_a$ ): المسافة بين المرشح والمحفزات المتحيزة المسترجعة ( $A_q$ ).
- تعمل آلية تحديث التدرج عبر الإنترنت (online gradient update) على تحسين معلمة الوزن $\theta$ لهذه الدرجات في الوقت الفعلي. يقوم النظام بتقليل خسارة "الاعتراض المتعدد" (listwise cross-entropy loss) لمواءمة احتمالية الاختيار مع توزيع مستهدف يفضل الصلة العالية والمسافة العالية عن التحيز.
- يتم اختيار أفضل $K$ من المرشحين لبناء المطالبة النهائية، مما يقيد النموذج اللغوي لتوليد مخرجات أكثر عدلاً.

المساهمات الرئيسية

أول إطار عمل لـ RAG لإلغاء التحيز بدون ضبط: حسب علم المؤلفين، هذا هو أول إطار عمل يثبت فعالية RAG في إلغاء تحيز النماذج اللغوية الكبيرة دون الحاجة إلى تدريب إضافي، أو بيانات عادلة مساعدة، أو تعديلات هيكلية في النموذج اللغوي.
آلية إعادة تصنيف ديناميكية: صمم المؤلفون استراتيجية إعادة تصنيف توجه RAG نحو استرجاع سياقات تعزز العدالة عبر تحسين التدرج، مما يقيد المخرات دون المساس بجودة الاسترجاع أو القدرة التعبيرية.
خفيف الوزن ومتكيف: يعتمد إطار العمل حصرياً على وثائق التحيز الجاهزة (مجموعة التجنب) ويمكنه العمل حتى في غياب متن نصي قياسي لـ RAG، ليعمل كبديل مباشر للضبط الدقيق.
أداء تنافسي: يحقق المنهج نتائج تنافسية للغاية في تخفيف التحيز مقارنة بالطرق الحديثة القائمة على الضبط الدقيق.

النتائج التجريبية
قيم المؤلفون DebiasRAG على عدة معايير (StereoSet، وCrowS-Pairs، وSEAT) عبر نماذج مختلفة (OPT، وBB3، وLLaMa، وGPT2).

تخفيف التحيز: قلل DebiasRAG بشكل كبير من درجة النمطية (SS) في StereoSet (على سبيل المثال، من 57.60 إلى 49.72 في GPT2، وهو أقرب إلى الـ 50 المثالية) وحسن درجة CrowS-Pairs (CP-S).
الحفاظ على القدرة: على عكس بعض طرق إلغاء التحيز التي تسبب تدهور الأداء، حافظ DebiasRg على أو حتى حسن درجات نمذجة اللغة (LMS) ودرجات ICAT المثالية (ICAT). على سبيل المثال، ارتفعت درجة ICAT الإجمالية في GPT2 من 70.02 إلى 90.53.
المقارنة مع المنهجيات المرجعية: تفوق الإطار على الطرق الحديثة مثل Sentence-Debias وAdapter-Tune وSelf-Debias أو عادلها في كل من تقليل التحيز والقدرة التعبيرية.
القابلية للتوسع: أظهرت الطريقة قابلية توسع قوية عبر بنيات RAG المختلفة (LangChain، وLLaMaIndex) وأظهرت زيادة يمكن السيطرة عليها في التعقيد الزمني، خاصة في النماذج الأصغر.

الأهمية والادعاءات
يزعم البحث أن DebiasRAG يقدم بديلاً عملياً وخفيف الوزن للضبط الدقيق الذي يستهلك الموارد وهندسة الأوامر التي تتطلب خبرة كبيرة والمستخدمة حالياً لإلغاء التحيز. من خلال استخدام RAG ليس فقط لاسترجاع المعرفة ولكن كآلية لإشارات إلغاء التحيز التكيفية، يوجه إطار العمل النماذج اللغوية الكبيرة نحو مخرجات أكثر عدلاً بشكل ديناميكي. يؤكد المؤلفون أن هدفهم هو استخدام RAG لإلغاء تحيز مخرجات النماذج اللغوية الكبيرة (كبديل للضبط الدقيق)، وهو أمر يختلف نوعياً عن الأعمال السابقة التي ركزت على العدالة داخل عملية استرجاع RAG نفسها. يضع هذا العمل RAG كأداة قابلة للتطبيق وغير محتاجة للضبط لتخفيف التحيز في الوقت الفعلي في بيئات الإنتاج.