ملخص تقني: إزالة التحيز أثناء فك التشفير عبر نماذج مكافأة العمليات

1. بيان المشكلة

ترث النماذج اللغوية الكبيرة (LLMs) التحيزات الاجتماعية (المتعلقة بالنوع الاجتماعي، العرق، الدين، الإعاقة، العمر، والوضع الاجتماعي والاقتصادي) وتضخمها من بيانات التدريب الخاصة بها. تظهر هذه التحيزات في التطبيقات اللاحقة، مما يعزز الصور النمطية الضارة. تواجه استراتيجيات التخفيف الحالية قيودًا كبيرة:

• طرق وقت التدريب (مثل RLHF، وDPO، وزيادة البيانات المتناقضة) تتطلب الوصول إلى أوزان النموذج، ومجموعات بيانات منسقة ضخمة، وموارد حوسبة كبيرة، مما يجعلها غير متاحة للعديد من الممارسين والنماذج المملوكة لجهات أخرى.
• طرق وقت الاستدلال الحالية غالبًا ما تتطلب الوصول إلى احتمالات مستوى التوكن (مثل FUDGE، وGeDi)، وهو أمر مستحيل مع واجهات برمجة التطبيقات (APIs) ذات الصندوق الأسود، أو تعتمد على هندسة الأوامر (Prompt Engineering)، والتي تكون غير مستقرة وتتفاوت باختلاف قدرة النموذج.

هناك حاجة لنهج لإزالة التحيز يعمل عند وقت فك التشفير (decoding time)، ولا يتطلب تعديل الأوزان، ويعمل مع واجهات برمغات التطبيقات ذات الصندوق الأسود (بدون الوصول إلى الاحتمالات/logits)، ويقلل من الأعباء الحوسبية.

2. المنهجية

يقترح البحث إطار عمل حيث يعمل نموذج مكافأة عمليات (PRM) منفصل كحكم لتسجيل (scoring) التوكنات المرشحة أثناء التوليد بناءً على محورين: العدالة (التحيز) و المنفعة (الطلاقة). يقدم إطار العمل ثلاثة مخططات متميزة لإزالة التحيز، تم تقييمها في إعدادين: مهمة ملء الفراغ بكلمة واحدة محكومة، ومهمة توليد مفتوحة النهايات.

المخططات الثلاثة

1. أفضل من N (الاختيار) [Best-of-N]:
   • الآلية: ينتج المولد $n$ من التوكنات المرشحة (أعلى $n$ من توزيع softmax). يقوم الـ PRM بتسجيل كل منها، ويتم اختيار التوكن الأعلى تسجيلاً.
   • رؤية حول الأعباء: في التنفيذ الأصلي (حيث يمتلك مفك التشفير الوصول إلى أعلى $n$ من الاحتمالات/logits)، يتطلب هذا صفرًا من عمليات التمرير الإضافية للمولد ($R_G = 1$)، لأن المرشحين قد تم حسابهم بالفعل. التكلفة تكمن فقط في استدعاءات الحكم $n$.
2. النقد والمراجعة المتسلسلة [Sequential Critique-and-Revise]:
   • الآلية: يقترح المولد توكنًا. إذا اعتبر الـ PRM أن هذا التوكن متحيز (درجة أقل من العتبة $\tau$)، يقوم الـ PRM بتوليد نقد محدد (مثل "هذه الكلمة تعزز صورة نمطية جندرية"). ثم يقوم المولد بمراجعة التوكن بناءً على هذا التعليق. تتكرر هذه الحلقة حتى $K$ من المرات أو حتى يجتاز التوكن الاختبار.
   • ميزة الآلية: بخلاف أخذ العينات العشوائي، يوفر هذا المنهج للمولد إشارة ملموسة حول سبب تحيز التوكن وكيفية إصلاحه.
3. التدقيق الذاتي الدستوري [Constitutional Self-Audit]:
   • الآلية: مستوحى من الذكاء الاصطائي الدستوري (Constitutional AI)، حيث يعمل المولد كمدقق لنفسه. يتحقق من التوكن المقترح مقابل "دستور عدالة" مكتوب يدويًا (8 مبادئ). إذا وُجد انتهاك، يقوم المولد بنقد ذاتي ومراجعة.
   • الميزة: هذا المخطط خالٍ من الحكم الخارجي أثناء حلقة التوليد، مما يجعله مناسبًا للبيئات التي يكون فيها استدعاء واجهات برمجة التطبيقات الخارجية غير ممكن.

التوسع في التوليد مفتوح النهايات: بوابة حارس التحيز (Bias Guard Gate)

لمعالجة التكلفة الحوسبية العالية لتطبيق هذه المخططات على كل توكن في التوليد طويل الصيغة، قدم المؤلفون بوابة حارس التحيز (BG gate).

• الوظيفة: مصنف ثنائي خفيف الوزن (تمرير أمامي واحد) يسأل: "هل يمكن لهذه الكلمة المرشحة أن تحمل تحيزًا بشكل معقول في هذا السياق؟"
• المنطق: إذا كانت الإجابة "لا"، يمر التوكن مباشرة. إذا كانت "نعم"، يتم تفعيل مخطط إزالة التحيز الكامل (مثل المتسلسل، إلخ).
• الهدف: استغلال ندرة التحيز في اللغة الطبيعية (معظم الكلمات محايدة) لإبقاء متوسط الأعباء قريبًا من ضعف الخط الأساسي ($2\times$) للنماذج جيدة المعايرة.

مقياس الأعباء (Overhead Metric)

يعرف البحث مقياس أعباء رسميًا يفصل بين تكلفة المولد ($R_G$) و تكلفة الحكم ($R_J$). هذا التمييز ضروري لسيناريوهات النشر حيث يعمل المولد على الجهاز (edge) والحكم في السحابة.

3. الإعداد التجريبي

• النماذج: أربعة نماذج تغطي طيف القدرات:
  • GPT-4o-mini: المرجع المملوك (الأقوى).
  • Llama 3.2 (3B), Gemma 3 (4B), Qwen 2.5 (3B): نماذج ذات أوزان مفتوحة تمثل النماذج المدمجة التي تعمل على الأجهزة.
• مجموعات البيانات:
  • المحكومة: 200 مطالبة (100 بالإنجليزية، 100 بالأردية) عبر 8 فئات تحيز.
  • مفتوحة النهايات: 10 مطالبات إنجليزية (20 كلمة لكل منها) تستهدف فئات تحيز محددة.
• الحكم: تم استخدام GPT-4o-mini كنموذج مكافأة عمليات (PRM) لجميع التجارب.
• اللغات: الإنجليزية والأردية (لاختبار القابلية للنقل إلى اللغات ذات الموارد المنخفضة والغنية صرفيًا).

4. النتائج الرئيسية

ملء الفراغ بكلمة واحدة

• أداء التسلسل: حقق باستمرار أعلى درجات التحيز عبر جميع النماذج واللغات، حيث حسن درجات التحيز بمقدار +0.36 إلى +0.40 عن الخط الأساسي في الإنجليزية و +0.25 إلى +0.30 في الأردية. والأهم من ذلك، أنه حافظ على الطلاقة أو حسنها (درجات المنفعة).
• أداء الدستورية: جاء في المرتبة الثانية، موفرًا بديلًا قويًا خالًٍا من الحكم الخارجي مع مكاسب في التحيز تتراوح بين +0.10 و +0.24.
• أداء أفضل من N: كان أداؤه ضعيفًا بشكل مفاجئ في النماذج الأصغر (Llama, Gemma, Qwen)، بل إنه أحيانًا أدى إلى نتائج أسوأ من الخط الأساسي. يعزو المؤلفون ذلك إلى انهيار المرشحين (candidate collapse)، حيث تنتج النماذج الأضعف توكنات متطابقة تقريبًا من بين أعلى $n$، مما لا يترك للحكم تنوعًا للاختيار منه. أما GPT-4o-mini، بامتلاكه توزيعًا أغنى، فقد استفاد من هذا المخطط.
• تحديات الأردية: كانت درجات المنفعة أقل عمومًا في الأردية، مما يعكس ضعف تدريب النماذج على هذه اللغة. ومع ذلك، كانت درجات التحيز أحيانًا أعلى (أفضل) في الأردية، ربما لأن النماذج تكون أكثر تحفظًا عندما تكون أقل ثقة.

التوليد مفتوح النهايات

• عتبة القدرة: أظهر GPT-4o-mini تحسنًا واضحًا في تقليل التحيز (من 0.46 إلى ~0.65) مع الحفاظ على الطلاقة. عانت النماذج الأصغر بشكل كبير؛ إذ أدت عملية إزالة التحيز القسرية كلمة بكلمة إلى كسر تماسك الجملة، مما تسبب في انخفاض درجات المنفعة بشكل حاد (على سبيل المثال، انخفضت منفعة Llama 3.2 إلى 0.14 باستخدام Best-of-N).
• فعالية حارس التحيز: كان معدل إطلاق البوابة يعتمد بشدة على النموذج. أطلق GPT-4o-mini و Qwen البوابة في ~13% و ~6.5% من الكلمات على التوالي، مما حافظ على انخفاض الأعباء. بينما أطلقت Gemma 3 البوابة في 95.5% من الكلمات، مما أدى إلى إبطال مفعول التحسين تمامًا. هذا يسلط الض الضوء على الحاجة لمعايرة البوابة لكل نموذج.

تحليل الأعباء

• أفضل من N: أكد أن لديه $R_G = 1$ (تنفيذ أصلي)، مما يجعله مجانيًا فعليًا من جانب المولد.
• التسلسل: ثبت أنه المخطط الأكثر كفاءة من حيث التكلفة لتقليل التحيز، حيث حقق أعلى مكاسب في التحيز مع أقل عبء للمولد ($R_G \approx 1.08$) بسبب آلية التوقف المبكر.

5. الأهمية والادعاءات

يدعي البحث المساهمات والأهمية التالية:

1. سهولة الوصول: يخفض إطار العمل حاجز تخفيف التحيز. فهو لا يتطلب الوصول إلى الأوزان ولا التدريب، مما يسمح لأي ممارس لديه وصول إلى واجهة برمجة التطبيقات بتطبيق هذه المخططات فورًا.
2. تطبيق جديد لنماذج مكافآت العمليات (PRMs): يعد هذا أول تطبيق لنماذج مكافأة العمليات (التي كانت تُستخدم سابقًا في الاستدلال الرياضي) في تخفيف التحيز الاجتماعي، حيث يتم التعامل مع كل توكن كخطوة في عملية تتطلب التحقق من العدالة.
3. معيار ثنائي اللغة: يوفر معيارًا مضبوطًا ثنائي اللغة (الإنجليزية + الأردية) يغطي 8 فئات تحيز، مما يعالج تمركز الأدبيات الحالية حول اللغة الإنجليزية.
4. محاسبة الأعباء: يكشف الفصل الرسمي بين تكلفة المولد وتكلفة الحكم أن "أفضل من N" هو عمليًا مجاني من جانب المولد في التنفيذات الأصلية، وهو اكتشاف غالبًا ما يُغفل في التقييمات القائمة على واجهات برمجة التطبيقات.
5. القابلية للتوسع مقابل القدرة: تظهر النتائج أن إطار العمل لإزالة التحيز يتوسع مع قدرة النموذج. وبينما يعمل بشكل ممتاز مع النماذج القوية (GPT-4o-mini)، فإن القيود الملاحظة في نماذج 3B تُعزى إلى قدرة النموذج الأساسي على الطلاقة واتباع التعليمات، وليس فشلًا في إطار العمل نفسه.

6. القيود التي أقر بها المؤلفون

• الرقعة على مستوى التوكن: تعالج الطريقة الارتباطات النمطية السطحية ولكن لا يمكنها إصلاح التحيزات الهيكلية العميقة أو المعرفة العالمية المتأصلة في النموذج.
• العدالة الأدائية: هناك خطر من أن تنتج النماذج نصًا يبدو عادلًا وفقًا للمعايير بينما تظل الارتباطات الأساسية قائمة.
• تحيز الحكم: استخدام نموذج لغوي واحد (GPT-4o-mini) كحكم يؤدي إلى تحيز محتمل وعدم استقلالية عندما يكون نفس النموذج هو المولد.
• غياب التقييم البشري: الدرجات يتم تعيينها من قبل النماذج، وليست مُحققة بشريًا.
• معايرة البوابة: تتطلب بوابة حارس التحيز (Zero-shot) ضبطًا لكل نموذج لتجنب النتائج الإيجابية الكاذبة (كما حدث مع Gemma 3).
• حجم مجموعة البيانات: مجموعات التقييم (200 ملء فراغ، 10 مفتوحة النهايات) كافية لتحديد الاتجاهات، ولكنها ليست كافية لاستنتاجات قوية إحصائيًا.

يخلص البحث إلى أن إزالة التحيز في وقت فك التشفير هو مكمل عملي وقابل للنشر للمواءمة في وقت التدريب، مما يوفر طريقة لتخفيف التحيز في النماذج الحالية دون الحاجة لتحديثات التدرج (gradient updates).