FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "FairQE: إطار عمل متعدد الوكلاء للتخفيف من التحيز الجنساني في تقدير جودة الترجمة."

1. بيان المشكلة

يهدف تقدير الجودة (Quality Estimation - QE) إلى تقييم جودة الترجمة الآلية (MT) دون الحاجة إلى ترجمات مرجعية. ومع ذلك، كشفت الدراسات الحديثة أن نماذج تقدير الجودة الحالية تظهر تحيزاً جنسانياً منهجياً:

• سيناريوهات الغموض الجنساني: عندما لا يحدد النص المصدر الجنس (مثل: "وصل الطبيب")، تعطي نماذج تقدير الجودة بشكل منهجي درجات أعلى للترجمات المذكرة (مثل: "El doctor") مقارنة بالترجمات المؤنثة أو المحايدة، مما يعزز الصور النمطية.
• سيناريوهات الوضوح الجنساني: عندما يتطلب المصدر صراحةً جنساً معيناً (مثل: "هي طبيبة")، قد تظل نماذج تقدير الجودة تفضل الترجمات المذكرة أو تعاقب الصيغ المؤنثة الصحيحة، وهي ظاهرة تُعرف باسم "انعكاس التفضيل" (preference inversion).

تؤدي هذه التحيزات إلى تقويض عدالة تقييم الترجمة الآلية، ويمكن أن تؤثر سلباً على المهام اللاحقة مثل اختيار النماذج وتصفية البيانات. تفتقر الحلول الحالية غالباً إلى أطر منهجية ملموسة للتخفيف من هذه التحيزات دون التضحية بدقة التقييم العامة.

2. المنهجية: إطار عمل FairQE

يقترح المؤلفون FairQE، وهو إطار عمل متعدد الوكلاء وواعٍ بالعدالة، يدمج نماذج تقدير الجودة التقليدية مع قدرات الاستدلال لنماذج اللغات الكبيرة (LLM). يعمل الإطار عبر أربع مراحل متتالية باستخدام خمسة وكلاء (أربعة تعتمد على نماذج اللغات الكبيرة، وواحد نموذج تقليدي لتقدير الجودة):

أ. كشف الإشارات الجنسانية (الوكيل $\text{cue}$)

• الوظيفة: تحليل أزواج (المصدر-الهدف) لتحديد الإشارات اللغوية المتعلقة بالجنس.
• التصنيف: يستخدم تصنيفاً من 12 فئة يميز بين الإشارات الغامضة جنسانياً (مثل الأسماء المحايدة، والجموع العامة) والإشارات الواضحة جنسانياً (مثل الضمائر، ومصطلحات القرابة المرتبطة بالجنس).
• المخرجات: مجموعة من أزواج الإشارات التي تربط مقاطع المصدر بمقاطع الهدف. إذا لم يتم العثور على إشارات، تتخطى العملية مرحلة التجميع النهائية لتوفير الحوسبة.

ب. توليد المتغيرات المقلوبة جنسانياً

بناءً على الإشارات المكتشفة، تقوم وكلاء متخصصون بتوليد ترجمات بديلة لإنشاء مجموعة تقييم تباينية:

• الوكيل $\text{amb}$ (للغموض): بالنسبة للمصادر الغامضة، يقوم بتوليد متغيرات مؤنثة (F) ومذكرة (M) ومحايدة (N) صالحة لاختبار ما إذا كانت درجة تقدير الجودة ستظل ثابتة عبر الأجناس المختلفة.
• الوكيل $\text{exp}$ (للوضوح): بالنسبة للمصادر الواضحة، يتحقق مما إذا كانت الترجمة الأصلية تتوافق مع قيد الجنس في المصدر. إذا لم تكن متوافقة، يقوم بتوليد متغير مصحح؛ وإذا كانت متوافقة، يقوم بتوليد متغير مقلوب لاختبار "انعكاس التفضيل".

ج. تقدير الجودة ثنائي المسار

يستخدم FairQE نهجاً مزدوج المسار متوازياً:

1. التقييم الكمي (الوكيل $\text{qe}$): يقوم نموذج تقدير جودة تقليدي قائم على الانحدار (مثل COMETKiwi أو MetricX) بتقييم الترجمة الأصلية وجميع المتغيرات المولدة. يقيس هذا التقلب (volatility) (اختلاف الدرجات بين المتغيرات المتكافئة دلالياً من حيث الجنس).
2. الاستدلال المخفف للتحيز (الوكيل $\text{uqe}$): يقوم نموذج لغة كبير بعملية استدلال صريحة باستخدام تحليل الأخطاء بأسلوب MQM. يقوم بتقييم الترجمة الأصلية مقابل المتغيرات وإشارات المحاذاة لاستخلاص درجة منزوعة التحيز ($q_{uqe}$).
   • منطق الغموض: يتحقق من اتساق الدرجات عبر المتغيرات (المؤنثة/المذكرة/المحايدة).
   • منطق الوضوح: يتحقق من الدقة تجاه قيود المصدر ويعاقب الانتهاكات.

د. التجميع الديناميكي للدرجات الواعي بالتحيز

الدرجة النهائية ($q_{final}$) هي مزيج مرجح من الدرجة التقليدية ($q_{orig}$) ودرجة الاستدلال من نموذج اللغة الكبير ($q_{uqe}$).

• قياس التحيز: يقوم النظام بحساب درجة التحيز ($B$) بناءً على تقلب درجات النموذج التقليدي عبر المتغيرات (التحيز الغامض) وانتهاكات التفضيل في الحالات الواضحة (التحيز الصريح).
• البوابة الديناميكية: تحدد آلية البوابة الناعمة (soft-gating) وزن ($w$) درجة نموذج اللغة الكبير.
  • إذا كان التحيز ضئيلاً ($B \approx 0$)، يعتمد النظام على التقييم الدقيق للنموذج التقليدي على مستوى الجزء (segment-level).
  • إذا كان التحيز مرتفعاً، يزيد النظام ديناميكياً من الاعتماد على الاستدلال المنزوع التحيز لنموذج اللغة الكبير.
  • المعادلة: $q_{final} = w \cdot q_{uqe} + (1 - w) \cdot q_{orig}$، حيث $w$ هي دالة لدرجة التحيز المحسوبة.

3. المساهمات الرئيسية

1. إطار عمل FairQE: بنية متعددة الوكلاء، مستقلة عن النموذج، تعالج معاً سيناريوهات التحيز الجنساني (الغامضة والواضحة).
2. التجميع الديناميكي الواعي بالتحيز: آلية مبتكرة تقيس التحيز الجنساني عبر المتغيرات المقلوبة جنسانياً وتضبط الدرجة النهائية ديناميكياً، مما يحافظ على نقاط القوة في نماذج تقدير الجودة الحالية مع معايرة تحيزاتها.
3. تقييم شامل: أول إطار عمل يثبت إمكانية تحقيق التخفيف من التحيز الجنساني دون التضحية بالأداء العام لتقدير الجودة، وقد تم التحقق من ذلك عبر لغات ومقاييس متعددة.

4. النتائج التجريبية

تم تقييم إطار العمل على أزواج لغات (EN–* [ES, FR, IT, AR, DE, HI]) باستخدام مجموعات بيانات مثل GATE وMT-GenEval وmGeNTE، إلى جانب معايير مهمة WMT 2023 Metrics Shared Task.

• العدالة الجنسانية (الغموض):
  • أظهرت النماذج الأساسية نسبة درجات (مؤنث إلى مذكر) أقل بكيز من 1 (مما يشير إلى التحيز للمذكر).
  • حقق FairQE نسباً هي الأقرب إلى 1.0 (التكافؤ) عبر معظم أزواج اللغات، مما أدى إلى تحييد التحيز بفعالية.
• العدالة الجنسانية (الوضوح):
  • حسن FairQE دقة الثنائية في تحديد الترجمات المتوافقة مع الجنس بمقدار يصل إلى 18.7 نقطة مئوية عن النموذج الأساسي COMETKiwi 22.
  • تفوق على GEMBA-MQM (وهو نموذج أساسي يعتمد على LLM كحكم)، والذي عانى من تحيزات جنسانية متأصلة في نماذج اللغات الكبيرة.
• الأداء العام لتقدير الجودة:
  • على معيار WMT 2023 EN-DE، حقق FairQE أداءً رائداً أو منافساً في دقة مستوى النظام ومستوى الجزء (على سبيل المثال، تحسين متوسط الارتباط avg-corr من 0.743 إلى 0.812 مقارنة بالنموذج الأساسي).
  • يؤكد هذا أن التخفيف من التحيز لا يتطلب مقايضة في دقة التقييم.

5. الأهمية

• تحول في النموذج: ينتقل FairQE من مجرد الكشف عن التحيز إلى التخفيف النشط منه ضمن عملية التقييم.
• العملية: هو نظام "جاهز للاستخدام" (plug-and-play) ومستقل عن النموذج، مما يعني إمكانية تطبيقه على أي نموذج أساسي لتقدير الجودة (سواء كان قائماً على الانحدار أو على نماذج اللغات الكبيرة) دون إعادة تدريب النموذج الأساسي.
• الأثر الأخلاقي: من خلال ضمان عدم تأثر درجات جودة الترجمة بالصور النمطية الجنسانية، يتيح FairQE اختيار نماذج ونشرها بشكل أكثر عدلاً، مما يمنع تعزيز التحيزات المجتمعية في أنظمة الترجمة الآلية.
• كفاءة التكلفة: يستخدم الإطار استراتيجية استدعاء ديناميكية، مما يقلل تكاليف واجهة برمجة التطبيقات (API) بشكل كبير (حوالي $0.00095 لكل عينة) مقارنة بتشغيل جميع الوكلاء على كل حالة.

في الختام، يثبت FairQE أن العدالة والدقة ليستا متنافيتين في تقدير جودة الترجمة، مما يقدم حلاً قوياً للجيل القادم من أنظمة تقييم الترجمة الآلية.