Assessing the Political Fairness of Multilingual LLMs: A Case Study based on a 21-way Multiparallel EuroParl Dataset
تقدم هذه الورقة مجموعة بيانات "EuroParl" جديدة متعددة المسارات بـ 21 مساراً لتقييم الانحياز السياسي في النماذج اللغوية الكبيرة متعددة اللغات، وذلك من خلال إثبات أن جودة الترجمة تحابي بشكل منهجي الأحزاب الأغلبية على حساب المجموعات الخارجية، مما يقدم بديلاً قائماً على العدالة لطرق الاستطلاع التقليدية باللغة الإنجليزية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتاً عملاقاً وذكياً للغاية للترجمة، يتحدث 21 لغة أوروبية مختلفة. تطلب منه ترجمة خطاب لأحد السياسيين، فيقوم بعمل رائع. ولكن ماذا لو كان الروبوت يمتلك سراً، وهو أنه يشجع فريقاً معيناً؟ ماذا لو كان يترجم خطابات "الفريق اليساري" أو "الفريق اليميني" بعناية ودقة فائقتين، بينما يترجم خطابات "فريق الخارجين عن المألوف" (Team Outsider) بكثرة من الأخطاء والارتباك؟
هذا هو بالضبط ما تبحث فيه هذه الورقة البحثية. أراد المؤلفان، بول ليرنر وفرانسوا إيفون، معرفة ما إذا كانت مترجمات الذكاء الاصطناعي الحديثة عادلة مع جميع المجموعات السياسية، أم أن لديها انحيازاً خفياً.
إليك تفاصيل دراستهم، مشروحة ببعض التشبيهات من الحياة اليومية.
1. المشكلة: الاستطلاع "المقتصر على الإنجليزية"
عادةً، عندما يتحقق الناس مما إذا كان الذكاء الاصطناعي منحازاً، فإنهم يطرحون على الذكاء الاصطناعي مجموعة من الأسئلة باللغة الإنجليزية، مثل اختبار متعدد الخيارات. "هل توافق على أن X سيء؟"
- الخلل: هذا يشبه الحكم على طاهٍ فقط من خلال طريقة طبخه لشطيرة البرجر. هذا لا يخبرك ما إذا كان بإمكانه طهي السوشي، أو الباستا، أو الكاري. كما أن الأسئلة نفسها قد تكون مخادعة أو مربكة.
2. الحل: "طريق سريع بـ 21 حارة"
بدلاً من طرح الأسئلة، نظر المؤلفون إلى خطابات حقيقية من البرلمان الأوروبي.
- مجموعة البيانات: قاموا ببناء مجموعة بيانات جديدة ضخمة تسمى 21-EuroParl. تخيل طريقاً سريعاً بـ 21 حارة. في الحارة الوسطى، يوجد خطاب باللغة الألمانية. وفي الحارات العشرين الأخرى، توجد ترجمات مثالية لنفس هذا الخطاب تماماً بـ 20 لغة أخرى (الفرنسية، البولندية، الإسبانية، إل_خ).
- البيانات الوصفية: والأهم من ذلك، أنهم وضعوا علامة (Tag) لكل خطاب توضح الحزب السياسي للمتحدث. الأمر يشبه معرفة الفريق الذي يلعب له اللاعب بدقة قبل بدء المباراة.
- النطاق: هذا ليس اختباراً صغيراً. إنه 1.5 مليون جملة، تغطي أكثر من 1000 متحدث من 27 دولة. إنها مكتبة ضخمة من المناظرات السياسية.
3. التجربة: "سباق العدالة"
أخذ الباحثون هذه المكتبة الضخمة وأدخلوها في عدة نماذج ذكاء اصطناعي شهيرة (مثل Llama و Qwen و Gemma). وطلبوا من الذكاء الاصطناعي ترجمة الخطابات.
ثم استخدموا نظام تسجيل ذكي يسمى "حساب بوردا" (Borda Count).
- التشبيه: تخيل سباقاً يضم 8 عدائين (الأحزاب الثمانية الرئيسية). في كل مهمة ترجمة واحدة (على سبيل المثال، من الألمانية إلى الفرنسية)، يقوم الذكاء الاصطناعي بترتيبهم بناءً على جودة الترجمة.
- الحزب الذي حصل على أفضل ترجمة يحصل على 7 نقاط.
- الحزب الذي حصل على أسوأ ترجمة يحصل على 0 نقطة.
- قاموا بذلك لـ 420 مزيجاً مختلفاً من اللغات. إذا كان الذكاء الاصطناعي عادلاً تماماً، فسينتهي الأمر بكل حزب بالحصول على متوسط درجات متساوٍ (حوالي 3.5 نقطة)، تماماً مثل رمي قطعة نقد معدنية.
4. النتائج: "معاملة كبار الشخصيات (VIP)"
كانت النتائج صادمة. لم يكن الذكاء الاصطناعي حكماً محايداً، بل كان مشجعاً منحازاً.
- المفضلون: حصلت "أحزاب المؤسسة" (مثل الحزب الشعبي الأوروبي والاشتراكيين) على معاملة كبار الشخصيات. فقد تمت ترجمة خطاباتهم بدقة وسلاسة عالية.
- المهمشون: حصلت "أحزاب الخارجين عن المألوف" (مثل أحزاب اليسار البعيد أو الأعضاء غير المنتمين لكتل رئيسية) على معاملة خشنة. فقد تضمنت ترجمة خطاباتهم المزيد من الأخطاء وانخفاض الجودة.
- النمط: حدث هذا عبر جميع نماذج الذكاء الاصطناعي المختلفة التي اختبروها، بغض النظر عن مدى ضخامة النموذج أو ذكائه. لم يكن الأمر مجرد روبوت واحد سيء؛ بل كانت مشكلة نظامية.
فكر في الأمر بهذه الطريقة: إذا دخلت إلى مطعم، فقد يقدم لك النادل شريحة اللحم للزبائن الدائمين بشكل مثالي، لكنه قد يسقط البطاطس المقلية بالخطأ للزبائن الجدد. الطعام هو نفسه، لكن الخدمة تعتمد على هويتك.
5. لماذا يحدث هذا؟
يقترح المؤلفون بعض الأسباب، مثل وصفة طُبخت بمكون واحد زائد عن الحد:
- بيانات التدريب: تعلم الذكاء الاصطناعي من الإنترنت. ربياً هناك ترجمات عالية الجودة أكثر لخطابات الأحزاب الرئيسية مقارنة بالأحزاب الأصغر أو الهامشية.
- اختلاف المواضيع: قد تتحدث الأحزاب الرئيسية عن مواضيع قياسية (الاقتصاد، الصحة) وهي أسهل للذكاء الاصطناعي في الترجمة، بينما قد يستخدم الخارجون عن المألوف لغة أكثر تعقيداً أو تخصصاً.
6. التحذير الكبير
تنتهي الورقة البحثية بنبرة تحذير جادة.
- الرهانات: بدأنا في استخدام الذكاء الاصطناعي للمساعدة في ترجمة القوانين، والمناظرات، والأخبار في الديمقراطيات.
- الخطر: إذا قام الذكاء الاصطناعي بترجمة خطاب لسياسي من التيار السائد بشكل مثالي، بينما شوه خطاب سياسي من الأقلية وجعله غير مفهوم، فإن ذلك يشوه الديمقراطية. إنه يجعل التيار السائد يبدو أكثر ذكاءً، ويجعل الخارجين عن المألوف يبدون مشوشين أو غير مترابطين.
الخلاصة
هذه الورقة هي بمثابة جرس إنذار. فهي تظهر أن الذكاء الاصطناعي ليس مجرد أداة محايدة؛ بل يحمل الانحيازات الموجودة في البيانات التي تدرب عليها. مجرد كون الروبوت يتحدث 21 لغة لا يعني أنه يعامل جميع المتحدثين بالتساوي. إذا أردنا ديمقراطيات عادلة، فعلينا التأكد من أن مترجماتنا هم حكام عادلون، وليسوا مشجعين منحازين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.