Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection
تكشف هذه الدراسة أن النماذج اللغوية الكبيرة المتطورة تظهر تحيزاً جنسياً كبيراً في كشف الأخبار الزائفة، حيث تنتج أحكاماً متضاربة ومنحازة بشكل منهجي حول صحة المعلومات بناءً فقط على العرض الجندري للمسميات الوظيفية للمتحدثين، مما يقوض موثوقية وعدالة أنظمة التحقق من الحقائق الآلية.
تخيل أنك حكم في دوري رياضي ضخم وفوضوي، حيث اللاعبون هم عقول حاسوبية عملاقة تُعرف بالنماذج اللغوية الكبيرة (LLMs). هذه النماذج ذكية للغاية لأنها قرأت كل شيء تقريبًا كُتب على الإنترنت، من الكتب القديمة إلى التغريدات الحديثة. ولأنها تعرف الكثير، بدأ الناس يطلبون منها العمل كحكام للأخبار، لتحدد ما إذا كان العنوان "حقيقيًا" أم "مزيفًا". ولكن هنا تكمن المشكلة، فبما أن هذه النماذج تعلمت من الكتابة البشرية، فقد تكون اكتسبت بعض عاداتنا البشرية، بما في ذلك بعض الصور النمطية السخيفة التي نمتلكها أحيانًا حول من يقول ماذا. تمامًا كما قد ينحاز حكم حقيقي دون قصد لصالح فريق معين بسبب لون قميصه، نحن بحاجة لمعرفة ما إذا كان هؤلاء الحكام الرقميون يحكمون على الأخبار بنزاهة، أم أنهم متحيزون سرًا ضد المتحدثين بناءً على ما إذا كان يبدو كرجل أو امرأة أو محايدًا. تبحث هذه الورقة في هذا السؤال تحديدًا، وهي تسأل: إذا أخبرت الكمبيوتر بنفس القصة ولكن غيرت المسمى الوظيفي للمتحدث من "رئيس" (Chairman) إلى "رئيسة" (Chairwoman)، هل سيغير الكمبيوتر رأيه بشأن حقيقة القصة؟
قرر الباحثون وراء هذه الدراسة إخضاع ستة من أشهر وأقوى نماذج الذكاء الاصطناعي للاختبار. لقد أخذوا مجموعة شهيرة من التصريات الإخبارية الواقعية، المعروفة باسم مجموعة بيانات LIAR، ولعبوا لعبة ذكية من نوع "ماذا لو". لكل تصريح، أنشأوا ثلاث نسخ: نسخة يكون فيها المسمى الوظيفي للمتحدث محايدًا (مثل "محامٍ")، ونسخة يكون فيها المسمى ذكوريًا بوضوح (مثل "عضو مجلس بلدي")، ونسکخة يكون فيها المسمى أنثويًا بوضوح (مثل "رئيسة"). ظلت القصة الإخبارية الفعلية ثابتة تمامًا؛ فقط جنس المتحدث هو الذي تغير. ثم طلبوا من نماذج الذكاء الاصطناعي الحكم على ما إذا كان كل تصريح حقيقيًا أم كاذبًا.
كانت النتائج تشبه مشاهدة حكم يغير رأيه باستمرار اعتمادًا على زي اللاعب. وجدت الدراسة أن جميع النماذج الستة أظهرت علامات على التحيز الجنسي. في الواقع، بالنسبة لجزء كبير من التصريحات — يتراوح بين 9.79% و35.13% — أعطى الذكاء الاصطناعي حكمًا مختلفًا لمجرد أن العرض الجندري للمتحدث تغير. وعندما قارنوا تحديدًا بين النسختين "الذكرية" و"الأنثوية"، غيّرت النماذج إجاباتها بين "صحيح" و"خطأ" بنسبة تتراوح بين 6.5% و23.6%. وهذا يعني أنه من بين كل أربع مرات تقريبًا، لم يستطع الذكاء الاصطناعي أن يقرر ما إذا كانت الحقيقة حقيقة لمجرد أن المتحدث بدا مختلفًا.
حدد الباحثون طريقتين رئيسيتين ظهر بهما هذا التحيز. أولاً، كان هناك "عدم الاستقرار"، حيث لم يستطع الذكاء الاصطناعي اتخاذ قرار، فكان يعطي إجابات مختلفة لنفس القصة اعتمادًا على الإشارة الجندرية. ثانيًا، كان هناك "الاتجاهية"، حيث أظهر الذكاء الاصطناعي تفضيلًا منهجيًا. على سبيل المثال، أظهرت خمسة من النماذج الستة نمطًا حيث كانوا أكثر عرضة لاعتبار التصريح "كاذبًا" إذا كان المتحدث ذكرًا، وهو نمط وصفه المؤلفون بأنه "الشك تجاه الذكور" (male-skeptic). كان نموذج GPT-4.1 Mini هو الأكثر اتساقًا وإنصافًا، حيث أظهر أقل قدر من التحيز، ومع ذلك لم يكن مثاليًا.
تجادل الورقة بأن هذا ليس مجرد خلل بسيط؛ بل هو مشكلة خطيرة تمس الثقة. فإذا كان مدقق الحقائق بالذكاء الاصطناعي أكثر عرضة لقول إن قصة حقيقية هي كاذبة لمجرد أن رجلًا قالها، أو العكس، فإن ذلك يقوض الهدف الكامل من التحقق من الأخبار. ويخلص المؤلفون إلى أنه بينما هذه النماذج قوية، إلا أنه لا يمكن الوثوق بها حاليًا كحكام غير منحازين دون معالجة هذه التحيزات الجنسية. كما قاموا بإصدار مجموعة بياناتهم الجديدة المعززة جندريًا لمساعدة العلماء الآخرين في معرفة كيفية تدريب هذه النماذج لتكون حكامًا أكثر إنصافًا في المستقبل.
ملخص تقني: أحكام غير متساوية: تقصي التحيز الجنساني في كشف الأخبار الزائفة القائم على النماذج اللغوية الكبيرة (LLMs)
بيان المشكلة بينما يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في عمليات التحقق من الحقائق المؤتمتة وكشف الأخبار الزائفة، فإن قابليتها للتحيز الجنساني في هذا السياق المحدد تظل غير مستكشفة بشكل كافٍ. تقر الأدبيات الحالية بأن النماذج اللغوية الكبيرة ترث الصور النمطية المجتمعية من بيانات التدريب، ومع ذلك، لا توجد دراسة قامت بقياس كيفية تأثير الإشارات الجنسانية في سمات المتحدث على أحكام صحة العبارات المتطابقة بشكل منهجي. يشكل هذا الفجوة خطراً على موثوقية وعدالة أنظمة التحقق من الحقائق المؤتمتة، حيث يمكن أن يؤدي التصنيف المتحيز إلى تشويه الخطاب العام عبر تضخيم أو قمع أصوات معينة بناءً على الجنس المتصور فقط.
المنهجية لمعالجة هذه الفجوة، أجرى المؤلفون أول تحقيق منهجي للتحيز الجنساني في كشف الأخبار الزائفة القائم على النماذج اللغوية الكبيرة باستخدام بيانات من العالم الحقيقي.
تعزيز مجموعة البيانات: استخدمت الدراسة معيار LIAR، وهو مجموعة من العبارات القصيرة المصنفة يدوياً من Polifact. قام المؤلفون بتعزيز مجموعة البيانات هذه عن طريق تعديل عمود speaker_job (وظيفة المتحدث). لكل عبارة، قاموا بتوليد ثلاثة متغيرات جنسانية لمسمى وظيفة المتحدث: محايد (مثل: "محامٍ")، ذكر (مثل: "عضو مجلس بلدي")، وأنثى (مثل: "رئيسة لجنة"). ظلت العبارات نفسها متطابقة، مما ضمن أن المتغير الوحيد هو طريقة عرض الجنس.
تنقية البيانات: تضمنت العملية تصفية المدخلات غير المتعلقة بالأشخاص والحالات التي كُشف فيها جنس المتحدث بشكل غير مباشر (مثل الاسم أو سياق محدد). تكونت مجموعة البيانات المنقحة النهائية من 8,243 عينة (4,805 حقيقية، 3,438 زيفة)، مع اقتران كل حالة بثلاثة متغيرات جنسانية.
الإعداد التجريبي: تم تقييم ستة من أحدث النماذج اللغوية الكبيرة: خمسة نماذج مفتوحة المصدر (Phi-4 14B، Llama-3.1 8B، Llama-3.2 3B، Gemma-3 12B، Qwen-3 14B) ونموذج واحد مملوك (GPT-4.1 Mini). تم توجيه النماذج لتصنيف العبارات كـ "صحيحة" (TRUE) أو "خاطئة" (FALSE) بناءً على العبارة والمتغير الجنساني المحدد للمتحدث.
مقاييس التقييم: صمم المؤلفون إطار عمل شاملاً لقياس التحيز عبر ثلاثة أبعاد:
عدم الاستقرار (معدلات التقلب): قياس عدد المرات التي تتغير فيها التنبؤات عند تغيير المتغير الجنساني (معدل التقلب الزوجي، معدل التقلب الاتجاهي، معدل التقلب الشرطي).
الاختلاف الإجمالي: قياس الحساسية العامة للإشارات الجنسانية (مؤشر حساسية الإشارة الجنسانية - GSI، معدل الاختلاف الفريد - UDR).
التفاوتات في العدالة: تقييم الاختلافات المنهجية بين المتغيرات الذكرية والأنثوية باستخدام التكافؤ الديموغرافي (DP)، والمساواة في الاحتمالات (EO)، وتكافؤ الفرص (EOpp).
المساهمات الرئيسية
إنشاء مجموعة بيانات: بناء مجموعة بيانات LIAR معززة بمسميات وظيفية للمتحدثين ذات متغيرات جنسانية، مما يسمح بالتحقيق المنضبط في التحيز الجنساني في كشف الأخبار الزائفة.
إطار عمل للتقييم: تصميم إطار عمل متعدد المقاييس لفحص التحيز الجنساني بشكل منهجي، مع التمييز بين عدم استقرار التنبؤ والتفضيل الاتجاهي المنهجي.
أدلة تجريبية: إثبات أن جميع النماذج التي تم تقييمها تظهر حساسية جنسانية، مما يكشف عن مظهرين متميزين للتحيز: عدم الاستقرار (الأحكام غير المتسقة) والاتجاهية (التفضيل المنهجي).
إتاحة الموارد: النشر العام لمجموعة البيانات المعززة لدعم الأبحاث المستقبلية واستراتيجيات التخفيف.
النتائج التجريبية وجدت الدراسة أن جميع النماذج الستة أظهرت حساسية جنسانية، رغم أن حجم وطبيعة التحيز تباينت بشكل كبير:
عدم الاستقرار: تراوحت معدلات التقلب الإجمالية (حيث تلقت العبارة تسميات مختلفة عبر المتغيرات الجنسانية) بين 9.79% و35.13%. وتحديداً، أظهرت مقارنات (ذكر-أنثى) معدلات تقلب تتراوح بين 6.5% و23.6%. يشير هذا إلى أن ما يقرب من حالة واحدة من كل أربع عبارات تلقت أحكاماً مختلفة بناءً على الإشارات الجنسانية وحدها.
التحيز الاتجاهي: أظهرت خمسة من النماذج الستة تأثيرات اتجاهية ذات دلالة إحصائية.
التحيز ضد الذكور (Male-Skeptic Bias): أظهر نموذج Gemma-3 12B وLlama-3.1 8B أقوى الأنماط، حيث صنفا بشكل منهجي المزيد من العبارات كـ "خاطئة" للمتحدثين ذوي الرموز الذكرية.
التحيز ضد الإناث (Female-Skeptic Bias): أظهر نموذج Phi-4 14B وQwen-3 14B ميلاً طفيفاً لتصنيف المزيد من العبارات كـ "خاطئة" للمتحدثات ذوات الرموز الأنثوية، وإن كان ذلك بحجم عملي ضئيل.
GPT-4.1 Mini: أظهر هذا النموذج عدالة فائقة مع عدم وجود تأثيرات اتجاهية كبيرة وأقل معدلات تقلب إجمالية (5.8%–7.1%).
الحساسية تجاه الحقيقة: أظهرت خمسة من النماذج الستة حساسية أعلى للإشارات الجنسانية بالنسبة للعبارات ذات الحقيقة "الصحيحة"، مما يشير إلى أن الإشارات الجنسانية تعدل الشك بشكل أقوى عندما تفتقر الادعاءات إلى إشارات التكذيب الواضحة.
محاذاة السلامة: أظهر GPT-4.1 Mini نمطاً فريداً حيث سجل المتغير "المحايد" معدل اختلاف أعلى من المتغيرات "الذكرية" أو "الأنثوية"، مما قد يشير إلى أن المصطلحات الجنسانية الصريحة تفعّل آليات محاذاة السلامة التي تفرض الاتساق.
الأهمية والادعاءات يزعم البحث أن التحيز الجنساني يقوض بشكل أساسي موثوقية وعدالة كشف الأخبار الزائفة القائم على النماذج اللغوية الكبيرة. ويؤكد المؤلفون أن النماذج اللغوية الكبيرة الحالية لا يمكنها العمل كأنظمة تحقق من الحقائق غير متحيزة دون تخفيف مستهدف. ومع ذلك، فهم يسلطون الضوء أيضاً على أن الطبيعة الخاصة بكل نموذج لهذه التحيزات تشير إلى فرص قابلة للتنفيذ للتدخل في البنية، وبيانات التدريب، واستراتيجيات المحاذاة. إن حقيقة تحقيق GPT-4.1 Mini لأداء عادل للغاية تعد دليلاً على أن التحقق الآلي العادل من الحقائق أمر ممكن. ويخلص المؤلفون إلى أن التقييم الواعي بالتحيز واستراتيجيات التخفيف ضروريان لتسخير إمكانات النماذج اللغوية الكبيرة في التحقق من المعلومات بمسؤولية.