💬 NLP

Effects of Answer Format Variation on Gender Bias in Large Language Models

تُثبت هذه الورقة أن تنسيق خيارات الإجابة (سواء كانت مغلقة، أو مقياس ليكرت، أو مفتوحة) يغير بشكل كبير قياس التحيز الجنسي والمحاذاة التوزيعية في النماذج اللغوية الكبيرة، مما يؤدي غالباً إلى عكس ترتيب النماذج ويستلزم تصميمات تقييم متعددة التنسيقات لضمان تقييم قوي.

المؤلفون الأصليون: Ksenia Merzlyakova, Sebastian Padó, Franziska Weeber

نُشر 2026-08-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ksenia Merzlyakova, Sebastian Padó, Franziska Weeber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، تُعد النماذج اللغوية الكبيرة هي المحركات الرقمية التي تشغل كل شيء، من برامج الدردشة الآلية إلى مساعدي البحث. يتم تدريب هذه الأنظمة على كميات هائلة من النصوص من الإنترنت، حيث تتعلم التنبؤ بالكلمات التي يجب أن تأتي تالياً. ولأنها تتعلم من الكتابة البشرية، فإنها تمتص حتماً الأنماط والتحيزات والقوالب النمطية الموجودة في تلك البيانات. وأحد أكثر الأنماط استمراراً وضررًا هو التحيز الجنساني، حيث قد يفترض النموذج تلقائياً أن الطبيب رجل والممرضة امرأة. ولإصلاح ذلك، يحتاج الباحثون إلى قياس مدى قوة هذه التحيزات؛ وهم يفعلون ذلك عبر توجيه أسئلة للنماذج ومراقبة كيفية إجابتها. لعدة عقود، عرف العلماء أن طريقة طرح السؤال تغير الإجابة، حتى بالنسبة للبشر. فإذا طلبت من شخص الاختيار بين خيارين، فقد يختار أحدهما، أما إذا طلبت منه تقييم درجة موافقته على مقياس معين، فقد يعطي إجابة مختلفة. هذه حقيقة راسخة في علم المسح، ولكن لفترة طويلة، افترض الباحثون الذين يختبرون الذكاء الاصطناعي أن صيغة السؤال لا تهم كثيراً، أو أن إجابة النموذج ستظل كما هي بغض النظر عن كيفية تقديم السؤال.

قرر فريق من الباحثين في جامعة شتوتغارت اختبار هذا الافتراض مباشرة. أرادوا معرفة ما إذا كانت الطريقة التي يطرحون بها سؤالاً حول النوع الاجتماعي ستغير التحيز الذي يقيسونه في الآلة. أخذوا ثلاثة أنواع مختلفة من النماذج اللغوية الكبيرة وطرحوا عليها نفس المجموعة من الأسئلة حول الأدوار الجندرية، لكنهم غيروا صيغة الإجابات في كل مرة. في نسخة واحدة، كان على النموذج اختيار حرف واحد من قائمة خيارات، مثل اختبار الاختيار من متعدد. وفي نسخة أخرى، كان على النموذج تقييم مدى موافقته على عبارة ما على مقياس من واحد إلى عشرة، بشكل يشبه إجابات الناس في استطلاي الرأي. وفي النسخة الثالثة، سُمح للنموذج بكتابة إجابة حرة بأسلوبه الخاص. استخدم الباحثون مجموعتين مختلفتين من الأسئلة: مجموعة صُممت خصيصاً لاختبار التحيز بإجابات واضحة (صحيحة وخاطئة)، ومجموعة أخرى مأخوذة من استطلاعات رأي عامة حقيقية حول كيفية رؤية الناس للنوع الاجتماعي في المجتمع.

كانت النتائج مذهلة وأظهرت أن صيغة السؤال غيرت القصة التي يرويها النموذج للباحثين تماماً. فعندما أُجبرت النماذج على اختيار خيار واحد من قائمة، أظهرت تحيزات جنسانية قوية ومتسقة؛ حيث اختارت مراراً الإجابة النمطية، مثل اختيار الرجل لدور قيادي. ومع ذلك، عندما انتقل الباحثون إلى الصيغة المفتوحة، حيث يمكن للنموذج كتابة استجابته الخاصة، انخفض التحيز المقاس بشكل كبير. وفي كثير من الحالات، رفضت النماذج ببساطة اختيار جانب ما أو ذكرت أن المعلومات غير كافية لاتخاذ قرار. لم يكن هذا لأن النماذج أصبحت فجأة أقل تحيزاً، بل لأن الصيغة المفتوحة منحتها وسيلة لتجنب فخ أسئلة الاختيار من متعدد. وكانت النتيجة الأكثر إثارة للدهشة هي أن ترتيب النماذج تغير اعتماداً على الصيغة؛ فالنموذج الذي بدا الأكثر تحيزاً عندما أُجبر على اختيار حرف أصبح هو الأقل تحيزاً عندما سُمح له بالكتابة بحرية. وظهر نموذج آخر دون أي تحيز تقريباً في اختبار الاختيار من متعدد، لكنه كشف عن تحيز كبير عندما طُلب منه تقييم مدى موافقته على مقياس معين.

نظر الباحثون أيضاً في مدى تطابق هذه النماذج مع آراء المستجيبين البشريين في الاستطلاعات، ووجدوا أن الصيغة غيرت هذا التطابق أيضاً. ففي بعض الحالات، بدت إجابات النموذج مشابهة جداً للآراء البشرية عند استخدام صيغة معينة، لكنها بدت مختلفة تماماً عند استخدام صيغة أخرى. على سبيل المثال، عندما طُلب من النماذج استخدام مقياس، كانت إجاباتها غالباً ما تلغي بعضها البعض، مما خلق متوسطاً يبدو محايداً رغم أن النماذج كانت تعبر عن آراء متطرفة ومتضاربة. وهذا يختلف عن سلوك البشر؛ فالناس غالباً ما يستخدمون منتصف المقياس لإظهار عدم حسمهم، لكن النماذج استخدمت المنتصف لموازنة الصور النمطية المتطرفة. تشير الدراسة إلى أن التحيز الذي نراه في هذه الآلات ليس سمة ثابتة وغير قابلة للتغيير مثل الميزة الجسدية، بل هو سلوك يتغير بناءً على القيود التي نضعها عليه.

يتحدى هذا العمل الفكرة القائلة بأن اختباراً واحداً يمكن أن يخبرنا بكل شيء عن عدالة النموذج. وجد الباحثون أن اختيار صيغة الإجابة ليس مجرد تفصيل ثانوي في التجربة، بل هو عامل رئيسي يشكل النتائج. فإذا نظر الباحث فقط إلى اختبارات الاختيار من متعدد، فقد يستنتج أن النموذج منحاز بعمق. وإذا نظر فقط إلى الاستجابات المفتوحة، فقد يستنتج أن النموذج عادل تماماً. كلا الاستنتاجين ناقصان. لا تثبت الدراسة أن النماذج خالية من التحيز، ولا تثبت أن التحيز مجرد وهم، بل تظهر أن التحيز سلوك معقد يتجلى بشكل مختلف تحت ظروف مختلفة. ويجادل الباحثون بأنه لفهم وتقييم هذه الأنظمة حقاً، يجب أن نتوقف عن الاعتماد على طريقة واحدة لطرح الأسئلة. نحن بحاجة إلى مراقبة كيفية سلوك النماذج عبر صيغ مختلفة للحصول على صورة كاملة لسلوكها، تماماً كما لا يشخص الطبيب مريضاً بناءً على عرض واحد، بل ينظر إلى الصورة الكاملة لصحته.

ملخص تقني: تأثير تباين تنسيق الإجابة على التحيز الجنساني في النماذج اللغوية الكبيرة

أبحاث مشابهة