Arabic Author Gender Profiling with Large Language Models: An Empirical Investigation of Capability, Calibration, Bias, and Prompt Sensitivity
تقدم هذه الدراسة أول تقييم شامل للنماذج اللغوية الكبيرة في مجال تحديد جنس المؤلف للغة العربية، كاشفةً عن أدائها الذي يقل عن الأنظمة الكلاسيكية، وإظهارها لسلوك امتناع مُعاير جيداً، وتجلي انحيازاتها المعتمدة على التلقين وأنماط أخطائها الصرفية المحددة والفريدة من نوعها للغة العربية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
كلما قرأنا رسالة، نحاول غريزيًا تخمين من يمسك بالقلم. هل هو صديق، أم غريب، أم رجل، أم امرأة؟ لعقود من الزمن، علّم علماء الحاسوب الآلات القيام بالشيء نفسه، وهو مجال يُعرف باسم "توصيف المؤلف". ومن خلال تحليل اختيارات الكلمات، وتراكيب الجمل، والمواضيع، تحاول الخوارزميات استنتاج الخصائص الديموغرافية للكاتب. هذه المهارة حيوية للأمن، والتسويق، وفهم السلوك البشري عبر الإنترنت. وفي السنوات الأخيرة، ظهر نوع جديد من الذكاء الاصطناعي يُسمى "النماذج اللغوية الكبيرة". وهي أنظمة مدربة على كميات هائلة من النصوص من الإنترنت، قادرة على فهم وتوليد اللغة البشرية بطلاقة ملحوقة. وفي اللغة الإنجليزية، أصبحت هذه الأنظمة ماهرة للغاية في تخمين جنس المؤلف لدرجة أنها تفوقت على البرامج الحاسوبية القديمة والأكثر تقليدية؛ إذ يمكنها النظر إلى كتلة من النص وتقديم تخمين بدقة عالية، غالبًا دون الحاجة إلى أي تدريب خاص على تلك المهمة المحددة.
ولكن، هل يترجم هذا التألق إلى لغات أخرى؟ يتحدث العربية أكثر من 400 مليون شخص، وهي مشهورة بقواعدها المعقدة، حيث تتغير أشكال الكلمات للإشارة إلى الجنس، والزمن، ومن يتم التحدث إليه. هذا الثراء يجعلها اختبارًا صعبًا للحواسيب. وحتى الآن، لم يكن من الواضح ما إذا كانت أنظمة الذكاء الاصطناعي القوية هذه قادرة على التعامل مع فروق الكتابة العربية بدقة كما تفعل مع الإنجليزية. وقد وضع باحثٌ الإجابة عن هذا السؤال، ليس عبر بناء أداة جديدة، بل عبر وضع أكثر الأنظمة الحالية تقدمًا تحت الاختبار. أراد أن يرى ما إذا كان بإمكان الذكاء الاصطناعي تحديد جنس المؤلفين العرب بشكل صحيح، وكم مرة سيعترف بعدم التأكد، وما إذا كان يحمل تحيزات خفية قد تؤدي به إلى تقديم تخمينات غير عادلة أو خاطئة.
جمع الباحث مجموعة كبيرة من البيانات الواقعية: ألف ملف شخصي من تويتر من عام 2018، يحتوي كل منها على مائة تغريدة. نصف هذه الحسابات تعود لرجال والنصف الآخر لنساء. قاموا بتغذية هذه البيانات في ثلاثة نماذج لغوية مختلفة ومتطورة، بما في ذلك نظامان عالميان ضخمان ونظام ثالث مصمم خصيصًا للغة العربية. وطلبوا من الحواسيب النظر في الملفات الشخصية الكاملة وتخمين جنس المؤلف. كانت النتائج مفاجئة. فخلافًا للغة الإنجليزية، حيث تفوقت أنظمة الذكاء الاصطناعي الجديدة بسهولة على الأنظمة القديمة، أخفقت هذه الأنظمة هنا. لم يتمكن أي من النماذج الثلاثة من التفوق على أفضل برنامج حاسوبي تقليدي من عام 2018. في الواقع، سجل النموذجان العالميان درجات أقل من المعيار المرجعي القديم، وسجل النموذج المخصص للغة العربية درجة أقل بكثير. يشير هذا إلى أن النجاح الهائل الذي تحققه هذه الأنظمة في الإنجليزية لا ينتقل تلقائيًا إلى العربية، على الأقل دون مساعدة إضافية.
كما بحثت الدراسة في كيفية سلوك النماذج عندما تكون غير متأكدة. أعطى الباحث الحواسيب نوعين من التعليمات: تعليمات تسمح لها بقول "لا أعرف" إذا كان النص غامضًا للغاية، وأخرى تجبرها على التخمين على أي حال. وعندما سُمح لها بالامتناع، كانت النماذج صادقة بشكل مثير للدهشة؛ فقد رفضت التخمين في حوالي 84 بالمائة من التغريدات الفردية، مدركة أن الرسالة القصيرة الواحدة غالبًا ما تفتقر إلى أدلة كافية لاتخاذ قرار موثوق. وعندما أجبر الباحث النماذج على التخمين في هذه التغريدات الفردية الصعبة على أي حال، انهارت دقتها لتصل إلى مستويات تقارب العشوائية، وبالكاد كانت أفضل من رمي قطعة نقد. أظهر هذا أن النماذج لم تكن مفرطة في الحذر؛ بل كانت تحدد بشكل صحيح متى تكون المعلومات غير كافية.
ولعل الاكتشاف الأكثر كشفًا يتعلق بالتحيز. فعندما طُلب من النماذج التخمين باستخدام تعليمات باللغة الإنجليزية، مالت باستمرار نحو تخمين "أنثى"، حتى عندما كان المؤلف ذكرًا. حدث هذا عبر الأنظمة الثلاثة، مما يشير إلى ميل عميق لربط أساليب كتابة معينة بالنساء. ومع ذلك، وجد الباحث طريقة لتحييد هذا الأمر؛ فعندما أجبرت النماذج على اتخاذ خيار ثنائي دون السماح لها بالتعبير عن عدم اليقين، اختفى التحيز إلى حد كبير في نموذجين. يشير هذا إلى أن التحيز لم يكن قاعدة ثابتة في عقل الكمبيوتر، بل كان نتيجة لكيفية وزن النموذج لثقته. فعندما شعر بعدم اليقين، لجأ إلى الصورة النمطية؛ وعندما أُجبر على الالتزام، أصبح أكثر توازنًا.
كما كشفت الدراسة عن تحدٍ فريد خاص باللغة العربية. وجد الباحث أن النماذج غالبًا ما ترتبك بسبب القواعد نفسها. ففي العربية، قد يستخدم الرجل الذي يكتب إلى امرأة صيغ أفعال مؤنثة لمخاطبتها. وقد فسرت الحواسيب هذه العلامات النحوية خطأً على أنها دليل على أن المؤلف امرأة، بدلاً من إدراك أن المؤلف ببساطة يتحدث إلى صديقة أنثى. هذا النوع من الخطأ لا يحدث في الإنجليزية، مما يسلط الضوء على نقطة عمياء محددة في كيفية فهم هذه الأنظمة لقواعد اللغة العربية.
أخيرًا، اختبر الفريق ما إذا كانت لغة السؤال تهم. فقد طلبوا من النموذج المخصص للغة العربية تنفيذ المهمة باستخدام تعليمات مكتوبة بالعربية بدلاً من الإنجليزية. وبينما أدى ذلك إلى تحسين طفيف في دقة التخمينات التي قدمها النموذج، إلا أنه جاء بتكلفة باهظة: فقد رفض النموذج التخمين في عدد أكبر بكثير من التغريدات، وعندما خمن، عكس تحيزه. فبدلاً من الميل نحو "أنثى"، بدأ يميل بشدة نحو "ذكر". يشير هذا الانعكاس إلى أن فهم النموذج الداخلي للجنس مرتبط بعمق بلغة الأمر (البرومبت)، وأن التعليمات بالإنجليزية أو العربية ليست خالية من التحيز.
خلص الباحث إلى أنه بينما تعد هذه النماذج اللغوية الكبيرة أدوات قوية، إلا أنها ليست جاهزة بعد لاستبدال الحكم البشري أو الطرق القديمة لتحليل النصوص العربية دون إشراف دقيق. لقد وجدوا أن النماذج جيدة في معرفة متى لا تعرف، لكنها تعاني مع قواعد اللغة العربية المعقدة وتحمل تحيزات كبيرة تتغير بناءً على كيفية سؤالها. وتعد هذه الدراسة تذكيرًا بأنه بينما نقوم بنشر هذه الأنظمة المتقدمة، يجب علينا فهم قيودها المحددة والطرق الفريدة التي تفسر بها لغات العالم الغنية والمعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.