SLAyiNG: A Diverse and Community-validated Dataset of Queer Slang
تقدم هذه الورقة "SLAyiNG"، وهي أول مجموعة بيانات تم التحقق منها مجتمعياً وتضم أكثر من 500 مصطلح من العامية المثلية باللغة الإنجليزية عبر 20 مجتمعاً فرعياً، والتي تكشف أنه في حين تفتقر العديد من النماذج اللغوية إلى انحياز التمثيل ضد الهويات المثلية، إلا أنها لا تزال تواجه صعوبة في معالجة العامية المثلية — لا سيما العامية المنتمية للمجتمعات الأفريقية الأمريكية واللاتينية — مما يسلط الض الضوء على الحاجة إلى موارد لغوية متنوعة لتحسين أنظمة معالجة اللغات الطبيعية.
تخيل عالماً تكون فيه الحواسيب مثل قراء نهمين وعمالقة ابتلعوا كل كتاب، وموقع إلكتروني، ومحادثة كُتبت على الإطلاق. هذه الآلات، المعروفة باسم النماذج اللغوية الكبيرة (LLMs)، هي العقول الكامنة وراء العديد من روبوتات الدردشة وأدوات الذكاء الاصطائي التي نستخدمها اليوم. إنها تتعلم من خلال رصد الأنماط في الكلمات، محاولةً تخمين ما سيأتي بعد ذلك في الجملة. لكن تكمن المشكلة هنا: إذا لم يسمع الكمبيوتر طريقة معينة في التحدث من قبل، فإنه يصاب بالارتباك. قد يعتقد أن دعابة ودودة هي إهانة، أو قد يفشل تماماً في فهم إشارة ثقافية ما. هذه مشكلة كبيرة بالنسبة لـ "اللهجات الاجتماعية" (sociolects)—وهي لغات متخصصة تستخدمها مجموعات معينة من الناس، مثل المراهقين، أو هواة الألعاب، أو مجتمع الميم (LGBTQ+). عندما لا يفهم الذكاء الاصطناعي هذه المجموعات، يمكنه أن يكون فظاً عن غير قصد، أو يخطئ في تحديد هوية الأشخاص، أو ببساطة يفشل في الدردشة بشكل صحيح. السؤال الذي يطرحه الباحثون هو: كيف نعلم هذه العقول الرقمية فهم اللغة العامية الغنية والملونة والمتطورة لمجتمعات الميم دون الوقوع في الخطأ؟
هنا يأتي دور مشروع جديد يسمى SLAYING. فكر فيه كقاموس ضخم ومعتمد من المجتمع، وكتاب قصص مخصص للغة عامية مجتمع الميم. أدرك الباحثون أنه بينما يتحسن الذكاء الاصطناعي في فهم أنواع كثيرة من اللغة، إلا أنه غالباً ما يتعثر أمام المصطلحات العامية لمجتمع الميم. أحياناً، يرتبك الذكاء الاصطناعي لدرجة أنه يخطئ في اعتبار عبارة احتفالية غير ضارة كخطاب كراهية، أو يولد استجابة وقحة للمستخدم لمجرد أنه استخدم كلمة معينة. ولإصلاح ذلك، بنى الفريق أول مجموعة بيانات حقيقية تضم أكثر من 500 مصطلح من عامية مجتمع الميم، كاملة مع 3,405 مثالاً لكيفية استخدام هذه الكلمات فعلياً في الجمل. لم يكتفوا باستخراج هذه الكلمات من الكتب المدرسية؛ بل جمعوها من الأفلام، والبودكاست، ووسائل التواصل الاجتماعي، ثم جعلوا أعضاءً حقيقيين من مجتمع الميم يراجعون كل مثال للتأكد من استخدامه بشكل صحيح وعدم كونه ضاراً.
استخدم الفريق مجموعة البيانات الجديدة هذه لاختبار بعض نماذج الذكاء الاصطناعي الشهيرة، ووجدوا شيئاً مفاجئاً. اكتشفوا أن الكمبيوتر يمكن أن يكون "لطيفاً" مع أفراد مجتمع الميم (بمعنى أنه لا يحمل صوراً نمطية أو يكرههم) ولكنه يظل "جاهلاً" بلغتهم. الأمر يشبه امتلاك صديق يحبك ولكنه لا يفهم نكاتك الداخلية المفضلة؛ هو ليس سيئاً، هو فقط لا يفهم الإشارة. أظهرت الدراسة أنه عندما علموا نموذج ذكاء اصطناعي باستخدام مجموعة البيانات الجديدة هذه من العامية غير الضارة والمعتمدة من المجتمع، أصبح النموذج في الواقع أفضل في فهم أفراد مجتمع الميم بشكل عام، وليس فقط الكلمات.
ومع ذلك، وجد الباحثون أن الذكاء الاصطناعي لا يعامل الجميع بالتساوي. فقد عانت النماذج أكثر مع العامية الخاصة بمجموعات معينة، لا سيما تلك القادمة من مجتمعات الميم الأفريقية واللاتينية، وكذلك المصطلحات المتعلقة بـ "الدراغ" (drag) والهويات غير الثنائية. يبدو الأمر كما لو أن لدى الذكاء الاصطناعي نقطة عمياء تجاه المجتمعات ذاتها التي ابتكرت معظم العامية التي يحاول تعلمها. علاوة على ذلك، أظهرت الدراسة أن الأنظمة الآلية المصممة لرصد اللغة "السامة" غالباً ما تصنف هذه المصطلحات الخاصة بمجتمع الميم ككلمات خطيرة، حتى عندما تُستخدم بطريقة إيجابية أو مستعادة. وهذا يشير إلى أن الأدوات ذاتها التي تهدف للحفاظ على سلامة الإنترنت قد تقوم عن غير قصد بفرض الرقابة على أصوات مجتمع الميم. تقترح الورقة البحثية أنه من خلال تغذية هذه النماذج بمزيد من الأمثلة المتنوعة والواقعية للغة مجتمع الميم، يمكننا مساعدة هذه النماذج على فهم المجتمع بشكل أفضل، مما يقلل من ارتباكها ومن ميلها لتصنيف الكلام البريء كضار بشكل خاطئ.
ملخص تقني: SLAyiNG – مجموعة بيانات متنوعة ومحققة مجتمعياً للغة الكوير (Queer Slang)
بيان المشكلة
على الرغم من التقدم في معالجة اللغات الطبيعية (NLP) للكنات الاجتماعية واللغات غير الرسمية الأخرى، لا تزال اللغة الكويرية (Queer Vernacular) ممثلة تمثيلاً ناقصاً بشكل كبير في معايير التقييم والموارد. تعالج أنظمة معالجة اللغات الطبيعية الحالية اللغة الكويرية بشكل خاطئ في كثير من الأحيان، مما يؤدي إلى تصنيفها خطأً كخطاب كراهية، أو توليد استجابات سلبية، أو الخطأ في تحديد النوع الاجتماعي (Misgendering)، أو تكريس الصور النمطية. إن الأدبيات الحالية حول اللغة الكويرية في معالجة اللغات الطبيعية محدودة، وغالباً ما تركز على سمات مفردة (مثل الشتائم المستردة) أو تستخدم قوائم مصطلحات صغيرة واصطناعية. هناك نقص حاد في الموارد المتنوعة، وغير الاصطناعية، والمحققة مجتمعياً واللازمة لتقييم وتخفيف التحيزات اللغوية المناهضة للكوير في أنظمة الذكاء الاصطناعي.
المنهجية
يقدم المؤلفون SLAyiNG، وهي أول مجموعة بيانات واقعية للغة الكوير الإنجليزية، والتي تم بناؤها من خلال عملية تنسيق وتوسيم صارمة متعددة المراحل.
جمع البيانات ومصادرها
مصادر المصطلحات: قام المؤلفون بتجميع المصطلحات العامية من أربعة مصادر رئيسية: أنطولوجيا النوع والجنس والتوجه الجنسي (GSSO)، وlgbtDB، وكتيب المصطلحات الشامل (Chew Inclusive Terminology Glossary)، وWiktionary. أسفر ذلك عن حوض أولي يضم 695 مصطلحاً فريداً و90 متغيراً.
الحصول على البيانات الخام: لالتقاط الاستخدام الواقعي، قام الفريق بكشط 197,958 مثالاً على مستوى الجملة من ثلاثة مصادر: OpenSubtitles (ترجمات الأفلام والمسلسلات)، وReddit (منشورات المنتديات)، وPodscripts (نصوص البودكاست).
التصفية المسبقة: نظراً لغموض العديد من المصطلحات العامية (مثل "mother" أو "read" التي لها معانٍ غير كويرية)، استخدم المؤلفون نموذج GPT-5 Mini كنموذج تصفية مسبقة لفك الالتباس الدلالي. وقد تم التحقق من صحة هذا النموذج مقابل مجموعة ذهبية (Gold Standard) قام بتوسيمها ثلاثة مؤلفين، محققاً درجة F1 ميكرو قدرها 0.78.
مسار التوسيم (Annotation Pipeline)
خضعت مجموعة البيانات لعملية توسيم مكونة من ثلاث مهام شملت المؤلفين الداخليين ومجموعة تطوعية من 33 متطوعاً متنوعاً:
فك الالتباس الدلالي: تحديد ما إذا كان تعريف معين ينطبق على استخدام المصطلح في جملة معينة.
كشف الخطاب الضار: تحديد ما إذا كانت الجملة ضارة، مع التمييز بين الاستخدام المهين والاستخدام المسترد/الخاص بالمجموعة (Reclaimed/Ingroup usage).
تحديد هوية المؤلف: تحديد ما إذا كان مؤلف الجملة ينتمي إلى "المجموعة الداخلية" (التي تشير إليها المصطلحات) أو "المجموعة الخارجية" (Outgroup)، حيث يؤثر ذلك بقوة على التصور السائد للضرر الناتج عن الشتائم.
التوسيم عبر الحشد (Crowdsourced): تم توسيم 12% من مجموعة البيانات بواسطة متطوعين من المجتمع للتحقق من الصحة والسلامة.
إصدارات مجموعة البيانات: يحتوي الإصدار العام النهائي على 3,405 مدخلات مصنفة كغير ضارة. أما النسخة الخاصة التي تحتوي على 121 مدخلاً إضافياً (مصنفة كـ "ضارة بشكل غير مؤكد" ولكنها مؤكدة ككلام يخص المجموعة الداخلية) فهي متاحة عند الطلب لمنع سوء الاستخدام مع الحفاظ على الفروق اللغوية الدقيقة.
المساهمات الرئيسية
مجموعة بيانات SLAyiNG: مجموعة بيانات موسومة يدوياً وغير اصطناعية تحتوي على أكثر من 500 مصطلح كويري مستخدم في 3,405 سياق جملة، وتمثل أكثر من 20 مجتمعاً فرعياً كويرياً (بما في ذلك مجتمعات الدرج (Drag)، وغير الثنائيين، والأمريكيين من أصل أفريقي، واللاتينيين).
فك الارتباط بين التمثيل والتحيز اللغوي: يوضح المؤلفون أن النموذج اللغوي يمكن أن يكون غير متحيز فيما يتعلق بـ التمثيل (الصور النمطية للهويات) بينما لا يزال يعاني من تحيز لغوي (ضعف الأداء في لغة المجتمع). وقد أظهروا وجود ارتباط سلبي بين أداء النموذج على اللغة الكويرية (مقاساً بـ Bits Per Byte) ودرجة تحيزه في اختبار WINOQUEER.
تحليل التحيز التقاطعي: تظهر الدراسة أن نماذج معالجة اللغات الطبيعية تؤدي بشكل أسوأ بكثير في المصطلحات المتعلقة بمجتمعات فرعية محددة، لا سيما مجتمعات غير الثنائيين والدرج. علاوة على ذلك، تظهر النماذج معدلات خطأ أعلى وتصنيفات إيجابية خاطئة للسمات السامة فيما يتعلق بالمصطلحات المرتبطة بالمجتمعات الأفريقية الأمريكية واللاتينية مقارنة بالمصطلحات غير المرتبطة بعرق محدد.
النتائج التجريبية
استخدم المؤلفون SLAyiNG لإجراء دراستين حالة باستخدام مجموعة نماذج DATADECIDE 1B ووصفات بيانات مختلفة:
التحيز اللغوي مقابل التحيز التمثيلي: كشف تحليل 25 وصفة بيانات مختلفة عن وجود ارتباط سلبي (r=−0.34, p=0.09) بين ملاءمة النموذج للغة الكويرية (BPB أقل) ودرجة تحيزه المناهض للكوير (الأقل هو الأفضل). ورغم أن هذا الارتباط لم يكن ذا دلالة إحصائية عند مستوى 0.05، إلا أن المؤلفين يفترضون أنه قد يشير إلى أن المجموعات النصية (Corpora) التي تحتوي على محتوى كويري يمكن أن تعزز دون قصد الصور النمطية المناهضة للكوير (سواء من خلال المحتوى الضار أو تأليف المجموعات الخارجية)، مما يشير إلى أن التمثيل والتحيز اللغوي قد يكونان منفصلين جزئياً.
التخفيف عبر التدريب المسبق المستمر: قام المؤلفون بضبط نموذج OLMo-1B بدقة باستخدام SLAyiNG. أدى ذلك إلى تقليل درجة تحيز WinoQueer عبر جميع مجموعات المجتمع وانخفاض في BPB (تحسن في ملاءمة اللغة)، مما يشير إلى أن تعريض النماذج اللغية لأمثلة غير ضارة من لغة المجموعات الداخلية (Ingroup) لديه القدرة على التخفيف من كل من التحيزات التمثيلية واللغوية.
تفاوت أداء المجتمعات الفرعية: كان الأداء (BPB) أسوأ باستمرار للنصوص التي تحتوي على مصطلحات الدرج (Drag) وغير الثنائيين. وبالمثل، سجلت المصطلحات المرتبطة بالمجتمعات السوداء والأفريقية الأمريكية واللاتينية قيم BPB أعلى (أداء أسوأ) من المصطلحات التي لا تحدد عرقاً.
أخطاء تصنيف السمية: صنفت مصنفات خطاب الكراهية (DOLMA و HateBERT من TOXIGEN) جزءاً كبيراً من أمثلة SLAyiNG بشكل خاطئ كأمثلة سامة (7.81% و 31.16% على التوالي). وكان معدل الإيجابيات الكاذبة هذا مرتفعاً بشكل خاص في مصطلحات "الدرج" والكلمات ذات الامتدادات الدلالية (مثل "cunty")، والتي غالباً ما تفسرها المصنفات من خلال تعريفاتها السائدة والعدائية ضد النساء بدلاً من معانيها الكويرية المستردة.
الأهمية والادعاءات
تجادل الورقة بأن SLAyiNG توفر أساساً ضرورياً لتحسين عدالة وفائدة أنظمة معالجة اللغات الطبيعية لأصحاب المصلحة الكويريين. ويدعي المؤلفون ما يلي:
الصلاحية البيئية (Ecological Validity): على عكس المجموعات الاصطناعية، تقدم SLAyiNG بيئة اختبار واقعية لتحليل كيفية تأثير التحيزات اللغوية على المستخدمين الكويريين، متجاوزة تحليل الميزة الواحدة إلى التقييم التقاطعي.
دقة التحيز: تتحدى النتائج الافتراض القائل بأن النماذج غير المتحيزة قادرة بطبيعتها على معالجة اللغات المتنوعة؛ فالتحيز التمثيلي والتحيز اللغوي ظاهرتان مختلفتان تتطلبان استراتيجيات تخفيف مختلفة.
التطوير المتمحور حول المجتمع: من خلال إشراك المجتمع الكويري في عملية التوسيم والتحقق، تضمن مجموعة البيانات أن تعريفات الضرر والهوية ترتكز على التجارب المعاشة لأصحاب المصلحة، بدلاً من الافتراضات الخارجية.
يخلص المؤلفون إلى أنه بينما تعد SLAyiNG خطوة مهمة للأمام، فإنها تعمل كلقطة للموارد المتاحة حالياً. ويؤكدون على الحاجة إلى مراجعات وتوسعات مستمرة لمواكبة الطبيعة المتطورة للغة الكويرية ومعالجة قيود النماذج الصغيرة الحالية في التعميم على أنظمة الذكاء الاصطناğu الأكبر.