Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
تقدم هذه الورقة Slang-Q، وهي مجموعة بيانات وتصنيف تم تنسيقهما يدويًا لـ 118 مصطلحًا من المصطلحات العامية لمجتمع الكوير (queer)، لتقييم قدرة النماذج اللغوية على فهم وتعريف هذه اللغة الخاصة بهذا المجتمع غير الممثل كفاية بدقة.
تخيل الإنترنت كمدينة ضخمة وصاخبة، حيث لكل حي فيها مصافحة سرية خاصة، ونكات داخلية، ومفردات مميزة. في عالم العلوم، هناك مجال يسمى معالجة اللغات الطبيعية (NLP) يقوم ببناء أدمغة رقمية — تُعرف بالنماذج اللغوية الكبيرة (LLMs) — لتقرأ وتفهم هذه المدينة. فكر في هذه النماذج كأنها سياح أذكياء للغاية قرأوا كل كتاب وموقع إلكتروني كُتب على الإطلاق، لكنهم يواجهون أحيانًا صعوبة في فهم العامية المحلية لأحياء معينة. أحد هذه الأحياء هو مجتمع (LGBTQIA+)، الذي يمتلك لغة غنية ومبدعة ومتغيرة بسرعة، مليئة بكلمات قد تعني أشياء مختلفة تمامًا اعتمادًا على من يقولها وأين تُقال. إذا أخطأت هذه السياحة الرقمية في فهم العامية، فقد تفهم التحية الودية على أنها إهانة، أو تفوت جوهر نكتة ما تمامًا. وهذا الأمر مهم لأن هذه النماذج تُستخدم بشكل متزايد لمساعدة الناس في العثور على المعلومات، والدردشة مع الأصدقاء، والتنقل عبر الويب؛ وإذا لم تفهم لغة المجتمعات المهمشة، فلن تتمكن من خدمة الجميع بإنصاف.
هنا، قرر فريق من الباحثين اختبار مدى معرفة هؤلاء السياح الرقميين بـ "حي العامية الكويرية" (Queer Slang). لقد بنوا أرضية تقييم خاصة تسمى "Slang-Q"، وهي تشبه قاموسًا ضخمًا ومنظمًا بعناية يحتوي على 118 مصطلحًا كويريًا محددًا مقترنة بـ 1,024 جملة من الحياة الواقعية استخدم فيها الناس هذه المصطلحات بالفعل. والأهم من ذلك، أن هذه القائمة من الكلمات تم إنشاؤها بشكل مستقل عن الجمل، مما يضمن أن النماذج لم تكتفِ بمجرد حفظ الإجابات. لم يكتفوا بسؤال النماذج لتخمين المعنى فحسب؛ بل وضعوا سلسلة من التحديات لمعرفة ما إذا كانت النماذج تستطيع تعريف هذه الكلمات بشكل صحيح. اختبر الباحثون أربع طرق مختلفة لسؤال النماذج: أحيانًا كانوا يعطون الكلمة فقط (مثل السؤال: "ما هي الـ 'tea'؟")، وأحيانًا كانوا يعطون الكلمة بالإضافة إلى جملة توضح كيفية استخدامها (مثل: "أنا أسكب الـ 'tea' حول الحفلة"). كما جربوا نوعين من "الأقنعة" (Masks) للنماذج: أحدهما حيث يعمل النموذج كخبير لغوي عام، والآخر حيث يُطلب من النموذج أن يتصرف كخبير متخصص في العامية الكويرية على الإنترنت.
كانت النتائج تشبه مشاهدة طالب يؤدي اختبارًا دون أن يذاكر الكتاب المدرسي الصحيح. فعندما طُلب من النماذج تعريف مصطلحات العامية دون أي سياق أو تعليمات خاصة، كانت تتعثر غالبًا. كانت تميل إلى اختيار المعنى الأكثر شيوعًا وعاديًا للكلمة بدلاً من المعنى الكويري المحدد. على سبيل المثال، إذا سألت عن كلمة "bear" (دب)، فقد يعتقد النموذج أنها حيوان فروي بدلاً من كونها نوعًا معينًا من الأشخاص في المجتمع المثلي. ومع ذلك، تغيرت القصة عندما قدم الباحثون للنماذج القليل من المساعدة. فعندما قدموا جملة توضح كيفية استخدام الكلمة، أو عندما أخبروا النموذج: "مهلًا، أنت خبير في العامية الكويرية"، أصبحت النماذج أفضل بكثير في تخمين المعنى الصحيح. الأمر كما لو كانت النماذج مثل شخص يعرف التعريف القاموسي للكلمة، لكنه يحتاج إلى دليل سياقي ليتذكر كيف يستخدمها أصدقاؤه فعليًا في حفلة ما.
وجد الباحثون أنه بينما تصبح النماذج أكثر ذكاءً، إلا أنها لا تزال غير مثالية. فحتى مع وجود أفضل التلميحات، لم تصل النماذج تمامًا إلى مستوى الخبير البشري الذي نشأ في هذا المجتمع. كانت النماذج غالبًا ما تغفل الفروق الثقافية الدقيقة، مثل ما إذا كانت الكلمة في الأصل إهانة ثم استعادها المجتمع لتصبح ذات معنى إيجابي، أو إذا كان لها ارتباط محدد بمجموعات ثقافية معينة. ومن المثير للاهتمام أن الدراسة تحققت أيضًا مما إذا كانت النماذج قد حفظت الإجابات من بيانات تدريبها. ووجدوا أن بعض النماذج، وخاصة التجارية منها، يبدو أنها "رأت" هذه الجمل المحددة من قبل، بينما لم تفعل النماذج مفتوحة المصدر ذلك. ولكن حتى تلك التي لم تحفظ الإجابات، استطاعت فهمها إذا أُعطيت السياق المناسب.
في النهاية، تشير هذه الورقة البحثية إلى أنه بينما تكون هذه الأدمغة الرقمية قوية، إلا أنها لا تزال بحاجة إلى القليل من التوجيه لتفهم حقًا اللغة النابضة بالحياة والمتغيرة للمجتمع الكويري. لا يمكنها الاعتماد فقط على قاموس عام؛ بل يجب إخبارها: "هذا حي خاص، وهذه هي الطريقة التي يتحدث بها السكان المحليون". لا تدعي الدراسة أنها حلت المشكلة للأبد، لكنها تظهر أن منح النماذج السياق والإطار الصحيحين يحدث فرقًا هائلًا. إنها تذكير بأنه لبناء ذكاء اصطناعي مفيد حقًا، نحتاج ليس فقط لتعليمه الكلمات، بل الثقافة والقصص التي تقف وراءها.
ملخص تقني: هل تعرف النماذج اللغوية المصطلحات العامية؟ فهم المصطلحات العامية الكويرية في المحتوى الذي ينشئه المستخدمون
بيان المشكلة
على الرغم من الأهمية الثقافية والتطور السريع للمصطلحات العامية الكويرية (Queer Slang)، إلا أنها لا تزال ممثلة تمثيلاً ناقصاً في أبحاث معالجة اللغات الطبيعية (NLP). تواجه النماذج اللغوية الكبيرة (LLMs) الحالية تحدياً مزدوجاً في التعامل مع هذا المجال: فاللغة تتطور بسرعة، مما يجعل من الصعب على النماذج تتبع التغيرات اللغوية، كما أنها مرتبطة بعمق بالهوية الاجتماعية، حيث تعمل غالباً كعلامة على الانتماء للمجموعة. لقد تعاملت أعمال معالجة اللغات الطبيعية الحالية مع اللغة الكويرية بشكل أساسي من منظور اكتشاف التحيز والضرر (مثل تصنيف المصطلحات المستردة كخطاب كراهية) أو التعامل مع العامية العامة، بدلاً من تقييم قدرة النماذج الفعلية على فهم وتحديد التعبيرات الخاصة بالمجتمع. علاوة على الحقيقة، فإن العديد من المصطلحات الكويرية متعددة المعاني (مثل "bear"، "tea"، "drag")، حيث تحمل معانٍ يومية ومعانٍ كويرية محددة في آن واحد، مما يعقد التفسير الدقيق في المحتوى الذي ينشئه المستخدمون (UGC).
المنهجية
إنشاء مجموعة البيانات: Slang-Q
لمعالجة نقص الموارد، قدم المؤلفون Slang-Q، وهي مجموعة بيانات منسقة يدوياً تتكون من 1,024 جملة باللغة الإنجليزية تحتوي على مصطلحات متعلقة بالكوير. تضمنت عملية البناء ما يلي:
تطوير التصنيف (Taxonomy): تم تجميع قائمة تضم 118 مصطلحاً فريداً متعلقاً بالكوير من مصادر متنوعة، بما في ذلك الأوراق الأكاديمية (Tint [13], Ramesh et al. [23])، والأرشيفات عبر الإنترنت (Wikipedia, Wiktionary)، ومعاجم المجتمعات (Lexicon Library.LGBT). تم تنظيم المصطلحات في تصنيف يتضمن فئات واسعة (الهوية، العامية، التقاطعية) وفئات فرعية (المصطلحات المستردة، الاختصارات، التعبيرات الاصطلاحية، الضمائر، الاختلافات في التهجئة).
الاستخراج والتصفية: تم استخراج الجمل المرشحة تلقائياً من Urban Dictionary (185,795 مدخلاً) باستخدام مطابقة النصوص مقابل مخزون المصطلحات.
الترميز اليدوي: تم تطبيق عملية تصفية يدوية على مستويين لـ 3,184 مرشحاً أولياً. قام المرمّزون بتقييم (i) الصلة الدلالية (لضمان استخدام المصطلح بمعناه العامي الكويري بدلاً من كونه كلمة مشتركة المعنى) و(ii) الضرر (لاستبعاد المحتوى الفاحش أو العدائي). نتج عن ذلك 1,024 مدخلاً صالحاً، كل منها مقترن بتعريف مرجعي ذهبي.
الإعداد التجريبي
قيمت الدراسة القدرة على تعريف المصطلحات العامية الكويرية لأربعة من النماذج اللغوية الكبيرة المتطورة (Claude Sonnet 4.6, Qwen3 32B, LLaMA 4 Scout, LLaMA 3.3 70B). تم تأطير التقييم كمهمة توليد تعريف تحت أربعة ظروف مختلفة من التلقين (Prompting):
الأساس للمصطلح (Term Baseline): يتلقى النموذج المصطلح فقط، حيث يعمل كخبير لغوي عام.
عامية المصطلح (Term Slang): يتلقى النموذج المصطلح فقط، ولكن يتم توجيهه كـ "خبير في العامية الكويرية عبر الإنترنت".
سياق الأساس (Context Baseline): يتلقى النموذج المصطلح وجملة مثال، حيث يعمل كخبير عام.
سياق العامية (Context Slang): يتلقى النموذج المصطلح وجملة مثال، ويتم توجيهه كخبير في العامية الكويرية.
مقاييس التقييم
تم تقييم مخرجات النماذج مقابل التعريفات المرجعية الذهبية باستخدام مقياسين:
ROUGE-L: لقياس التداخل اللفظي والهيكلي.
BERTScore: لقياس التشابه الدلالي عبر التضمينات السياقية. تم استخدام نهج متعدد المراجع، حيث تمت مقارنة المخرجات مع التعريف البشري الأصلي وبديلين تم إنتاجهما بواسطة GPT-5.5 بأطوال متفاوتة لضمان المتانة. كما تم استخدام اختبار تلوث البيانات (DCQ) للتحقق من أن النماذج لم تكن تقوم ببساما حفظ حالات مجموعة البيانات.
النتائج الرئيسية
نظرة عامة على الأداء
الأساس البشري: حققت التعريفات المولدة بشرياً درجة ROUGE-L بلغت 0.48 ودرجة BERTScore بلغت 0.91.
أداء النماذج: سجلت جميع النماذج التي تم تقييمها درجات أقل من الحد الأعلى البشري. ومع ذلك، كانت نتائج BERTScore مرتفعة ومتسقة نسبياً عبر النماذج (تتراوح بين 0.85–0.86)، مما يشير إلى أن النماذج تنتج غالباً مخرجات دقيقة دلالياً. كانت درجات ROUGE-L أقل (0.14–0.18)، مما يعكس حساسية هذا المقياس للتباين اللفظي.
الاختلاف بين النماذج: لم يتفوق أي نموذج بشكل كبير على النماذج الأخرى عبر جميع الظروف، مما يشير إلى معرفة متشابهة بشكل عام بالعامية الكويرية في المحتوى الذي ينشئه المستخدمون رغم تباين التعرض لبيانات التدريب (على سبيل المثال، أظهر Claude قدرة أعلى على الحفظ الحرفي للبيانات المصدرية مقارنة بالنماذج ذات الأوزان المفتوحة).
تأثير ظروف التلقين
السياق والتأطير: حقق شرط "الأساس للمصطلح" (المصطلح فقط، مع إطار عام) أدنى الدرجات عبر جميع النماذج. تحسن الأداء بشكل ملحوظ عند توفير إما تأطير مستند إلى العامية (تحديد المجال صراحةً) أو سياق جملة (جمل أمثلة).
تعدد المعاني: تشير النتائج إلى أنه بدون إشارات لفك الالتباس، تعود النماذج إلى المعاني اللغوية العامة السائدة للمصطلحات متعددة المعاني. يساعد السياق والتأطير الخاص بالمجال النماذج على التقارب نحو المعنى الكويري المقصود.
النتائج الخاصة بالفئات
المصطلحات التقاطعية: سجلت المصطلحات التي تتقاطع مع مجتمعات أخرى (مثل AAVE، وFandom) أدنى الدرجات باستمرار، ويرجع ذلك على الأرجح إلى غموضها المتأصل واستخداماتها الدقيقة.
مصطلحات العامية والهوية: سجلت هذه الفئات درجات أعلى ولكنها أظهرت تبايناً أكبر. استفادت مصطلحات العامية بشكل أكبر من كل من التأطير المجالي والتدعيم السياقي.
تحليل الخطأ اليدوي
كشف تحليل نوعي لـ 200 مخرج ما يلي:
الاعتماد على السياق: بدون سياق، غالباً ما تعود النماذج إلى المعاني العامة أو تهلوس بتعريفات للمصطلحات الجديدة. مكن السياق النماذج من الاستنتاج الصحيح حتى بالنسبة للمصطلحات الغامضة (مثل "lesbotorium").
الفروق النوعية: بينما استطاعت النماذج غالباً تحديد المعنى الجوهري، إلا أنها كثيراً ما أغفلت الفروق الدقيقة الاجتماعية والثقافية (مثل الحالة المستردة، أو الارتباطات المجتمعية المحددة) أو بالغت في شرح السياق بدلاً من تقديم تعريفات موجزة.
محددات التقييم: عاقبت المقاييس التلقائية أحياناً التعريفات الصحيحة التي تضمنت معانٍ بديلة أو تفسيرات صالحة، مما يسلط الضوء على الحاجة إلى التقييم اليدوي للتمييز بين الفشل الحقيقي والتعامل الصحيح مع تعدد المعاني.
الأهمية والمساهمات
يدعي البحث المساهمات التالية:
إنشاء مورد: تقديم Slang-Q، وهي أول مجموعة بيانات منسقة يدوياً مصممة خصيصاً لتقييم فهم النماذج اللغوية الكبيرة للعامية الكويرية في المحتوى الذي ينشئه المستخدمون، مقترنة بتصنيف مهيكل لـ 118 مصطلحاً.
تغيير التركيز: الانتقال من مجرد اكتشاف التحيز إلى تقييم النماذج كمصادر للمعرفة، وتحديداً اختبار قدرتها على تعريف وفهم اللغة الخاصة بالمجتمع بدقة.
الأدلة التجريبية: إثبات أنه بينما تمتلك النماذج اللغوية الكبيرة الحالية معرفة أساسية بالعامية الكويرية، فإن أداءها يعتمد بشدة على استراتيجيات التلقين. يعد التأطير المجالي الصريح والأمثلة السياقية أمراً حاسماً لفك التباس المصطلحات متعددة المعاني والوصول إلى المعاني الخاصة بالمجتمع.
القيود والتوجهات المستقبلية: يشير المؤلفون بتواضع إلى أن مجموعة البيانات تقتصر على اللغة الإنجليزية وتمثل لقطة زمنية من عام 2026. ويقترحون أن العمل المستقبلي يجب أن يتوسع ليشمل مهام أخرى (الحوار، الترجمة) ولغات أخرى، مع الإقرار بالطبيعة الديناميكية للمعجم الشعبي.
تخلص الدراسة إلى أنه على الرغم من أن النماذج اللغوية الكبيرة ليست مثالية بعد في فهم العامية الكويرية، إلا أنها قادرة على التفسير الدقيق عندما تدعمها صياغة مجالية وسياق مناسب، مما يوفر مساراً لأنظمة معالجة لغات طبيعية أكثر موثوقية وشمولية في البيئات الموجهة للمستخدمين.