Language Ideologies in a Multilingual Society: An LLM-based Analysis of Luxembourgish News Comments

إليك ملخص تقني مفصل لورقة البحث بعنوان "الأيديولوجيات اللغوية في مجتمع متعدد اللغات: تحليل قائم على النماذج اللغوية الكبيرة (LLM) لتعليقات الأخبار باللغة اللوكسمبورغية."

1. بيان المشكلة

تتناول الورقة التحدي المتمثل في الكشف التلقائي عن الأيديولوجيات اللغوية — وهي المعتقدات المشتركة حول اللغة التي تشكل الهويات الاجتماعية، وديناميكيات القوة، والانتماء — ضمن مجموعات نصية ضخمة. وبشكل محدد، يركز المؤلفون على اللغة اللوكسمبورغية، وهي لغة جرمانية غربية منخفضة الموارد تُتحدث في مجتمع متعدد اللغات بشكل كبير.

• التحدي الجوهري: الأيديولوجيات اللغوية معقدة، وتعتمد على السياق، وغالباً ما تكون دقيقة. والتدوين اليدوي التقليدي يستغ-رق وقتاً طويلاً ويصعب توسيع نطاقه.
• حاجز الموارد المنخفضة: اللغة اللوكسمبورغية ممثلة تمثيلاً ناقصاً في بيانات تدريب النماذج اللغوية الكبيرة (LLMs). ومن غير الواضح ما إذا كانت هذه النماذج قادرة على أداء مهام لغوية اجتماعية دقيقة في مثل هذه اللغات، أو ما إذا كان من الضروري ترجمتها إلى لغات عالية الموارد (الإنجليزية، الفرنسية، الألمانية) لتحسين الأداء.
• أسئلة البحث:
  1. هل يمكن للنماذج اللغوية الكبيرة الحالية أداء تصنيف متعدد الفئات للأيديولوجيا اللغوية؟
  2. هل تؤدي ترجمة البيانات منخفضة الموارد إلى لغات عالية الموارد إلى تحسين دقة التصنيف؟
  3. هل يمكن للنماذج اللغوية الكبيرة أن تساهم في البحوث اللغوية الاجتماعية دون الحاجة إلى تكيف تقني مكثف؟

2. المنهجية

جمع البيانات والتدوين

• المتن (Corpus): 300 تعليق مستخدم من هيئة الإذاعة الوطنية في لوكسمبورغ (RTL.lu)، مقسمة إلى مجموعتين فرعيتين:
  • مجموعة اللغة (150 تعليقاً): تم اختيارها عبر مطابقة الكلمات المفتاحية المتعلقة باستخدام اللغة (مثل "لغتنا"، "اللغة الأم").
  • مجموعة "ليست لغة" (150 تعليقاً): تم اختيارها لتكون غير متعلقة باستخدام اللغة لمنع النماذج من الاعتماد على الإشارات المعجمية السطحية.
• المعالجة المسبقة: تم تقسيم التعليقات إلى جمل باستخدام GPT (للتعامل مع علامات الترقيم ورموز الإيموجي غير المنتظمة في وسائل التواصل الاجتماعي) وتم تصحيحها يدوياً. لم يتم تطبيق أي تطبيع معجمي للحفاظ على الاختلافات الإملائية التي قد تشير إلى الأيديولوجيا.
• تدوين المعيار الذهبي (Gold Standard): قام خبيران لغويان بتدوين 1,524 جملة على مستوى الجملة باستخدام ست فئات:
  1. الهوية: عبارات حول الهوية الوطنية/الشخصية المرتبطة باللغة.
  2. الحيوية: عبارات حول اندثار اللغة، أو تدهورها، أو الحفاظ عليها.
  3. الانتماء: عبارات حول متطلبات الاندماج في المجتمع.
  4. المسؤولية: عبارات تسند اللوم أو الواجب للوضع اللغوي.
  5. الاعتراف: عبارات حول وضع اللغة، والسياسة، والتراتبية.
  6. لا شيء: لا توجد أيديولوجيا حاضرة.
• اتفاق المدوّنين: بلغ معامل كوهين كابا 0.66 (الاتفاق الخام 0.78).

الإعداد التجريبي

• النماذج التي تم تقييمها: مزيج من النماذج الرائدة والنماذج مفتوحة الأوزان، بما في ذلك GPT-4o، وGPT-4o-mini، وo3، وGPT-5، وDeepSeek-V3، وQwen3، وMistral Magistral، وAya Expanse، وLlama 4.
• هندسة الأوامر (Prompt Engineering): تم اختبار أربعة تكوينات للأوامر، تتراوح من قوائم التصنيفات البسيطة إلى الأوامر المعقدة التي تحتوي على:
  • تعريفات تفصيلية للفئات.
  • أمثلة إيجابية وسلبية (التعلم بلقطات قليلة - few-shot).
  • تعليمات لإخراج ملف JSON مع التبريرات.
  • النتيجة: حقق الأمر الرابع (التعريفات + الأمثلة + التعليمات) أفضل أداء.
• النقل عبر اللغات (الترجمة-الاختبار): لمعالجة الطبيعة منخفضة الموارد للغة اللوكسمبورغية، تمت ترجمة مجموعة البيانات آلياً إلى الإنجليزية والفرنسية والألمانية باستخدام ترجمة جوجل.
  • ضبط الجودة: تم إنشاء مجموعتي ترجمة: آلية (خام) ومصححة يدوياً (تم تصحيحها يدوياً فيما يتعلق بالإشارات إلى البلد/اللغة والإملاء).
• مقاييس التقييم: F1 الموزون، F1 الكلي (Macro F1)، ودرجات F1 لكل فئة.

3. النتائج الرئيسية

تأثير هندسة الأوامر

• أدى توفير التعريفات التفصيلية والأمثلة (الأمر 4) إلى تحسين الأداء بشكل كبير مقارنة بالأوامب البسيطة.
• تحسنت درجات F1 من ~0.43 (الأمر 1) إلى ~0.56 (الأمر 4) لنموذج GPT-4o.
• تفوق نموذج GPT-5 باستمرار على جميع النماذج الأخرى عبر جميع اللغات والإعدادات.

نتائج النقل عبر اللغات

• لا يوجد مكسب معنوي من الترجمة: خلافاً للفرضية القائلة بأن ترجمة البيانات إلى لغات عالية الموارد ستعزز الأداء، لم تؤدِ الترجمات إلى تحسينات جوهرية.
  • في بعض الحالات (مثل DeepSeek)، كان أداء النص الأصلي باللغة اللوكسمبورغية أفضل من الترجمات.
  • لم يكن هناك فرق معنوي بين الترجمة الآلية والترجمة المصححة يدوياً.
• التفسير: يقترح المؤلفون أنه بينما تعمم النماذج من التمثيلات متعددة اللغات المشتركة، فإن الفروق الثقافية والاجتماعية الدقيقة والمؤشرات الأيديولوجية المحددة للغة اللوكسمبورغية غالباً ما تُفقد أو تُشوه أثناء الترجمة، مما يبطل فوائد "فهم" النموذج الأفضل للغة المستهدفة.

أداء التصنيف الدقيق

• الثنائي مقابل متعدد الفئات: أدت النماذج اللغوية الكبيرة أداءً جيداً في التمييز بين المحتوى الأيديولوجي والمحتوى غير الأيديولوجي (حققت فئة "لا شيء" درجات F1 تقارب 0.9).
• الارتباك بين الفئات: كان التصنيف الدقيق بين الأيديولوجيات الخمس المحددة أمراً صعباً.
  • الإفراط في التنبؤ: خلطت النماذج بشكل متكرر بين الحيوية والهوية والانتماء.
  • ضعف الكشف: غالباً ما كان يتم الكشف عن المسؤولية والاعتراف بشكل ناقص.
  • ارتباكات محددة:
    • الهوية مقابل الانتماء: واجهت النماذج صعوبة في التمييز بين تقرير المصير الوطني (الهوية) ومتطلبات الاستبعاد الاجتماعي/الاندماج (الانتماء).
    • الحيوية مقابل الاعتراف: غالباً ما تم تصنيف الدعوات للحفاظ على اللغة خطأً كاعتراف بالوضع بدلاً من مخاوف الحيوية.
• تفسيرات النماذج: كشفت المبررات التي أنشأتها النماذج أنها غالباً ما اعتمدت على إشارات سطحية (مثل ضمائر المتكلم "نحن/mir") بدلاً من الفهم الدلالي العميق للموقف الأيديولوجي.

4. المساهمات الرئيسية

1. تقييم النماذج اللغوية الكبيرة في الكشف عن الأيديولوجيا منخفضة الموارد: تقدم الدراسة دليلاً تجريبياً على أنه بينما تعد النماذج اللغوية الكبيرة فعالة في اكتشاف وجود الأيديولوجيا اللغوية في اللغات منخفضة الموارد، إلا أنها تواجه صعوبة في التصنيف الدقيق دون خبرة بشرية.
2. تحليل نموذج الترجمة: تتحدى الورقة افتراض "الترجمة-الاختبار" القياسي في معالجة اللغات الطبيعية منخفضة الموارد للمهام اللغوية الاجتماعية، حيث توضح أن الترجمة يمكن أن تضعف الأداء من خلال تجريد النصوص من العلامات الأيديولوجية المحددة ثقافياً.
3. هندسة الأوامر للغويات الاجتماعية: توضح الورقة أن تقديم تعريفات وأمثلة مفصلة (التعلم بلقطات قليلة) أمر بالغ الأهمية، ولكن حتى مع ذلك، تتطلب النماذج اللغوية الكبيرة توجيهاً خبيراً لحل تداخل الفئات.
4. مجموعة البيانات ومخطط التدوين: يوفر إنشاء متن مدون يدوياً للتعليقات باللغة اللوكسمبورغية مع إطار عمل أيديولوجي محدد بخمس فئات معياراً (Benchmark) لأبحاث اللغويات الاجتماعية الحاسوبية المستقبلية.

5. الأهمية والقيود

• الأهمية: تثبت الأبحاث صلاحية استخدام النماذج اللغوية الكبيرة كأداة للفلترة الأولية لعلماء اللغويات الاجتماعية. يمكنها تحديد النصوص التي تحتوي على أيديولوجيات لغوية بكفاءة (التصنيف الثنائي) لتقليل عبء العمل اليدوي، لكنها لا تستطيع بعد استبدال الخبراء البشريين في التحليل الأيديولوجي الدقيق.
• القيود:
  • ندرة البيانات: حالت مجموعة البيانات الصغيرة (300 تعليق) دون ضبط النماذج (Fine-tuning)، والاعتماد فقط على التعلم داخل السياق (In-context learning).
  • تداخل الفئات: الفئات الأيديولوجية متداخلة بطبيعتها وغامضة، مما يجعل من الصعب على النماذج الفصل بينها دون تدريب أكثر تطوراً.
  • الحساسية تجاه الأوامر: لاحظت الدراسة أن الأخطاء النحوية الطفيفة في الأمر (مثل أشكال الضمائر غير الصحيحة) يمكن أن تؤدي إلى أخطاء تصنيف منهجية.
• العمل المستقبلي: يقترح المؤلفون الانتقال نحو مناهج الأساليب المختلطة، حيث تتولى النماذج اللغوية الكبيرة التحليل الأولي الضخم بينما يقوم الخبراء البشريون بتنقيح النتائج. كما يقترحون تبسيط مخطط التدوين أو جمع المزيد من البيانات للضبط الدقيق لتحسين الأداء.

في الختام، تجادل الورقة بأن النماذج اللغوية الكبيرة، رغم قوتها في توسيع نطاق أبحاث اللغويات الاجتماعية، إلا أنها تفتقر حالياً إلى الفهم الثقافي والسياقي العميق المطلوب لأتمتة الكشف الكامل عن الأيديولوجيات اللغوية المعقدة في البيئات متعددة اللغات ومنخفضة الموارد.