Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "استكشاف حدود القدرات في نماذج اللغات الكبيرة (LLMs) في إتقان لغة 'تشو شيانغ' (Chouxiang) الصينية".

1. بيان المشكلة

بينما حققت نماذج اللغات الكبيرة (LLMs) نجاحاً كبيراً في مهام معالجة اللغات الطبيعية (NLP) العامة، إلا أن قدرتها على فهم ومعالجة لغة "تشو شيانغ" (وهي لغة فريدة ومتطورة تنتمي لثقافات الإنترنت الفرعية الصينية) لا تزال غير مستكشفة إلى حد كبير.

• السياق: نشأت لغة "تشو شيانغ" حوالي عام 2015 كآلية للتهرب من الرقابة والتعبير عن المشاعر السلبية، لكنها تطورت لتصبح رمزاً ثقافياً محايداً وعالي الرمزية يستخدمه الشباب الصيني.
• الخصائص: تستخدم اللغة تحويلات معقدة تشمل الاستبدال الصوتي (المتجانس صوتياً)، والتماثل الرمزي البصري (باستخدام الإيموجي وجذور الحروف)، والترجمة الدلالية، مما يخلق "فضاءً دلالياً غير قياسي" لا يمكن فهمه إلا ضمن سياقات ثقافية محددة.
• الفجوة: تركز أبحاث معالجة اللغات الطبيعية الحالية على اللغة الصينية عبر الإنترنت بشكل ضيق على اكتشاف اللغة السامة أو المضطربة، متجاهلة الوظائف المحايدة والفكاهية والاجتماعية للغة "تشو شيانغ". علاوة على ذلك، تعاني المعايسات (Benchmarks) الحالية من انحياز متمحور حول الغرب، وتفتقر إلى أطر تقييم للمتغيرات الثقافية الفرعية غير الغربية.

2. المنهجية

أ. معيار "ماوس" (Mouse Benchmark)

قدم المؤلفون Mouse، وهو أول معيار متخصص مصمم لتقييم كفاءة نماذج اللغات الكبيرة في لغة "تشو شيانغ". ويتكون من 1,099 حالة تقييم للغة تشو شيانغ (CXEIs).

• بناء البيانات: نهج هجين يجمع بين الزحف الشبكي من منصات مثل Baidu Tieba وBilibili، مدعوماً ببناء يدوي من قبل متحدثين أصليين ملمين بهذه الثقافة.
• التصنيف (Taxonomy): يقوم المعيار بصياغة لغة "تشو شيانغ" في بُعدين:
  1. المكونات التمثيلية: صوتية (متجانسة)، بصرية، ودلالية.
  2. النوايا: ثماني فئات تشمل التعليقات، التعبير العاطفي، الهوية الجماعية، الفكاهة/الميمز، والسمية.
• ست مهام للتقييم:
  1. الترجمة (TR): فك تشفير نص "تشو شيانغ" إلى اللغة الصينية القياسية.
  2. تصنيف المكونات التمثيلية (RC): تحديد ما إذا كان النص يحتوي على سمات صوتية، بصرية، أو دلالية.
  3. التعرف على النية (IR): تصنيف القصد البراغماتي للنص.
  4. اكتشاف السمية (TD): التمييز بين الخبث الحقيقي وبين السخرية أو جلد الذات البريئة المرتبطة بالثقافة الفرعية.
  5. اختيار المعنى (MS): اختيار المعنى الصحيح من بين عدة مرشحين.
  6. **إكمال الفراغ (CC):est اختبار القدرة على التكيف السياقي عبر ملء الفراغات في سياق حوار.

ب. الإعداد التجريبي

• النماذج التي تم تقييمها: 14 نموذجاً من نماذج اللغات الكبيرة، بما في ذلك النماذج مفتوحة المصدر (سلسلة Qwen3 من 0.6B إلى 32B، وعائلة Mistral) والواجهات البرمجية التجارية (GPT-5.2، DeepSeek-V3.2، Doubao-Seed-1.8، Qwen3-Max).
• مقاييس التقييم:
  • الترجمة: تستخدم منهجية "النموذج اللغوي كحكم" (LLM-as-a-Judge) (DeepSeek-V3.2) مع فلتر مضاد للغش يعتمد على القواعد، حيث يتم التقييم بناءً على التوافق الدلالي مع المراجع البشرية (مقياس من 0 إلى 2).
  • التصنيف/الاختيار: تستخدم الدقة (Accuracy)، الدقة المتوازنة (Balanced Accuracy)، مقياس F1 الكلي (Macro-F1)، ومعامل ماتيوس (MCC) للكشف عن الهلوسة والتعامل مع عدم توازن الفئات.
  • الموثوقية: تم التحقق منها باستخدام معامل كابا الموزون التربيعي (QWK) لضمان التوافق بين الحكم (النموذج اللغوي) والتدوين البشري.

3. المساهمات الرئيسية

1. صياغة الثقافة الفرعية: تقديم لغة "تشو شيانغ" لمجتمع معالجة اللغات الطبيعية، مع تحديد تصنيف مكوناتها التمثيلية ونواياها.
2. معيار "ماوس": إنشاء أول معيار شامل لهذا المجال، يغطي ست مهام متميزة لمعالجة اللغات الطبيعية لتقييم قدرات المعالجة.
3. التحليل الشامل: تقديم نتائج تجريبية واسعة النطاق على نماذج SOTA، وتحليل فجوات الأداء، وتأثير حجم النموذج، والتحديات المحددة التي تفرضها أنواع التمويه المختلفة (الصوتي مقابل البصري).

4. النتائج الرئيسية

• الأداء العام: تظهر نماذج اللغات الكبيرة المتطورة (SOTA) حدوداً واضحة في إتقان لغة "تشو شيانغ". فبينما تؤدي جيداً في المهام التي تتطلب فهماً دلالياً سياقياً (مثل اختيار المعنى)، فإنها تعاني بشكل كبير في فك التشفير بنمط (zero-shot) والتحليل الهيكلي.
• النتائج الخاصة بالمهام:
  • الترجمة وتصنيف المكونات: الأداء منخفض بشكل عام. تواجه النماذج صعوبة في إعادة بناء المعنى الأصلي من التشويهات البصرية والصوتية المعقدة.
  • السمية مقابل الهيكل: تكتشف النماذج السمية بسهولة أكبر (بدقة أعلى بنسبة 15% تقريباً) من تحديد المكونات التمثيلية. يشير هذا إلى وجود انحياز بحثي تاريخي نحو اكتشاف اللغة السامة، مما جعل النماذج حساسة تجاه "الكلمات السيئة" ولكنها عمياء عن المنطق اللغوي للثقافة الفرعية.
  • مفارقة حجم النموذج: يؤدي التوسع في الحجم عادةً إلى تحسين الأداء، لكن نموذج Qwen3-32B أظهر انخفاضاً غير متوقع مقارنة بـ Qwen3-14B في عدة مهام. يعزو المؤلفون ذلك إلى تأثير "الإفراط في التفكير" (overthinking) حيث تنخرط النماذ الأكبر في استنتاجات غير ضرورية، مما يؤدي إلى الهلوسة، بينما تعتمد النماذج الأصغر على مطابقة الأنماط المباشرة.
• تحليل الهلوسة: تظهر النماذج الصغيرة ومفتوحة المصدر غالباً قيم معامل ماتيوس (MCC) سالبة في المهام المعقدة، مما يشير إلى سوء تفسير منهجي (هلوسة) بدلاً من التخمين العشوائي.
• تأثير التمويه:
  • الصوتي (Homophonic): يرتبط النجاح في التعرف على المتجانسات صوتياً ارتباطاً مباشراً بتحقيق درجات ترجمة أفضل.
  • البصري (Visual): يظل التمويه البصري هو الفئة الأكثر تحدياً، ومن المرجح أنه يتطلب قدرات استدلال بصري-مكاني تفتقر إليها نماذج اللغات النصية الحالية.
  • السمية: المحتوى السام المموه يقلل بشكل كبير من دقة الترجمة، حيث تكافح النماذج لاستعادة النية الكامنة عند استخدام تقنيات التهرب.

5. الأهمية والتوجهات المستقبلية

• الوعي الثقافي: تسلط الدراسة الضوء على الانحياز المتمحور حول الغرب في نماذج اللغات الكبيرة والمعايير الحالية. وتثبت أن فهم الثقافات الفرعية غير الغربية أمر ضروري لتحقيق التوافق الثقافي الحقيقي.
• ما وراء السمية: ينقل البحث التركيز من مجرد اكتشاف اللغة السامة إلى فهم الأدوار الوظيفية والاجتماعية للغة الإنترنت، بما في ذلك الفكاهة، وتكوين الهوية، والتعبير العاطفي.
• تطور معالجة اللغات الطبيعية (NLP): تشير النتائج إلى أن أنظمة معالجة اللغات الطبيعية المستقبلية بحاجة إلى أن تكون أكثر قوة ضد الدلالات "المموهة" وقادرة على التعامل مع الاستدلال الرمزي المعقد متعدد الوسائط (نص + إيموجي).
• توافر الموارد: جعل المؤلفون مجموعة بيانات "ماوس" والبرمجيات الخاصة بها متاحة للجمهور، مما يعزز المزيد من الأبحاث في التكامل متعدد الثقافات وديناميكيات لغات الإنترنت المتطورة.

في الختام، تثبت الورقة أن نماذج اللغات الكبيرة، رغم كونها نماذج عامة قوية، إلا أنها تفتقر حالياً إلى مهارات "فك التشفير" الثقافية واللغوية المحددة المطلوبة للتنقل في المشهد المعقد والمتطور للغة "تشو شيانغ" الصينية، مما يستلزم معايم متخصصة واستراتيجيات تدريب واعية ثقافياً.