ملخص تقني: الضياع في أخذ العينات (LOST IN SAMPLING)

بيان المشكلة

غالبًا ما تُنتج النماذج اللغوية الكبيرة (LLMs) الحديثة نصوصًا متجانسة، ومكررة، وتفتقر إلى الثراء المعجمي الذي يميز الخطاب البشري. وبينما عزت الأبحاث السابقة هذا "الانهيار النمطي" (mode collapse) إلى تقنيات محاذاة النماذج (مثل RLHF أو DPO) أو محدودية بيانات التدريب، يستقصي هذا البحث دور آليات فك التشفير (decoding mechanics) في كبح التنوع اللغوي. يفترض المؤلفون أن مرشحات أخذ العينات القياسية (مثل Top-p و Top-k و Min-p) تعمل كآليات تقليم عدوانية تقضي رياضيًا على الكلمات منخفضة التردد وعالية المعلومات من المسار التوليدي، حتى عندما تكون تلك الكلمات موجودة ضمن الفضاء الاحتمالي الكامن للنموذج. يؤدي هذا إلى "انهيار هيكلي" حيث يتم تقييد المفردات التشغيلية للنموذج اصطناعيًا، مما يحول التعبير البشري الفريد إلى خطاب متجانس.

المنهجية: درجة تغطية الكلمات (WCS)

لقياس مدى قيام مرشحات أخذ العينات بتقليم المفردات المناسبة سياقيًا، قدم المؤلفون درجة تغطية الكلمات (WCS). يقيس هذا المقياس "معدل البقاء المعجمي" للكلمات البشرية كدالة لمعاملات أخذ العينات. يتبع التقييم عملية تدقيق المسار القسري المكونة من أربع مراحل:

1. الاختيار المعجمي: تم اختيار مجموعة مستهدفة من كلمات "الذيل المتوسط-الطويل" من مجموعة بيانات Google Web Trillion Word. تم ترتيب هذه الكلمات بين المرتبة 10,000 و 40,000 من حيث التكرار لتجنب الكلمات الوظيفية الشائعة والضجيج شديد الندرة.
2. الاقتران السياقي: تم ربط الكلمات المستهدفة بسياقات طبيعية مستخرجة من مجموعة بيانات PG-19 (كتب نُشرت قبل عام 1919)، مما يضمن التقييم ضمن بيئة غنية لغويًا ومؤلفة بشريًا وخالية من التجانس الناتج عن مسح الويب الحديث.
3. تدقيق المسار القسري: لكل كلمة $w$ (المكونة من رموز فرعية $t_1, \dots, t_n$) وسياق $C$، يتم تزويد النموذج بالبادئة الحقيقية (ground-truth prefix). وبدلاً من أخذ العينات، يقوم النظام بتسجيل رتبة واحتمالية الرموز الحقيقية. يحدد التدقيق ما إذا كانت هذه الرموز ستنجو من منطق التقليم الخاص بخوارزميات أخذ العينات المحددة:
   • بقاء Top-k: يجب أن يكون الرمز ضمن أعلى $k$ من الرموز الأكثر احتمالية.
   • بقاء Top-p (النواة): يجب أن ينتمي الرمز إلى أصغر مجموعة من الرموز التي تلبي الاحتمالية التراكمية العتبة $p$.
   • بقاء Min-p: يجب أن تتجاوز احتمالية الرمز كسرًا مدرجًا $m$ من أقصى احتمالية للرمز.
4. حساب المقياس: تُحسب درجة تغطية الكلمات (WCS) عبر متوسط الوصول التجميعي ($R$) لمجموعة الكلمات المستهدفة $W$ وسياقاتها. تُعتبر الكلمة "مغطاة" ($R=1$) فقط إذا نجت كل وحدة بناء (token) مكونة لها من المرشح في خطوته المقابلة.

الإعداد التجريبي

قيمت الدراسة النماذج ذات الأوزان المفتوحة التي يقل عدد معاملاتها عن 20 مليار معلمة، مع مقارنة النسخ الأساسية (الخام) مقابل النسخ الموجهة/المحاذات (Instruct/It). شملت عائلات النماذج Llama و Mistral و Qwen و Gemma و DeepSeek. قامت التجارب بمسح منهجي لمعاملات أخذ العينات:

• Top-p: من 0.7 إلى 0.99
• Top-k: من 1 إلى 20
• Min-p: من 0.01 إلى 0.1
• درجة الحرارة (Temperature): 0.7، 1.0، و 1.5

ركز التقييم على كسر الكلمات التي تصبح غير قابلة للوصول ($WCS(\theta, w) = 0$) عبر 10 سياقات لكل كلمة، مما يقيس فعليًا "محو الكلمات".

النتائج الرئيسية

• المحو النظامي للكلمات: في ظل إعدادات الصناعة القياسية (على سبيل المثال، Top-p $\approx$ 0.8–0.95، $T \approx$ 0.7)، يصبح جزء كبير من الكلمات المستهدفة (22% إلى 57%) غير قابل للوصول تمامًا في أي من سياقاتها. على سبيل المثال، قام نموذج Gemma-4-E4B-it بمحو 57% من الكلمات المستهدفة تحت تهيئته الافتراضية.
• تأثير المحاذاة: تُظهر النماذج الموجهة (المحاذات) عمومًا وصولًا معجميًا أقل من نظيراتها الأساسية. عبر الأزواج المتطابقة، انخفض متوسط الوصول على مستوى الكلمة من 0.740 (الأساسي) إلى 0.728 (الموجه)، وانخفضت درجة WCS الإجمالية من 0.290 إلى 0.277. يشير هذا إلى أن عمليات تحسين التفضيلات تقيد مباشرة مساحة المفردات القابلة للاستخدام.
• عجز التقطير: أظهر نموذج DeepSeek-R1-Distill-Qwen-14B فقدانًا معجميًا كبيرًا مقارلة بنموذجه الأساسي Qwen2.5-14B، مما يشير إلى أن تقطير قدرات الاستدلال المهيكلة يؤدي إلى قيود إضافية على الوصول المعجمي.
• عدم فعالية درجة الحرارة العالية: حتى في ظل إعدادات درجات الحرارة العالية العدوانية ($T=1.5$)، فشلت نسبة كبيرة من السياقات في اختيار الكلمات المستهدفة، مما يشير إلى أن مجرد زيادة درجة الحرارة لا يستعيد التنوع المعجمي بالكامل وغالبًا ما يضر بالتماسك.
• التباين النوعي للنماذج: بينما أظهرت معظم العائلات انخفاضًا في التنوع بعد المحاذاة، أظهرت عائلة Gemma أنماطًا غير منتظمة؛ حيث تحسن Gemma-3-12B-it عن أساسه، بينما عانى Gemma-4-E4B-it من تآكل شديد، مما يسلط الضوء على أن تأثير المحاذاة يختلف باختلاف البنية وتكرار التدريب.

الأهمية والادعاءات

يزعم البحث أن إعدادات أخذ العينات القياسية تعمل كـ آليات رقابة غير مقصودة، حيث تقوم رياضيًا بتقليم "حديقة المسارات المتفرعة" (استعارة للمساحة الاحتمالية الكامنة للنموذج) قبل أن يتم اختيار الرمز (token) أبدًا. توفر درجة WCS أداة تشخيصية صارمة لقياس هذه الظاهرة، وتكشف أن تجانس مخرجات LLM ليس مجرد نتيجة لبيانات التدريب أو المحاذاة، بل هو مفروض هيكليًا بواسطة مرشحات فك التشفير.

يجادل المؤلفون بأن هذا التآكل المعجمي يشكل خطرًا طويل الأمد على تطور اللغة. فمع امتلاء المستودعات العامة بالنصوص المولدة بواسطة النماذج لتصبح بيانات تدريب للنماذج المستقبلية، فإن الاستيعاب المتكرر لهذا الخطاب المسطح قد يؤدي إلى تقليص معجم الإنسان النشط بشكل دائم، مما يمحو "الذيل الطويل" للتعبير المتنوع. ويخلص البحث إلى أن الحفاظ على تنوع المفردات يتطلب تحولًا جذريًا في النموذج المعرفي: معاملة الاتساع المعجمي كهدف بنيوي أساسي يعادل الدقة الواقعية، وليس كمجرد معامل سطحي، وتطوير أجهزة فك تشفير موجهة دلاليًا يمكنها التمييز بين الضجيج والمفردات الغنية سياقيًا ومنخفضة التردد.

المحددات

يقر المؤلفون بوجود بعض القيود:

• النطاق: تقتصر الدراسة على النماذج ذات الأوزان المفتوحة < 20 مليار معلمة واللغة الإنجليزية فقط.
• تحيز البيانات: استُخرجت السياقات من أدب ما قبل عام 1919 (PG-19)، مما يدخل تحيزًا تاريخيًا، رغم أن هذا يتجنب تجانس الويب الحديث.
• المقياس الثنائي: تقيس درجة WCS الاستبعاد المطلق ($R=0$ أو $1$) ولا تلتقط "التآكل الناعم" حيث تظل الكلمة قابلة للوصមាន ولكن احتمالية ظهورها تضعف بشكل كبير.
• تباين الرموز (Tokenizer): تعني الاختلافات في تقسيم الرموز الفرعية عبر عائلات النماذج أن عدد خطوات الترشيح لكلمة واحدة يختلف، مما يؤثر على المقارنة المباشرة.
• السياق الثابت: يستخدم التدقيق بادئة ثابتة مكونة من 256 رمزًا، ولا يقيم الاعتمادات طويلة المدى.