Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

ملخص تقني: إلياس في المنارة، مجدداً؟ تشخيص انخفاض التنوع في قصص النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
تُظهر النماذج اللغوية الكبيرة (LLMs) ظاهرة تُعرف باسم "انهيار النمط" (mode collapse)، حيث تصبح المخرجات التوليدية متجانسة بشكل متزايد، لا سيما في مهام الكتابة الإبداعية. وبينما حددت الأبحاث السابقة هذا الاتجاه، فإن الآليات المحددة التي تدفع نحو التقارب نحو هياكل قصصية متطابقة لا تزال غير مفهومة بشكل جيد. يبحث هذا البحث في النقص المفاجئ في التباين في القصص التي تولدها النماذج الرائدة الحالية عند توجيهها بتعليمات بسيطة مثل "اكتب قصة". يلاحظ المؤلفون أن النماذج من OpenAI وAnthropic وGoogle وAllen Institute for AI (AI2) تنتج باستمرار سرديات تتميز بنفس الأسماء، والأماكن، والمهن المحددة، على الرغم من أن هذه العناصر نادرة في الأدب المنشور وبيانات ما قبل التدريب.

المنهجية
لتوصيف هذا التكرار، أجرى المؤلفون تجربة أخذ عينات واسعة النطاق:

• توليد البيانات: قاموا بتوليد 20,000 قصة باستخدام أربعة نماذج حالية (Claude Haiku 4.5، وGemini 3.1 Flash-Lite، وGPT-5.4-Mini، وOLMo 7b Thinking). تم توجيه كل نموذج خمس مرات بتنويعات لـ "اكتب قصة" (مثل: "يرجى كتابة قصة"، "احكِ لي قصة")، مما نتج عنه 1,000 قصة لكل نموذج.
• استخراج المفردات: باستخدام GPT-5.4-nano، استخرج المؤلفون نطاقات الرموز (tokens) المقابلة لإعدادات القصة، والأسماء الأولى للشخصيات، والمهن. قاموا بتصفية هذه المرشحات عبر عملية من ثلاث خطوات: التجزئة (tokenization)، والاحتفاظ بالرمز الأعلى تكراراً لكل قصة/فئة، والاحتفاظ فقط بالرموز التي أصدرتها نصف النماذج على الأقل.
• تحديد الرموز الجوهرية: تم تطبيق تحليل نقطة التغير (changepoint analysis) لتحديد مفردات "جوهرية" دنيا مكونة من 11 رمزاً ظهرت بشكل متكرر عبر المجموعة.
• التحليل المقارن: تم قيং تكرار هذه الرموز الجوهرية بوحدة "جزء في المليون" (PPM) ومقارنتها بـ:
  • الأدب الإنجليزي المعاصر (مجموعة بيانات CONLIT).
  • الكتابة الهواة (r/writingprompts على Reddit).
  • بيانات ما قبل التدريب (بيانات الويب ومجموعات الخيال الخاصة بـ OLMo 3).
  • بيانات ما بعد التدريب (مجموعات SFT وDPO وRL الخاصة بـ OLMo 3).
• نمذجة المواضيع: تم تدريب نموذج موضوعات LDA على مجموعة قصص ما بعد التدريب الخاصة بـ OLMo 3 لتحديد ما إذا كانت قصص "المنارة" تشكل نوعاً أدبياً متميزاً أم أنها موزعة عبر مواضيع متنوعة.

النتائج الرئيسية

• تجانس مفرط: 80.8% من الـ 20,000 قصة المولدة احتوت على رمز واحد على الأقل من الرموز الـ 11 الجوهرية. أكثر من نصف القصص (51.2%) تضمنت "منارة"، و66.6% احتوت على مزيج محدد من الموقع "المنارة"، والاسم "إلياس"، والمهنة "حارس".
• المفردات "الجوهرية": تتضمن الرموز الـ 11 أسماء (إلياس، مارا، إيلارا)، ومهن (حارس، صانع ساعات، خباز، صياد، أمين مكتبة، عمدة، قائد أوركسترا)، والموقع "المنارة".
• التباين مع بيانات التدريب:
  • الأدب/الويب: الرموز الجوهرية أكثر تكراراً بشكل ملحوظ في القصص المولدة مقارنة بالأدب المنشور (على سبيل المثال، "إلياس" أكثر تكراراً بـ 900 مرة في المجموعة المولدة مقارنة بـ CONLIT) أو بيانات الويب العامة.
  • ما قبل التدريب: في بيانات ما قبل التدريب لـ OLMo 3، كانت معدلات الرموز الجوهرية ضئيلة.
  • ما بعد التدريب: بينما احتوت بيانات ما بعد التدريب لـ OLMo 3 على هذه الرموز بمعدلات أعلى من ما قبل التدريب، إلا أن الانتشار المطلق كان لا يزال منخفضاً. 3,053 قصة فقط من أصل 78,958 في مجموعة ما بعد التدريب احتوت على أي رمز جوهري.
• تأثير مرحلة المحاذاة (Alignment): وُجد أن كثافة الرموز الجوهرية أعلى بـ 5 إلى 8 مرات في مجموعات بيانات المحاذاة (SFT، DPO، RL) مقارنة بالقصص المستمدة من WildChat، رغم أن بيانات المحاذاة تشكل جزءاً صغيراً فقط من إجمالي حجم ما بعد التدريب. وتحديداً، ساهمت مراحل DPO وRL بنسبة أعلى من القصص الجوهرية مقارنة بمرحلة SFT الأولية.
• توزيع المواضيع: لم تتكتل قصص "المنارة" في موضوع واحد ضمن بيانات ما بعد التدريب. بدلاً من ذلك، كانت منتشرة عبر مواضيع متنوعة، بما في ذلك قصص المعجبين (fan fiction)، والكتابة التقنية، وحتى الفكاهة غير اللائقة، مما يشير إلى أن النموذج يتعلم ربط هذه الرموز المحددة بالمخرجات "الآمنة" أو "المفضلة" بغض النظر عن السياق المحيط بها.

الأهمية والادعاءات
يزعم البحث أنه أول دراسة تتبع حالة محددة من انهيار النمط في الكتابة الإبداعية وصولاً إلى مدخلات التدريب الخاصة بها. يجادل المؤلفون بأن هيمنة سرديات "إلياس في المنارة" لا يمكن تفسيرها بانتشار هذه الكلمات في مجموعة بيانات التدريب الخام. وبدلاً من ذلك، يفترضون أن هذه الظاهرة مدفوعة بالتفاعل بين مجموعات البيانات الصغيرة والمحددة وخوارزميات المحاذاة القوية (SFT، DPO، RL).

يشير المؤلفون إلى أنه خلال عملية المحاذاة، قد يتم تدريب النماذج على تجنب الإشارات إلى الشخصيات المحمية بحقوق الطبع والنشر والمحتوى البالغ، مما يؤدي دون قصد إلى توجيه النموذج نحو مجموعة ضيقة من التيمات (tropes) "الآمنة" والنمطية والقديمة (مثل المنارات، وصناع الساعات) الموجودة في بيانات التفضيل. ينتج عن ذلك تأثير غير متناسب من جزء ضئيل جداً من بيانات التدريب (أقل من 4% من قصص ما بعد التدريب) على سلوك المخرجات النهائي للنموذج. تسلط الدراسة الض الضوء على أن النماذج الحالية لا تحاكي ببساطة الأنماط المهيمنة في مجموعاتها، بل تتقارب نحو أنماط توليد محددة وآمنة قد لا تعكس تنوع السرد البشري.