LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

إليك ملخص تقني مفصل لورقة البحث بعنوان "تُظهر النماذج اللغوية الكبيرة (LLMs) عدم يقين أقل بكثير في الكتابة الإبداعية مقارنة بالكتاب المحترفين" للباحث بييكي سوي.

1. بيان المشكلة

تتناول الورقة قصوراً حرجاً في النماذج اللغوية الكبيرة (LLMs): عجزها عن إنتاج كتابة إبداعية عالية الجودة، مما يؤدي غالباً إلى مخرجات مبتذلة، متكررة، مليئة بالكليشيهات، وتفتقر إلى التوتر الدرامي.

• الصراع الجوهري: استراتيجيات محاذاة النماذج اللقية (RLHF, SFT) مصممة لتقليل عدم اليقين، والهلوسة، والغموض لضمان الدقة واتباع التعليمات في المجالات الوظيفية (مثل الأسئلة والأجوبة، والبرمجة). ومع ذلك، تفترض النظرية الأدبية أن عدم اليقين (الغموض، وعدم التحديد، و"القدرة السلبية") هو مطلب أساسي للثراء الأدبي والتعبير الإبداعي.
• الفرضية: يرى المؤلفون أن النفور المنهجي من عدم اليقين في النماذج المحاذية يخلق "فجوة عدم يقين بين الإنسان والنموذج"، مما يتسبب في انهيار النماذج إلى حالات جاذبة متجانسة وآمنة تفتقر إلى الغموض البناء الضروري للسرد القصصي المقنع.

2. المنهجية

تستخدم الدراسة إطاراً معلوماتياً منضبطاً لقياس التباعد التوزيعي بين النصوص الخيالية التي ألفها البشر وبين التكملات التي تولدها النماذج.

أ. الإعداد التجريبي

• المهمة: إكمال القصة. بالنظر إلى سياق سابق ($T_1$)، تقارن الدراسة عدم اليقين في التكملة البشرية الحقيقية ($T_2$) مقابل التكملة المولدة بواسطة النموذج ($\hat{T}_2$).
• النماذج: مجموعة متنوعة تضم 28 نموذجاً من النماذج مفتوحة الأوزان عبر عائلات مختلفة (OLMo, LLaMA, Qwen, Mistral, Gemma, Phi)، بما في ذلك النسخ الأساسية، والمضبوطة للتعليمات، ونسخ "الاستنتاج" (التفكير).
• مجموعات البيانات:
  • The New Yorker (2010–2019): نصوص خيالية أدبية عالية الجودة ومحررة باحترافية.
  • Tell-Me-A-Story: قصص مولدة من ورش عمل احترافية.
  • Ghostbuster: استُخدمت للمقارنة بين المجالات (الكتابة الإبداعية مقابل الأخبار والمقالات).
• آلية التقييم: يعمل نفس النموذج اللغوي الكبير ($P_\theta$) كمولد ومقيم في آن واحد. يقوم بحساب احتمالية الـ (log-probability) للرموز البشرية بناءً على السياق، مما يضمن أن مقياس عدم اليقين يعكس منظور النموذج تجاه الإبداع البشري مقابل توليده الخاص.

ب. مقاييس عدم اليقين

يستخدم المؤلفون عدة مقايسات على مستوى الرمز (token) وعلى مستوى التسلسل مشتقة من الاحتمالات اللوغاريتمية:

1. متوسط إنتروبيا الرمز (الدهشة - Surprisal): السلب اللوغاريتمي للقدرة (NLL) المعياري حسب الطول. يقيس مدى "عدم التوقع" المتوسط للرموز.
2. الارتباك (Perplexity - PPL): الأس المرفوع لمتوسط دهشة الرمز.
3. المعلومات المتبادلة النقطية (PMI): تقيس مدى قدرة السياق ($T_1$) على التنبؤ بالتكملة ($T_2$) مقابل الاحتمالية غير المشروطة. يشير الـ PMI العالي إلى الاعتماد المفرط على السياق؛ بينما يشير الـ PMI المنخفض إلى التباعد/الإبداع.
4. المعلومات المتبادلة الشرطية (CPMI): نسخة من الـ PMI تعتمد على عتبة معينة تركز على نقاط اتخاذ القرار ذات الإنتروبيا العالية لعزل الغموض السردي.

C. ارتباط الجودة

لتحديد ما إذا كان عدم اليقين يرتبط بالجودة، استخدم المؤلفون نموذج مكافأة لجودة الكتابة (تم ضبطه بدقة بناءً على تفضيلات الخبراء) لتقييم التكملات. أجروا تحليلات انحدار خطي وتربيعي (منحنى Wundt المقلوب) لاختبار وجود "نقطة مثالية" لعدم اليقين.

3. النتائج الرئيسية

أ. فجوة عدم اليقين بين الإنسان والنموذج

• تباين مستمر: عبر جميع النماذج، مجموعات البيانات، والمقايسات، تُظهر الكتابة البشرية عدم يقين أعلى بكثير من مخرجات النماذج.
  • نسبة NLL: القصص البشرية أكثر "دهشة" للنموذج بمقدار 2.03 إلى 3.9 ضعف مقارنة بتوليداته الخاصة.
  • نسبة الارتباك (Perplexity): تتسع الفجوة لتصل إلى 2.76 إلى 8.82 ضعف.
  • PMI: تُظهر النماذج اعتماداً أكبر على السياق (تغير $\Delta$PMI أكثر سلبية)، مما يشير إلى أنها تعتمد بشكل مفرط على المسارات السردية المتوقعة، بينما ينحرف البشر عن المسارات المتوقعة.

ب. تأثير المحاذاة ونوع النموذج

• ضريبة المحاذاة: تُظهر النماذج المضبوطة للتعليمات ونماذج "الاستنتاج" (التفكير) فجوة عدم يقين أكبر مقارنة بنظيراتها الأساسية.
  • مثال: نسبة NLL لنموذج Gemma-3-4B تتضاعف من النسخة الأساسية إلى نسخة التعليمات.
  • نماذج الاستنتاج: لا يستعيد التفكير عبر سلسلة الأفكط (Chain-of-thought) عدم اليقين الإبداعي؛ بل في بعض الحالات، يؤدي إلى تفاقم الفجوة.
• عائلات النماذج: بينما تحافظ النماذج الأساسية عموماً على تنوع أكبر، تُظهر عائلات محددة (مثل Gemma) توزيعات توليد أكثر جموداً، ويرجع ذلك على الأرجاح إلى تقنيات تقطير المعرفة.

ج. خصوصية المجال

• التضخم في الكتابة الإبداعية: فجوة عدم اليقين موجودة عبر المجالات (الأخبار، المقالات) ولكنها تتضخم بشكل كبير في الكتابة الإبداعية.
  • فجوة $\Delta$PMI للكتابة الإبداعية أوسع بنسبة 25-30% من المقالات أو الأخبار.
  • هذا يشير إلى أن النماذج تواجه صعوبة تحديداً في التعامل مع التوتر السردي والغموض الهيكلي المطلوب في الخيال، حتى لو تمكنت من التعامل مع عدم اليقين اللغوي المحلي بشكل مشابه عبر المجالات.

د. الارتباط بجودة الكتابة

• ارتباط إيجابي: يرتبط عدم اليقين الأعلى (NLL/PPL) إيجابياً مع درجات جودة الكتابة لكل من النص البشري والنص المولد.
• "النقطة المثالية": يكشف الانحدار التربيعي عن علاقة منحنى (U) مقلوب (منحنى Wundt).
  • تحدث الجودة المثلى عند مستويات إنتروبيا عالية (حوالي 1.48–1.98 انحراف معياري فوق المتوسط).
  • نتيجة حاسمة: تعمل النماذج المحاذية (Aligned LLMs) إلى يسار هذه الذروة (إنتروبيا منخفضة)، حيث تظل محاصرة في نظام آمن ومنخفض عدم اليقين يمنع الوصول إلى السرد عالي الجودة. الكتاب البشريون يعملون بشكل طبيعي بالقرب من الذروة.

4. المساهمات الرئيسية

1. صياغة فجوة عدم اليقين: تقدم الورقة أول تحديد كمي منهجي ومعلوماتي للفجوة بين عدم اليقين البشري والنموذجي في الكتابة الإبداعية، متجاوزة التقييمات النوعية.
2. التركيب النظري: تربط الورقة بين النظرية الأدبية (مفاهيم عدم التحديد، والغموض، والتعاون الإبداعي) وبين معالجة اللغات الطبيعية (NLP)، مجادلة بأن "الهلوسة" في السياق الإبداعي تشبه بنيوياً "اللعب اللانهائي" للمعنى المطلوب في الأدب.
3. الدليل التجريبي على المحاذاة: تثبت الورقة أن استراتيجيات المحاذاة الحالية (RLHF, SFT) تضعف القدرة الإبداعية فعلياً من خلال قمع آليات عدم اليقين ذاتها التي تدفع الثراء الأدبي.
4. الرابط بين الجودة وعدم اليقين: تؤسس علاقة غير خطية قوية بين عدم اليقين وجودة الكتابة، وتحدد "نقطة مثالية" تفشل النماذج الحالية في الوصول إليها.

5. الأهمية والآثار المترتبة

• إعادة تعريف "الهلوسة": تتحدى الورقة الرؤية الثنائية للهلوسة. في الكتابة الإبداعية، لا يُعد الانحراف الدلالي والغموض أخطاءً، بل هما سمات بناءة ضرورية للتفاعل. المحاذاة الحالية تعاقب هذه السمات، مما يؤدي إلى حالة من "الجمود الممل" (مزيج من الصدمة والملل).
• نماذج المحاذاة المستقبلية: يرى المؤلفون ضرورة التحول نحو المحاذاة الواعية بعدم اليقين. يجب أن تكون النماذج المستقبلية مدربة على التمييز بين الهلوسة الهدامة (الأخطاء الواقعية في السياقات الطبية أو القانونية) والغموض البناء (الاستعارة، حبكة المفاجأة، والانفتاح الدلالي).
• المخاطر النظامية: يمثل تجانس المخرجات الإبداعية خطراً على التنوع الثقافي. إذا هيمنت النماذج اللغوية على التوليد الإبداعي، فقد تؤدي إلى تسطيح "الذيل الطويل" للتعبير البشري وتحويله إلى مجموعة ضيقة من الأنماط الآمنة والمتوقعة.
• النهج متعدد التخصصات: تدعو الورقة إلى تعلم آلي "مستنير بالنظرية الأدبية"، مشيرة إلى أن حل مشكلات الذكاء الاصفي الإبداعي يتطلب دمج أطر العلوم الإنسية المتخصصة بدلاً من الاعتماد فقط على مقاييس علوم الحاسوب.

في الختام، تفترض الورقة أن تحقيق الإبداع بمستوى البشر في الذكاء الاصطناعي لا يتطلب فقط بيانات أفضل أو نماذج أكبر، بل يتطلب تحولاً جذرياً في كيفية محاذاة النماذج لـ تقبل وتوليد عدم اليقين العملي.