💬 NLP

Evaluating the Diversity and Quality of LLM Generated Content

تقدم هذه الورقة إطاراً لقياس "التنوع الدلالي الفعال" لتوضيح أنه في حين قد تبدو النماذج اللغوية الكبيرة التي تم ضبطها وفق التفضيلات أقل تنوعاً بموجب المقاييس القياسية، إلا أنها في الواقع تولد مجموعة أكبر من المخرجات عالية الجودة مقارنة بالنماذج الأساسية أو تلك التي خضعت للضبط الدقيق الخاضع للإشراف، مع إثبات أن النماذج الأصغر حجماً أكثر كفاءة في استخدام المعلمات لإنتاج محتوى فريد.

المؤلفون الأصليون: Alexander Shypula, Shuo Li, Botong Zhang, Vishakh Padmakumar, Kayo Yin, Osbert Bastani

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexander Shypula, Shuo Li, Botong Zhang, Vishakh Padmakumar, Kayo Yin, Osbert Bastani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً سحرياً (الذكاء الاصطناعي) يمكنه ابتكار ملايين الأطباق المختلفة. أنت تريد من هذا الطباخ أن يكون مبدعاً (يصنع الكثير من الأطباق الفريدة) ولكن أن يكون لذيذاً أيضاً (يجب أن تكون الأطباق صالحة للأكل حقاً وآمنة للاستهلاك).

لفترة طويلة، قلق الناس من أنه إذا تم تدريب هذا الطباخ لتقديم أطباق "مثالية" دائماً وفقاً للذوق البشري، فسيتحول إلى روبوت ممل، يصنع فقط نفس الأطباق الثلاثة الآمنة مراراً وتكراراً. لقد خافوا من أن يفقد "شرارته" الإبداعية.

هذه الورقة البحثية، التي عُرضت في مؤتمر رئيسي للذكاء الاصطناعي، تطرح سؤالاً بسيطاً ولكنه عميق: هل جعل الذكاء الاصطناعي "أذكى" و"أكثر أماناً" يقتل إبداعه حقاً، أم أنه يجعل إبداعه أكثر فائدة فحسب؟

إليك تفصيل نتائجهم، باستخدام استعارات من المطبخ.

1. فخ "التنوع الزائف"

يشير المؤلفون إلى خطأ شائع في كيفية قياس الإبداع.

الطريقة القديمة: تخيل أنك طلبت من الطباخ صنع 100 طبق. إذا صنع الطباخ 100 طبق، وكلها مجرد "خبز محمص محترق" ولكن بدرجات متفاوتة قليلاً من اللون البني، فقد يقول عداد بسيط: "واو! 100 طبق فريد!".
المشكلة: رغم أنها تبدو مختلفة من الخارج، إلا أنها جميعاً غير صالحة للأكل. هذا هو التنوع بدون جودة. إنه يشبه مكتبة مليئة بالكتب حيث كل صفحة فيها مجرد خربشات عشوائية. إنها متنوعة، لكنها بلا فائدة.

2. المقياس الجديد: "التنوع الدلالي الفعال"

يقدم المؤلفون طريقة جديدة لقياس الإبداع تسمى التنوع الدلالي الفعال (Effective Semantic Diversity).

الاستعارة: بدلاً من مجرد عد الأطباق التي صنعها الطباخ، نقوم أولاً بالتخلص من كل الخبز المحترق والبيض النيء. ننظر فقط إلى الأطباق التي هي صالحة للأكل حقاً (صحيحة). ثم نسأل: "كم عدد الوجبات اللذيذة المختلفة التي حصلنا عليها؟"
النتيجة: هذا يقيس التنوع المفيد. إنه الفرق بين طباخ يصنع 1,000 نوع من الخبز المحترق (تنوع خام عالٍ، قيمة منخفضة) وطباخ يصنع 50 وجبة فاخرة متميزة (عدد إجمالي أقل، ولكن تنوع فعال عالٍ).

3. المفاجأة الكبرى: الذكاء الاصطناعي "الجيد" هو في الواقع أكثر إبداعاً

اختبر الباحثون ذلك على أنواع مختلفة من الطباخين الآليين:

الطباخ الأساسي: النموذج الخام غير المدرب.
الطهاة "المدربون": النماذج التي تم ضبطها بدقة باستخدام تقنيات متقدمة (مثل RLHF أو DPO أو PPO) لتتبع التعليمات وتكون مفيدة.

النتيجة المناقضة للتوقعات:
عندما نظروا إلى المخرجات "الخام" (مع تجاهل الجودة)، بدا أن الطهاة المدربين أقل تنوعاً. كانوا أكثر تركيزاً وأقل فوضوية.
ومع ذلك، عندما طبقوا فلتر "التنوع الفعال" الجديد (عدّ الأشياء الجيدة فقط):

أنتج الطهاة المدربون أفكاراً فريدة وعالية الجودة أكثر من الطهاة الخام.
لماذا؟ لأن الطهاة الخام قضوا 90% من وقتهم في صنع "الخبز المحترق" (القمامة). أما الطهاة المدربون فقد قضوا معظم وقتهم في صنع "وجبات فاخرة". حتى لو صنع الطهاة المدربون أطباقاً أقل إجمالاً، فإن عدد الأطباق الجيدة والفريدة كان أعلى بكثير.
الخلاصة: جعل الذكاء الاصطناعي "أكثر أماناً" و"أفضل" لا يقتل إبداعه؛ بل يطلق العنان لإبداع أكثر فائدة من خلال منعه من إضاعة الوقت في الهراء.

4. لغز الحجم مقابل الكفاءة

نظرت الورقة أيضاً في حجم الطهاة (عدد المعلمات - parameters - في النموذج).

الطهاة الكبار (70 مليار معلمة): هم مثل الطهاة المهرة الذين يمتلكون مطبخاً ضخماً. يمكنهم ابتكار مجموعة هائلة من الوجبات الفريدة وعالية الجودة.
الطهاة الصغار (8 مليارات أو حتى 500 مليون معلمة): هم مثل عربات الطعام الصغيرة والمدمجة.
النتيجة: إذا كان لديك ميزانية محدودة (كمية ثابتة من الوقت أو المال لتوليد الأفكار)، فإن الطهاة الصغار هم في الواقع أكثر كفاءة.
- الاستعارة: إذا كنت بحاجة إلى 1,000 وصفة فريدة لحفلة ما، فإن استئجار طباخ كبير ومكلف لطبخ 1,000 مرة قد يكون مبالغاً فيه وبطيئاً. بدلاً من ذلك، استئجار 10 عربات طعام صغيرة ورشيقة لتقوم كل منها بطبخ 100 مرة قد يمنحك نتائج فريدة أكثر بنفس التكلفة.

5. البرمجة مقابل الكتابة الإبداعية

اختبر الباحثون ذلك على نوعين من المهام:

البرمجة (الرياضيات/المنطق): هنا، من السهل التحقق من "الجودة". هل يعمل الكود دون توقف مفاجئ؟ كان الطهاة المدربون أفضل بكثير في صنع أكواد تعمل بالفعل، مما أدى إلى إنتاج برامج فريدة وعاملة.
الكتابة الإبداعية (القصص): هنا، "الجودة" أمر ذاتي. لا تزال الطهاة المدربون ينتجون قصصاً أكثر تميزاً وجودة، لكنهم أيضاً مالوا إلى استخدام كلمات وأساليب أكثر تنوعاً مقارنة بالطهاة الخام.

الملخص

تجادل الورقة بأننا لا ينبغي أن نخشى "المواءمة" (تدريب الذكاء الاصطناعي ليكون مفيداً).

الخوف القديم: "إذا دربنا الذكاء الاصطناعي ليكون جيداً، فسيصبح نسخة مكررة مملة".
الواقع الجديد: "إذا دربنا الذكاء الاصطناعي ليكون جيداً، فإنه يتوقف عن إضاعة الوقت في القمامة ويبدأ في إنتاج تنوع أغنى من الأفكار المفيدة حقاً".

باختاً: الفوضى العارمة من 1,000 فكرة سيئة أقل قيمة من مجموعة منسقة من 50 فكرة عبقرية. الذكاء الاصطناعي "الذكي" يمنحنا تلك الأفكار العبقرية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم تنوع وجودة المحتوى المولد بواسطة النماذج اللغوية الكبيرة (LLM)" (COLM 2025).

1. بيان المشكلة

تعتمد التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) بشكل كبير على تقنيات ضبط التفضيلات (مثل RLHF، وPPO، وGRPO، وDPO) لمواءمة النماذج مع التفضيلات البشرية. وهناك سرد سائد يشير إلى أن هذه التقنيات تقلل من تنوع المخرجات، مما يخلق معضلة للتطبيقات التي تتطلب مخرجات متنوعة (مثل الكتابة الإبداعية، وتوليد البيانات الاصطناعية).

ومع ذلك، يجادل المؤلفون بأن التنوع بدون جودة هو عديم الفائدة عملياً. فالرموز (tokens) العشوائية هي الأكثر تنوعاً ولكنها بلا معنى. وغالباً ما تفشل مقاييس التقييم الحالية في مراع مع الموازنة بين الجودة والتنوع، مما يؤدي إلى استنتاجات مضللة حيث تظهر النماذج الأساسية (base models) أكثر تنوعاً لمجرد أنها تولد المزيد من المخرات غير الصالحة أو منخفضة الجودة. المشكلة الجوهرية تكمن في غياب إطار عمل لقياس التنوع الدلالي الفعال (Effective Semantic Diversity): وهو التنوع بين المخرات التي تستوفي حداً معيناً من الجودة.

2. المنهجية

أ. إطار العمل: التنوع الدلالي الفعال

يقترح المؤلفون إطار عمل مبدئياً يقيس الجودة والتنوع معاً دون الحاجة إلى تدخل بشري أثناء الاستدلال.

دالة الصلاحية ( $V$ ): تحدد ما إذا كان التوليد عالي الجودة/صالحاً.
- بالنسبة للكود البرمجي: يكون البرنامج صالحاً إذا تم تنفيذه دون أخطاء وأنتج مخرجات غير فارغة (non-null) عبر مجموعة من حالات الاختبار.
- بالنسبة للغة الطبيعية: يقوم حكم (LLM judge) بتقييم الجودة بناءً على معايير (مثل التماسك، والارتباط) ويقوم بتطبيع الدرجة (normalization).
الدالة الدلالية ( $S$ ): تربط التوليد بمعناه الدلالي، متجاهلة الاختلافات المعجمية السطحية.
- بالنسبة للكود البرمجي: يكون البرنامجان متكافئين دلالياً إذا أنتجا مخرجات متطابقة عبر جميع حالات الاختبار.
- بالنسبة للغة الطبيعية: يقوم حكم (LLM judge) بتقييم التداخل المفاهيمي/الموضوعي.
المقاييس:
1. التنوع الدلالي الثابت ( $Div_{fixed}$ ): نسبة التوليدات التي تعد صالحة وفريدة دلالياً في آن واحد.
2. التنوع الدلالي الزوجي ( $Div_{pair}$ ): مقياس مسافة زوجي يتم تطبيعه بالنسبة لإجمالي عدد الأزواج. وهو يتسم بالمتانة تجاه التباينات في عدد العينات الصالحة عبر المطالبات (prompts).
  $d_{sem}(g_j, g_k) = \begin{cases} 0 & \text{إذا كان } V(g_j)=0 \text{ أو } V(g_k)=0 \\ 0 & \text{إذا كان } V=1 \text{ و } S(g_j)=S(g_k) \\ 1 & \text{خلاف ذلك} \end{cases}$

ب. الإعداد التجريبي

مجموعات البيانات:
- الكود البرمجي: 108 مهمة برمجة مفتوحة النهاية مقتبسة من CodeNet/AlphaCode. تتطلب هذه المهام توليد دوال تحل مشكلات مجردة.
- اللغة الطبيعية: 100 مطالبة كتابة إبداعية من موقع WritingPrompts.
النماذج: مجموعة واسعة من النماذج اللغوية الكبيرة بما في ذلك LLaMA 2/3.1 (7B, 70B) ومتغيرات Tulu (Base, SFT, DPO, PPO, GRPO).
المقارنات: تعزل الدراسة تأثيرات كل من:
- طرق ما بعد التدريب (Base vs. SFT vs. DPO vs. RL/PPO/GRPO).
- حجم النموذج (صغير مقابل كبير).
- كفاءة المعلمات (التنوع لكل معلمة).
النماذج المرجعية (Baselines): يقارن المؤلفون مقياسهم بالمقاييس المعجمية القياسية (Distinct-N)، والمقاييس النحوية (المعتمدة على AST)، ومقاييس التنوع العصبية (تشابه Cosine عبر CodeBERTScore).

3. المساهمات الرئيسية

تقديم التنوع الدلالي الفعال: مقياس مبتكر يعاقب المخرات منخفضة الجودة، مجادلاً بأن التنوع لا قيمة له إلا عندما يكون المحتوى قابلاً للاستخدام.
خط معالجة آلي للتقييم: إطار عمل يستخدم تنفيذ الكود وحكام النماذج اللغوية لتقييم التنوع والجودة دون مقيمين بشريين، مع تجنب انحياز "النموذج الذي يحكم نموذجاً آخر" باستخدام آثار التنفيذ (execution traces) للكود.
نتائج غير متوقعة حول ضبط التفضيلات: تحدي الإجماع القائل بأن ضبط التفضيلات يقلل من التنوع.
تحليل كفاءة المعلمات: استقصاء أي أحجام النماذج هي الأكثر كفاءة في توليد محتوى فريد ضمن ميزانية أخذ عينات ثابتة.

4. النتائج الرئيسية

أ. ضبط التفضيلات يزيد من التنوع الفعال

النتيجة الرئيسية: بينما تظهر النماذج المضبوطة بالتفضيلات (RL/DPO) غالباً تنوعاً معجمياً أو عصبياً أقل مقارنة بالنماذج الأساسية، إلا أنها تظهر تنوعاً دلالياً فعالاً أعلى.
الآلية: يزيد ضبط التفضيلات بشكل كبير من نسبة المخرات الصالحة/عالية الجودة. وحتى لو انخفض معدل الأفكار الفريدة لكل عينة صالحة قليلاً، فإن الحجم الهائل للعينات الصالحة التي تولدها النماذج المضبوطة يؤدي إلى عدد إجمالي أكبر من الأفكار الفريدة وعالية الجودة.
الكود مقابل النص:
- الكود: تقلل النماذج المضبطة بـ RL من التنوع المعجمي والنحوي (حلول أكثر معيارية) لكنها تحافظ على أو تحسن التنوع الدلالي بسبب ارتفاع الصلاحية.
- الكتابة الإبداعية: يزيد ضبط التفضيلات في الواقع من التنوع المعجمي (خيارات كلمات أكثر تنوعاً) جنباً إلى جنب مع الجودة.

ب. سوء فهم "انهيار التنوع"

عند استخدام مقاييس تتجاهل الجودة (مثل مسافة Cosine الخام)، تظهر النماذج الأساسية غالباً كالأكثر تنوعاً لأنها تولد حجماً كبيراً من المخرات غير المترابطة وغير الصالحة.
بمجرد إدخال عامل الجودة، ينعكس سرد "انهيار التنوع": النماذج المضبطة بـ RL هي الأكثر تنوعاً من حيث المخرات الفريدة والمفيدة.

ج. حجم النموذج والكفاءة

النماذج الأكبر: تظهر تنوعاً دلالياً فعالاً مطلقاً أعلى من النماذج الأصغر.
كفاءة المعلمات: عند قياس التنوع لكل معلمة (efficiency) ضمن ميزانية أخذ عينات ثابتة (مثلاً 32 توليد)، غالباً ما تكون النماذج الأصغر (حتى ~500 مليون معلمة) أكثر كفاءة في توليد محتوى فريد وصالح مقارنة بالنماذج الضخمة (70B). وهذا يشير إلى أن النماذج الأصغر هي الأمثل لمهام توليد البيانات الاصطناعية حيث تكون التكلفة قيداً.

د. تأثير درجة الحرارة (Temperature) في أخذ العينات

يكشف إطار العمل أن درجات الحرارة المنخفضة جداً والعالية جداً تقلل من التنوع الفعال.
درجة الحرارة المنخفضة تؤدي إلى التكرار (تنوع منخفض).
درجة الحرارة العالية تؤدي إلى عدم الترابط (صلاحية منخفضة)، وهو ما يعاقبه المقياس.
غالباً ما تجد النماذج المضبطة بالتفضيلات "نقطة مثالية" عند درجات حرارة متوسطة تزيد من التنوع الفعال.

5. الأهمية والآثار المترتبة

إعادة تعريف التقييم: تجادل الورقة بأن على المجتمع الانتقال من قياس "التنوع الخام" إلى "التنوع الدلالي الفعال" لتقييم فائدة النماذج اللغوية الكبيرة بدقة في المهام مفتوحة النهاية.
توليد البيانات الاصطناعية: بالنسبة لمهام مثل توليد بيانات تدريبية، تشير النتائج إلى أن استخدام نماذج أصغر ومضبوطة بالتفضيلات قد يكون أكثر فعالية من حيث التكلفة من استخدام نماذج أساسية ضخمة، حيث تولد كثافة أعلى من العينات الفريدة والصالحة لكل وحدة حوسبة.
المساعدة الإبداعية: ضبط التفضيلات (RLHF) لا يخنق الإبداع؛ بل يعزز فائدة المخرات الإبداعية من خلال ضمان كونها متماسكة وذات صلة مع الحفاظ على نطاق واسع من الأفك_ار.
التحول المنهجي: يوفر استخدام تنفيذ البرامج كتحقق من الصلاحية (Ground-truth validity) بديلاً قوياً ومنخفض التكلفة للتقييم البشري لدراسات التنوع، مما يضع سابقة لمعايير التقييم الآلي المستقبلية.

في الختام، تثبت الورقة أن الجودة والتنوع ليسا علاقة صفرية. فتقنيات ضبط التفضيلات، التي غالباً ما تُنتقد لتقليل التنوع، تعزز في الواقع التنوع العملي للنماذج اللغوية الكبيرة من خلال تصفية الضجيج وضمان أن التنوع المولد ذو معنى وقابل للاستخدام.