Post-training Large Language Models for Diverse High-Quality Responses

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين جودة التنوع لنماذج اللغات الكبيرة في مرحلة ما بعد التدريب" (DQO)، المقدمة كورقة بحثية في مؤتمر ICLR 2026.

1. بيان المشكلة

بينما يعد التعلم التعزيزي (RL) هو المعيار لمرحلة ما بعد التدريب لنماذج اللغات الكبيرة (LLMs) لضبطها مع التفضيلات البشرية وتحسين أداء المهام، إلا أنه يعاني من أثر جانبي حرج: تجانس المخرجات (Output Homogenization).

• المشكلة: غالبًا ما يؤدي تحسين التعلم التعزيزي إلى جعل النماذج تتقارب نحو مجموعة ضيقة من الاستجابات "النموذجية"، مما يقلل بشكل كبير من تنوع المخرجات. وهذا يحد من قدرات الاستدلال (عبر تقييد مسارات الحل البديلة)، والتخصيص، والمتانة تجاه تغيرات التوزيع.
• محدودية الحلول الحالية:
  • التدخلات أثناء الاستنتاج (مثل تغيير مقياس درجة الحرارة "temperature scaling"، أو أخذ العينات top-k) لا تقدم سوى اختلافات سطحية على مستوى الرموز (tokens) ويمكن أن تؤدي إلى تدهور جودة المخرجات أو تماسكها. وهي لا تستطيع استعادة الأنماط الدلالية الغائبة عن توزيع النموذج الأساسي.
  • طرق مرحلة التدريب تركز بشكل كبير على التنوع المعجمي (على سبيل المثال، تنظيم الإنتروبيا على مستوى الرموز أو الاختلافات اللفظية الزوجية). وتفشل هذه الطرق في التقاط التنوع الدلالي، وهو الأكثر أهمية للبشر. علاوة على ذلك، فإن مقايسات المسافة الزوجية البسيطة عرضة لـ "التكتل الانحلالي" (degenerate clustering)، حيث تشكل الاستجابات مجموعات متميزة ولكنها زائدة عن الحاجة داخليًا، مما يعطي انطباعًا مضللاً بالتنوع.

2. المنهجية: تحسين جودة التنوع (DQO)

يقترح المؤلفون إطار عمل DQO، وهو إطار عمل مبدئي لتحسين جودة الاستجابة والتنوع الدلالي بشكل مشترك باستخدام عمليات النقطة المحدد (Determinantal Point Processes - DPPs).

المفهوم الجوهري: التنوع الدلالي عبر DPPs

بدلاً من قياس التنوع على مستوى الرموز (tokens)، يعمل DQO في الفضاء الدلالي لتمثيل المتجهات (embedding space).

1. أخذ العينات: بالنسبة لمطالبة (prompt) معينة $x$، يقوم السياسة $\pi_\theta$ بأخذ مجموعة من $k$ استجابات $\{y_1, \dots, y_k\}$.
2. التمثيل (Embedding): يتم رسم هذه الاستجابات في فضاء دلالي عالي الأبعاد باستخدام مشفر (encoder) مدرب مسبقًا $\phi(\cdot)$.
3. مصفوفة التشابه: يتم إنشاء مصفوفة تشابه قائمة على النواة (kernel-based) حيث $L_{ij} = f(\phi(y_i), \phi(y_j))$. يستخدم المؤلفون بشكل أساسي نواة الضرب النقطي (dot product kernel).
4. مقياس التنوع: يُعرَّف مقياس التنوع بأنه المحدد (determinant) لهذه المصفوفة:
   $$\text{Div}(y_{1:k}) = \det(L_\phi(y_{1:k}))$$
   • التفسير الهندسي: يتوافق المحدد مع الحجم المربع الذي تشغله متجهات تمثيل الاستجابات. إن تعظيم هذا الحجم يجبر النموذج على توليد استجابات ليست فقط متميزة، بل ومستقلة خطيًا أيضًا، مما يؤدي فعليًا إلى تغطية الفضاء الدلالي بدلاً من تكوين تكتلات ضيقة. وهذا يتجاوز قيود مقايسات المسافة الزوجية.

دالة الهدف (The Objective Function)

يقوم DQO بتعديل هدف التعلم التعزيزي القياسي (مثل PPO أو GRPO) ليشمل حد التنوع. دالة الهدف الجديدة $J_{\text{Div}}$ هي:
$$J_{\text{Div}}(\pi_\theta) = \mathbb{E}_{x, y_{1:k} \sim \pi_\theta} \left[ \sum_{i=1}^k r(x, y_i) + \alpha \log \det(L_\phi(y_{1:k}) + I_k) - \beta \text{KL}(\pi_\theta || \pi_{\text{ref}}) \right]$$

• المكافأة ($r$): تمثل جودة الاستجابة.
• $\alpha$: معلمة فائقة (hyperparameter) توازن بين الجودة والتنوع.
• $\log \det(L + I_k)$: حد التنوع. إضافة مصفوفة الوحدة $I_k$ تعمل كمنظم لمنع عدم الاستقرار العددي (اللوغاريتم للصفر) ولضمان كون الحد محدودًا.
• التمثيلات المعززة بالمكافأة: نظريًا، تختار السياسة المثلى مجموعات من الاستجابات تتناسب مع محدد مصفوفة غرامل (Gram matrix) مبنية من التمثيلات المعززة بالمكافأة $\psi(x, y) = \sqrt{\exp(r(x,y)/\alpha)} \cdot \phi(y)$. وهذا يخلق مقايضة هندسية: يسعى النموذج للحصول على متجهات طويلة (مكافأة/جودة عالية) ومتباعدة بشكل واسع (متنوعة).

الاستقرار الخوارزمي

يفرض التحسين المباشر للمحدد تحديات:

• عدم الاستقرار العددي: يمكن أن يكون $\log(\det(L))$ غير محدود إذا كانت $L$ منفردة (singular).
• التباين العالي: يتضمن التدرج (gradient) مجموع $k$ من الاستجابات.
• الحل:
  1. تنظيم مصفوفة الوحدة: استخدام $\det(L + I_k)$ بدلاً من $\det(L)$.
  2. مُقدّر "ترك واحد فقط" (Leave-One-Out - LOO): لتقليل تباين التدرج، يتم حساب حد التنوع كنسبة: $\log \frac{\det(L(y_{1:k}) + I_k)}{\det(L(y_{-i}) + I_{k-1})}$. هذا المُقدّر غير متحيز ومحدود، مما يجعل التدريب مستقرًا حتى بالنسبة لقيم $k$ الكبيرة.

3. المساهمات الرئيسية

1. إطار عمل مبدئي (DQO): خوارزمية مرنة قابلة للتطبيق فوق طرق التعلم التعزيزي الحالية (PPO, GRPO) والتي تحسن الجودة والتنوع الدلالي معًا.
2. الدلالي مقابل المعجمي: يوضح أن صياغة DPP تلتقط تنوعًا دلاليًا ذا معنى، متجنبة عيوب الإنتروبيا على مستوى الرموز أو مقايسات المسافة الزوجية.
3. مقايضة الجودة-التنوع: يظهر أن DQO يمكنه تعزيز التنوع بشكل كبير دون التضحو بجودة المهام (الجودة)، محققًا جبهة باريتو (Pareto frontier) متفوقة مقارنة بالنماذج المرجعية.
4. الارتباط النظري: يربط هدف التحسين بـ التصميم الأمثل من النوع D (D-Optimal Design) في التصميم التجريبي، مما يؤطر اختيار الاستجابات المتنوعة كعملية تعظيم لزيادة المعلومات في الفضاء الدلالي.

4. النتائج التجريبية

قيم المؤلفون DQO عبر أربع فئات من المهام: اتباع التعليمات (Dolly)، التلخيص (CNN-DailyMail)، توليد القصص (CommonGen)، والاستدلال (GSM8K).

• الأداء مقابل النماذج المرجعية:

  • تفوق DQO باستمرار على النماذج التي تعتمد على المكافأة فقط (PPO/GRPO) والطرق الأخرى المدركة للتنوع (GRPO-likelihood, GRPO-entropy) في كلا مقاييس التنوع والجودة.
  • مقايسات التنوع: تم قياسها عبر Distinct-n، Self-BLEU، Self-ROUGE، و LLM-as-a-Judge. أظهر DQO مكاسب جوهرية (على سبيل المثال، تحسن بنسبة +61.7% في تنوع مهام الاستدلال).
  • مقايسات الجودة: تم قياسها عبر Pass@n (احتمالية أن تكون واحدة على الأقل من $n$ عينة صحيحة). حافظ DQO على أداء Pass@1 أو حسنه مع تعزيز Pass@n بشكل كبير، مما يشير إلى أن النموذج يولد مجموعة أوسع من الحلول الصحيحة.

• دراسات الاستئصال (Ablation Studies):

  • المعلمات الفائقة ($\alpha, k$): الطريقة قوية عبر نطاق من قيم $\alpha$ (وزن التنوع) و $k$ (حجم العينة). زيادة $\alpha$ أو $k$ تعزز التنوع عمومًا مع حد أدنى من التدهور في الجودة.
  • نماذج التمثيل (Embedding Models): يعمل DQO بشكل جيد مع نماذج تمثيل متنوعة (مثل MiniLM, MPNet, GTE)، مما يظهر المتانة تجاه اختيار المشفر الدلالي.
  • دوال النواة (Kernel Functions): أعطت كل من نواة الضرب النقطي والنواة الغاوسية نتائج متشابهة.

• دراسة حالة (توصية المدن):

  • النماذج التي تعتمد على المكافأة فقط استقرت على مدينة واحدة (طوكيو).
  • طرق المسافة الزوجية استقرت على تكتلين.
  • نجح DQO (المحدد) في توزيع التوصيات عبر مجموعة واسعة من المدن، مما أظهر تغطية دلالية حقيقية.

• اختراق المكافأة (Reward Hacking): تشير الورقة إلى أن استخدام مكافآت قائمة على النتيجة (مثل صحيح/خاطئ لمهام الرياضيات) يمكن أن يؤدي إلى اختراق المكافأة (توليد إجابة صحيحة متبوعة بنص عشوائي لتعزيز التنوع). يخفف DQO من ذلك باستخدام نموذج مكافأة يقيم الاستجابة بأكملرها، مما يضمن الحفاظ على الجودة عبر عملية التوليد كاملة.

5. الأهمية والخاتمة

تعالج هذه الورقة عقبة أساسية في مرحلة ما بعد التدريب لنماذج اللغات الكبيرة: المقايضة بين الضبط (الجودة) والتنوع. من خلال الاستفادة من الخصائص الرياضية لعمليات النقطة المحدد، يوفر DQO آلية قائمة على أسس نظرية لتشجيع النماذج على استكشاف الفضاء الدلالي الكامل للإجابات الممكنة.

• الأثر العملي: يتيح DQO لنماذج اللغات الكبيرة أن تكون أكثر إبداعًا، وتخصيصًا، ومتانة، وهو أمر بالغ الأهمية لتطبيقات مثل الكتابة الإبداعية، والعصف الذهني، والاستدلال المعقد حيث توجد مسارات متعددة صالحة.
• الكفاءة: التكلفة الحسابية الإضافية ضئيلة جدًا (ميكروثانية لكل خطوة) مقارنة بتكلفة توليد الاستجابات وتشغيل نموذج المكافأة.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما يعد DQO فعالًا، يمكن أن يركز العمل المستقبلي على قياس التنوع التكيفي الذي يتعدل مع متطلبات المهام المحددة دون الاعتماد فقط على نماذج تمثيل ثابتة.

باختصار، يمثل DQO خطوة مهمة للأمام لجعل نماذج اللغات الكبيرة ليس فقط "صحيحة"، بل صحيحة ومتنوعة، مما يحافظ على ثراء اللغة البشرية مع الحفاظ على الأداء العالي.