ملخص تقني: فك التشفير القائم على الطاقة (EBD)

1. بيان المشكلة

تتناول الورقة البحثية عدم تطابق حرج في تقييم النماذج اللغوية الكبيرة (LLMs) المدربة مسبقاً. فبينما تفترض المعايير القياسية أن النماذج ستفسر الأوامر (prompts) كمهام وتنتج إجابات جيدة الصياغة، فإن النماذج المدربة مسبقاً والمجمدة مُحسّنة أساساً للتنبؤ بالرمز التالي (الاستمرار). وبناءً على ذلك، غالباً ما تولد هذه النماذج نصوصاً بأسلوب الاستمرار بدلاً من الاستجابات الموجهة نحو المهام عند استخدام التوجيه القياسي وفك التشفير المباشر. يؤدي هذا إلى نتائج تقييم غير موثوقة تخلط بين القدرات الفعلية للنموذج وبين عدم قدرته على تبني "وضع المهمة" دون تحديث المعلمات.

تواجه الحلول الحالية قيوداً كبيرة:

• ما بعد التدريب (SFT/RLHF): فعالة ولكنها مكلفة وتطمس التمييز بين المعرفة المدربة مسبقاً والسلوكيات المتعلمة.
• فك التشفير القائم على الاحتمالية فقط (مثل تقليل درجة الحرارة، أو بحث الشعاع - Beam Search): تعيد هذه الطرق تشكيل توزيع المخرجات دون إشارات منفعة خارجية، وغالباً ما تضخم أنماط الاستمرار ذات الاحتمالية العالية الزائفة بدلاً من تفعيل سلوك حل المهام.
• البحث المكثف للعينات (مثل Best-of-N، وإعادة التصنيف): رغم أنها تستخدم إشارات المكافأة، إلا أنها مكلفة حوسبياً وغير فعالة عندما يكون التوزيع الأساسي منحازاً بشدة نحو استمرارات غير متعلقة بالمهمة.

التحدي الجوهري هو تفعيل السلوكيات الموجهة نحو المهام وعالية المنفعة من النماذج المدربة مسبقاً والمجمدةة أثناء وقت الاستدلال دون تحديث المعلمات، مع الحفاظ على الكفاءة والأمانة لتوزيع النموذج الأصلي.

2. المنهجية: فك التشفير القائم على الطاقة (EBD)

يقترح المؤلفون فك التشفير القائم على الطاقة (EBD)، وهو إطار عمل موجه بالمكافأة وخالٍ من التدريب، يعمل على توجيه التوليد نحو استجابات عالية المنفعة مع ربطها بالمنطلق (prior) المدرب مسبقاً.

الصياغة النظرية

يصيغ EBD عملية فك التشفير كعملية أخذ عينات من توزيع خلفي مائل بالمكافأة:
$$\pi^*_\beta(y | x) \propto p_\theta(y | x) \exp(\beta S_x(y))$$
حيث:

• $p_\theta(y | x)$ هو المنطلق (prior) للنموذج المجمد المدرب مسبقاً.
• $S_x(y)$ هي درجة مكافأة معيرة بناءً على الأمر (prompt) مستمدة من نموذج مكافأة خفيف الوزن.
• $\beta$ هي درجة الحرارة العكسية التي تتحكم في المقايضة بين المنطلق والمكافأة.

هذه الصياغة مكافئة لتوزيع قائم على الطاقة حيث الطاقة هي: $E_x(y) = -\log p_\theta(y | x) - \beta S_x(y)$. الهدف هو إيجاد استجابات منخفضة الطاقة تكون منطقية بموجب النموذج المدرب مسبقاً وعالية المنفعة وفقاً للمكافأة.

الخوارزمية: خوارزمية ميتروبوليس-هاستينغز للكتل (Block-wise Metropolis-Hastings)

لأخذ عينات من هذا التوزيع المستهدف بكفاءة، ينفذ EBD خط إنتاج مكون من مرحلتين باستخدام عينات ميتروبوليس-هاستينغز للكتل (MH):

1. التهيئة (المرحلة الأولى):

   • أخذ عينة من مجموعة صغيرة من المرشحين ($n_{init}$) من المنطلق المجمد.
   • تقييمهم باستخدام نموذج المكافأة وحساب إحصائيات التعيير على مستوى الأمر (المتوسط $\mu_R$ والانحراف المعياري $\sigma_R$).
   • تعريف درجة ميزة معيارية: $A_x(y) = (R(y, x) - \mu_R) / \sigma_R$.
   • اختيار أفضل مرشح من المجموعة كحالة أولية $y^{(0)}$.

2. التحسين (المرحلة الثانية):

   • إجراء $K$ من خطوات التحسين. في كل خطوة:
     • اختيار الكتلة: تقسيم الاستجابة الحالية إلى $M$ من الكتل المتتالية واختيار موضع قطع $c$ بشكل موحد.
     • الاقتراح: الإبقاء على البادئة ($y_{<c}$) ثابتة وإعادة توليد التذييل ($y'_{\ge c}$) من المنطلق الشرطي المطابق $p_\theta(\cdot | x, y_{<c})$.
     • القبول: حساب نسبة قبول MH. ومن الأهمية بمكان أنه نظرًا لأن تذييل الاقتراح يتم أخذ عينة منه من نفس التوزيع الشرطي الدقيق للطرف الخاص بالمنطلق، فإن إلغاء المنطلق والاقتراح يحدث:
       $$\frac{p_\theta(y' | x) Q(c, y | y')}{p_\theta(y | x) Q(c, y' | y)} = 1$$
     • تتبسط احتمالية القبول لتصبح مقارنة للمكافأة:
       $$\alpha = \min(1, \exp(\beta [A_x(y') - A_x(y)]))$$
   • إذا تم القبول، يتم تحديث الحالة؛ وإلا، يتم الاحتفاظ بالحالة الحالية.

آلية الكفاءة الرئيسية

إلغاء المنطلق والاقتراح (Proposal-Prior Cancellation) هو الابتكار المركزي. فهو يلغي الحاجة إلى إعادة تقييم احتمالية التسلسل الكامل تحت النموذج الأساسي أثناء خطوة القبول. تنخفض التكلفة الحوسبية لكل خطوة لتصبح مجرد توليد تلقائي للتذييل وتقييم واحد لنموذج المكافأة، مما يجعلها تتناسب خطياً مع عدد خطوات التحسين.

3. المساهمات الرئيسية

1. الصياغة: تصيغ الورقة فك التشفير الموجه بالمكافأة كأخذ عينات من توزيع خلفي مائل بالمكافأة، مما يسمح بتفعيل السلوك الموجه نحو المهام تحت منطلق مجمد.
2. الابتكار الخوارزمي: تقدم EBD مع خاصية إلغاء المنطلق والاقتراح، والتي تسمح بتحديثات فعالة تعتمد فقط على فروق المكافأة دون الحاجة لإعادة تقييم احتمالية التسلسل الكامل صراحةً.
3. التحول السلوكي: يوضح المؤلفون أن EBD لا تعمل فقط على تحسين الدرجات الإجمالية، بل تغير التوزيع السلوكي للنماذج الأساسية لتصبح مشابهة لقريناتها التي خضعت للضبط التعليمي (instruct-tuned).
4. التحقق التجريبي: أظهر التقييم الواسع عبر خمسة نماذج وستة معايير تحسينات متسقة مقارنة بفك التشفير المباشر والطرق الأخرى القائمة على فك التشفير المنطلق (مثل Power Sampling).

4. النتائج التجريبية

قيم المؤلفون EBD على خمسة نماذج مفتوحة المصدر (Llama-3-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B-Base, Olmo-7B) عبر معايير موضوعية (GPQA, Math500, HumanEval) ومعايير ذاتية (AlpacaEval2.0, MT-Bench, WritingBench).

• مكاسب الأداء:
  • AlpacaEval2.0: تحسن نموذج Qwen3-8B-Base من 8.8 إلى 44.5 (+405%).
  • المهام الموضوعية: زادت متوسط الدرجات الموضوعية بشكل كبير (على سبيل المثال، تحسن Qwen2.5-7B من 0.398 إلى 0.557).
  • المواءمة السلوكية: ارتفع معامل ارتباط بيرسون للصحّة الثنائية مع نماذج الـ instruct المجهزة مسبقاً من 0.256 (المباشر) إلى 0.385 (EBD) في المتوسط.
• الكفاءة:
  • يعد EBD أسرع بكثير من النماذج المرجعية التي تعتمد على كثافة العينات مثل Power Sampling. في اختبار Math500 لنموذج Mistral-7B، قلل EBD زمن الاستجابة بمقدار 18.9 ضعفًا مقارنة بأعمال فك التشفير السابقة.
  • يظل قوياً عبر أحجام نماذج المكافأة المختلفة (من 0.6B إلى 8B)، حيث تحقق النماذج الأصغر غالباً أداءً يضاهي النماذج الأكبر.
• المتانة:
  • يحسن EBD الأداء في كل من إعدادات Zero-shot وCold-start SFT.
  • على عكس SFT، الذي يقمع أنماط استمرار معينة، يقوم EBD بتطبيق ميل للمكافأة دون تغيير التوزيع الأساسي، مما يجعله متيناً عبر أنواع المهام المختلفة (مثل تحسين الرياضيات/الاستنتاج مع الحفاظ على قدرات توليد الكود).

5. الأهمية والادعاءات

تدعي الورقة أن فك التشفير هو مكون حاسم وغالباً ما يتم إغفاله في تقييم النماذج. ففك التشفير المباشر القياسي يقلل من تقدير قدرات النماذج المدربة مسبقاً والمجمدة في البيئات الموجهة نحو المهام.

• التقييم العادل: يتيح EBD تقييماً أكثر عدلاً في وقت الاستدلال للنماذج المدربة مسبقاً عبر تفعيل السلوكيات الموجهة نحو المهام والتي يصعب الوصول إليها عبر التوجيه القياسي.
• التكامل مع ما بعد التدريب: يعمل EBD كنهج مكمل لتحديث المعلمات. يمكنه سد جزء كبير من فجوة الأداء بين النماذج المدربة مسبقاً والنماذج التي خضعت للضبط، دون أي تدريب، ليعمل كتعزيز فعال في وقت الاستدلال أو كأداة تشخيص لحساسية نقاط التحقق (checkpoints).
• الكفاءة مقابل الفعالية: يحقق الأسلوب توازناً متفوقاً بين الجودة والكفاءة مقارنة بطرق فك التشفير الحالية، مما يثبت أن إشارات المكافأة الخارجية مع أخذ عينات MCMC الفعالة يمكن أن تفتح القدرات الكامنة في النماذج المجمدة.

خلص المؤلفون إلى أن الاستدلال الموجه بالمكافأة يمكن أن يحسن بشكل كبير السلوك المرتبط بالمواءمة دون تحديث واحد للمعلمات، مما يشير إلى أن "القطعة المفقودة" في تقييم النماذج المدربة مسبقاً هي غالباً استراتيجية فك التشفير وليس أوزان النموذج نفسه.