ملخص تقني: التمييز بين استحثاث القدرات وخلق القدرات في مرحلة ما بعد التدريب

1. بيان المشكلة

غالبًا ما يضع الخطاب السائد في مرحلة ما بعد التدريب (post-training) للنماذج اللغوية الكبيرة (LLMs) التمييز بين الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL) كنوع من الثنائية بين المحاكاة (SFT) والاكتشاف (RL). تجادل هذه الورقة بأن هذا التمييز فضفاض للغاية ويحجب الآلية الجوهرية لكيفية تغيير عملية ما بعد التدريب لسلوك النموذج.

تتمثل المشكلة الجوهرية في تحديد ما إذا كانت إجراءات ما بعد التدريب تقوم بـ:

1. استحثاث القدرات (Eliciting capabilities): زيادة احتمالية سلوكيات يمكن للنموذج الأساسي المدرب مسبقًا إنتاجها بالفعل، ولكنها كانت غير موثوقة.
2. خلق القدرات (Creating capabilities): توسيع مجموعة السلوكيات التي يمكن للنموذج الوصول إليها عمليًا، مما يُمكّن من تحقيق نتائج كانت غير قابلة للوصول سابقًا.

يؤكد المؤلفون أن تصنيف طريقة ما على أنها "SFT" أو "RL" لا يحدد آلية القدرة الخاصة بها. بدلاً من ذلك، تعتمد الآلية على مصدر إشارات التدريب (التوضيحات مقابل المكافآت)، وتوليد السلوكيات المرشحة، وما إذا كانت العملية توسع الدعم المتاح (accessible support) للنموذج.

2. المنهجية والإطار النظري

2.1 منظور الطاقة الحرة (Free-Energy Perspective)

يصيغ المؤلفون مرحلة ما بعد التدريب باستخدام إطار الطاقة الحرة، مستمدين تشبيهًا من الفيزياء الإحصائية ($F = E - TS$). هم يفسرون أهداف ما بعد التدريب على أنها تقليل للطاقة الحرة الفعالة:
$$F_x(q) = \mathbb{E}_{y \sim q(y|x)}[E(x, y)] + \beta \text{KL}[q(y|x) \parallel p_0(y|x)]$$
حيث:

• $p_0(y|x)$ هو توزيع المرجع المدرب مسبقًا.
• $q(y|x)$ هو التوزيع بعد التدريب.
• $E(x, y)$ هي الطاقة الفعالة المستمدة من الإشارات الخارجية.
• $\beta$ يعمل كدرجة حرارة عكسية، تتحكم في المقايضة بين استغلال السلوكيات المفضلة والحفاظ على التنوع (قيد KL).

رؤى نظرية رئيسية:

• SFT كطاقة: يقلل SFT من السلب اللوغاريتمي للاحتمالية (negative log-likelihood) على التوضيحات. وهذا يكافئ تعريف طاقة فعالة $E_{SFT}(x, y) = -\beta \log \frac{p_{demo}(y|x)}{p_0(y|x)}$. إذا كان السلوك موجودًا في توزيع التوضيح ولكن احتماليته صفر في النموذج الأساسي ($p_0 \to 0$)، فإن الطاقة تصبح متفردة (singular)، مما يكسر تفسير إعادة الوزن المحلي.
• RL كطاقة: يعظم RL المكافآت مع مراعاة قيد KL. وهذا يتوافق مع $E_{RL}(x, y) = -R(x, y)$. التوزيع الأمثل هو إعادة وزن بولتزمان للمرجع: $q^*(y|x) \propto p_0(y|x) \exp(R(x, y)/\beta)$.
• إعادة الوزن المحلي (Local Reweighting): عندما تظل التحديثات قريبة من النموذج المرجعي (قيد KL قوي)، فإن التأثير الأساسي هو إعادة وزن محلي للتوزيع الموجود، وليس خلق سلوكيات جديدة.

2.2 الدعم المتاح (Accessible Support)

لتحويل التمييز بين الاستحثاث والخلق إلى نموذج إجرائي، تقدم الورقة مفهوم الدعم المتاح: وهو مجموعة السلوكيات التي يمكن للنموذج إنتاجها عمليًا تحت ميزانيات محدودة من أخذ العينات، والتحسين، والتباعد. ينتقل هذا المفهوم إلى ما وراء الدعم الرياضي الصارم (الاحتمالية غير الصفرية) إلى إمكانية الوصول العملية.

يصنف المؤلفون المشهد السلوكي إلى أربعة أنظمة بناءً على العلاقة بين السلوك المستهدف والدعم المتاح للنموذج الأساسي:

1. الاستحثاث المغطى بالتوضيح (Demonstration-Covered Elicitation): يقع السلوك المستهدف في "حوض" عالي الاحتمالية للنموذج الأساسي وهو مغطى بالتوضيحات. تعمل مرحلة ما بعد التدريب هنا على تثبيت هذا السلوك الموجود.
2. إعادة وزن الذيل (Tail Reweighting): يقع السلوك المستهدف في "ذيل" توزيع النموذج الأساسي (نادر في فك الترميز الجشع/greedy decoding ولكنه قابل للوصول تحت ميزانيات أخذ عينات أكبر مثل best-of-N). تعمل مرحلة ما بعد التدريب على تضخيم هذه السلوكيات النادرة ولكن القابلة للوصول.
3. اكتشاف عبور الحواجز (Barrier-Crossing Discovery): يفصل السلوك المستهدف عن مخرجات النموذج الأساسية المعتادة "حواجز" (سلاسل من الخطوات الوسيطة منخفضة الاحتمالية). يتطلب الوصول إلى هذه السلوكيات تغيير عملية توليد المسار (على سبيل المثال، عبر البحث، أو استخدام الأدوات، أو الإشراف على العمليات)، وليس مجرد إعادة الوزن.
4. الأنظمة غير المدعومة (Unsupported Regimes): يقع السلوك المستهدف خارج دعم النموذج الأساسي ($p_0(y|x) = 0$). تصبح الطاقة الفعالة متباعدة. لا يمكن لما بعد التدريب خلق هذه القدرات دون معلومات جديدة، أو أدوات، أو تغييرات هيكلية.

3. المساهمات الرئيسية

• إعادة صياغة الجدل بين SFT و RL: تنقل الورقة التركيز من الملصقات الخوارزمية (SFT/RL) إلى آلية تغير القدرة (الاستحثاث مقابل الخلق). وتجادل بأن SFT يمكن أن يستحث سلوكيات جديدة إذا كانت التوضيحات عالية الجودة (تغطي الذيل)، وأن RL قد يكون مجرد إعادة وزن إذا كان مقيدًا بقيد KL قوي.
• إطار تشخيصي: من خلال تطبيق منظور الطاقة الحرة، يقدم المؤلفون أداة رياضية لتشخيص ما إذا كانت مكاسب الأداء ناتجة عن إعادة الوزن المحلي (داخل الدعم المتاح) أم توسيع الدعم (عبور الحواجز).
• الأنظمة الأربعة: تضع الورقة تصنيفًا لنتائج ما بعد التدريب، موضحة أن "خلق القدرة" ليس خاصية ثنائية للطريقة، بل هو خاصية للتفاعل بين إشارة التدريب، وعملية توليد المرشحين، ومدى إمكانية الوصول للنموذج الأساسي.
• توضيح "الخلق": يجادل المؤلفون بأن الخلق الحقيقي للقدرة (اكتشاف عبور الحواجز) يتطلب آليات تغير عملية توليد المسار (مثل البحث، التفاعل، استخدام الأدوات)، بدلاً من مجرد تعظيم المكافأة المنعزل.

4. النتائج والادعاءات

لا تقدم الورقة اختبارات معيارية (benchmarks) جديدة بل تقدم تحليلاً تشخيصيًا لظواهر ما بعد التدريب الموجودة:

• SFT ليس ضعيفًا بطبيعته: إذا كانت التوضيحات تحتوي على مسارات تم توليدها بواسطة البحث أو نماذج أقوى، يمكن لـ SFT استحثاث سلوكيات نادرًا ما ينتجها النموذج الأساسي. تكمن محدودية SFT في تغطية توزيع التوضيح، وليس في هدف الإشراف نفسه.
• RL ليس مبدعًا بطبيعته: إذا طُبق RL مع قيود KL قوية ودون آليات بحث، فإنه يقوم فقط بإعادة وزن سلوكيات ذيل النموذج الأساسي. تعكس مكاسب المعايير الكبيرة في هذا النظام إعادة وزن الذيل، وليس خلق قدرات جديدة.
• حد التفرد (The Singularity Boundary): يتميز الانتقال من الاستحثاث إلى الخلق بوجود "تفرد" (singularity) في صيغة الطاقة الحرة. عندما $p_0(y|x) \to 0$ لسلوك مطلوب، ينهار تفسير إعادة الوزن المحلي، مما يشير إلى أن السلوك يقع خارج الدعم المتاح.

5. الأهمية والنطاق

تدعي الورقة أن التمييز بين استحثاث القدرات وخلق القدرات أمر ضروري لأبحاث ما بعد التدريب الرصينة.

• الادعاءات المتواضعة: يصرح المؤلفون صراحةً بأنهم لا يدعون أن SFT و RL متطابقان، ولا أن ديناميكيات التحسين غير ذات صلة. بدلاً من ذلك، يجادلون بوجوب تفسير ديناميكيات التحسين بالنسبة للنظام (على سبيل المثال، في أنظمة عبور الحواجز، يجب اقتران التحسين بتغييرات في توليد المسار).
• النطاق: الإطار هو إطار تشخيصي. فهو يوضح أن تحسينات الأداء وحدها ليست دليلًا كافيًا على خلق القدرة. وللمطالبة بالخلق، يجب إثبات أن الطريقة وسعت مساحة السلوك القابلة للوصال للنموذج، غالبًا من خلال البحث، أو التفاعل، أو معلومات جديدة، وليس مجرد إعادة وزن الاحتمالات الموجودة.
• الاتجاه المستقبلي: تدعو الورقة إلى عمل مستقبلي يميز صراحةً بين هذه الأنظمة. يجب على الباحثين عدم الإبلاغ عن مكاسب الأداء فحسب، بل أيضًا عما إذا كانت تلك المكاسب تعكس استقرار الأحواض، أو تضخيم الذيول، أو عبور الحواجز.

باختốt، تفترض الورقة أن السؤال المركزي في مرحلة ما بعد التدريب ليس "SFT أم RL؟" بل "هل هذه الطريقة تعيد وزن ما هو متاح بالفعل، أم أنها توسع ما هو متاح؟"