Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

ملخص تقني: ما بعد التدريب عند حافة القدرة على الكشف

بيان المشكلة
يُعد الضبط الدقيق باستخدام التعلم التعزيزي (RL) آلية قياسية لتحسين النماذج اللغوية الكبيرة (LLMs) في مهام مستهدفة محددة، مع محاولة الحفاظ على السلوكيات الموروثة من سياسة مرجعية. النهج السائد، وهو التعلم التعزيزي المنظم بتباعد كولباك - ليبلر (KL-regularized RL)، يوازن بين هذين الهدفين عبر تعظيم دالة المكافأة مع الخضوع لعقوبة ناتجة عن الانحراف عن السياسة المرجعية، ويتم التحكم في ذلك عبر معامل تنظيم $\beta$. ومع ذلك، تحدد الورقة البحثية قصوراً حرجاً: لا توجد طريقة مبدئية لتحديد قيمة $\beta$. في الممارسة العملية، يتم اختيار $\beta$ عبر ضبط يدوي استدلالي أو بحث في شبكة المعلمات الفائقة (hyperparameter grid search). هذا النهج يتسبب في تكاليف حسابية باهظة، وغالباً ما يؤدي إلى مقايضات دون المستوى الأمثل بين تعظيم المكافأة والحفاظ على السلوك (ما يُعرف غالباً بـ "ضريبة المحاذاة" أو alignment tax). علاوة على على ذلك، لا تزال الأساليب التكيفية الحالية تتطلب من المتعلم تحديد تباعد مستهدف أو استدلال تحديث مسبق.

المنهجية: لعبة الكشف المتسلسل
يقترح المؤلفون إطار عمل قائماً على نظرية الألعاب لحل غموض معامل التنظيم. لقد صاغوا لعبة كشف متسلسل تتضمن لاعبين:

1. الوكيل (The Agent): يسعى لنشر سياسة $\tilde{\pi}$ لتعظيم المكافأة التراكمية.
2. المراقب (The Monitor): يراقب مخرجات (الطلب-الاستجابة) الخاصة بالوكيل بشكل متسلسل ويحاول كشف الانحرافات عن السياسة المرجعية $\pi_{ref}$ مع التحكم في معدل خطأ النوع الأول (معدل الإيجاب الكاذب) عند مستوى $\alpha$.

تجري اللعبة في خطوات زمنية منفصلة. إذا رفض اختبار الفرضية المتسلسل الخاص بالمراقب الفرضية الصفرية (أن المخرجات ناتجة عن $\pi_{ref}$)، يتم إنهاء عملية النشر، وتُحدد مكافأة الوكيل عند القيمة المتراكمة حتى وقت التوقف ذاك. يهدف المراقب إلى تقليل وقت التوقف المتوقع، بينما يهدف الوكيل إلى تعظيم المكافأة التراكمية المتوقعة قبل الكشف.

التحليل النظري والتوازن
تثبت الورقة أن توازن ناش (Nash equilibrium) لهذه اللعبة يؤدي إلى نتيجة هيكلية محددة:

• استراتيجية المراقب: الاستجابة المثلى للمراقب هي اختبار نسبة الاحتمال المتسلسل (SPRT) الذي يستهدف سياسة الوكيل الفعلية.
• استراتيجية الوكيل: سياسة الوكيل المثلى هي سياسة مائلة (tilt) لسياسة المرجع ومنظمة بـ KL. وتحديداً، تحل السياسة المتوازنة $\pi_{\beta^*}$ مسألة التعلم التعزيزي المنظمة بـ KL القياسية (المعادلة 1) بمعامل داخلي محدد $\beta^*$.

الأمر الجوهري هو أن المعامل المتوازن $\beta^*$ ليس معلمة فائقة حرة، بل يتم تحديده عبر نسبة المكافأة المتوقعة إلى تباعد KL المتوقع. يقوم الوكيل بتحسين البرنامج الجزئي (fractional program):
$$\max_{\pi} \frac{\mathbb{E}[r(x, y)]}{\mathbb{E}[\text{KL}(\pi, \pi_{ref})]}$$
يوفر هذا تفسيراً تشغيلياً لعقوبة KL: فهي تمثل "السعر الظلي" (shadow price) للبقاء غير مميز إحصائياً عن السياسة المرجعية تحت المراقبة المتسلسلة. المعامل المتوازن $\beta^*$ يعظم المكافأة لكل وحدة من التمايز الإحصائي.

الخوارزمية: التنصيف العشوائي (Stochastic Bisection)
لتعلم المعامل المتوازن $\beta^*$ دون البحث الشامل في الشبكات، يقترح المؤلفون الخوارزمية 1، وهي طريقة تنصيف عشوائي:

• تعامل الخوارزمية تحديد $\beta^*$ كمسألة إيجاد جذر لدالة $M(\beta) = \mathbb{E}[r] - \beta \cdot \mathbb{E}[\text{KL}]$.
• الجذر $\beta^*$ هو النقطة التي تتساوى فيها المكافأة الهامشية المكتسبة مع التكلفة الإحصائية الهامشية.
• تعمل الخوارزمية بشكل تكراري على تضييق الفترة $[\beta_{low}, \beta_{high}]$ عبر حل مشكلات فرعية للتعلم التعزيزي (باستخدام "أوراكل RL" مثل PPO أو GRPO) لتقدير إشارة $M(\beta)$.
• يظهر التحليل النظري أن الخوارزمية تتقارب نحو حل بدقة $\epsilon$ في عدد دورات قدره $O(\log(1/\epsilon))$، وذلك بالاستفيد من تقنيات البرمجة الكسرية المقعرة-المحدبة واختبار الفرضية المتسلسل.

النتائج التجريبية
تم تقييم إطار العمل على نماذج Qwen3-8B و Llama-3.2-1B في إعدادين:

1. التعلم المستمر: الهدف هو تعظيم طول الاستجابة (المكافأة) مع الحفاظ على التماسك السردي والنحوي (الاحتفاظ).

   • النتائج: اختارت الخوارزمية 1 باستمرار سياسات قريبة من "كوع" (elbow) جبهة باريتو التجريبية للمكافأة-الاحتفاظ. في المقابل، أنتجت عمليات البحث في الشبكة المتطابقة حسابياً (compute-matched grid searches) غالباً سياسات عند الأطراف (إما مكافأة عالية/تماسك منخفض أو مكافأة منخفضة/تماسك عالٍ) أو تطلبت اختياراً لاحقاً. حققت السياسة المتوازنة مقايضات تنافسية، حيث وازنت بفعالية بين "ضريبة المحاذاة".

2. تدقيق النماذج: الهدف هو كشف ما إذا كان مزود واجهة برمجة التطبيقات (API) قد قام بضبط النموذج استراتيجياً لإنتاج استجابات أطول مع البقاء غير قابل للكشف.

   • النتائج: استطاع اختبار المراقب المعتمد على التوازن اكتشاف التعديلات الاستراتيجية بشكل أسرع بكثير من الخطوط المرجعية الطبيعية (مثل اختبارات الخليط الموحدة) مع التحكم بصرامة في معدل خطأ النوع الأول. على سبيل المثال، في نموذج Llama-3.2-1B، كشف اختبار المراقب الانحرافات في حوالي 1.75 إلى 5.31 خطوة، بينما تطلب الخط المرجعي ما بين 6.23 إلى 20.36 خطوة، مع ظهور معدلات إيجاب كاذب أعلى في الخط المرجعي.

الأهمية والادعاءات
تدعي الورقة ثلاث مساهمات رئيسية:

1. التوحيد النظري: توفر اشتقاقاً قائماً على نظرية الألعاب لهدف التعلم التعزيزي المنظم بـ KL المستخدم على نطاق واسع، مما يظهر أن السياسة المثلى في لعبة الكشف هي بالضبط السياسة المائلة بـ KL. هذا يستعيد ممارسة مستخدمة على نطاق واسٍ ولكن يضعها في إطار إحصائي صارم.
2. الاختيار المبدئي للمعلمات الفائقة: تقدم طريقة لتحديد معامل التنظيم $\beta$ داخلياً. بدلاً من معاملة $\beta$ كمعلمة فائقة قابلة للضبط، يحدد نهج التوازن هذه القيمة كالقيمة التي تعظم المكافأة لكل وحدة من التمايز الإحصائي.
3. القدرة على التدقيق: يتيح إطار العمل نهجاً مبدئياً لتدقيق واجهات برمجة التطبيقات للنماذج مفتوحة المصدر. وتوضح أنه يمكن للمراقب استخدام اختبار التوازن لاكتشاف الضبط الدقيق الاستراتيجي والمخفي بكفاءة أكبر من المعايير الإحصائية القياسية.

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بنتائجهم التجريبية، واصفين نتائج التعلم المستمر بأنها "أدلة أولية" وملاحظين أن هناك حاجة لمزيد من العمل لسد الفجوة بين تحليل التوازن والضبط الدقيق للتعلم التعزيزي واسع النطاق. كما يؤكدون أن طريقتهم تسمح بالتكامل المرن في خطوط أنابيب الضبط الدقيق القياسية دون الحاجة إلى دوال أهداف جديدة، بل تتطلب فقط طريقة مبدئية لاختيار قوة التنظيم.