ملخص تقني: التقطير الذاتي المبوّب المشروط بالمهارة لنمذجة استدلال النماذج اللغوية الكبيرة

1. بيان المشكلة

غالباً ما يتم تعزيز استدلال النماذج اللغوية الكبيرة (LLM) عبر التعلم المعزز بالمكافآت القابلة للتحقق (RLVR)، مثل تحسين السياسة النسبي للمجموعات (GRPO). وبينما يتطلب RLVR مجرد مُحقِّق (verifier) ولا يتطلب تسميات توضيحية على مستوى الرمز (token-level)، فإنه يعاني من إشارات مكافأة متفرقة، ومتأخرة، وشبه موحدة عبر مسارات الاستدلال الكاملة. يعالج التقطير الذاتي (SD) في الموقع (on-policy) هذه المشكلة باستخدام سياق "معلم" أقوى لتوفير إشراف كثيف على مستوى الرمز. ومع ذلك، تعتمد طرق التقطير الذاتي الحالية عادةً على معلومات مميزة موثوقة (PI)، مثل الإجابات المرجعية أو المسارات الناجحة، والتي قد لا تتوفر في أنظمة الإشراف الضعيف (مثل عندما يتوفر مُحقِّق فقط).

تبحث الورقة فيما إذا كان يمكن اشتقاق المعلومات المميزة (PI) بدلاً من ذلك من بنك مهارات قائم على الخبرة — وهو مجموعة من المبادئ اللغوية الطبيعية المدمجة والقابلة لإعادة الاستخدام وأنماط الأخطاء. التحدي الجوهري هو أن المهارات المسترجعة ليست موثوقة بطبيعتها؛ فقد تكون غير ذات صلة، أو قديمة، أو مضللة لمشكلة معينة. علاوة على ذلك، فإن التقليد الأعمى لمعلم مشروط بمهارة قد تكون خاطئة يمكن أن يؤدي إلى تدهور الأداء. السؤال المركزي هو: هل يمكن للمهارات المشتقة من الخبرة أن تعمل كمعلومات مميزة (PI) مخصصة للتدريب فقط دون افتراض أن كل مهارة مسترجعة هي مهارة موثوقة؟

2. المنهجية: التقطير الذاتي المبوّب المشروط بالمهارة (SGSD)

يقترح المؤلفون إطار عمل SGSD، الذي يعامل التقطير الذاتي القائم على المهارة كمسألة تحقق من فرضية المعلم بدلاً من التقليد غير المشروط. يعمل هذا الأسلوب على نموذج سياسة واحدة $\pi_\theta$ يعمل كطالب ومعلم في آن واحد تحت سياقات مختلفة.

2.1 بناء بنك المهارات المهيكل

يحافظ SGSD على بنك مهيكل $B = \{G, E\}$ يحتوي على:

• المهارات العامة ($G$): مبادئ استدلال قابلة لإعادة الاستخدام (ما يجب فعله).
• الأخطاء الشائعة ($E$): أنماط الخطأ، وأسبابه، واستراتيجيات تجنبه (ما يجب تجنبه).
  يتم تهيئة البنك عبر عملية "بداية باردة" (cold-start) حيث يتم تلخيص المسارات الناجحة في مهارات والمسارات الفاشلة في أخطاء. أثناء التدريب، يتم تحديث البنك عبر الإنترنت من خلال دمج المرشحات الجديدة من عمليات السحب (rollouts) الأخيرة.

2.2 مجمع المعلمين المتعددين المشروط بالمهارة

لكل مشكلة $x$، يسترجع النظام أزواج (مهارة-خطأ) من أعلى $K$ مرتبة. يتم دمج كل زوج $(g_k, e_k)$ مع المشكلة لتشكيل سياق معلم فريد $c_k(x) = g_k \oplus e_k \oplus x$.

• الطالب: يأخذ عينة من مسار $y$ باستخدام المطالبة البسيطة $x$ فقط.
• المعلمون: مجمع من $K$ من المعلمين، يشترك كل منهم في نفس أوزان السياسة (مع إيقاف التدرج/stop-gradient)، ولكنهم مشروطون بزوج محدد مسترجع من (مهارة-خطأ). يقوم جميع المعلمين بتقييم نفس مسار الطالب.

2.3 التحقق من قطبية المعلم بناءً على النتيجة

بدلاً من افتراض أن جميع المعلمين صحيحون، يقوم SGSD بالتحقق من موقفهم مقابل نتيجة المُحقِّق $r \in \{-1, 1\}$.

1. حساب الفجوة: حساب فجوة الاحتمال اللوغاريتمي $\Delta^{(k)}_t$ بين المعلم $k$ والطالب لكل رمز.
2. تقدير الدعم القوي: حساب درجة دعم قوية $\tilde{a}_k$ عن طريق حجب الرموز غير الاستدلالية، وقص الفجوات المتطرفة، والمتوسط.
3. استنتاج القطبية: تحديد قطبية المعلم $\rho_k$ بناءً على التوافق بين دعم المعلم ($\tilde{a}_k$) والنتيجة ($r$):
   • مفيد: المعلم يدعم النجاح أو يثبط الفشل ($\rho_k = +1$).
   • مضلل: المعلم يدعم الفشل أو يثبط النجاح ($\rho_k = -1$).
   • غير مؤكد: إذا كانت درجة الدعم قريبة من الصفر، يتم تجاهل المعلم ($\rho_k = 0$).

2.4 هدف التقطير المبوّب القوي

تقوم دالة الخسارة النهائية بتجميع الخلافات الموزونة والمدركة للقطبية:
$$L_{SGSD}(x) = \sum_{k=1}^{K_x} \alpha_k(x) \rho_k \bar{\ell}^{(k)}$$
حيث $\bar{\ell}^{(k)}$ هي خسارة مبوّبة $\ell_{gate}(\Delta)$ مصممة لـ:

• أن تكون قريبة من الصفر عندما يتفق المعلم والطالب (فجوات ضئيلة).
• تنمو عند وجود خلافات متوسطة (المنطقة المعلوماتية).
• تتشبع عند حالات عدم التطابق الشديد لمنع سيطرة القيم المتطرفة للـ logits على التدرج.
  تضمن مشتقة هذه الخسارة أن يكون التحديث محدوداً ويتصرف مثل تقريب (reverse-KL) محلي في المنطقة المعلوماتية مع كبح الإشارات المتطرفة.

3. المساهمات الرئيسية

1. الصياغة: تقدم الورقة مفهوم استخدام المهارات المشتقة من الخبرة كمعلومات مميزة (PI) للاستدلال الرياضي، وصياغة المشكلة كعملية تحقق من فرضية المعلم بدلاً من التقليد الافتراضي.
2. إطار العمل (SGSD): إطار عمل للتقطير الذاتي متعدد المعلمين ومشروط بالمهارة، يستنتج قطبية المعلم من التوافق بين دعم المعلم ونتائج المسار، باستخدام هدف مبوّب قوي للتعامل مع الإشارات الضوضائية أو المتضاربة.
3. التحقق التجريبي: تم إثباته على عدة اختبارات للاستدلال الرياضي (AIME24, AIME25, HMT25)، مما يظهر أن SGSD يتفوق باستمرار على GRPO ويظل منافساً لتقطير الإجابة المشروطة (OPSD) رغم عمله تحت افتراض PI أضعف (المهارات مقابل الإجابات الصحيحة).

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen3 (1.7B, 4B, 8B) المدربة على DAPO-Math-17K وتم تقييمها على اختبارات نمط المنافسات.

• الأداء: في نموذج Qwen3-1.7B، حسن SGSD متوسط الدقة عبر AIME24 وAIME25 وHMMT25 من 37.4% إلى 43.7%. وهذا يمثل تحسناً بنسبة 6.2% فوق GRPO وتحسناً بنسبة 1.7% فوق OPSD (الذي يستخدم إجابات مرجعية موثوقة).
• الاستقرار: على عكس OPSD، الذي أظهر تدهوراً في مراحل التدريب المتأخرة، حافظ SGSD على تحسينات مستقرة. ويعود ذلك إلى آلية التحقق من النتيجة التي تقوم بتصفية إشارات المهارة المضللة.
• الدراسات الاستقصائية (Ablations):
  • أدى إزالة التحقق من القطبية إلى انهيار الأداء، مما يؤكد أن اتباع المهارات بشكل أعمى ضار.
  • كان استخدام معلم واحد أدنى كفاءة من مجمع المعلمين المتعددين، مما يسلط الضوء على قيمة الفرضيات المتنوعة.
  • كان تقدير الدعم القوي (الحجب، القص، العتبة) حاسماً للاستقرار.
  • أدت إضافة الإجابات المرجعية إلى المعلم المشروط بالمهارة إلى انخفاض في الأداء، مما يشير إلى أن خلط المعلومات المميزة الموثوقة وغير الموثوقة يخلق اتجاهات تحديث غير متسقة.

5. الأهمية والادعاءات

تدعي الورقة أن SGSD تثبت أن المهارات المشتقة من الخبرة يمكن أن توفر إشرافاً كثيفاً مفيداً حتى عندما لا يكون اتجاهها موثقاً مسبقاً، بشرما تم التحقق من قطبيتها مقابل الأدلة في الموقع.

• افتراض أضعف: يحقق SGSD نتائج تنافسية مع الطرق المشروطة بالإجابة (OPSD) بينما يفترض فقط وجود مُحقِّق وبنك مهارات، بدلاً من الحلول المرجعية الصحيحة.
• الآلية: يعتمد النجاح على معاملة المهارات المسترجعة كـ فرضيات يجب التحقق منها بدلاً من تعليمات يجب اتباعها. يستخلص الهدف المبوّب بفعالية الخلافات المعلوماتية بين المعلم والطالب مع كبح الضوضاء والإشارات المتطرفة.
• القيود: يشير المؤلفون إلى أن الطريقة يتم تقييمها حالياً بشكل أساسي على الاستدلال الرياضي مع التحقق التلقائي. ستتطلب التوسعات في التوليد مفتوح النهايات "قضاة" (judges) تمت معايرتهم. بالإضافة إلى ذلك، يعتمد بناء بنك المهارات على "بداية باردة" بسيطة ودمج هرمي، والذي قد يستفيد من استراتيجيات أكثر تكيفاً في العمل المستقبلي.

باخت-صار، يقدم SGSD مساراً لتعزيز استدلال النماذج اللغوية الكبيرة في الإعدادات التي لا تتوفر فيها الإجابات الصحيحة، وذلك عبر الاستفادة من خبرة النموذج المتطورة لتوليد والتحقق من إشارات التدريس الخاصة به.