ملخص تقني: أحجار زاوية أم عثرات؟ فك تشفير "رموز الصخور" في التقطير داخل السياسة (On-Policy Distillation)

1. بيان المشكلة

أصبح التقطير داخل السياسة (On-Policy Distillation - OPD) حجر زاوية في مسارات ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، مما يسمح بصقل الاستدلال على مستوى الرمز (token-level) عبر محاذاة نموذج الطالب مع معلم متفوق باستخدام مسارات يتم أخذ عينات منها من سياسة الطالب نفسه. وبينما حددت الأعمال الحديثة في التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) وجود مجموعة فرعية صغيرة من الرموز الحرجة (مثل "رموز التفرع" عالية الاعتلاج/الإنتروبي) التي تدفع بشكل غير متناسب نحو مكاسب الاستدلال، إلا أن الفهم المماثل على مستوى الرموز لعملية الـ OPD لا يزال غير مستكشف.

في عملية الـ OPD، يقلل الهدف من تباعد KL العكسي لكل رمز بين سياسات الطالب والمعلم. وبشدو حدس، مع اقتراب التدريب من التقارب، ينبغي أن تتلاشى الرموز ذات الخسارة العالية (التي تشير إلى عدم تطابق بين الطالب والمعلم). ومع ذلك، تكشف الملاحظات التجريبية عن مفارقة: حتى بعد وصول التدريب إلى حالة التشبع الظاهري، تستمر مجموعة فرعية كبيرة من الرموز في إظهار خسارة عالية باستمرار. السؤال المركزي الذي يتناوله هذا العمل هو ما إذا كانت هذه الرموز عالية الخسارة المستمرة هي "أحجار زاوية" (ركائز) لا غنى عنها لمحاذاة السياسة، أم أنها مجرد "عثرات" تخلق تكراراً غير ضروري في عملية التحسين.

2. المنهجية

2.1 تعريف وكشف "رموز الصخور" (Rock Tokens)

يعرّف المؤلفون رموز الصخور بأنها أنواع الرموز التي تظهر سلوكاً مستمراً في الخسارة العالية ويكون مستقراً عبر سياقات متشابهة، بدلاً من كونها مجرد طفرات معزولة في مسارات طويلة. تتضمن عملية الكشف ثلاث مراحل:

1. حساب العبء التجميعي: حساب "درجة الصخرة" $R(v)$ لكل نوع رمز $v$، والتي تُعرف بأنها حاصل ضرب متوسط خسارة الرمز ($\bar{\ell}_v$) وتكراره ($Freq(v)$) في المسارات المولدة بواسطة الطالب.
2. تصفية الاستمرارية: تحديد الحالات التي تظل فيها الخسارة عالية قبل وبعد تدريب الـ OPD.
3. تصفية اتساق السياق: ضمان تكرار حالات الخسارة العالية في سياقات محلية متشابهة (باستخدام مقياس تشابه نافذة السياق). وهذا يميز عدم التطابق الهيكلي الحقيقي عن الضجيج الموضعي المعزول.

تجمع الدرجة النهائية، وهي درجة الصخرة المدركة للسياق $R_{ctx}(v)$، بين العبء التجميعي واتساق السياق. تم اختيار حد قطع $K=100$ للموازنة بين استقرار الاختيار (قابلية التكرار) وتغطية الخسارة (استيعاب حوالي 60% من تباعد KL على مستوى المتن).

2.2 هندسة التدرج وتحليل الاستمرارية

لمعالجة ما إذا كانت رموز الصخور توفر إشارات تعلم مفيدة، يحلل المؤلفون هندسة التدرجات لكل رمز:

• الحجم مقابل التكرار: مقارنة حجم التدرج لكل حالة لرموز الصخور مقابل الرموز نادرة الحدوث ذات الـ KL العالي.
• المحاذاة: قياس المحاذاة الجيب تمامية (cosine alignment) لتدرجات رموز الصخور مع اتجاه الهبوط العالمي المتوازن في التكرار ($G_{balanced}$).
• الركود: تتبع التغير في تباعد KL لكل رمز بين نقاط التفتيش المبكرة والمتأخرة للتدريب لتحديد ما إذا كانت الخسارة تنخفض بالفعل.

2.3 التدخل السببي: تجارب الإقصاء (Knockout Experiments)

لتحديد الضرورة الوظيفية لهذه الرموز، يستخدم المؤلفون إجراء إقصاء وقت الاستدلال. يقومون بتشكيل سياسة $\pi_{\theta}^{\setminus v}$ عن طريق فرض قيمة $-\infty$ على الـ (logit) للرمز المرشح $v$ عند كل خطوة فك تشفير. يتم قياس التأثير السببي كالتغير في دقة الاختبار المعياري ($\Delta_B(v)$). تُصنف الرموز كالتالي:

• ركائز قوية (Strong Pillars): يؤدي إزالتها إلى تدهور كبير في الدقة.
• عثرات قوية (Strong Stumbling Blocks): تؤدي إزالتها إلى تحسين الدقة.
• محايدة (Neutral): إزالتها ليس لها تأثير يُذكر.

2.4 التقطير الانتقائي (تجميد التدرجات)

لتقييم تأثير رموز الصخور على عملية التدريب، يقدم المؤلفون آلية إعادة وزن الرموز الواعية للنافذة (window-aware token reweighting). يقومون بتجميد تدرجات رموز الصخور والنوافذ المرتبطة بها ذات التباعد العالي (ضبط الوزن $\lambda=0$) أثناء تدريب الـ OPD. تسمح استراتيجية "عدم التدريب فقط" (Just Not Train) هذه بعزل ما إذا كانت هذه الرموز هي ركائز وظيفية أساسية أم أعباء تحسين غير منتجة.

3. النتائج الرئيسية

3.1 الهوية والانتشار

• التركيب: رموز الصخور هي في الأساس هياكل نحوية وبنائية، بما في ذلك محددات LaTeX/الرياضيات، وهياكل Markdown/المساحات البيضاء، وعلامات الخطاب (مثل "So"، "Wait")، والأرقام. إنها تحدد الحدود في الاستدلال بدلاً من كونها كلمات حاملة للمحتوى.
• الانتشار: رغم أنها تمثل حوالي 6% فقط من المفردات، إلا أن رموز الصخور تشكل حوالي 18% من إجمالي تكرار الرموز في المخرجات المولدة.

3.2 مفارقة التدرج

• المحاذاة: خلافاً للافتراض بأنها ضجيج، تظهر رموز الصخور محاذاة اتجاهية موجبة غير ضئيلة مع هدف التحسين العالمي. فهي توفر تدرجات تشير نحو المسار الصحيح للتحسين.
• الركود: رغم هذه المحاذاة، تظل رموز الصخور راكدة طوال فترة التدريب. لا ينخفض تباعد KL الخاص بها بشكل ملحوظ (متوسط $\Delta KL \approx 0$)، على عكس الرموز نادرة الحدوث ذات الـ KL العالي التي تظهر انخفاضاً كبيراً.
• السبب: يفترض المؤلفون أن المحسنات التكيفية (مثل Adam) تثبط معدل التعلم الفعال لهذه الرموز واسعة الانتشار بسبب عدم التوازن في توزيع الفئات ذو الذيول الثقيلة، مما يحبس الطالب في عادات هيكلية مسبقة رغم وجود إشارات اتجاهية صحيحة.

3.3 الضرورة السببية (ركائز أم عثرات)

• ندرة الركائز: نسبة ضئيلة جداً (1.5%–3.5%) فقط من رموز الصخور تعمل كـ "ركائز قوية" يؤدي حذفها إلى تدهور أداء الاستدلال.
• غياب العثرات: لم يتم العثور على أي "عثرات قوية"؛ إذ لم يؤدِ حذف رموز الصخور إلى تحسين الأداء أبداً.
• التعامد: الأهمية السببية للرمز (كونه ركيزة) هي أمر متعامد مع المقاييس القياسية مثل الاعتلاج (entropy)، أو التكرار، أو الـ KL المتبقي. تفشل التصنيفات الحالية للأهمية في التنبؤ بالرموز الضرورية سببياً.
• منطقة العازل: يبدو أن نموذج الطالب يحافظ على "منطقة عازلة" من البواقي المستمرة لحماية بعض الركائز الدلالية الحرجة، بدلاً من الاعتماد على كامل مجموعة الخسارة العالية.

3.4 كفاءة التدريب

• التجميد الانتقائي: من خلال تجميد تدرجات رموز الصخروالنوافذ المرتبطة بها، حقق المؤلفون زيادة في سرعة التدريب (Wall-clock speed) تتراوح بين 1.4 إلى 1.7 ضعفاً.
• تأثير الأداء: أدى هذا التسريع إلى خسارة مهملة في أداء الاستدلال النهائي (مقاساً على اختبارات AIME وHMMT وMATH). يشير هذا إلى أن جزءاً كبيراً من نطاق التحسين المنفق على رموز الصخور هو أمر زائد عن الحاجة.

4. الأهمية والادعاءات

يتحدى هذا البحث المفهوم السائد بأن محاذاة كل رمز ذي خسارة عالية أمر لا غنى عنه للتعلم في التقطير داخل السياسة (OPD). يدعي المؤلفون ما يلي:

1. تحديد ديناميكية خفية: لقد حددوا "رموز الصخور" كظاهرة مستمرة للخسارة العالية تكشف جانباً خفياً من ديناميكيات تحسين الـ OPD، وهو مختلف عن "رموز التفرع" الملاحظة في RLVR.
2. عدم الكفاءة في المسارات الحالية: جزء كبير من إشارات التدريب في الـ OPD يقدم مساهمات أقل بكثير من المتوقع في الأداء النهائي للنموذ_ل في الاستدلال.
3. حد الكفاءة والأداء: يوضح العمل أنه يمكن تجاوز هذه "العثرات" (عبر تجميد التدرجات) بشكل استراتيجي لتبسيط عملية المحاذاة بشكل كبير. وهذا يقدم نموذجاً أكثر كفاءة لتقطير النماذج واسعة النطاق دون المساس بسلامة الاستدلال.

يخلص البحث إلى أنه بينما لا يمكن التخلص من رموز الصخور تماماً (حيث تعمل مجموعة فرعية صغيرة كركائز ضرورية)، فإن تخصيص التدرج غير الموحد يمكن أن يتجاوز بفعالية التكرار الحسابي، مما يحسن الحد الفاصل بين الكفاءة والأداء في عملية المحاذاة داخل السياسة.

5. القيود

يشير المؤلفون إلى أن تقييماتهم التجريبية تعتمد بشكل أساسي على الاستدلال الرياضي التنافسي، وقد يختلف دور رموز الصخور في المهام ذات الإنتاج المفتوح أو مهام البرمجة. بالإضافة إلى ذلك، تستخدم الدراسة زوج تقطير محدد (30B-to-4B)، مما يترك مسألة القدرة على التعميم عبر العائلات المعمارية أو المقاييس المختلفة كمسألة مفتوحة. أخيراً، تستخدم استراتيجية التخفيف قناع تجميد تدرج ثنائي صارم، وهو ما يقترح المؤلفون إمكانية تحسينه في المستقبل باستخدام مخططات إعادة وزن ديناميكية.