🤖 machine learning

OISD: On-Policy Internal Self-Distillation of Language Models

تقدم الورقة البحثية OISD، وهو إطار عمل جديد للتقطير الذاتي الداخلي القائم على السياسة (on-policy) يعزز استدلال النماذج اللغوية من خلال محاذاة التمثيلات الوسيطة مع الإشارات التنبؤية للطبقة النهائية عبر محاذاة الـ logit والـ attention أثناء تحسين GRPO، محققاً تحسينات كبيرة مقارنة بالنماذج المرجعية لتعلم التعزيز (RL) الحالية في مهام الاستدلال الرياضي دون الحاجة إلى معلومات خارجية مميزة.

المؤلفون الأصليون: Xinyu Liu, Darryl Cherian Jacob, Yang Zhou, Jindong Wang, Pan He

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinyu Liu, Darryl Cherian Jacob, Yang Zhou, Jindong Wang, Pan He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية حل مسألة رياضية معقدة. بالطريقة التقليدية، تترك الطالب يكتب عملية تفكيره بالكامل، ثم في النهاية فقط، تعطيه درجة واحدة: "صحيح" أو "خطأ". إذا أخطأ، فأنت لا تخبره أين انحرف عن المسار أو كيف كان ينبغي له أن يفكر بشكل مختلف؛ بل تكتفي بقول "حاول مرة أخرى". هكذا يعمل تدريب الذكاء الاصطناعي الحالي في الغالب: فهو يركز بشدة على الإجابة النهائية ويتجاهل عملية التفكير الفوضوية التي حدثت في المنتصف.

تقترح ورقة البحث "OISD: التقطير الذاتي الداخلي للنماذج اللغوية أثناء التنفيذ (On-Policy)" طريقة أذكى لتعليم نماذج الذكاء الاصطناعي. إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

الفكرة الجوهرية: "الموجه الداخلي"

عادةً، عندما نحاول تحسين تفكير الذكاء الاصطناعي، فإننا نستعين بنموذج "معلم" خارجي (ذكاء اصطناعي أكثر ذكاءً) ليُظهر لنموذج الطالب كيف يفكر. لكن هذه الورقة تقول: "لماذا نستعين بمعلم خارجي بينما يمتلك الذكاء الاصطناعي معلماً بداخله بالفعل؟"

أدرك المؤلفون أن نموذج الذكاء الاصطناعي الضخم يشبه مبنى متعدد الطوابق.

الطابق الأرضي (الطبقات المبكرة): هذا هو المكان الذي يبدأ فيه الذكاء الاصطناعي بالتفكير. يكون الأمر هنا ضبابياً بعض الشيء، حيث ينظر إلى المسألة من زوايا متعددة.
البنتهاوس/الجناح العلوي (الطبقة النهائية): هذا هو المكان الذي يتم فيه اتخاذ القرار بشأن الإجابة النهائية. بحلول الوقت الذي يصل فيه الذكاء الاصطناعي إلى القمة، يكون قد عالج كل المعلومات ويعرف بالضبط ما يجب أن تكون عليه الإجابة.

OISD (التقطير الذاتي الداخلي أثناء التنفيذ) هي طريقة يستخدم فيها الذكاء الاصطناعي "البنتهاوس" الخاص به (الطبقة النهائية) ليعلّم "الطابق الأرضي" الخاص به (طبقة وسيطة) أثناء حله للمسألة.

كيف يعمل: نوعان من الدروس

تقدم الورقة طريقتين محددتين يقوم من خلالهما "البنتهاوس" بتعليم "الطابق الأرضي":

"كيف تفكر" (محاذاة اللوجيت - Logit Alignment):
- التشبيه: تخيل أن الطابق الأرضي يخمن: "ربما تكون الإجابة 4، وربما تكون 5؟" فينظر البنتهاوس للأسفل ويقول: "لا، أنا متأكد بنسبة 99% أنها 4. توقف عن تخمين الرقم 5."
- ما يفعله: إنه يجبر مراحل التفكير المبكرة على التوافق مع ثقة ومنطق الإجابة النهائية. إنه يعلم النموذج كيف يشكل اعتقاداً صحيحاً.
"أين تنظر" (محاذاة الانتباه - Attention Alignment):
- التشبيه: تخيل أن الطابق الأرضي يقرأ قصة طويلة ولكنه يتشتت بالكلمات الخاطئة. يشير البنتهاوس ويقول: "لا تنظر إلى هذه الكلمة؛ بل انظر إلى هذا الرقم المحدد هنا. هذا هو الدليل الذي تحتاجه."
- ما يفعله: إنه يجبر الطبقات المبكرة على تركيز انتباهها على الأجزاء المهمة نفسها من المسألة التي يستخدمها الجزء النهائي لاتخاذ قراره. إنه يعلم النموذج أين يجد الأدلة.

لماذا هذا مميز (جزء "أثناء التنفيذ" - On-Policy)

في الماضي، إذا أردت تعليم ذكاء اصطناعي باستخدام "معلم"، كان عليك غالباً استخدام نموذج مختلف تم تدريبه مسبقاً. هذا خلق عدم توافق لأن الطالب كان يتعلم من أسلوب شخص آخر، وليس من أسلوبه الخاص.

OISD هي عملية "أثناء التنفيذ" (On-Policy)، مما يعني:

الذكاء الاصطناعي يولد أفكاره الخاصة (عملية التوليد/الـ rollout).
إجابته النهائية الخاصة تعمل كمعلم لأفكاره المبكرة.
لا يوجد معلم خارجي، ولا تلميحات "مميزة" خاصة، ولا يوجد عدم توافق. إنها حلقة تحسين ذاتي تحدث بالكامل داخل نموذج واحد.

النتائج

اختبر الباحثون هذه الطريقة على مسائل رياضية (مثل تلك الموجودة في مسابقات المدارس الثانوية). وقارنوا طريقتهم (OISD) بطرق قوية أخرى.

النتيجة: حققت نماذج OISD درجات أفضل بكثير. لم تكتفِ بالحصول على الإجابة الصحيحة بشكل متكرر فحسب؛ بل طورت أيضاً "عملية تفكير" أكثر اتساقاً ومنطقية من بداية المسألة وحتى نهايتها.
الخلاصة: من خلال تعليم الأجزاء المبكرة من "الدماغ" لتفكر مثل الجزء النهائي من "الدماغ"، يصبح النظام بأكم له أكثر ذكاءً وموثوقية.

الملخص

فكر في OISD كنموذج لا ينتظر حتى النهاية ليرى ما إذا كان قد فشل. بدلاً من ذلك، لديه مدرب داخلي (طبقتة النهائية) يهمس له: "أنت تنظر إلى الدليل الخاطت"، و"يجب أن تكون أكثر ثقة بشأن هذه الخطوة"، بينما لا يزال يحل المسألة. هذا يساعد النموذج على تعلم التفكير بشكل أفضل، وليس مجرد التخمين بشكل أفضل.

ملخص تقني: OISD – التقطير الذاتي الداخلي للنماذج اللغوية في السياسة المتبعة (On-Policy)

1. بيان المشكلة

لقد أدت نهج التعلم المعزز (RL) في مرحلة ما بعد التدريب لنماذج اللغات الكبيرة (LLMs)، وخاصة تلك التي تستخدم تحسين السياسة النسبية للمجموعات (GRPO) مع المكافآت القابلة للتحقق، إلى تقدم كبير في الاستدلال الرياضي. ومع ذلك، فإن هذه الأساليب تعتمد بشكل أساسي على المخرجات النهائية؛ فهي تعمل على تحسين سياسة الفعل النهائية باستخدام مكافآت متفرقة قائمة على النتيجة (مثل صحة الإجابة النهائية)، بينما تتجاهل إلى حد كبير الإشارات التنبؤية، وعمليات الاستدلال، والتمثيلات الداخلية المشفرة في الطبقات المتوسطة.

بينما يوفر تقطير المعرفة (KD) آلية لتوفير إشراف كثيف على مستوى الرمز (token)، تعاني النماذج الحالية من قيود محددة:

التقطير خارج السياسة (Off-Policy Distillation): يخلق عدم تطابق في التوزيع لأن الطالب يتم تدريبه على مسارات ناتجة عن معلم ثابت، وليس من توليداته الخاصة.
التقطير داخل السياسة (On-Policy Distillation): يقلل من عدم التطابق ولكنه يعتمد عادةً على نماذج معلم خارجية.
التقطير الذاتي داخل السياسة (On-Policy Self-Distillation): تعتمد الأساليب الحديثة التي أزالت المعلمين الخارجيين على معلومات متميزة محقونة خارجياً (مثل المطالبات المتميزة، أو الحلول الصحيحة، أو التغذية الراجعة المساعدة) للإشراف على النموذج.

هناك فجوة في الاستفရာدة من الحسابات الداخلية للنموذج نفسه كمصدر للإشراف دون الحاجة إلى بيانات متميزة خارجية أو سياسات فعل متعددة. علاوة على ذلك، تشير الأبحاث السابقة إلى أن تمثيلات الاستدلال تتطور بشكل منهجي عبر الطبقات (من التنبؤات المرشحة الواسعة في الطبقات المبكرة إلى القرارات المتقاربة في الطبقات العميقة)، مما يشير إلى إمكانية توجيه الطبقات المتوسطة بواسطة الطبقات الأعمق لتحسين تماسك الاستدلال.

2. المنهجية: إطار عمل OISD

يقترح المؤلفون OISD (التقطير الذاتي الداخلي للسياسة المتبعة)، وهو إطار عمل يعامل الطبقة النهائية للنموذج كـ "معلم داخلي منفصل" وطبقة متوسطة مختارة كـ "طالب مساعد". يحدث هذا ضمن تمريرة أمامية واحدة أثناء عملية التوليد (rollout) وتحسين GRPO.

البنية الأساسية

سياسة فعل واحدة: تظل الطبقة النهائية ( $L$ ) هي السياسة الوحيدة لتوليد المسارات وتحسين هدف GRPO.
المعلم والطالب الداخلي: خلال نفس التمريرة الأمامية، يتم إسقاط الحالة المخفية لطبقة متوسطة مختارة ( $l < L$ ) إلى فضاء الرموز (token space) باستخدام مصفوفة عدم التضمين (unembedding matrix) (اتباعاً لإطار عمل عدسة اللوجيت - logit lens). هذا ينشئ توزيع "طالب" مؤقت مشتق من نفس السياق الخاص بـ "المعلم" (الطبقة النهائية).
لا معلومات متميزة خارجية: تُشتق إشارات الإشراف بالكامل من الحالات الداخلية للنموذج نفسه خلال عملية التوليد داخل السياسة، مما لا يتطلب حلولاً صحيحة خارجية أو مطالبات متميزة.

أهداف المحاذاة

يستخدم OISD آليتين للمحاذاة الداخلية المتكاملتين لنقل الإشارات التنبؤية من الطبقة النهائية إلى الطبقة المتوسطة:

محاذاة اللوجيت ("كيف تفكر"):
- الهدف: نقل سلوكيات الاستدلال عالية المستوى والاعتقادات التنبؤية.
- الآلية: يتم حساب تباعد جينسن-شانون (JS divergence) بين توزيعات الرموز الموزونة بدرجة الحرارة للطبقة المتوسطة ( $p^l_t$ ) والطبقة النهائية ( $q^L_t$ ).
- الوزن: يتم وزن الخسارة بواسطة ميزة GRPO الموقعة ( $A_t$ ). تعمل الرموز ذات الميزة العالية على جذب الطبقة المتوسطة نحو توزيع الطبقة النهائية، بينما تدفع الرموز ذات الميزة المنخفضة بعيداً لتجنب تعزيز الاستمراريات الضعيفة.
- الصيغة: $\mathcal{L}^{(l)}_{\text{think}} = \mathbb{E}_t [ A_t \cdot \text{JS}(p^{l,\tau}_t, \text{sg}(q^{L,\tau}_t)) ]$
محاذاة الانتباه ("أين تنظر"):
- الهدف: فرض أنماط انتباه متسقة وسلوك توجيه الأدلة.
- الآلية: يتم حساب تباعد JS بين أوزان الانتباه للطبقة المتوسطة والطبقة النهائية عبر مجموعة عينة من المفاتيح السببية (الجمع بين النوافذ المحلية والمواقع المخططة العالمية لإدارة الذاكرة).
- الوزن: على غرار محاذاة اللوجيت، يتم وزن الخسارة بواسطة الميزة الموقعة. تشجع الميزات الإيجابية الطبقة المتوسطة على الانتباه إلى نفس الأدلة التي تنتبه إليها الطبقة النهائية؛ بينما تقلل الميزات السلبية من الاتفاق مع الأنماط منخفضة المكافأة.
- الصيغة: $\mathcal{L}^{(l)}_{\text{attn}} = \mathbb{E}_t [ A_t \cdot \frac{1}{H} \sum_{h=1}^H \text{JS}(\tilde{a}^l_{t,h}, \text{sg}(\tilde{a}^L_{t,h})) ]$

هدف التدريب

تجمع الخسارة الإجمالية بين خسارة GRPO القياسية وخسارتي المحاذاة الداخلية:
$\mathcal{L}_{\text{OISD}} = \mathcal{L}_{\text{GRPO}} + \lambda_{\text{think}} \mathcal{L}_{\text{think}} + \lambda_{\text{attn}} \mathcal{L}_{\text{attn}}$
حيث تتحكم $\lambda_{\text{think}}$ و $\lambda_{\text{attn}}$ في قوة التقطير.

3. المساهمات الرئيسية

نموذج جديد: تقديم التقطير الذاتي الداخلي للسياسة المتبعة، وهو نموذج تعلم معزز للاستدلال يستفيد من الحسابات الداخلية للنموذج نفسه للإشراف مع الحفاظ على سياسة فعل واحدة.
إطار عمل OISD: تنفيذ محدد يستخدم الطبقة النهائية كمعلم منفصل والطبقة المتوسطة كطالب، مما ينقل الإشارات التنبؤية داخل السياسة دون الحاجة لمعلومات متميزة خارجية.
آليات محاذاة مزدوجة: تطوير هدفين متكاملين:
- محاذاة اللوجيت: تشرف على عملية الاستدلال ("كيف تفكر").
- محاذاة الانتباه: تشرف على توجيه الأدلة ("أين تنظر").
التحقق التجريبي: إثبات التحسينات الجوهرية والمتسقة فوق أسس تعلم معزز قوية للاستدلال (بما في ذلك GRPO و BuPO) عبر أربعة اختبارات معيارية للاستدلال الرياضي.

4. النتائج التجريبية

قيم المؤلفون OISD على نماذج Qwen3-4B و Qwen3-8B و OctoThinker عبر أربعة اختبارات معيارية: AMC23 و MATH500 و AIME24 و AIME25.

مكاسب الأداء:
- في Qwen3-4B، حقق OISD متوسط درجة 64.75، متفوقاً على GRPO (55.08) بمقدار 9.67 نقطة وعلى BuPO (58.51) بمقدار 6.24 نقطة.
- كانت التحسينات كبيرة بشكل خاص في اختبارات AIME (مثلاً، +14.31 نقطة فوق GRPO في AIME24).
- في Qwen3-8B، حقق OISD أفضل متوسط عام قدره 66.72، متفوقاً على GRPO (64.23) و BuPO (66.36).
تحليل Pass@K: حقق OISD باستمرار معدلات Pass@K أعلى عبر جميع قيم $K$ مقارنة بـ GRPO، مما يشير إلى تحسن في الجودة العامة لمجموعة الحلول التي تم أخذ عينات منها، وليس فقط الدقة المتوسطة.
دراسات الاستبعاد (Ablation Studies):
- ساهم كل من محاذاة اللوجيت والانتباه بشكل إيجابي. أظهرت محاذاة اللوجيت أكبر مكسب في AIME24، بينما كان أداء محاذاة الانتباه أفضل قليلاً في المتوسط.
- الجمع بين كليهما أعطى أفضل النتائج، مما يؤكد طبيعتهما التكاملية.
المقارنة مع OPSD: تفوق OISD (64.75) بشكل كبير على OPSD (56.63)، وهو أسلوب تقطير ذاتي داخل السياسة حديث يعتمد على الحلول الصحيحة المتميزة. هذا يسلط الضوء على فعالية الإشراف الداخلي الصرف لـ OISD.
التحليل النوعي:
- ديناميكيات التدريب: أظهر OISD تحسناً مستمراً في المكافأة وزيادة أولية في الإنتروبيا (مما يشير إلى استكشاف أوسع) قبل الاستقرار.
- تصوير الانتباه: تماثلت الطبقات المتوسطة في OISD تدريجياً مع انتباه الطبقة النهائية للرموز الأدلة الحرجة (مثل النهايات العظمى، والحدود العليا) أثناء التدريب.
- تصوير عدسة اللوجيت (Logit-Lens): أظهر OISD محاذاة مبكرة بين التنبؤات المتوسطة والنهائية للرموز الحرجة للاستدلال مقارنة بـ GRPO، الذي غالباً ما ينتج تنبؤات متوسطة مجزأة.

5. الأهمية والادعاءات

يزعم البحث أن OISD يبدأ التحقيق في التقطير الذاتي الداخلي للسياسة المتبعة. تكمن أهميته الأساسية في:

إزالة الاعتماد الخارجي: يوفر إشرافاً داخلياً كثيفاً دون الحاجة لمعلمين خارجيين، أو مطالبات متميزة، أو حلول صحيحة أثناء التدريب.
اتساق السياسة: يحافظ على سياسة فعل واحدة لكل من توليد المسارات والتحسين، مما يتجنب مشكلات عدم تطابق التوزيع التي تعاني منها الأساليب خارج السياسة.
تعزيز الاستدلال: من خلال محاذاة التمثيلات المتوسطة مع أنماط الاستدلال والانتباه للطبقة النهائية، يشجع OISD النموذج على تعلم تمثيلات متوسطة أقوى وأكثر اتساقاً على المستوى العالمي.

أشار المؤلفون إلى القيود، بما في ذلك التركيز على الاستدلال الرياضي ذي الإجابات القابلة للتحقق، وعدم وجود دراسة متعمقة حول اختيار الطبقة الأمثل. واقترحوا أن العمل المستقبلي يجب أن يستكشف التعميم لمهام استدلال أكثر تعقيداً والإشراف الداخلي متعدد الطبقات.