تقدم هذه الورقة طريقة "التقطير في السياسة المماثلة مع مراعاة الذيل لأعلى k" (TA-OPD)، وهي طريقة مبتكرة تخفف من زيادة الإنتروبيا وتدهور الدقة الناتج عن تطبيع أعلى k القياسي في التقطير في السياسة المماثلة، وذلك عبر دمج إشارات احتمالية الذيل صراحةً في هدف التدريب.
في عالم الذكاء الاصطناعي المتطور بسرعة، يحاول الباحثون باستمرار تعليم نماذج حاسوبية أصغر وأكثر كفاءة كيف تفكر مثل نظيراتها الضخمة والقوية. تُعرف هذه العملية باسم "تقطير المعرفة". تخيل طباخاً ماهراً يعلم متدرباً؛ الهدف هو أن يتمكن المتدرب في النهاية من محاكاة تقنيات ونكهات المعلم دون الحاجة إلى نفس المخزن الهائل من المكونات. في المجال الرقمي، "المعلم" هو نموذج لغوي كبير تم تدريبه على كميات هائلة من البيانات، بينما "المتدرب" هو نموذج أصغر مصمم للعمل بشكل أسرع وعلى أجهزة أقل قوة. ولجعل هذا التعلم فعالاً، لا يجب على المتدرب مجرد حفظ إجابات المعلم النهائية، بل يجب عليه فهم عملية الاستنتاج المستخدمة للوصول إليها. وهذا أمر صعب بشكل خاص عندما يتعلم المتدرب أثناء توليد النص بالفعل، وهي طريقة تسمى "التقطير أثناء السياسة" (on-policy distillation)، حيث يتعلم الطالب من أخطائه وخياراته في الوقت الفعلي، بدلاً من مجرد نسخ قائمة ثابتة من الإجابات الصحيحة المقدمة من المعلم.
يكمن التحدي في كيفية توجيه نموذج الطالب خلال عملية التعلم هذه. وللحفاظ على كفاءة التدريب، غالباً ما يركز الباحثون فقط على الكلمات الأكثر احتمالاً التي سيختارها المعلم تالياً، متجاهلين آلاف الخيارات الأخرى الأقل احتمالاً. وقد تضمن أحد النهج الحديثة الشائعة أخذ خيارات المعلم الأولى، وتطبيع احتمالاتها، ثم توجيه الطالب لمطابقة ذلك النمط. ومع ذلك، كشفت دراسة جديدة أجراها هويبينج هوانغ وهونغشين وي عن خلل خفي في هذه الطريقة. فمن خلال التركيز حصرياً على الخيارات الأولى وتجاهل بقية الاحتمالات، تشجع عملية التدريب دون قصد الطالب على أن يصبح غير مستقر ومضطرباً بشكل متزايد. يبدأ الطالب في تخصيص احتمالية كبيرة جداً لـ "الذيل" (the tail) — وهو المجموعة الواسعة من الكلمات غير المحتملة التي نادراً ما يأخذها المعلم في الاعتبار. يتسبب هذا الانحراف في جعل الطالب يتيه في مناطق تكون فيها توجيهات المعلم غير موثوقة، مما يؤدي إلى انهيار في الأداء، خاصة في المهام المعقدة مثل حل المسائل الرياضية.
ولحل هذه المشكلة، قدم الباحثون طريقة جديدة تسمى "التقطير أثناء السياسة مع مراعاة الذيل لـ k الأعلى" (Tail-Aware Top-k On-Policy Distillation)، أو TA-OPD. الفكرة الجوهرية بسيطة لكنها عميقة: بدلاً من تجاهل الكلمات غير المحتملة، تأخذ الطريقة الجديدة هذه الكلمات في الاعتبار صراحةً. أضاف الباحثون مكاناً واحداً خاصاً (placeholder) في عملية التدريب يمثل إجمالي الاحتمالية لجميع تلك الكلمات غير المحتملة والمهمشة. يعمل هذا المكان كـ "رمز الذيل" (tail token)، حاملاً ثقل كل ما يقع خارج خيارات المعلم الأولى. ومن خلال إجبار الطالب على مطابقة خيارات المعلم الأولى بالإضافة إلى إجمالي الاحتمالية المخصصة لبقية المفردات، تمنع هذه الطريقة الطالب من الانجراف نحو الفوضى. إنها تضمن بقاء الطالب مركزاً على مسار المعلم المرجح مع الاعتراف الصحيح بحدود عدم اليقين.
كانت نتائج هذا النهج مذهلة. فعندما اختبر الباحثون الطريقة الجديدة على معايير الاستدلال الرياضي، كان الفرق فورياً وكبيراً. في تجربة محددة تضمنت نموذج طالب ونموذج معلم بفرق كبير في القدرة، فشلت الطريقة القياسية تماماً؛ حيث ارتفع عدم اليقين لدى الطالب، المقاس بالاعتلاج (entropy)، إلى حوالي 6، وانخفضت دقته في اختبار رياضيات صعب إلى 68.78 بالمئة. في المقابل، حافظت طريقة TA-OPD الجديدة على انخفاض عدم اليقين لدى الطالب إلى أقل من 1.5، ورفعت دقته في نفس الاختبار إلى 77.88 بالمئة. لم يقتصر هذا التحسن على حالة واحدة؛ ففي مختلف مجموعات النماذج، تفوقت الطريقة الجديدة باستمرار على المعيار السابق، محققة تحسناً في متوسط الدقة يصل إلى 8.05 نقاط في المعايير الشائعة.
كما استكشفت الدراسة كيفية سلوك هذه الطريقة تحت ظروف مختلفة. ووجدوا أن النهج الجديد يكون أكثر فعالية عندما يكون هناك فرق كبير في القدرة بين المعلم والطالب. فعندما يكون الطالب أقل قدرة بكثير، تميل الطريقة القديمة إلى الفشل لأن الطالب لا يستطيع محاكاة المعلم بشكل مثالي، مما يجعله يخصص احتمالية زائدة للكلمات غير المحتملة. وتصحح الطريقة الجديدة هذا الأمر من خلال ربط عدم يقين الطالب بعدم يقين المعلم. علاوة على ذلك، اكتشف الباحثون أن الطريقة تعمل جيداً حتى عند النظر في عدد صغير جداً من الخيارات الأولى، مما يعني أنها لا تتطلب عمليات حسابية مكلفة لتكون فعالة. كما طوروا نسخة من الطريقة توفر، عندما تكون احتمالية الكلمة المختارة معروفة، تقديراً غير منحاز لهدف التعلم الكامل، رغم أن النسخة القياسية كانت كافية في الغالبية العظمى من الحالات.
في الختបញ្ចប់، يسلط هذا العمل الضوء على درس بالغ الأهمية في تدريب الذكاء الاصطناعي: إن تجاهل "الذيل الطويل" للاحتمالات يمكن أن يكون ضاراً بقدر تجاهل الاحتمالات الواضحة. فمن خلال استعادة إشارة ما هو غير محتمل، منع الباحثون نموذج الطالب من الابتعاد عن توجيهات المعلم. الطريقة سهلة التنفيذ ولا تتطلب استعلامات إضافية من نموذج المعلم القوي، مما يجعلها أداة عملية لتحسين موثوقية نماذج الذكاء الاصطناعي الأصغر. وبينما يتجه المجال نحو أنظمة أكثر كفاءة وقدرة، فإن ضمان بقاء هذه النماذج راسخة في منطق المعلم، بدلاً من التيه في عدم اليقين، سيكون أمراً ضرورياً لنجاحها في التطبيقات الواقعية.
ملخص تقني: التقطير على السياسة (On-Policy) مع مراعاة الذيل (Top-k) الواعي بالذيل (TA-OPD)
بيان المشكلة يعمل التقطير على السياسة (On-policy distillation - OPD) على تدريب نموذج لغوي "طالب" ليجعل توزيع الرمز التالي لديه متوافقًا مع توزيع نموذج "معلم" عبر مسارات الطالب الخاصة، مما يعالج التفاوت بين التدريب والاستنتاج المتأصل في التقطير خارج السياسة (off-policy distillation). ويعد نهج التقطير (Top-k) الموحد (Normalized Top-k OPD) أسلوبًا شائعًا، حيث يقلل من تباعد كولباك-ليبلر (KL) العكسي بين توزيعات الطالب والمعلم ضمن أفضل k من الرموز الخاصة بالمعلم فقط.
تحدد الورقة البحثية عيبًا جوهريًا في هذا الهدف الموحد: وهو أنه يتجاهل المعلومات المتعلقة بـ احتمالية الذيل (إجمالي الكتلة الاحتمالية خارج أفضل k من الرموز). وتُظهر التحليلات النظرية والأدلة التجريبية أن تقليل الهدف الموحد يخلق انحيازًا منهجيًا يزيد باستمرار من احتمالية الذيل والاعتلاج (entropy) لدى الطالب. ومع نمو احتمالية الذيل لدى الطالب، فإنه يبدأ بشكل متزايد في أخذ رموز خارج مجموعة الـ k-الأفضل الخاصة بالمعلم، مما يؤدي إلى الانحراف نحو بادئات (prefixes) تكون فيها إشرافات المعلم غير موثوقة. وتؤدي هذه الظاهرة إلى تدهور الدقة في المهام اللاحقة، لا سيما عندما تكون هناك فجوة كبيرة في القدرات بين الطالب والمعلم.
المنهجية: التقطير على السياسة (Top-k) الواعي بالذيل (TA-OPD) لحل مشكلة فقدان إشارات احتمالية الذيل، يقترح المؤلفون منهجية TA-OPD، وهي طريقة تستعيد هذه المعلومات المفقودة عن طريق إدخال رمز ذيل صريح (vtail).
مجموعة الرموز الموسعة: بدلاً من توحيد الاحتمالات على أفضل k من الرموز فقط، تُعرف TA-OPD مجموعة موسعة St+=Stk∪{vtail}، حيث تمثل Stk أفضل k من رموز المعلم.
تعيين الاحتمالات:
تحتفظ الرموز في Stk باحتمالاتها الأصلية pt(v).
يتم تعيين إجمالي احتمالية الذيل لرمز الذيل: pt(vtail)=pttail=∑v∈/Stkpt(v).
وبالمثل، يتم توسيع توزيع المعلم بـ qttail.
دالة الخسارة: تقلل الطريقة من تباعد كولباك-ليبلر العكسي عبر هذه المجموعة الموسعة: ℓtTA=v∈Stk∑pt(v)logqt(v)pt(v)+pttaillogqttailpttail هذه الصيغة تقارن صراحةً بين احتمالات الذيل للطالب والمعلم، مما يدفع احتمالية ذيل الطالب نحو احتمالية ذيل المعلم.
الخصائص النظرية
ديناميكيات التدرج: على عكس الهدف الموحد، الذي يوفر تدرجًا صفريًا للقيم اللوغاريتمية (logits) خارج مجموعة الـ k-الأفضل، تقوم TA-OPD بتحديث قيم الـ logits للذيل عبر نسبة لوغاريتم الذيل. علاوة على ذلك، فإن التدرجات على قيم الـ logits لـ k-الأفضل لم تعد مجموعها صفرًا، مما يسمح للطريقة برفع قيم الـ logits لـ k-الأفضل صراحةً بالنسبة لقيم الـ logits للذيل عندما يبالغ الطالب في وزن الذيل.
الحد الأدنى: ثبت أن خسارة TA-OPD هي حد أدنى وثيق لتباعد كولباك-ليبلر العكسي لكامل المفردات. والفرق هو حد متبقٍ غير سالب يتناسب مع احتمالية الذيل. ومن الناحية العملية، مع دفع TA-OPD لاحتمالات الذيل نحو الصفر، يتلاشى هذا الحد المتبقي، مما يجعل الهدف تقريبًا وثيقًا.
النسخة غير المنحازة (SC-TA-OPD): عندما يكون احتمال الرمز الذي تم أخذ عينة منه متاحًا، يستنتج المؤلفون نسخة مصوبة العينات (Sample-Corrected TA-OPD). تضيف هذه النسخة حدًا لتصحيح الانحياز بناءً على الرمز الذي تم أخذ عينته، مما ينتج عنه تقدير غير منحاز لتباعد كولباك-ليبلر العكسي لكامل المفردات من حيث القيمة والتدرج.
المساهمات الرئيسية
تحديد زيادة احتمالية الذيل: تُظهر الورقة نظريًا وتجريبيًا أن التقطير (Top-k) الموحد يسبب زيادة مستمرة في احتمالية الذيل والاعتلاج لدى الطالب، مما يؤدي إلى تدهور الأداء.
اقتراح TA-OPD: طريقة تقطير مبتكرة تستعيد إشارة احتمالية الذيل عبر رمز الذيل، مما يمنع زيادة الاعتلاج المرتبطة بتوحيد الـ top-k.
الضمانات النظرية: إثبات أن TA-OPD هو حد أدنى وثيق لهدف كامل المفردات، واستنتاج نسخة مصححة العينات غير منحازة.
التفوق التجريبي: تجارب واسعة النطاق تُظهر تفوق TA-OPD على النماذج المرجعية، لا سيما في السيناريوهات التي توجد فيها فجوات كبيرة في القدرات بين الطالب والمعلم.
النتائج التجريبية قيم المؤلفون TA-OPD على اختبارات معايير الاستدلال الرياضي (MATH500, Minerva, OlympiadBench, AMC, AIME24/25) ومهام خارج التوزيع (OOD) مثل (ARC-c, MMLU-Pro) باستخدام ثلاثة أزواج من (طالب-معلم) (على سبيل المثال، Qwen2.5-7B-Instruct المستمد من OpenThinker3-7B).
مكاسب الأداء: حققت TA-OPD باستمرار أفضل متوسط دقة. وتشمل التحسينات الملحوظة:
+8.05 نقطة في متوسط معايير الرياضيات لنموذج Llama-3.1-8B (مقارنة بـ Normalized top-k OPD).
+19.53 نقطة في MATH500 لنموذج Llama-3.1-8B (بالتحسن من 31.30% إلى 50.83%).
مكاسب كبيرة في أداء المهام خارج التوزيع (على سبيل المثال، تحسنت دقة ARC-c من 23.07% إلى 76.30% لنموذج Qwen2.5-7B-Instruct).
ديناميكيات التدريب: حافظت TA-OPD على استقرار التدريب، حيث أبقت اعتلاج الطالب تحت 1.5 واحتمالية الذيل قريبة من 0، بينما تسبب Normalized top-k OPD في ارتفاع الاعتلاج إلى ~6 وارتفاع احتمالية الذيل إلى ~0.6.
الحساسية لفجوة القدرات: المنهجية أكثر فعالية عندما تكون الفجوة في القدرات بين الطالب والمعلم كبيرة. وعندما تكون الفجوة صغيرة، تتضاءل مكاسب الأداء.
الحساسية للمعلمات: تظل TA-OPD فعالة حتى مع قيم k صغيرة (مثل k=2)، مما يظهر عدم حساسية تجاه k بمجرد أن تكون k≥2.
الأهمية والادعاءات تزعم الورقة أن TA-OPD تعالج عيبًا جوهريًا في طرق تقطير top-k الحالية من خلال الحفاظ على إشارة احتمالية الذيل، وهو أمر ضروري للحفاظ على توافق الطالب مع المعلم. تُقدم الطريقة كتحسين عملي لا يتطلب استعلامات إضافية من المعلم بخلاف احتمالات الـ top-k، وهي سهلة التنفيذ. يشير المؤلفون إلى أنه بينما توفر TA-OPD مكاسب كبيرة في سيناريوهات الفجوات الكبيرة، فإن ميزتها تتضاءل مع زيادة k أو ضيق فجوة القدرات. يقتصر العمل على نماذج تصل إلى 8 مليار معلمة بسبب القيود الحسابية.