💬 NLP

Distribution Corrected Offline Data Distillation for Large Language Models

تقترح هذه الورقة إطار عمل مبدئي لتقطير الاستنتاج غير المتصل (offline reasoning distillation) يعمل على تصحيح الانزياح التوزيعي بين البوادئ التي يولدها المعلم وتلك التي يولدها الطالب، مما يؤدي إلى تحسين دقة واستقرار النماذج اللغوية الأصغر في مهام الاستنتاج الرياضي المعقدة دون الحاجة إلى عمليات تدحرج (rollouts) مكلفة عبر الإنترنت.

المؤلفون الأصليون: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

نُشر 2026-05-15

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب شاب (الطالب) كيفية حل الألغاز الرياضية المعقدة من خلال مشاهدة طاهٍ ماهر (المعلم) وهو يطهو.

المشكلة: فخ "المُقلِّد"

عادةً، عندما نعلم المتدرب، نجعله يشاهد فيديو للطاهي الماهر وهو يطهو طبقاً مثالياً. يشاهد المتدرب الفيديو ويحاول تقليد كل حركة بدقة. وهذا ما يسمى التقطير غير المتصل (Offline Distillation).

ومع ذلك، هناك عيب خفي في هذه الطريقة:

في الفيديو: يبدأ الطاهي الماهر بمكونات طازجة ويتبع مساراً مثالياً.
في الواقع: يتعين على المتدرب الطهي من الصفر. إذا ارتكب خطأً بسيطاً في البداية (مثل تقطيع بصلة بشكل خاطئ قليلاً)، فعليه أن يواصل الطهي بناءً على هذا الخطأ.
النتيجة: نظرًا لأنه تدرب فقط على تقليد الفيديو المثالي، فإنه لا يعرف كيفية التعافي عندما يرتكب خطأً. وبينما يحاول حل مشكلة طويلة ومعقدة، تتراكم أخطاؤه الصغيرة، مما يؤدي في النهاية إلى طبق سيء للغاية. وهذا ما يسمى انحراف التوزيع (Distribution Drift).

تحاول طرق أخرى إصلاح ذلك بجعل المتدرب يتدرب على الطهي بمفرده (التعلم المتصل/Online Learning)، لكن هذه الطريقة بطيئة ومكلفة، وغالباً ما يصنع المتدربون أطباقاً سيئة جداً أثناء مرحلة التعلم.

الحل: "المدرب الذكي" (DISCORD)

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة للتعليم تسمى DISCORD (التقطير المصحح للتوزيع).

بدلاً من مجرد قول "قلد الفيديو" للمتدرب، يعمل DISCORD كـ مدرب ذكي يشاهد الفيديو ومستوى مهارة المتدرب الحالي في آن واحد.

إليك كيف يعمل ذلك باستخدام تشبيه بسيط:

الفيديو (بيانات المعلم): يتم تسجيل وصفة الطاهي الماهر المثالية.
فحص المهارة: قبل تعليم خطوة معينة، يسأل المدرب: "إذا قام المتدرب بطهي هذه الخطوة الآن، ما مدى احتمالية قيامه بها بشكل صحيح؟"
الدرس الموزون:
- إذا كانت الخطوة شيئاً من المرجح أن يقوم به المتدرب بشكل صحيح، يقول المدرب: "رائع! شاهد المعلم وهو يقوم بهذا الجزء بعناية. هذا درس عالي القيمة."
- إذا كانت الخطوة شيئاً من غير المرجح أن يقوم به المتدرب بشكل صحيح (لأنه متقدم جداً أو غريب عن أسلوبه الحالي)، يقول المدب: "لا تقلق كثيراً بشأن تقليد هذه الحركة بدقة تامة. إنها ليست خطوة ستواجهها على الأرجح في أسلوب طبخك الخاص، لذا دعنا نركز على الأجزاء التي يمكنك إتقانها بالفعل."

من الناحية التقنية، تسمي الورقة البحثية هذا إعادة الوزن (reweighting). فهي تعدل أهمية تعليمات المعلم بناءً على ما يمكن للطالب التعامل معه بالفعل. إنها تركز انتباه الطالب على أجزاء تفكير المعلم التي تتناسب مع "صوته" وقدراته الخاصة.

النتائج: أطباق أفضل، وهدر أقل

اختبر الباحثون هذه الطريقة على المسائل الرياضية (مثل تلك الموجودة في مسابقات المدارس الثانوية والأولمبياد).

دقة أفضل: الطلاب الذين تدربوا باستخدام DISCORD حصلوا على إجابات صحيحة أكثر من أولئك الذين قاموا فقط بالتقليد الأعمى للمعلم.
تفكير مستقر: حتى عندما ارتكب الطلاب أخطاء صغيرة في وقت مبكر من تفكيرهم، لم ينزلقوا نحو الفوضى؛ بل ظلوا على المسار الصحيح بشكل أفضل.
لا تكلفة إضافية: على عكس طريقة "التدرب بمفردك"، لم يتطلب DISCORD من الطلاب إنشاء آلاف المسائل التدريبية الإضافية. لقد استخدم نفس الفيديو الثابت للمعلم ولكنه علم الدرس بذكاء أكبر.

الخلاصة

فكر في DISCORD كـ مترجم بين منطق المعلم المثالي وواقع الطالب غير المثالي. بدلاً من إجبار الطالب على محاكاة مسار مثالي لا يستطيع سلوكه، فإنه يسلط الضوء على أجزاء المسار التي يمكنه سلوكها، مما يضمن تعلم المهارات الأكثر فائدة دون الضياع في التفاصيل التي ليس مستعداً لها بعد.

يسمح هذا لنماذج الذكاء الاصطنا-الأصغر والأرخص بأن تصبح أكثر ذكاءً في التفكير دون الحاجة إلى جلسات تدريب مكلفة وطويلة الأمد.

ملخص تقني: تقطير البيانات غير المتصلة المصححة للتوزيع لنماذج اللغات الكبيرة

بيان المشكلة

تتناول الورقة البحثية تحدي نقل قدرات الاستدلال المعقدة من نماذج اللغات الكبيرة (LLMs) القوية والضخمة ("المعلم") إلى نماذج أصغر ومحدودة الموارد ("الطالب"). وبينما يعد التقطير غير المتصل (تدريب الطالب على مسارات استدلال ثابتة تم إنشاؤها بواسطة المعلم) فعالاً من حيث استهلاك العينات ويوفر إشرافاً عالي الجودة، إلا أنه يعاني من انزياح توزيعي جوهذي.

أثناء التدريب، يتم ضبط نموذج الطالب بناءً على بادئات (prefixes) أنشأها المعلم. ومع ذلك، أثناء الاستنتاج، يجب على الطالب توليد بادئاته الخاصة بشكل تلقائي (autoregressively). ومع انحراف البادئات التي يولدها الطالب عن مسار المعلم، فإنه يدخل إلى مناطق في فضاء الرموز (token space) غير ممثلة بشكل كافٍ في بيانات التدريب. يؤدي هذا إلى أخطاء تراكمية وسلوك غير موثوق عبر مسارات الاستدلال الطويلة، وهو قصور لا تعالجه أهداف التقطير المنقحة الحالية (مثل تقليل تباعد KL ثنائي الاتجاه) بشكل كامل لأنها لا تزال تعمل على تحسين التوزيع المقدم من المعلم.

في المقابل، تعمل الطرق المتصلة بالسياسة (on-policy methods) (مثل GRPO وRLHF) على تخفيف هذا الانزياح من خلال التدريب على بيانات مولدة ذاتياً، لكنها تتكبد تكاليف حوسبة عالية بسبب أخذ العينات عبر الإنترنت (online sampling) وغالباً ما تعاني من مسارات منخفضة الجودة في مراحل التدريب المبكرة.

المنهجية: DISCORD

يقترح المؤلفون DISCORD (التقطير المصحح للتوزيع)، وهو إطار عمل غير متصل مبني على أسس سليمة يحافظ على كفاءة البيانات المولدة بواسطة المعلم مع تصحيح عدم التطابق في التوزيع. وتتمثل الآلية الأساسية في إعادة وزن الإشراف على رموز المعلم بناءً على الدعم الحالي للطالب (احتمالية توليده لذلك الرمز).

المكونات التقنية الرئيسية:

إعادة الوزن الواعي بدعم الطالب (Student-Support-Aware Reweighting):
تُقدم الطريقة نسبة كثافة لإعادة وزن مسارات التدريب $\{x, y \sim \pi_T(x; c)\}$ :
$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$
حيث $\pi_\theta$ هو الطالب، و $\pi_T$ هو المعلم، والخط فوق الرمز يشير إلى عملية إيقاف التدرج (stop-gradient). تعطي هذه النسبة الأولوية لرموز المعلم التي من المرجح أن يواجهها الطالب أثناء الاستنتاج.
التحويل المستقر (Stabilized Transformation):
يؤدي التطبيق المباشر لنسبة الكثافة إلى عدم استقرار التدريب بسبب القيم غير المحدودة والتباين العالي عبر التسلسلات الطويلة. يطبق المؤلفون استقرارين:
- تحويل السيجمويد (Sigmoid Transformation): يتم تمرير نسبة كثافة اللوغاريتم عبر دالة سيجمويد $\sigma(\tau \cdot \log(\dots))$ لتعيين التصحيح ضمن نطاق محدود $(0, 1)$ ، مما يحافظ على ترتيب النسبة ويمنع الانفجار.
- التقريب على مستوى الرمز (Token-Level Approximation): للتخفيف من انحياز الطول (حيث تتراكم أوزان إجمالية أكبر للتسلسلات الأطول)، يتم تطبيق التصحيح على مستوى الرمز. لكل رمز $y_t$ في مسار ما، يكون الوزن هو:
  $r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$
  يُستخدم هذا الوزن كمضاعف للتدرج أثناء تدريب الهدف الأساسي (مثل SFT أو أهداف تباعد KL).
التفسير:
يمكن تفسير وزن التصحيح $r_t$ (عندما تكون $\tau=1$ ) على أنه الاحتمال البعدي (posterior probability) بأن الرمز قد سُحب من توزيع الطالب بدلاً من توزيع المعلم، بافتراض توزيع مسبق منتظم. وهذا يربط الطريقة بمبادئ فك التشفير التبايني (contrastive decoding) ولكنه يطبقها أثناء التدريب لإعطاء الأولوية للتعلم في المناطق التي يمكن للطالب استيطانها بشكل موثوق.

المساهمات الرئيسية

إطار عمل غير متصل مبني على أسس سليمة: يعد DISCORD أول طريقة تصحح بفعالية انزياح توزيع المعلم-الطالب باستخدام فقط بيانات المعلم غير المتصلة، مما يلغي الحاجة إلى عمليات التوليد (rollouts) المكلفة للطالب عبر الإنترنت.
تكامل مرن: آلية إعادة الوزن على مستوى الرمز متوافقة مع مختلف ركائز التقطير غير المتصلة، بما في ذلك الضبط الدقيق الخاضع للإشراف (SFT) القياسي أو أهداف تباعد KL.
_
تقنيات الاستقرار: يعالج إدخال تحويل السيجمويد والتقريب على مستوى الرمز قضاـيا التباين وعدم الاستقرار المتأصلة في التصحيحات القائمة على نسبة الكثافة للتسلسلات الطويلة.

النتائج التجريبية

تم تقييم الطريقة على معايير الاستدلال الرياضي (GSM8K, MATH, MATH500) ومهام تنافسية أصعب من النوع المحجوز (AMC, AIME, OlympiadBench, Omni-Math) باستخدام نماذج Qwen2.5 وLlama-3.2.

مكاسب الأداء: يتفوق DISCORD باستمرار على النماذج المرجعية القوية غير المتصلة (SFT, ToDi, Symmetric KL) في المهام داخل النطاق وخارج النطاق (OOD). على سبيل المثال، في عملية التقطير من Qwen2.5-7B $\to$ 3B، حسن DISCORD دقة MATH500 بمقدار 4.60 نقطة عن SFT القياسي و2.60 نقطة عن Symmetric KL.
القوة تجاه انزياح البادئة: تُظهر التقييمات باستخدام ExAccErr (التباعد التوزيعي) أنه بينما يتدهور أداء SFT القياسي بشكل كبير مع زيادة طول البادئة (حيث تبتعد بادئات الطالب عن بادئات المعلم)، يحافظ DISCORD على أداء مستقر، مما يشير إلى تقليل الأخطاء التراكمية.
الكفاءة مقابل الطرق المتصلة: يحقق DISCORD أداءً مقارباً لطرق التوليد عبر الإنترنت للطالب (مثل GKD) ولكن بتكلفة حوسبية أقل بكثير. في إعداد 7B $\to$ 3B، تطلب DISCORD 3.12 ساعة GPU فقط مقارنة بـ 49.56 ساعة GPU لـ GKD، مع عدم استخدام أي رموز للطالب عبر الإنترنت.
جودة الاستدلال: يكشف التحليل النوعي أن DISCORD ينتج مسارات أكثر نظافة وإيجازاً وتماسكاً منطقياً. فهو يقلل من أنماط الفشل الشائعة مثل التكرار، والاستمرار بعد الإجابة، وتعدد الإجابات النهائية المتميزة. والأهم من ذلك، في حالات "التعافي من الفشل"، يحافظ DISCORD على البنية الرياضية الأساسية لحل المعلم حتى عندما لا يحاكي تنسيق السطح الخاص بالمعلم.

الأهمية والادعاءات

تدعي الورقة أن التدريب خفيف الوزن والمدرك لتصحيح التوزيع يمكن أن يقوي بشكل كبير تقطير الاستدلال غير المتصل دون الحاجة إلى التفاعل عبر الإنترنت.

سد الفجوة: يوضح العمل أنه من الممكن تضييق الفجوة في الأداء بين طرق التقطير المتصلة وغير المتصلة من خلال إعادة وزن البيانات غير المتصلة الموجودة بذكاء، بدلاً من توليد بيانات جديدة.
القدرة على التعميم: بينما تركز التجارب على الاستدلال الرياضي، يفترض المؤلفون أن الطريقة قابلة للتطبيق على إعدادات التوليد طويلة المدى الأخرى، بما في ذلك توليد الكود والاستدلال العلمي.
النشر العملي: من خلال تجنب تكاليف الحوسبة العالية لأخذ العينات عبر الإنترنت، يوفر DISCORD مساراً قابلاً للتطبيق لنشر نماذج استدلال قادرة في بيئات محدودة الموارد.

يظل المؤلفون متواضعين، مشيرين إلى أنه بينما تحسن طريقتهم على النماذج المرجعية السابقة غير المتصلة، فإن الطرق المتصلة مثل GKD لا تزال تحتفظ بتفوق في بعض المعايير المحددة داخل النطاق بسبب ملاحظتها المباشرة لتوزيع التوليد للطالب. ومع ذلك، يقدم DISCORD مقايضة متفوقة بين الأداء والكفاءة الحوسبية.