💬 NLP

Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models

تقدم الورقة البحثية TIDE، وهو أول إطار عمل للتقطير عبر البنيات لنماذج الانتشار اللغوية الكبيرة، والذي يستخدم ثلاثة مكونات مبتكرة لنقل المعرفة بنجاح من نماذج معلمة غير متجانسة بحجم 8 مليار و16 مليار معلمة إلى نموذج طالب بحجم 0.6 مليار، متفوقاً بشكل ملحوظ على النماذج المرجعية ذات التوليد الذاتي في اختبارات معيارية مثل توليد الكود.

المؤلفون الأصليون: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عبقرياً عالمياً (المعلم) يمكنه طهي وجبات مذهلة، لكنه يتطلب مطبخاً ضخماً وصناعياً بمعدات تبلغ قيمتها مليارات الدولارات للقيام بذلك. أنت تريد تعليم متدرب شاب موهوب (الطالب) كيف يطهو نفس هذه الوجبات، لكن المتدرب لا يملك سوى موقد تخييم صغير محمول وحقيبة ظهر صغيرة.

المشكلة هي أن الطباخ والمتدرب يتحدثان لغات مختلفة، ويستخدمان وصفات مختلفة، وأحياناً يصاب الطباخ بالارتباك عندما يكون المطبخ مظلماً جداً أو فوضوياً.

تقدم هذه الورقة البحثية TIDE، وهو إطار عمل تعليمي جديد مصمم لسد هذه الفجوة. إنه النظام الأول الذي يمكنه بنجاح نقل المعرفة من نموذج ذكاء اصطناعي ضخم ومعقد إلى نموذج صغير وبسيط، حتى عندما يتم بناؤهما بشكل مختلف ويتحدثان "لغات" مختلفة.

إليك كيف يحل TIDE المشكلات الثلاث الرئيسية لـ "درس الطبخ" هذا، باستخدام تشبيهات بسيطة:

1. مشكلة التوقيت (TIDAL)

التحدي: في عالم نماذج الانتشار (نوع الذكاء الاصطناعي الذي تستخدمه هذه الورقة)، يشبه نموذج المعلم طباخاً يكون موثوقاً فقط عندما يكون المطبخ مضاءً جيداً.

في بداية العملية (ضجيج منخفض): المطبخ ساطع؛ يرى الطباخ الوصفة بأكملها بوضوح ويعطي تعليمات مثالية.
في نهاية العملية (ضجيج عالٍ): المطبخ مظلم تماماً؛ الطباخ يقوم فقط بالتخمين بعشوائية.

إذا تركت المتدرب يستمع لتخمينات الطباخ في الظلام، فسوف يتعلم عادات سيئة.

حل TIDE (وهو TIDAL):
يعمل TIDAL مثل مفتاح تعتيم ذكي. فهو يقوم تلقائياً بخفض مستوى صوت صوت المعلم عندما يكون المطبخ مظلماً (ضجيج عالٍ) ويرفع صوته عندما يكون المطبخ ساطعاً (ضجيج منخفض). كما أنه يضبط مستوى الصوت بناءً على طول مدة الدرس. هذا يضمن أن المتدرب يستمع إلى المعلم فقط عندما يكون المعلم متأكداً بالفعل من الإجابة.

2. مشكلة نقص السياق (COMPDEMO)

التحدي: أحياناً يُطلب من الطباخ طهي طبق ما، ولكن يُعرض له نصف المكونات فقط لأن النصف الآخر مغطى بالضباب (الأقنعة/Masks). عندما يكون الضباب كثيفاً، لا يستطيع الطباخ رؤية ما يكفي لتقديم تخمين جيد.

حل TIDE (وهو COMPDEMO):
بدلاً من عرض نفس الصورة الضبابية على الطباخ مرتين، يقوم TIDE بتقسيم الضباب.

المرحلة الأولى: يرى الطباخ النصف الأيسر من المكونات بوضوح ويخمن النصف الأيمن.
المرحلة الثانية: يرى الطباخ النصف الأيمن بوضوح ويخمن النصف الأيسر.
النتيجة: يحصل المتدرب على "وصفة فائقة" تجمع بين أفضل التخمينات من كلا المنظورين. الأمر يشبه منح الطباخ زوجاً ثانياً من العيون لملء الفراغات، مما يجعل التعليمات أكثر وضوحاً حتى في وجود الضباب.

3. مشكلة اختلاف اللغات (Reverse CALM)

التحدي: يتحدث المعلم "الفرنسية" (مجموعة محددة من كتل الكلمات المسماة tokens)، بينما يتحدث الطالب "الإسبانية". لا يمكنك ببساه إخبار الطالب: "قال المعلم 'Pomme' (تفاحة)"، لأن الطالب لا يعرف هذه الكلمة. طرق التدريس القياسية تنهار هنا.

حل TIDE (وهو Reverse CALM):
بدلاً من محاولة الترجمة كلمة بكلمة، ينظر TIDE إلى كتل المعنى (مثل الجمل الكاملة أو العبارات) بدلاً من الكلمات الفردية.

الحيلة: تحاول معظم طرق التدريس إجبار الطالب على مطابقة احتمالية المعلم بدقة، مما يسبب انفجارات رياضية (مثل محاولة القسمة على صفر) عندما لا تتطابق اللغات تماماً.
الإصلاح: يقوم TIDE بقلب السيناريو. بدلاً من مطالبة الطالب بمطابقة المعلم، فإنه يطلب من المعلم التنبؤ بما قد يقوله الطالب. هذا يخلق مسار تعلم مستقراً وآمناً يفلتر "الضجيج" الناتج عن عدم تطابق اللغة. إنه يشبه جعل المعلم يصحح مقال الطالب بناءً على الفكرة بدلاً من الهجاء المحدد لكل كلمة.

النتائج: نموذج صغير يتفوق على حجمه

اختبر الباحثون ذلك عبر أخذ معلم ضخم بـ 16 مليار بارامتر ومعلم آخر بـ 8 مليارات بارامتر، وتلخيصهما في طالب صغير يبلغ 0.6 مليار بارامتر.

الذاكرة: احتاج المعلم العملاق إلى 31 جيجابايت من الذاكرة (مثل سوبر كمبيوتر). أما الطالب الصغير فيحتاج فقط إلى 1.4 جيجابايت (مثل كمبيوتر محمول قياسي). هذا تقليل بمقدار 22 ضعفاً.
السرعة: الطالب أسرع بـ 5 مرات من المعلم العملاق.
الأداء: رغم صغر حجمه، تفوق الطالب على "النماذج الصغيرة القياسية" الأصلية. والأكثر إثارة للإعجاب هو أنه في مهام البرمجة (مثل كتابة برامج الكمبيوتر)، سجل الطالب 48.78 في اختبار قياسي، بينما سجل أفضل نموذج صغير قياسي 32.3 فقط.

الخلاصة

يثبت TIDE أنك لست بحاجة إلى سوبر كمبيوتر للحصول على نتائج فائقة الذكاء. من خلال إدارة متى يستمع الطالب، وكيف يشرح المعلم الأشياء، وكيف يترجمون بين اللغات المختلفة، يمكنك ضغط عبقرية ذكاء اصطناعي عملاق في حزمة صغيرة محمولة تعمل على الأجهزة العادية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models."

1. بيان المشكلة

تقدم نماذج اللغات الكبيرة القائمة على الانتشار (dLLMs) مزايا كبيرة مقارنة بالنماذج ذات التوليد التلقائي (Autoregressive)، بما في ذلك فك التشفير المتوازي والسياق ثنائي الاتجاه. ومع ذلك، تتطلب نماذج dLLMs الحديثة أعداداً هائلة من المعلمات (من 8 مليار إلى 100 مليار+) لتحقيق أداء تنافسي، مما يخلق عائقاً أمام النشر.

بينما يعد تقطير المعرفة (Knowledge Distillation) حلاً قياسياً لضغط النماذج، تركز الطرق الحالية لـ dLLMs (مثل CDLM وDDD) حصرياً على ضغط الخطوات ضمن بنية واحدة (نفس بنية المعلم والطالب ونفس المرمز/Tokenizer). وهي تفشل في معالجة التقطير عبر البنى المختلفة (Cross-Architecture Distillation)، حيث يختلف المعلم والطالب في:

البنية والانتباه: (على سبيل المثال: MoE مقابل Dense، أو ثنائي الاتجاه مقابل سببي/Causal).
المرمّزات (Tokenizers): تجعل المفردات المختلفة من تطبيق مطابقة الاحتمالية على مستوى الرمز (token-level likelihood matching) غير قابلة للتطبيق رياضياً.
الديناميكيات الزمنية: في عملية الانتشار، تتقلب موثوقية المعلم بشكل كبير بناءً على مستوى الضجيج (الخطوة الزمنية $t$ )، على عكس النماذج ذات التوليد التلقائي (AR) حيث يرى المعلم دائماً السياق الكامل جهة اليسار.

2. المنهجية: إطار عمل TIDE

يقترح المؤلفون إطار عمل TIDE (Turning the TIDE)، وهو أول إطار عمل موحد للتقطير عبر البنى المختلفة لنماذج dLLM. يتكون من ثلاثة مكونات نمطية مصممة للتغلب على الحواجز الزمنية، والمكانية، واللغوية.

أ. TIDAL (تعديل لامدا ثنائي المحور للزمن والتكرار)

التحدي: تختلف موثوقية المعلم مع خطوة الانتشار الزمنية ( $t$ ). عند الضجيج العالي ( $t \approx 1$ )، يقوم المعلم بالتخمين؛ وعند الضجيج المنخفض ( $t \approx 0$ )، يكون المعلم موثوقاً. بالإضافة إلى ذلك، تتطور قدرة الطالب أثناء التدريب.
الحل: يقوم TIDAL بتعديل قوة التقطير ( $\lambda_t$ $λ_{t}$ ) على محورين:
1. الخطوة الزمنية للانتشار: $\lambda_t = \lambda_{train} \times (1 - t)$ . مع زيادة الضجيج، تقل الاعتمادية على المعلم لتجنب تعلم الإشارات المشوشة.
2. تقدم التدريب: يتبع $\lambda_{train}$ جدول جيب التمام (cosine schedule)، حيث يبدأ منخفضاً (يسيطر عليه الطالب) لمنع الانهيار، ثم يزداد ليصبح مرتفعاً (يسيطر عليه المعلم) مع استقرار التدريب.
الآلية: التوزيع المستهدف هو استيفاء (interpolation) بين لوجيتات (logits) الطالب والمعلم، وهو منفصل عن الرسم البياني للحساب (computation graph) لمنع تدفق الاشتقاق عبر الهدف المختلط.

ب. COMPDEMO (إزالة الضجيج المشروط بالنماذج التكميلية)

التحدي: تحت تأثير القناع الثقيل (الضجيج العالي)، يتلقى المعلم سياقاً غير كافٍ، مما يؤدي إلى تنبؤات ضعيفة.
الحل: يتم تقسيم المواضع المقنعة ( $M$ $M$ ) إلى مجموعتين فرعيتين متكاملتين ( $M_A, M_B$ $M_{A}, M_{B}$ ).
- المرحلة الأولى: يرى المعلم $M_A$ مكشوفة (نظيفة) و $M_B$ مقنعة.
- المرحلة الثانية: يرى المعلم $M_B$ مكشوفة (نظيفة) و $M_A$ مقنعة.
الآلية: يتم دمج لوجيتات المعلم من كلتا المرحلتين. هذا يثري السياق للمعلم، مما يقلل فعلياً من "الخطوة الزمنية الفعالة" ويوفر إشارات توضيحية عالية الجودة للطالب، حتى عند مستويات الضجيج العالية.

ج. Reverse CALM (المحاذاة عبر الرموز عبر الاحتمالية العكسية)

التحدي: عندما يستخدم المعلم والطالب مرّمّزات مختلفة ( $V_T \neq V_S$ )، فإن تباعد KL على مستوى الرمز يكون غير معرف. غالباً ما تستخدم طريقة المحاذاة على مستوى الكتلة (مثل CALM الأمامية) خسارة "التقاطع الثنائي المتوافق" (BCE) الأمامية.
المشكلة في CALM الأمامية: يحتوي الاشتقاق على حد $p_t^c / p_s^c$ . إذا أعطى الطالب احتمالية منخفضة لكتلة كان المعلم واثقاً منها ( $p_s \to 0, p_t \to 1$ )، فإن الاشتقاق ينفجر.
الحل: تقوم Reverse CALM بعكس اتجاه خسارة BCE: $L = -[p_s \log p_t + (1-p_s) \log(1-p_t)]$ .
الآلية:
- اشتقاقات محدودة: يصبح معامل الاشتقاق $\log(p_t / (1-p_t))$ ، والذي يعتمد فقط على المعلم الثابت ويكون محدوداً.
- فلترة الضجيج ثنائية النهاية: الكتل غير المتوافقة جيداً (حيث $p_t \approx 0.5$ ) تلغي المعامل، والاحتمالية المنخفضة للطالب تقمع الضجيج. يعمل هذا كهدف "باحث عن النمط" (mode-seeking) في الفضاء القياسي.

3. الإعداد التجريبي

نموذج الطالب: نموذج انتشار كتلي (Block Diffusion) بـ 0.6 مليار معلمة (BD3LM).
نماذج المعلم:
1. LLaDA2.0-mini (16B MoE): بنية غير متجانسة، ومرمّز مختلف (مسار عبر-المرمّز/Cross-Tokenizer Pipeline).
2. WeDLM-8B-Instruct (8B Dense): عائلة مرمّزات مشتركة (مسار المرمّز المشترك/Shared-Tokenizer Pipeline).
الاختبارات المرجعية: 8 مهام تشمل الاستدلال (GSM8K, MATH, BBH)، المعرفة (MMLU, MMLU-Pro)، المنطق العام (HellaSwag)، والبرمجة (HumanEval, MBPP).

4. النتائج الرئيسية

الأداء العام: تفوقت نماذج 0.6B المقطرة على النموذج الأساسي (non-distilled) غير المقطر بمعدل +1.53 نقطة عبر جميع الاختبارات.
توليد الكود (HumanEval): حققت النماذج المقطرة قفزة هائلة في الأداء:
- 48.78 (المقطر) مقابل 32.30 (الأساس AR من نفس الحجم).
- يمثل هذا زيادة قدرها +16.48 نقطة، مما يثبت أن نماذج dLLMs، عند تقطيرها، تتفوق في المهام التي تتطلب توليداً مهيكلاً مثل البرمجة.
خصوصية المسار (Pipeline Specificity):
- عبر-المرمّز (Cross-Tokenizer): كانت استراتيجية Reverse CALM هي الأفضل، مما يؤكد ضرورة الاشتقاقات المحدودة للمفردات المختلفة.
- المرمّز المشترك (Shared-Tokenizer): كانت استراتيجية TIDAL + COMPDEMO هي الأفضل، مستفيدة من المحاذاة الدقيقة للرموز لتعلم المنهج التدريجي.
الكفاءة:
- الذاكرة: تقليل بمقدار 22 ضعفاً مقارنة بمعلم الـ 16B (1.4 جيجابايت مقابل 31.3 جيجابايت).
- السرعة: استدلال أسرع بـ 5 مرات من معلم الـ 16B.
- العبء الإضافي: يضيف التقطير عبئاً ضئيلاً جداً (~2.6% انخفاض في الإنتاجية) مقارنة بالطالب غير المقطر.

5. الأهمية والمساهمات

أول إطار عمل عبر البنى: TIDE هو العمل الرائد الذي يتيح نقل المعرفة بين نماذج dLLM ذات البنى والمرمّزات المختلفة، وهي فجوة لم تُستكشف سابقاً.
مكونات مبتكرة:
- TIDAL يحل مشكلة عدم الاستقرار الزمني في تقطير الانتشار.
- COMPDEMO يحل مشكلة نقص السياق في الانتشار المقنع.
- Reverse CALM يوفر حلاً مستقراً رياضياً للتقطير عبر المرمّزات المختلفة، متجنباً انفجار الاشتقاق.
النشر العملي: يثبت إطار العمل أن نماذج dLLM عالية الأداء يمكن ضغطها إلى نماذج صغيرة وقابلة للنشر (0.6B) تعمل على الأجهزة العادية مع الاحتفاظ بمزايا الانتشار ثنائية الاتجاه والمتوازية.
طفرة في توليد الكود: تشير النتائج إلى أن الطبيعة المتوازية لفك تشفير الانتشار، عندما يتم توجيهها بواسطة معلم قوي، مناسبة بشكل فريد للمهام التي تتطلب تماسكاً عالمياً، مثل البرمجة.

الخاتمة

نجح TIDE في سد الفجوة بين نماذج الانتشار الكبيرة والمكلفة والنماذج الصغيرة القابلة للنشر. ومن خلال معالجة التحديات الفريدة المتمثلة في الموثوقية الزمنية، ونقص السياق، وعدم تطابق المفردات، فإنه يضع معياراً جديداً للنشر الفعال لنماذج dLLM، مع تسليط الضوء بشكل خاص على إمكانات نماذج الانتشار في توليد الكود.