🤖 machine learning

On the Quantization Robustness of Diffusion Language Models in Coding Benchmarks

تُظهر هذه الورقة أن النماذج اللغوية القائمة على الانتشار تُبدي متانة فائقة في التكميم مقارنة بنظيراتها ذات التوليد الذاتي، مما يشير إلى أنها تقدم مزايا كبيرة للنشر الفعال في مهام البرمجة.

المؤلفون الأصليون: Aarav Gupta, Gururaj Deshpande, Chandreyi Chakraborty

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aarav Gupta, Gururaj Deshpande, Chandreyi Chakraborty

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخين بارعين يحاولان طهي نفس الوجبة المعقدة (كتابة كود برمجي).

الطباخ أ (النموذج التوليدي المتسلسل - Autoregressive، مثل Qwen3): هو طباخ تقليدي. يطهو المكونات واحداً تلو الآخر، بترتيب صارم. إنه سريع ودقيق للغاية، ولكن إذا طلبت منه إعداد مأدبة ضخمة، فسيحتاج إلى مطبخ هائل (ذاكرة)، وسيستغرق الأمر وقتاً طويلاً لأنه لا يستطيع القيام بمهام متعددة في آن واحد.
الطباخ ب (نموذج الانتشار - Diffusion، مثل CoDA): هو طباخ عصري وتجريبي. بدلاً من الطهي خطوة بخطوة، يبدأ بوعاء من الضجيج العشوائي ثم يقوم بـ "تنظيفه" تدريجياً، ويقوم بتكرير الطبق بأك Totality في وقت واحد حتى يصبح مثالياً. هو بارع في رؤية الصورة الكبيرة، لكنه أيضاً يحتاج إلى مطبخ كبير.

المشكلة: كلا الطباخين مكلفان جداً للتشغيل على موقد منزلي صغير (مثل اللابتوب أو الهاتف). فهما يستهلكان الكثير من الذاكرة والكهرباء.

الحل: التكميم (Quantization). فكر في هذا الأمر كـ "خفض جودة المكونات" لتوف استغلال المساحة. بدلاً من استخدام توابل عالية الدقة والفخامة (أرقام 32-بت أو 16-بت)، نحاول استخدام توابل أرخص وأقل جودة (أرقام 4-بت أو 2-بت). الهدف هو تقليص حجم الوصفة لكي تتناسب مع موقد صغير دون إفساد مذاق الوجبة.

التجربة الكبرى

أراد الباحثون معرفة: أي طباخ يتعامل بشكل أفضل مع "المكونات الرخيصة"؟

أخذوا كلا الطباخين، الطباخ أ (Qwen3) والطباخ ب (CoDA)، وأجبروهما على الطهي باستخدام هذه التوابل الرخيصة ومنخفضة الجودة. واختبروهما في تحديين مشهورين للطهي: HumanEval و MBPP (وهي في الأساس اختبارات لمعرفة ما إذا كان الكود الذي يكتبونه يعمل بالفعل).

النتائج المفاجئة

1. تأثير "الانهيار"

الطباخ أ (Qwen3): كان حساساً للغاية. عندما انتقلوا إلى توابل 4-بت، أصبح الطعام مالحاً قليلاً. ولكن عندما انخفضوا إلى 3-بت أو 2-بت، انهار الطبق تماماً. كان الأمر أشبه بمحاولة خبز كعكة باستخدام الرمل بدلاً من الدقيق؛ الهيكل ببساطة لم يستطع الصمود.
الطباخ ب (CoDA): كان قوياً بشكل مفاجئ. حتى مع توابل 4-بت الرخيصة، ظل الطبق مذاقه رائعاً. ولم يبدأ في الانهيار إلا عندما ذهبوا إلى أرخص أنواع التوابل (2-بت).
الخلاصة: طباخ الانتشار (CoDA) أكثر "مرونة". يمكنه البقاء على قيد الحياة بنظام غذائي منخفض التكلفة بشكل أفضل بكثير من الطباخ التقليدي.

2. سباق السرعة

في البداية (الجودة العالية): كان الطباخ أ أسرع قليلاً. فطريقته التي تعتمد على الخطوة تلو الأخرى محسنة جداً للمطابخ الراقية.
عند الميزانية المنخفضة (الجودة المنخفضة): هنا تكمن المفاجأة. عندما أصبحت المكونات رخيصة (دقة منخفضة)، أصبح الطباخ ب في الواقع أسرع من الطباخ أ.
- لماذا؟ لا يزال الطباخ أ يقوم بكل أعمال الإعداد المعقدة (مثل قياس كل نوع من التوابل بشكل فردي) حتى لو كانت التوابل رخيصة. أما الطباخ ب، فقد قام فقط بعملية "تنظيف" واحدة كبيرة. وبمجرد أن أصبحت المكونات رخيصة، أصبح عبء الإعداد المعقد للطباخ أ هو العائق، بينما تألقت طريقة الطباخ ب البسيطة.

3. "المزيج الذكي" (HAWQ)
جرب الباحثون أيضاً تقنية متطورة تسمى HAWQ. تخيل أن لديك ميزانية، ولكنك تريد الحفاظ على الأجزاء الأكثر أهمية في الطبق بجودة ممتاة مع جعل الأجزاء الأقل أهمية رخيصة.

قاموا بتحليل أي أجزاء من النموذج كانت "حساسة" (مثل الصلصة الدقيقة) وأيها كانت "متينة" (مثل القدر القوي).
أعطوا طبقات "الصلصة" توابل عالية الجودة (16-بت) وطبقات "القدر" توابل رخيصة (4-بت).
النتيجة: خلق هذا توازناً مثالياً. يمكنك تقليص حجم النموذج ليتناسب مع هاتف دون فقدان الكثير من المذاق، مما يجد "النقطة المثالية" بين الحجم والجودة.

الخلاصة النهائية

تشير الورقة البحثية إلى أن نماذج لغة الانتشار (مثل CoDA) قد تكون هي المستقبل لتشغيل الذكاء الاصطناعي على الأجهزة الصغيرة.

بينما النماذج التقليدية (مثل Qwen3) هي حالياً ملوك الأداء، إلا أنها هشة عندما تحاول تقليص حجمها. نماذج الانتشار تشبه الهياكل "الدبابة"؛ قد تكون أبطأ قليلاً في البداية، لكنها متينة للغاية. إذا كنت بحاجة لتشغيل مساعد برمجي على لابتوب بذاكرة محدودة، فقد يتعامل نموذج الانتشار مع "وضع الميزانية" بشكل أفضل بكما من النموذج التقليدي.

باخت de المختصر: إذا كنت تريد أفضل أداء على سوبر كمبيوتر، استخدم الطباخ التقليدي. ولكن إذا كنت تريد تشغيل مساعد برمجي ذكي على جهاز صغير وموفر للطاقة، فإن طباخ الانتشار هو الذي لن يتصبب عرقاً عند الانتقال إلى المكونات الرخيصة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "حول متانة التكميم في نماذج لغة الانتشار في معايم البرمجة".

1. بيان المشكلة

تتفوق النماذج اللغوية الكبيرة (LLMs)، ولا سيما النماذج ذات التوليد الذاتي (Autoregressive - AR) مثل GPT-4 وQwen، في مهام البرمجة، لكنها تعاني من بصمة ذاكرة عالية وزمن استجابة مرتفع أثناء الاستدلال بسبب توليد الرموز (tokens) بشكل تسلسلي. وبينما توفر نماذج لغة الانتشار (d-LLMs) بديلاً عبر تكاليف استدلال محدودة من خلال إزالة الضجيج المتكررة، إلا أن سلوكها تحت تأثير التكميم ما بعد التدريب (Post-Training Quantization - PTQ) لا يزال غير مستكشف إلى حد كبير.

سؤال البحث الجوهري هو: هل نماذج لغة الانتشار أكثر متانة تجاه التكميم منخفض البتات الشديد (2-4 بت) مقارنة بنظيراتها ذات التوليد الذاتي؟ إن تقنيات PTQ الحالية (مثل GPTQ وHAWQ) راسخة جيداً للنماذج ذات التوليد الذاتي، ولكن لم يتم تقييمها بشكل منهجي مقابل نماذج d-LLMs، مما يترك فجوة في فهم أي نموذج توليد هو الأنسب للنشر في البيئات محدودة الموارد والمكممة.

2. المنهجية

أجرى المؤلفون مقارنة تجريبية مضبوطة بين نموذج برمجة قائم على الانتشار (CoDA 1.7B) ونظيره ذي التوليد الذاتي (Qwen3-1.7B). يتشارك كلا النموذجين نفس البنية (Transformer) وعدد المعلمات (1.7B) ولكنهما يختلفان في أهداف التدريب (الانتشار مقابل التوليد الذاتي) وبيانات التدريب.

الإعداد التجريبي

النماذج: CoDA 1.7B (انتشار) مقابل Qwen3-1.7B (توليد ذاتي).
المعايير المرجعية: HumanEval وMBPP (معظم المشكلات البرمجية الأساسية)، لتقييم pass@1 وpass@5.
الأجهزة: وحدات معالجة رسومات NVIDIA L40S وH100.
طرق التكميم:
1. GPTQ (التكميم المعتمد على المجموعات): طريقة PTQ تعتمد على الأوزان فقط باستخدام تقريب "هيسيان" العكسي لتقليل خطأ إعادة بناء التنشيط. تم تطبيقها على عرض بتات قدره 2، 3، 4، و8 بت.
2. HAWQ (التكميم المدرك لهيسيان): نهج دقيق مختلط يخصص عرض البتات بناءً على حساسية الطبقة (المستمدة من القيم الذاتية لهيسيان).
  - التكييف: قام المؤلفون بتعديل خوارزمية HAWQ الأصلية (المصممة لشبكات CNN الأصغر) للتعامل مع نماذج بـ 1.7 مليار معلمة. قاموا بتنفيذ الفروق المحدودة (finite differences) لتقريب حاصل ضرب متجه هيسيان (بسبب عدم توافق Flash Attention) واستخدموا العينات المتفرقة (sparse sampling) بنسبة ( $\rho=0.1$ ) لجعل حسابات الحساسية قابلة للتنفيذ حاسوبياً.
  - الاستراتيجية: تم ترتيب الطبقات حسب الحساسية، وتم تطبيق نسبة تقسيم محددة مسبقاً (على سبيل المثال، 50% بـ 16 بت، 50% بـ 8 بت) بشكل جشع (greedy).

مقاييس التقييم

الدقة: معدلات النجاح في المعايير البرمجية.
زمن الاستجابة (Latency): متوسط الوقت لكل خطوة إزالة ضجيج (CoDA) مقابل كل رمز توليد (Qwen3).
الذاكرة: تقليل حجم النموذج عبر التكميم.

3. المساهمات الرئيسية

مقارنة معيارية: وضع أول إطار تجريبي يقارن بين متانة PTQ لنموذج لغة انتشار ونظيره المباشر ذي التوليد الذاتي تحت مسارات تقييم متطابقة.
اكتشاف المتانة: أثبتت نماذج الانتشار أنها تظهر مرونة فائقة تجاه التكميم منخفض البتات (2-4 بت) مقارنة بالنماذج ذات التوليد الذاتي، والتي تعاني من انهيار في الأداء عند هذه العروض.
جبهة باريتو للدقة المختلطة: أظهرت تكوينات الدقة المختلطة المستمدة من HAWQ لنماذج الانتشار مقايضات أكثر سلاسة بين الدقة، وزمن الاستجابة، والذاكرة، مما يسمح بتحسين النشر بدقة عالية.

4. النتائج الرئيسية

أ. متانة الدقة (GPTQ)

أداء البتات المنخفضة: حافظ CoDA على دقة وظيفية حتى دقة 4-بت. في المقابل، تعرض Qwen3 لـ "انهيار كارثي" عند 3-بت وفشل شبه تام عند 2-بت.
مقدار التدهور:
- CoDA (4-بت): انخفاض في الدقة بمقدار 1.8 إلى 5 نقاط عبر المعايير.
- Qwen3 (4-بت): انخفاض في الدقة بمقدار 12 إلى 23.2 نقطة.
- ملاحظة: عند 4-بت، احتفظ CoDA بقدراته الأصلية بشكل أكبر بكثير من Qwen3.
الفرضية: يشير المؤلفون إلى أن نسبة البيانات إلى المعلمات العالية في Qwen3 (التدريب على 36 تريليون رمز مقابل 180 مليار لـ CoDA) قد أدت إلى "الإفراط في التدريب"، مما جعله أكثر حساسية لضوضاء التكميم، بينما وفرت ديناميكيات تدريب CoDA (هدف الانتشار) متانة أفضل بطبيعتها.

ب. زمن الاستجابة والكفاءة

الأساس (Baseline): كان Qwen3 (التوليد الذاتي بـ 16 بت) أسرع قليلاً (26.8 مللي ثانية) من CoDA (28.3 مللي ثانية) بسبب نوى القناع السببي (causal masking kernels) المحسنة للغاية.
الأداء المكمم:
- عند 4-بت و8-بت، أصبح CoDA منافساً لـ أو أسرع من Qwen3.
- السبب: مع تقليل التكميم للتكاليف الحسابية، تهيمن التكاليف الثابتة للنظام (مثل إطلاق النواة own kernel launch، ومعالجة الرموز) على زمن الاستجابة. تمرير إزالة الضجيج لخطوة واحدة عبر التسلسل الكامل في CoDA يتعامل مع هذه التكاليف بكفاءة أكبر من التكاليف التسلسلية لتوليد الرموز في النماذج ذات التوليد الذاتي عندما تصبح الحسابات رخيصة.
- حقق CoDA زمن توليد أسرع بنسبة 25-40% من Qwen3 عند دقة 4-بت و8-بت.

ج. الدقة المختلطة (HAWQ)

تقسيمات ثنائية المستوى: نجحت التكوينات التي تقسم الطبقات إلى مجموعتين من الدقة (مثلاً 50% 16-بت / 50% 8-بت) في تتبع جبهة باريتو، مما سمح للمستخدمين باستهداف قيود ذاكرة محددة مع الحد الأدنى من فقدان الدقة.
تقسيمات ثلاثية المستوى: أدت محاولات خلط ثلاث درجات من الدقة (16/8/4) إلى انهيار النموذج، ويرجع ذلك على الأرجمل إلى عدم قدرة النموذج على تصحيح الأوزان غير الدقيقة ذاتياً دون ضبط دقيق (fine-tuning).

5. الأهمية والخاتمة

تقدم الورقة دليلاً مقنعاً على أن نماذج لغة الانتشار قد تكون بطبيعتها أكثر متانة تجاه التكميم من النماذج ذات التوليد الذاتي. وهذا له تداعيات عميقة على النشر الفعال:

النشر على الأجهزة محدودة الموارد: يمكن نشر نماذج الانتشار على الأجهزة ذات الذاكرة الافتراضية (VRAM) المحدودة (باستخدام تكميم 4-بت أو حتى 3-بت) مع الحفاظ على أداء البرمجة، بينما تفشل النماذج ذات التوليد الذاتي من نفس الحجم عند هذه الدقات.
كفاءة زمن الاستجابة: خلافاً للاعتقاد بأن الانتشار أبطأ، تظهر الدراسة أن نماذج الانتشار يمكن أن تتفوق على نماذج التوليد الذاتي في زمن الاستجابة تحت ظروف التكميم بسبب تقليل الحساسية تجاه أعباء النظام.
الاتجاهات المستقبلية: يوصي المؤلفون بالعمل المستقبلي الذي يتضمن تدريب كلا النموذجين على مجموعات بيانات متطابقة لعزل التأثيرات الهيكلية، واستكشاف مجموعات بيانات المعايرة الخاصة بالبرمجة (مثل OpenCoder)، والتحقيق في التدريب المدرك للتكميم (QAT) لاستعادة الأداء في سيناريوهات الدقة المختلطة المعقدة.

باختدال، تتحدى هذه الدراسة هيمنة النماذج ذات التوليد الذاتي في السيناريوهات منخفضة الموارد، مشيرة إلى أن بنيات الانتشار تقدم بديلاً واعداً ومقاوماً للتكميم لمساعدات البرمجة الفعالة.