🤖 machine learning

Float8@2bits: Entropy Coding Enables Data-Free Model Compression

تقدم الورقة البحثية EntQuant، وهو إطار عمل لضغط ما بعد التدريب بدون بيانات يستفيد من ترميز الإنتروبيا لتحقيق ضغط بمعدل بتات فائق (أقل من 4 بت) يصل إلى أحدث المستويات في النماذج الكبيرة مثل نماذج الـ 70 مليار بارامتر في أقل من 10 دقائق، حيث ينجح في توحيد سرعة وعالمية الطرق التي لا تعتمد على البيانات مع الدقة العالية التي تتطلب عادةً بيانات معايرة.

المؤلفون الأصليون: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة ومفصلة للغاية من الكتب (نموذج لغوي كبير). لكي تتمكن من قراءة هذه الكتب على جهاز صغير مثل الهاتف الذكي، تحتاج إلى تقليص حجمها. عادةً، هناك طريقتان للقيام بذلك:

طريقة "السريع والرديء": تقوم بتصوير الكتب بسرعة على بطاقات فهرسة صغيرة. هذه الطريقة سريعة ولا تتطلب أي بحث إضافي، ولكن إذا قمت بتقليصها كثيراً (أقل من 4 بت)، تصبح الكلمات غير مفهومة وتنهار القصة.
الطريقة "البطيئة والمثالية": تقوم بتعيين فريق من المحررين لإعادة كتابة كل جملة بعناية، باستخدام مجموعة محددة من الكتب المرجعية لضمان بقاء المعنى مثالياً. هذه الطريقة تعمل بشكل رائع، لكنها تستغرق أياماً، وتتطلب أجهزة كمبيوتر باهظة الثمن، وتحتاج إلى الوصول إلى تلك الكتب المرجعية (التي غالباً ما تكون غير موجودة أو خاصة).

إليك EntQuant: تقدم الورقة البحثية طريقة جديدة تسمى EntQuant تعمل مثل "شعاع التصغير السحري" الذي يجمع بين أفضل ما في العالمين. إنها سريعة، ولا تحتاج إلى كتب مرجعية، وتحافظ على سلامة القصة حتى عندما يتم تقليص حجمها إلى حد أقصى.

إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الصندوق الثابت"

الطرق الحالية تجبر كلمات المكتبة على الدخول في صناديق ذات أحجام ثابتة.

إذا كنت تريد توفير المساحة، يجب عليك استخدام صناديق صغيرة جداً (بتات منخفضة).
لكن الصناديق الصغيرة لا يمكنها حمل سوى عدد قليل من الكلمات المحددة. وإذا احتاجت المكتبة للتعبير عن فكرة معقدة، فستتعثر لأن الصندوق سيكون صغيراً جداً. لهذا السبب تفشل الطرق الحالية عندما تحاول تقليص النماذج إلى أقل من 4 بت؛ حيث تنفد "القدرة التعبيرية".

2. الحل: "نظام أرشفة ذكي"

تغير EntQuant القواعد. بدلاً من إجبار الكلمات على الدخول في صناديق صغيرة، فإنها تبقي الكلمات في صناديقت عالية الجودة ومعيارية (مثل Float8 أو Int8) ولكنها تنظمها بذكاء شديد بحيث لا تشغل مساحة تذكر.

فكر في الأمر كأنه خدمة تعبئة وتغليف عند الانتقال من منزل لآخر:

الطريقة القديمة: يجب عليك وضع أثاثك في صناديق ذات أحجام مسبقة التحديد. إذا كان لديك أريكة ضخمة، فسيتعين عليك تقطيعها لتناسب صندوقاً صغيراً.
طريقة EntQuant: تحافظ على الأثاث كاملاً (دقة عالية)، ولكنك ترتبه بإحكام شديد بحيث تكون الشاحنة شبه فارغة. أنت تستخدم "خوارزمية ذكية" لتعبئة العناصر بكفاءة عالية بحيث تكون الشاحنة مليئة بالهواء بنسبة 90%، ومع ذلك تظل العناصر محفوظة تماماً.

3. السر الكامن: "ترميز الإنتروبيا"

تستخدم الورقة البحثية تقنية تسمى ترميز الإنتروبيا (تحديداً ما يسمى ANS).

تخيل أنك تكتب شفرة سرية. إذا ظهر حرف "E" بنسبة 50% من الوقت، فإنك تعطيه رمزاً قصيراً جداً (مثل "1"). أما إذا ظهر حرف "Z" نادراً، فتعطيه رمزاً أطول (مثل "11010").
تقوم EntQuant أولاً "بتدريب" النموذج على استخدام أرقام معينة بشكل متكرر أكثر من غيرها (مما يجعل البيانات "منخفضة الإنتروبيا").
ثم تستخدم هذا الترميز الذكي لضغط البيانات. ولأن الأرقام قابلة للتنبؤ، يمكن للكمبيوتر تخزينها باستخدام أقل من 2 بت لكل معلمة (parameter) في المتوسط، رغم أن الأرقام نفسها لا تزال مخزنة بتنسيقات عالية الدقة.

4. لماذا يعد هذا أمراً بالغ الأهمية؟

لا حاجة لـ "المعايرة": معظم طرق الضغط عالية الجودة تحتاج إلى "تجربة قيادة" باستخدام مجموعة بيانات لضبط النموذج. EntQuant لا تعتمد على البيانات (Data-free). يمكنك أخذ نموذج، وضغطه في أقل من 10 دقائق، وسيعمل ببساطة. وهذا أمر بالغ الأهمية للنماذج الخاصة أو المتخصصة حيث لا تملك بيانات التدريب الخاصة بها.
الضغط الفائق: نجحت في ضغط نماذج ضخمة (مثل نموذج بـ 70 مليار معلمة) إلى حجم يناسب بطاقة رسوميات استهلاكية، مع الحفاظ على ذكاء النموذج بما يكفي لاتباع تعليمات معقدة وحل المسائل الرياضية.
السرعة: بينما يتعين عليها "فك" البيانات قليلاً أثناء القراءة (التشفير)، توضح الورقة أن هذا يحدث بسرعة كبيرة على أجهزة الكمبيوتر الحديثة لدرجة أن التباطؤ يكون ضئيلاً (حوالي 1.5 إلى 2 مرة أبطأ من الأصل، وهو لا يزال سريعاً جداً).

الخلاصة

لقد ابتكر المؤلفون، باتريك بوتزكي ومارتن جينزل (وفريقهم في Merantix Momentum)، أداة تتيح لك تقليص نماذج الذكاء الاصطناوي العملاقة لتصبح بحجم حقيبة سفر صغيرة دون فقدان ذكائها، ويمكنك القيام بذلك فوراً دون الحاجة إلى أي بيانات إضافية. الأمر يشبه القدرة على وضع يخت بطول 70 قدماً في حقيبة ظهر دون أن يتحطم.

النتيجة الرئيسية: لقد كسروا القاعدة التي تقول "لكي توفر المساحة، يجب أن تفقد الجودة". فمن خلال استخدام نظام أرشفة ذكي (ترميز الإنتروبيا) بدلاً من مجرد تقطيع البيانات، حافظوا على الجودة العالية مع تحقيق تقليص هائل في الحجم.

ملخص تقني: EntQuant – ترميز الإنتروبيا يُمكّن من ضغط النماذج بدون بيانات

1. بيان المشكلة

تواجه عملية تكميم ما بعد التدريب (PTQ) للنماذج اللغوية الكبيرة (LLMs) حالياً انقساماً بين سهولة الوصول ودقة الأداء.

الطرق الخالية من البيانات (المستوى 1): التقنيات مثل NF4 وHalf-Quadratic Quantization (HQQ) سريعة، ومستقلة عن النموذج، ولا تتطلب بيانات معايرة. ومع ذلك، فإنها تعاني من "الانهيار الوظيفي" عند الضغط إلى أقل من 4 بت، مما يؤدي إلى فشل في الحفاظ على أداء النموذج.
الطرق المعتمدة على البيانات (المستويات 2-4): النهج التي تستخدم بيانات المعايرة أو تدريب الاسترداد (مثل QuIP# وEfficientQAT) تحقق دقة فائقة عند معدلات البت المتطرفة ولكنها تفرض تكاليف حوسبة عالية وتتطلب الوصول إلى مجموعات بيانات التدريب. وهذا غالباً ما يكون مستحيلاً بالنسبة للنماذج المتخصصة في اتباع التعليمات أو الاستدلال بسبب سيادة البيانات، أو القيود القانونية (مثل GDPR)، أو عدم توفر بيانات التدريب.

تربط الطرق الحالية بشكل صارم بين معدل الضغط وعرض بت التمثيل. لتحقيق ضغط بمقدار 8 أضعاف، تجبر الأطر القياسية الأوزان على الدخول في تمثيل بـ 2 بت (4 قيم متميزة)، وهو ما يفتقر إلى القدرة التعبيرية لنمذجة توزيعات الأوزان المعقدة، مما يؤدي إلى تدهور الأداء.

2. المنهجية: EntQuant

قدم المؤلفون إطار عمل EntQuant، الذي يفصل بين تكلفة التخزين ودقة التمثيل من خلال دمج ترميز الإنتروبيا مباشرة في مسار عملية التكميم.

المفهوم الجوهري

بدلاً من إجبار الأوزان على اتخاذ تنسيق منخفض البت (مثل Int2)، يحافظ EntQuant على تمثيل عالي الدقة (Float8 أو Int8) ولكنه يحسن قيم الأوزان لتقليل الإنتروبيا الخاصة بها. يتم بعد ذلك ضغط هذه الأوزان منخفضة الإنتروبيا باستخدام مرمز الأنظمة العددية غير المتماثلة (ANS) دون فقدان للمعلومات. يسمح هذا للنموذج بتحقيق معدلات بت فعالة تعسفية (تصل إلى حوالي 2 بت لكل معامل) مع الاحتفاظ بكامل النطاق الديناميكي للتنسيق الأساسي أثناء الاستدلال.

المكونات التقنية

تحسين مقيد بالإنتروبيا:
- الهدف هو تقليل الإنتروبيا التجريبية للأوزان المكممة $W_q$ مع مراعاة قيد خطأ إعادة البناء.
- بما أن تقليل الإنتروبيا المباشر غير قابل للتفاضل، فقد صاغ المؤلفون هدف لاغرانج (Lagrangian) مخففاً:
  $\min_{W_q} d(W, \hat{W}) + \lambda R(W_q)$
  حيث $d$ هي خسارة $\ell_1$ النسبية (القوية تجاه القيم المتطرفة) و $R(W_q) = \|W_q\|_1$ تعمل كوكيل قابل للتفاضل للإنتروبيا.
- يتم إجراء التحسين لكل طبقة باستخدام خوارزمية L-BFGS، مع ضبط معاملات القياس لكل قناة $S$ والتي تم تهيئتها عبر خوارزمية AbsMax.
ترميز الأوزان:
- يتم تسطيح الأوزان المُحسنة إلى تدفق رموز وضغطها باستخدام مرمز ANS محسن للوحدات الرسومية (عبر nvCOMP من NVIDIA).
- يتكون التخزين النهائي من تدفق البتات المضغوط، ومعاملات القياس، والبيانات الوصفية. تكلفة المعاملات (scales) ضئيلة جداً ( $<1\%$ ).
فك الترميز أثناء الاستدلال:
- على عكس الضغط التقليدي خارج الخط (offline)، يدمج EntQuant عملية فك الترميز في مسار الاستدلال.
- يتم تخزين الأوزان كتدفق بتات مضغوط في ذاكرة الوصول العشوائي للرسوميات (VRAM). قبل عملية المرور الأمامي (forward pass) لكتلة المحول (transformer block)، يقوم مرمز ANS المتوازي بفك ضغط الأوزان إلى ذاكرة مؤقتة (buffer) آنياً.
- تسمح استراتيجية فك الضغط هذه على مستوى الكتلة، والمستوحاة من DFloat11، بالتناوب الكثيف بين عمليات فك الضغط ونواة (kernels) المرور الأمامي، مما يحافظ على استخدام عالٍ لوحدة معالجة الرسومات.
التعامل مع الأوزان الفائقة (Super Weights):
- بالنسبة لتنسيقات القاعدة من نوع Int8، يتضمن الأسلوب آلية للكشف عن "الأوزان الفائقة" (القيم المتطرفة الشديدة في طبقات الإسقاط السفلي المبكرة) واستبعادها من تحسين الإنتروبيا، مما يمنع الانهيار الوظيفي بطريقة مشابهة للطرق التي تتطلب معالجة صريحة للقيم المتطرفة.

3. المساهمات الرئيسية

ضغط متطرف خالٍ من المعايرة: يُمكّن EntQuant عملية تكميم ما بعد التدريب وصولاً إلى معدلات 2 بت فعالة دون الحاجة لتدريب استرداد أو بيانات معايرة. إنه طريقة من المستوى 1 مناسبة للنماذج التي تكون فيها الوصول للبيانات مقيداً.
فك الارتباط بين معدل الضغط وعرض البت: يكسر الأسلوب الارتباط الصارم بين حجم التخزين ودقة التكميم. فهو يحقق تكاليف تخزين منخفضة البت (مثلاً 2.1 بت لكل معامل) مع الحفاظ على القدرة التعبيرية لـ Float8 أو Int8، متجنباً الانهيار الوظيفي الذي تسببه طرق البت الثابت المنخفض (مثل 2-bit).
تبسيط التعامل مع القيم المتطرفة: من خلال استخدام القياس لكل قناة وتحسين الإنتروبيا، يقوم Entצא طبيعياً بتركيز الدقة حيثما لزم الأمر دون الحاجة لمخططات تجميع معقدة أو اكتشاف صريح للقيم المتطرفة (رغم أنه يمكنه اختيارياً استبعاد الأوزان الفائقة لـ Int8).
تحسين عالي السرعة: مرحلة الضغط فعالة للغاية، حيث تستغرق أقل من 10 دقائق لنموذج بـ 70 مليار معامل، وهي مقاربة للطرق السريعة الخالية من البيانات مثل HQQ.

4. النتائج التجريبية

قام المؤلفون بتقييم EntQuant عبر أكثر من 480 تجربة على 16 نموذجاً لغوياً كبيراً مفتوح المصدر (بما في ذلك LLaMA-1/2/3، Qwen3، OLMo، و Mistral Large).

أداء خالٍ من البيانات: يتفوق EntQuant بشكل كبير على الطرق الحالية الخالية من البيانات (HQQ، NF4) في نطاق 2–3 بت. بينما تعاني HQQ وNF4 من انهيار وظيفي (على سبيل المثال، انفجار الارتياب/perplexity إلى $>1000$ ) عند 2 بت، يحافظ EntQuant على أداء قابل للاستخدام (مثلاً 2.1 بت على LLaMA-2 70B تعطي ارتياباً قدره 6.47 مقابل 32.24 لـ HQQ).
المقارنة مع طرق المعايرة: يحقق EntQuant نتائج مقاربة لأحدث الطرق التي تعتمد على المعايرة والضبط الدقيق (مثل QuIP# وEfficientQAT) عند 3 بت، مع فجوة طفيفة فقط عند 2 بت. والأهم من ذلك، أنه يحقق هذا دون الحاجة للوصول إلى بيانات التدريب.
النماذج الموجهة بالتعليمات: يحافظ EntQuant على أداء قوي في اختبارات اتباع التعليمات (IFEval)، والاستدلال الرياضي (GSM8K CoT)، والاستدلال العلمي (GPQA)، في حين تفشل الطرق الأخرى الخالية من البيانات بشكل كارثي في هذه المهام المتخصصة.
العبء على الاستدلال: يعد EntQuant أبطأ بنحو 1.5–2 ضعف من خط الأساس BFloat16، ولكنه يطابق سرعة استدلال NF4. يتم استيعاب عبء فك الترميز عبر أطوال التسلسل الطويلة.
كفاءة الذاكرة: نموذج بـ 70 مليار معامل مضغوط إلى 2.1 بت فعالة يتسع داخل ~18.8 GiB من الأوزان المضغوطة، مما يسمح بنشره على أجهزة الرسوميات الاستهلاكية (مثل RTX 5090 بسعة 32 جيجابايت) عند 3 بت أو أقل.

5. الأهمية والادعاءات

يزعم البحث أن EntQuant يمثل تحولاً جذرياً (Paradigm Shift) عبر تطبيق مبادئ نظرية المعلومات الكلاسيكية (فصل التجزئة عن التمثيل الفعال) على النماذج التأسيسية الضخمة الحديثة.

كسر الحاجز: يُقدم كأول طريقة تحقق ضغطاً متطرفاً وظيفياً (أقل من 3 بت) بطريقة خالية تماماً من البيانات، متجاوزةً حواجز الأداء التي تفرضها طرق التكميم ذات عرض البت الثابت.
الفائدة العملية: من خلال تمكين نشر النماذج الضخمة (مثل 70B+) على الأجهزة الاستهلاكية دون الحاجة لبيانات معايرة أو إعادة تدريب، يعالج EntQuant الاختناق الحرج المتمثل في قيود الذاكرة في سيناريوهات الاستضافة الذاتية.
سهولة الوصول: يسهل الأسلوب الوصول إلى النماذج الرائدة، مما يسمح بالاعتماد الفوري للنماذج الصادرة حديثاً (بوتيرة أسبوعية) دون الحاجة لمسارات المعايرة التي تستغرق ساعات والتي تتطلبها الطرق الأخرى عالية الدقة.

يقر المؤلفون بأنه رغم وجود تباطؤ طفيف في الاستدلال مقارنة بالنماذج غير المضغوطة، إلا أن هذا يشبه مرحلة ما قبل تحسين النواة (pre-kernel-optimization) كما في تنفيذات GPTQ المبكرة، مما يشير إلى إمكانية تحقيق تحسينات كبيرة في السرعة مستقبلاً باستخدام نوى مدمجة (fused kernels) مخصصة.