🤖 AI

When Quantization Is Free: An int4 KV Cache That Outruns fp16 on Apple Silicon

تُثبت هذه الورقة أنه على معالجات Apple Silicon، فإن نواة Metal مدمجة ومتخصصة لتكميم ذاكرة KV cache بتنسيق int4 لا تحافظ على جودة النموذج فحسب، بل تتفوق أيضاً على تنسيق fp16 في زمن الاستجابة من خلال الاستفادة من عرض نطاق الذاكرة الموحدة وتقنيات التدوير المتقدمة للقضاء على تدهور الأداء لكل رمز (per-token).

المؤلفون الأصليون: Mohamed Amine Bergach

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mohamed Amine Bergach

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "عندما يكون التكميم مجانيًا" (When Quantization Is Free)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: كسر قاعدة "السرعة مقابل الجودة"

عادةً، عندما تريد جعل برنامج كمبيوتر يعمل بشكل أسرع، يتعين عليك التضحية ببعض الجودة. الأمر يشبه قيادة السيارة: إذا كنت تريد الذهاب بسرعة فائقة، فقد تضطر إلى اتخاذ طريق مختصر ليس بنفس السلاسة، أو قد تضطر إلى إزالة مكيف الهواء لتوفير الوزن.

في عالم الذكاء الاصطناوي (تحديداً النماذج اللغوية الكبيرة)، هناك "ازدحام مروري في الذاكرة". بينما يقرأ الذكاء الاصطناعي قصة طويلة أو محادثة، يجب عليه تذكر كل ما قرأه للتو. هذه الذاكرة (تسمى KV Cache) تصبح ضخمة جداً.

الطريقة القديمة: الاحتفاظ بالذاكرة بتنسيق عالي الجودة وثقيل (مثل ملف فيديو بدقة Full HD). إنه دقيق، لكنه يشغل مساحة كبيرة ويتحرك ببطء عبر "طريق" الكمبيوتر السريع (نطاق عرض الذاكرة).
الحل القياسي: ضغط الذاكرة (مثل تحويل الفيديو إلى ملف MP4 أصغر). هذا يوفر المساحة، ولكن عادةً ما يضطر الكمبيوتر للعمل بجهد أكبر لفك الضغط، مما يجعل العملية برمتها أبطأ.

تزعم هذه الورقة البحثية أنه على شرائح Apple Silicon (M1/M2/M3)، تم كسر هذه القاعدة. فقد وجدوا طريقة لضغط الذاكرة بفعالية تجعل الذكاء الاصطناعي يعمل بسرعة أكبر من النسخة غير المضغوطة، دون فقدان أي جودة.

التشبيه: المكتبة وأمين المكتبة

تخيل أن الذكاء الاصطناعي هو أمين مكتبة يحاول الإجابة على الأسئلة بناءً على مكتبة ضخمة من الكتب (السياق).

المشكلة (الكتب الثقيلة):
يجب على أمين المكتبة إبقاء الصفحات الأخيرة من الكتب مفتوحة على المكتب للرجوع إليها. إذا كانت الكتب ثقيلة، مثل الموسوعات ذات الغلاف المقوى (تنسيق fp16 القياسي)، فإن أمين المكتبة يقضي معظم وقته في مجرد حملها ذهاباً وإياباً من الرفوف إلى المكتب. المكتب صغير، لذا لا يمكنه إبقاء سوى عدد قليل من الكتب مفتوحة في وقت واحد.
الحل القياسي (النسخة المصورة):
عادةً، لتوفير المساحة، يتم تصوير الصفحات على ورق رقيق (الضغط). لكن أمين المكتبة يضطر للتوقف، وفرد الأوراق المصورة، وقراءتها، ثم طيها مرة أخرى في كل مرة يحتاج فيها للبحث عن شيء ما. عملية "الطي والفرد" هذه تستغرق وقتاً طويلاً لدرجة أن أمين المكتبة يصبح في الواقع أبطأ مما لو كان يحمل الكتب الثقيلة فقط.
حل Apple Silicon (المجلد السحري):
بنى المؤلفون مجلداً سحرياً خاصاً (Fused Metal Kernel).

الخدعة: هم لا يقومون فقط بتصغير حجم الورق؛ بل يعيدون ترتيب الكلمات على الصفحة باستخدام عملية خلط رياضية خاصة (تسمى SRFT، أو تحويل فورييه العشوائي الإشاري) بحيث تبدو النصوص وكأنها ضوضاء عشوائية. هذا يجعل النص سهل الضغط إلى "لقيمات" (nibbles) صغيرة بقدر 4 بت (مثل تحويل فقرة كاملة إلى سطر واحد من الكود).
السرعة: لأن ذاكرة جهاز Apple هي ذاكرة "موحدة" (أمين المكتبة والرفوف بجانب بعضهما البعض تماماً)، فإن نقل هذه الصفحات الصغيرة والمضغوطة سريع للغاية. الوقت المستغرق في "الخلط والضغط" قصير جداً لدرجة أنه في الواقع أسرع من نقل الكتب الثقيلة غير المضغوطة.
النتيجة: يمكن لأمين المكتبة الآن إبقاء 3 أضعاف عدد الكتب مفتوحة على المكتب، ولا يزال يقرأها بشكل أسرع من ذي قبل.

النتائج الرئيسية بلغة بسيطة

ليس مقايضة: على شرائح Apple، تحصل على أفضل ما في العالمين: سعة ذاكرة أكبر بـ 3 أضعاف وَ سرعة أكبر. تطلق الورقة على هذا اسم "التكميم مجاني".
"الخلط السحري" (SRFT): يستخدمون خدعة رياضية تسمى "تحويل فورييه العشوائي الإشاري". فكر في الأمر كخلط مجموعة أوراق لعب بشكل مثالي بحيث يتم توزيع الأوراق ذات القيمة العالية (القيم المتطرفة) بالتساوي. هذا يمنع "النسخة المصورة" من أن تصبح مشوشة. وقد وجدوا أن هذا يعمل بشكل جيد مثل طرق الخلط الأخرى (Hadamard) ولكنه أفضل ملاءمة لأجهزة Apple.
إصلاح "الكارثة": في نموذج واحد محدد (Qwen)، تسبب ضغط النص ببساطة في ارتكاب الذكال الاصطناعي لأخطاء فادحة (مثل أمين مكتبة يقرأ كلاماً غير مفهوم). أصلح المؤلفون ذلك عن طريق إضافة "مقبض صوت" صغير (scaling لكل قناة) لكل كلمة محددة قبل الضغط. هذا حافظ على الجودة دون إبطاء العملية.
التعلم مقابل العشوائية: اختبروا ما إذا كان بإمكانهم "تعليم" الذكاء الاصطناعي عملية الخلط المثالية. ومن المثير للدهشة، أن الخلط العشوائي كان يعمل بشكل أفضل من "الخلط المتعلم" بالنسبة للنتيجة النهائية، رغم أن الخلط المتعلم بدا أكثر دقة في الاختبار الرياضي. اتضح أن الخلط العشوائي يعمل كـ "منظم" (regularizer) مفيد يحافظ على استقرار الذكاء الاصطناعي.

الخلاصة

توضح الورقة البحثية أنه على أجهزة Apple، يمكنك تقليص بصمة ذاكرة الذكاء الاصطناعي بمقدار 3 مرات (مما يوفر مساحة هائلة)، ولأن طريقة عمل ذاكرة الكمبيوتر كذلك، فإن الذكاء الاصطناعي يعمل في الواقع أسرع بنسبة 3% إلى 8% مما كان عليه من قبل.

الأمر يشبه العثح طريقة لترتيب حقيبة سفر بإحكام شديد بحيث تصبح أخف وزناً، ومع ذلك يمكنك إخراج ملابسك منها بشكل أسرع مما لو كانت الحقيبة نصف فارغة وضخمة.

لمن هذا الكلام؟
هذا مخصص لتشغيل نماذج الذكاء الاصطناعي على أجهزة Apple Silicon (أجهزة اللابتوب، الهواتف، والأجهزة اللوحية). يشير المؤلفون إلى أن هذه الزيادة في السرعة قد لا تحدث على أجهزة الكمبيوتر الأخرى (مثل وحدات معالجة NVIDIA القياسية) لأن بنية الذاكرة لديهم مختلفة.

ما الذي يتيحه هذا؟
إنه يسمح لهذه الأجهزة بالتعامل مع محادثات أطول بكثير أو قراءة مستندات أطول بكثير دون نفاد الذاكرة أو البطء، كل ذلك مع الحفاظ على ذكاء إجابات الذكاء الاصطناعي كما كانت.

ملخص تقني: عندما يكون التكميم مجانيًا

بيان المشكلة

عادةً ما يكون استنتاج نماذج المحولات (Transformer) ذات السياق الطويل مقيدًا بحجم الذاكرة ومتطلبات عرض النطاق الترددي لذاكرة المفتاح-القيمة (KV cache). ومع زيادة أطوال السياق (على سبيل المثال، 128 ألف توكن)، يمكن أن تتجاوز مصفوفات KV المتراكمة في تنسيق fp16 حجم أوزان النموذج نفسه، مما يخلق عنق زجاجة حيث يحد عرض النطاق الترددي للذاكرة، بدلاً من الحوسبة، من سرعة فك التشفين (decode speed).

تتعامل الممارسة الصناعية القياسية مع هذا الأمر عبر استراتيجيات "الدوران ثم التكميم" (مثل QuaRot وSpinQuant)، والتي تطبق دورانات متعامدة عشوائية لجعل التنشيطات تتبع التوزيع الطبيعي (Gaussianize) قبل تكميمها إلى بتات منخفضة (int4/int8). ومع ذلك، يتم تأطير هذا النهج تقليديًا كـ مقايضة بين الجودة وزمن الاستجابة (latency): حيث يؤدي العبء الحسابي للدوران وإلغاء الدوران، بالإضافة إلى أخطاء التكميم، عادةً إلى زيادة في زمن استجابة فك التشفين بنسبة 5-20%، حتى لو تم توفير الذاكرة.

يفترض المؤلفون أن هذه المقايضة تنعكس في معالجات Apple Silicon (بنية الذاكرة الموحدة). وهم يفترضون أن التوفير في عرض النطاق الترددي الناتج عن ضغط الذاكرة بمقدار 3 أضعاف يمكن أن يفوق التكلفة الحسابية لنواة التكميم (quantization kernel)، بشرط أن تكون النواة محسنة للغاية ومدمجة (fused).

المنهجية

1. تحويل فورييه العشوائي الإشاري (SRFT)

يتبنى البحث SRFT (تحويل FFT العشوائي الإشاري) كآلية للدوران، وتُعرف بـ $SRFT(x) = \text{pack}(F \cdot \text{diag}(s) \cdot x)$ ، حيث $F$ هو تحويل DFT الموحد و $s$ هو متجه إشارة عشوائي ثابت.

المبرر: بينما تشيع تحويلات هادامارد (SRHT)، يوفر SRFT مرونة للأبعاد غير القائمة على قوى العدد 2، ويتماشى مع عمليات ضرب المصفوفات 16×16 (مثل AMX وTensor Cores).
النتيجة: أظهر المؤلفون أن SRFT وSRHT لا يمكن تمييزهما إحصائيًا من حيث جودة الارتياب (perplexity - PPL) عبر خمسة نماذج (SmolLM2، Qwen2.5، Gemma-3) وميزانيات بتات مختلفة.

2. نواة Metal المدمجة (Fused Metal Kernel)

لإزالة عبء الإرسال (dispatch overhead)، قام المؤلفون بتنفيذ نواة حوسبة Metal مدمجة واحدة تقوم بالعملية الكاملة:

التحميل والضرب الإشاري: تطبيق القطر الإشاري العشوائي داخل السجل (in-register).
FFT: تنفيذ تمريرات Stockam butterfly من نوع radix-2 بمقدار $\log_2(d/2)$ .
التعبئة (Packing): فك التماثل الهيرميتي (Hermitian symmetry) إلى تمثيل حقيقي.
التحجيم والتكميم: إجراء إعادة تحجيم $\lambda$ لكل قناة (per-channel) (سواء كان متعلمًا أو تمت معايرته)، وتقليل القيمة المطلقة القصوى لكل مجموعة (per-group)، ثم التقريب إلى signed int4/int8.
تعبئة Nibble: تعبئة قيمتين من نوع int4 في بايت واحد باستخدام عمليات تبديل SIMD.

يتم توفير هذه النواة عبر torch.mps.compile وتُدمج كفئة فرعية لـ HuggingFace Cache وهي (SRFTInt4Cache).

3. استراتيجيات التحجيم المتقدمة

لكل قناة + لكل مجموعة: بالنسبة للنماذج ذات أبعاد الرأس الصغيرة (مثل Qwen2.5-1.5B، حيث $d=128$ )، يفشل التحجيم لكل توكن (per-token) بشكل كارثي بسبب الإحداثيات الشاذة (outlier coordinates). لذا يجمع المؤلفون بين التحجيم لكل قناة (مقياس واحد لكل إحداثي) مع التحجيم لكل مجموعة (مجموعات من 16) لاستعادة الجودة.
الدورات المتعلمة: يبحث البحث في معايرة ما بعد التدريب حيث يتم إضافة دوران $R$ وتحجيم $\lambda$ قابل للتعلم. ومن النتائج الرئيسية أن تعلم $R+\lambda$ بدون أساس SRFT يقلل من خطأ المعايرة (MSE) بشكل كبير (84.9% مقابل 50.3%)، ولكنه يعطي PPL أسوأ، مما يشير إلى أن SRFT الثابت يعمل كمنظم (regularizer).
دورات Householder: عند $d=256$ ، تحقق دورات Householder مع $k=d/2$ عواكس (reflectors) تكميمًا فعالًا بلا فقدان تقريبًا ( $\Delta PPL \approx 0.000$ ) بنصف عدد معاملات دورات Cayley الكاملة.

4. مسار وحدة المعالجة المركزية (AMX)

يستخدم مسار وحدة المعالجة المركزية المكمل معالج المصفوفات AMX الخاص بـ Apple عبر cblas sgemm. ومن خلال تجميع (batching) عمليات DFT بطول 8 لتصبح عمليات ضرب مصفوفات حقيقية 16×16، حقق المؤلفون ما يصل إلى 91% من ذروة AMX أحادية النواة، مما يوفر بديلًا منخفض التأخير لأنظمة الحوسبة ذات الدفعات الصغيرة حيث يسود عبء إرسال وحدة معالجة الرسومات.

النتائج الرئيسية

الأداء (زمن الاستجابة)

على معالج Apple M1 (ذاكرة موحدة 16 جيجابايت)، يتفوق ذاكرة KV بنظام int4 المدمج على fp16 في زمن استجابة فك التشفين النهائي:

Gemma-3 1B: يعمل أسرع بنسبة 3-8% (زمن استجابة سالب) عبر بادئات (prefixes) تتراوح بين 256 و4096 توكن.
Qwen2.5-1.5B: يعمل أسرع بنسبة 0.7-2.6% في السياقات القصيرة (≤1K توكن).
الآلية: عبء النواة (~25 نانو ثانية/متجه) أقل من التوفير في عرض النطاق الترددي للذاكرة الذي يتحقق من خلال نقل بيانات أقل بـ 3 أضعاف في كل خطوة فك تشفير.

الجودة (الارتياب - Perplexity)

SRFT مقابل SRHT: لا يوجد فرق ذو دلالة إحصائية في $\Delta PPL$ عبر جميع النماذج المختبرة.
Qwen2.5-1.5B: قللت النواة المدمجة مع التحجيم لكل قناة + لكل مجموعة من $\Delta PPL$ بنظام 4-بت من +7975 (الأساس لكل توكن) إلى +638.6 (تقليل بمقدار 12.5 ضعفًا)، وهو ما يطابق تنفيذ Python المرجعي.
Gemma-3 1B: تحسن $\Delta PPL$ بنظام 4-بت من +18.7 (لكل توكن) إلى +3.6 باستخدام النواة المدمجة والمحجمة.
نطاق عدم الفقد: عند $d=256$ ، تحقق دورات Householder المتعلمة $\Delta PPL = 0.000$ .

كفاءة الذاكرة

الضغط: يحقق ضغطًا مستمرًا للذاكرة بمقدار 3.0 إلى 3.56 ضعفًا في طبقات الانتباه الكامل (full-attention).
الأثر الواقعي: بالنسبة لسياق طوله 128 ألف توكن في نموذج Llama-3-70B، يقلل ذاكرة الـ int4 من ~41 جيجابايت (fp16) إلى ~10.9 جيجابايت.

الأهمية والادعاءات

يزعم البحث أن التكميم "مجاني" (إيجابي الإنتاجية) على الأجهزة ذات الذاكرة الموحدة، مما يعكس الافتراض الصناعي القياسي بأن التكميم منخفض البت يؤدي دائمًا إلى عقوبة في زمن الاستجابة.

انعكاس المقايضة: المساهمة الأساسية هي إثبات أنه في معالجات Apple Silicon، يتجاوز التوفير في عرض النطاق الترددي الناتج عن ضغط الذاكرة بمقدار 3 أضعاف التكلفة الحسابية لنواة التكميم. وهذا يجعل ذاكرة KV بنظام int4 متفوقة تمامًا على fp16 من حيث زمن الاستجابة للاستنتاج طويل السياق على أجهزة اللابتوب والأجهزة الطرفية.
التصميم المدرك للعتاد: يسلط العمل الضوء على أن اختيار الدوران (FFT مقابل Hadamard) لا يتعلق بالتميز الرياضي بقدر ما يتعلق بالتوافق مع العتاد (على سبيل المثال، هيكل radix-8 لـ FFT الذي يتوافق مع مربعات AMX 16×16).
الفصل بين المعايرة و PPL: يعزل البحث ظاهرة جديدة حيث لا يضمن تقليل خطأ المعايرة (MSE) الحصول على PPL أفضل، مما يشير إلى أن الدوران العشوائي الثابت يوفر تنظيمًا ضروريًا.
قابلية النشر: من خلال دمج العملية بأكملها في نواة Metal واحدة ودمجها مع HuggingFace، يثبت المؤلفون أنه يمكن نشر التكميم القوي بنظام 4-بت دون التضحية بجودة النموذج أو السرعة، بشرط توافق بنية العتاد (الذاكرة الموحدة) وتحسين النواة (الدمج/Fusion).

يخلص المؤلفون إلى أنه بينما تظل مقايضة التكميم القياسية سارية على وحدات معالجة الرسومات ذات ذاكرة HBM المنفصلة وعبء الإرسال العالي، فإن هذه المقايضة تنعكس في بيئة الذاكرة الموحدة حيث تعمل أجهزة اللابتوب والأجهزة الطرفية.