💬 NLP

Litespark Inference on Consumer CPUs: Custom SIMD Kernels for Ternary Neural Networks

تقدم هذه الورقة Litespark-Inference، وهو إطار عمل قابل للتثبيت عبر pip يستفيد من نوى SIMD مخصصة لتسريع استنتاج الشبكات العصبية الثلاثية (ternary) على المعالجات المركزية الاستهلاكية عن طريق استبدال ضرب المصفوفات بالجمع والطرح الصحيح، محققاً تسريعات كبيرة وخفضاً في الذاكرة مقارنة بتطبيقات PyTorch القياسية.

المؤلفون الأصليون: Nii Osae Osae Dade, Tony Morri, Moinul Hossain Rahat, Sayandip Pal

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nii Osae Osae Dade, Tony Morri, Moinul Hossain Rahat, Sayandip Pal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير) يمكنها كتابة القصص، وحل المسائل الرياضية، والدردشة معك. لكن هناك عقبة: لكي تقرأ من هذه المكتبة، ستحتاج عادةً إلى غرفة خوادم ضخمة وباهظة الثمن، تحتوي على حواسيب (GPUs) عملاقة تستهلك الكثير من الطاقة وتكلف بقدر ثمن سيارة فاخرة. معظم الحواسيب الشخصية هي مجرد أجهزة خاملة، وهي ضعيفة جداً للقيام بهذه المهمة.

يقدم هذا البحث Litespark-Inference، وهو أداة جديدة تسمح لحاسوبك المنزلي العادي (مثل MacBook، أو كمبيوتر يعمل بنظام Windows، أو جهاز ألعاب) بالقراءة من هذه المكتبة بكفاءة. وهي تفعل ذلك باستخدام نوع خاص من "النماذج الذكية" يسمى الشبكة العصبية الثلاثية (Ternary Neural Network).

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: الحقيبة الثقيلة

النماذج القياسية للذكاء الاصطناعي تشبه الطلاب الذين يحملون حقيبة ظهر مليئة بالكتب المدرسية الثقيلة والدقيقة. في كل مرة يحتاج فيها الطالب إلى الإجابة على سؤال، يتعين عليه التمرير عبر صفحات من الرياضيات المعقدة (ضرب الأرقام العشرية/Floating-point multiplication) للعثور على الإجابة. هذا الأمر بطيء ويتطلب الكثير من الطاقة والذاكرة.

2. الحل: المفتاح الثلاثي

استخدم المؤلفون نوعاً خاصاً من النماذج حيث يتم استبدال "الكتب المدرسية" بنظام أبسط بكثير. بدلاً من الأرقام المعقدة، يمكن للأوزان (المعرفة) أن تكون واحدة من ثلاثة أشياء فقط:

+1 (أضف هذا)
-1 (اطرح هذا)
0 (تجاهل هذا)

التشبيه: تخيل أنك تقوم بعملية حسابية.

الذكاء الاصطناعي القياسي: عليك ضرب 5.432 × 0.987. هذا يستغرق وقتاً ويتطلب آلة حاسبة.
الذكاء الاصطناعي الثلاثي: أنت تقرر فقط: "أضف 5"، "اطرح 5"، أو "لا تفعل شيئاً". لا حاجة لعمليات الضرب! الأمر يشبه الانتقال من القيام بالقسمة المطولة إلى مجرد ضغط مفتاح الضوء.

3. المحرك: صندوق الأدوات المتخصص (SIMD)

حتى مع قواعد "الجمع/الطرح/التجاهل" البسيطة، لا يزال عقل حاسوبك (CPU) بحاجة للقيام بهذه الحسابات بسرعة كبيرة. يشرح البحث أن الحواسيب الحديثة تحتوي على "أداة خارقة" مخفية مدمجة في رقاقاتها تسمى SIMD (تعليمات واحدة، بيانات متعددة).

الطريقة القديمة: يحاول حاسوبك القيام بالرياضيات رقماً واحداً في كل مرة، مثل عامل واحد يضع الطوب واحداً تلو الآخر.
طريقة Litespark: صمم المؤلفون "نواة" (Kernels) مخصصة (تعليمات متخصصة) تخبر الحاسوب باستخدام أداته الخارقة. بدلاً من رص طوبة واحدة، يمسك الحاسوب بمنصة كاملة من الطوب (16 أو 32 أو حتى 64 في المرة الواحدة) ويرصها جميعاً في لحظة واحدة.

لقد طابقوا هذه الأداة الخارقة مع ثلاثة أنواع مختلفة من رقاقات الحاسوب:

Apple Silicon (M1–M4): تستخدم أداة تسمى NEON.
Intel (Ice Lake والأحدث): تستخدم AVX-512.
AMD (Zen4 والأحدث): تستخدم أيضاً AVX-512.

4. النتائج: ترقية هائلة

اختبر الفريق أداتهم على نموذج مكون من 2 مليار بارامتر (ذكاء اصطنا-متوسط الحجم) يعمل على حواسيب استهلاكية. مقارنة بالطريقة القياسية لتشغيل الذكاء الاصطناعي (PyTorch)، كانت النتائج مذهلة:

الذاكرة: تقلص النموذج من الحاجة إلى 8 جيجابايت من ذاكرة الوصول العشوائي (RAM) (التي تملأ سعة اللابتوب) إلى 556 ميجابايت فقط (يتناسب بسهولة مع هاتف أو لابتوب صغير). إنه يشبه تقليص حجم حقيبة سفر لتصبح بحجم علبة الغداء.
السرعة (الاستجابة الأولى): انخفض الوقت المستغرق لبدء الكلام من أكثر من 2.5 ثانية إلى أقل من 300 مللي ثانية. إنه الفرق بين انتظار مصعد بطيء وبين فتح الباب فوراً.
السرعة (سرعة الكتابة): بدأ الذكاء الاصطناعي في توليد النصوص أسرع بـ 52 مرة على أجهزة Apple وأسرع بـ 26 مرة على رقاقات Intel/AMD عالية الأداء. بدلاً من كتابة حرف واحد كل ثانيتين، يمكنه كتابة جملة كاملة في طرفة عين.

5. لماذا هذا مهم؟

يدعي البحث أنه بسبب هذه التغييرات، لم تعد بحاجة لدفع تكاليف خوادم سحابية باهظة أو شراء وحدات معالجة رسومية (GPUs) بقيمة 40,000 دولار لتشغيل هذه النماذج.

الخصوصية: بياناتك تبقى على جهازك؛ لا تذهب إلى خادم.
بدون إنترنت: يمكنك استخدامه دون الحاجة لاتصال بالإنترنت.
سهولة الوصول: يمكن لأي شخص يمتلك لابتوب حديث الآن تشغيل نماذج ذكاء اصطنا-قوية.

الملخص

يقدم البحث Litespark-Inference، وهي أداة برمجية تعمل كمترجم. فهي تأخذ نموذج ذكاء اصطناعي "ثلاثي" (يعرف فقط كيف يجمع أو يطرح أو يتخطى) وتجعله يتحدث اللغة الأصلية لمعالج حاسوبك (باستخدام تعليمات "الضرب النقطي" الخاصة). وهذا يسمح لحاسوبك العادي بتشغيل نماذج ذكاء اصطناعي كانت في السابق ثقيلة وبطيئة، مما يحول تجربة بطيئة ومستهلكة للذاكرة إلى تجربة سريعة وخفيفة.

لقد قام المؤلفون بتجهيز هذا بحيث يمكن لأي شخص تثبيته بأمر بسيط (pip install)، مما يجعل الذكاء الاصطناعي عالي السرعة على الحواسيب الشخصية حقيقة واقعة اليوم.

ملخص تقني: استنتاج Litespark على وحدات المعالجة المركزية الاستهلاكية

بيان المشكلة
لقد أحدثت النماذج اللغوية الكبيرة (LLMs) تحولاً جذرياً في مجال الذكاء الاصطناعي، ومع ذلك لا يزال نشرها مقيداً بالمتطلبات الحسابية والذاكرة الباهظة. يتطلب الاستنتاج القياسي عادةً وحدات معالجة رسومية (GPUs) باهظة الثمن لمراكز البيانات (25,000 - 40,000 دولار) أو الوصول إلى واجهات برمجة تطبيقات سحابية (APIs)، مما يترك أكثر من مليار جهاز كمبيوتر شخصي ذات وحدات معالجة مركزية (CPUs) قادرة دون استغلال حقيقي. وبينما نجحت تقنيات التكميم الحديثة (4-بت، 8-بت) في تقليل الموارد المطللة، إلا أنها لا تزال تعتمد على عمليات الضرب بنقطة عائمة أو الأعداد الصحيحة. أما النماذج الثلاثية (Ternary models)، التي تحصر الأوزان في المجموعة $\{-1, 0, +1\}$ ، فمن الناحية النظرية تلغي الحاجة إلى عملية الضرب تماماً، محولةً ضرب المصفوفات إلى مجرد عمليات جمع وطرح شرطية بسيطة. ومع ذلك، تفشل أطر الاستنتاج الحالية (مثل PyTorch القياسي، أو llama.cpp) في استغلال هذه البنية، حيث تعامل النماذج الثلاثية كشبكات كثيفة ذات نقطة عائمة، مما يضيع فرصة التحسين الخالي من عمليات الضرب.

المنهجية
يقدم المؤلفون نظام Litespark-Inference، وهو نظام مصمم لسد الفجوة بين الكفاءة النظرية للنماذج الثلاثية والتنفيذ العملي على وحدات المعالجة المركزية. تعتمد المنهجية على ثلاث ركائز أساسية:

نواة SIMD مخصصة: يستبدل النظام عمليات ضرب المصفوفات القياسية بتعليمات ضرب النقطة الصحيحة المعززة عتادياً.
- تمثيل الأوزان: على الرغم من أن الأوزان الثلاثية تتطلب نظرياً 2-بت فقط، إلا أن التنفيذ يخزنها كأعداد صحيحة 8-بت (int8). هذا القرار يتجنب عقوبة الأداء الناتجة عن فك تشفير بيانات 2-بت، مما يسمح بتغذية الأوزان مباشرة في تعليمات ضرب النقطة العتادية.
- تكميم التنشيط (Activation Quantization): يتم تكميم مدخلات التنشيط من float32 إلى int8 باستخدام تكميم متماثل لكل صف. ويتم الحفاظ على عوامل القياس (Scale factors) لإعادة تحجيم النتائج إلى float32 بعد الحساب.
- تصحيح نقطة الصفر (Zero-Point Correction): للحفاظ على الدقة رغم انحياز التكميم، يقوم النظام بحساب مجموع أعمدة الأوزان مسبقاً وطرح حد تصحيح نقطة الصفر بعد عملية ضرب النقطة.
التحسين الخاص بالمنصات: يستهدف التنفيذ ثلاث بنيات رئيسية لوحدات المعالجة المركزية باستخدام مجموعات تعليمات SIMD محددة:
- Apple Silicon (M1–M4): يستخدم تعليمات NEON SDOT (متجهات 128-بت، 16 عملية int8/تعليمة).
- Intel Ice Lake+ / AMD Zen4+: يستخدم تعليمات AVX-512 VNNI VPDPBUSD (متجهات 512-بت، 64 عملية int8/تعليمة).
- Intel Core Ultra: يستخدم تعليمات AVX-VNNI VPDPBUSD (متجهات 256-بت، 32 عملية int8/تعليمة).
  يتضمن النظام كشفاً تلقائياً للمنصة لتوجيه النواة المناسبة وقت التشغيل.
التكامل الهندسي: يتم تغليف النواة في مكتبة بايثون قابلة للتثبيت عبر pip تتكامل مباشرة مع HuggingFace Transformers. وهي تتولى تحميل النموذج، وتحويل الأوزان (التقريب إلى القيم الثلاثية والحشو للمحاذاة)، وتخزين الذاكرة المخبئية (KV caching) للتوليد التكراري، مما لا يتطلب أي معرفة متخصصة من المستخدم.

المساهمات الرئيسية

استنتاج خالٍ من الضرب: تطوير نوى SIMD مخصصة تستغل بنية الأوزان الثلاثية لاستبدال ضرب النقطة العائمة بالجمع والطرح الصحيح عبر تعليمات ضرب النقطة العتادية.
نشر متاح للجميع: تغليف هذه التحسينات في مكتبة سهلة الاستخدام (Litespark-Inference) مع كشف تلقائي للمنصة وتكامل مع HuggingFace، مما يزيل عوائق تكوين البناء اليدوي.
قياس شامل للأداء: تقديم مقاييس أداء مفصلة لنموذج BitNet b1.58 (بمعلمة 2 مليار) عبر منصات Apple Silicon وIntel وAMD، مما يظهر تحسينات كبيرة في الإنتاجية والذاكرة.

النتائج التجريبية
عند تقييم نموذج Microsoft BitNet b1.58 2B، أظهر Litespark-Inference تحسينات جوهرية مقارنة باستنتاج PyTorch القياسي:

تقليل الذاكرة: حقق انخفاضاً ثابتاً بمقدار 14 ضعفاً في استخدام الذاكرة عبر جميع المنصات (على سبيل المثال، من ~7.7 جيجابايت إلى ~556 ميجابايت)، مما يمكن النموذج من العمل على أجهزة بذاكرة وصول عشوائي (RAM) تبلغ 8 جيجابايت.
الإنتاجية (Throughput):
- Apple Silicon (M4): إنتاجية أعلى بـ 52 ضعفاً (20.4 توكن/ثانية مقابل 0.39 توكن/ثانية).
- Intel/AMD (AVX-512): إنتاجية أعلى بـ 26.7 ضعفاً (11.2 توكن/ثانية).
- Intel Core Ultra (AVX-VNNI): إنتاجية أعلى بـ 21.3 ضعفاً (8.5 توكن/ثانية).
الكمون (زمن الوصول لأول توكن):
- Apple Silicon: أسرع بـ 9.2 ضعفاً (288 مللي ثانية مقابل 2,632 مللي ثانية).
- Intel/AMD: أسرع بـ 12.6 ضعفاً.
الدقة: أظهر وضع int8 المكمم حداً أقصى لاختلاف اللوغاريتم (logit difference) يبلغ ~0.68 مقارنة بمرجعيات float32، وهو ما لم يؤدِ إلى فروق ملحوظة في النص المولد. كما يوفر "وضع التسريع" (Accelerate mode) الاختياري على Apple Silicon دقة float32 مطابقة تماماً للمهام التي تتطلب دقة إعادة الإنتاج.

الأهمية والادعاءات
تزعم الورقة أن Litespark-Inference يثبت الجدوى العملية لتشغيل النماذج اللغوية الكبيرة على الأجهزة الاستهلاكية دون الحاجة إلى بنية تحتية باهظة الثمن لوحدات معالجة الرسوميات. ومن خلال استغلال الخصائص الجبرية المحددة للأوزان الثلاثية وقدرات SIMD الحديثة لوحدات المعالجة المركزية، يعمل هذا العمل على دمقرطة الوصول إلى الذكاء الاصطناعي، مما يسمح لأكثر من مليار جهاز كمبيوتر شخصي بتشغيل النماذج اللغوية الكبيرة محلياً. وهذا يوفر مزايا كبيرة للخصوصية (إبقاء البيانات على الجهاز)، وسهولة الوصول (العمل دون اتصال بالإنترنت)، وتقليل زمن الاستجابة. ويضع المؤلفون النماذج الثلاثية ليس مجرد تقريب للتكميم، بل كنموذج حسابي متميز يمكنه، عند اقترانه بتصميم نواة مدرك للعتاد، تغيير مشهد النشر بشكل جذري.