ملخص تقني: مشغلات النبضات القابلة للتركيب والتشغيل (Plug-and-Play)

بيان المشكلة

بينما توفر عملية تحويل الشبكات العصبية الاصطناعية (ANN) إلى الشبكات العصبية النبضية (SNN) مساراً خالياً من التدريب لنشر النماذج اللغوية الكبيرة (LLMs) على أجهزة عصبية موفرة للطاقة، تعاني المسارات الحالية من اختناق حرج: وهو الافتقار إلى تجسيدات صديقة للنبضات (spike-friendly) لـ المشغلات غير الخطية الرئيسية.

تنجح طرق التحويل الحالية في تحويل عمليات الجبر الخطي (مثل ضرب مصفوفات الانتباه وعمليات الإسقاط الأمامي - feed-forward) إلى تنفيذات مدفوعة بالنبضات. ومع ذلك، فإنها تتجاهل أو تعالج بشكل غير كافٍ المكونات غير الخطية مثل Softmax، و SiLU (Swish)، و طبقات التطبيع (مثل RMSNorm و LayerNorm). تتطلب هذه المشغلات عادةً عمليات قسمة، أو أسّيّة، أو حسابات المعيار $\ell_2$، وهي عمليات لا تدعمها ديناميكيات الخلايا العصبية من نوع (Leaky Integrate-and-Fire - LIF) القياسية بشكل أصيل. وفي المنصات العصبية التي تدعم فقط البدائيات القائمة على النبضات وتفتقر إلى الحالات ذات القيم المستمرة، تصبح هذه اللاخطيات عوائق جوهرية أمام النشر الشامل (end-to-end). علاوة على ذلك، فإن المحاولات الحالية لتقريب هذه الدوال غالباً ما تتطلب تدريباً إضافياً أو ضبطاً دقيقاً (fine-tuning)، مما يكسر التوافق مع مسارات التحويل من ANN إلى SNN القياسية التي لا تتطلب تدريباً.

المنهجية

يقترح المؤلفون NLSpiking، وهو إطار عمل "قابلة للتركيب والتشغيل" (plug-and-play) لتقريب اللاخطيات في نماذج Transformer باستخدام بدائيات نمطية صديقة للنبضات دون تعديل أوزان النموذج أو طلب ضبط دقيق. تكمن الرؤية الجوهرية في أن الدوال غير الخطية المتنوعة في النماذج اللغوية الكبيرة تشترك في بنية جبرية واحدة: بسط مُوقّع يتم تطبيعه بواسطة مقام موجب تماماً.

يقوم إطار العمل بتفكيك هذه الحسابات إلى ثلاث بدائيات متكررة، يتم تنفيذها عبر ترميز المجموعات (population coding) وعمليات إزاحة البتات (bit-shift):

1. مجموعة خلايا القسمة العصبية (Division Neuron Group):

   • تنفذ القسمة الصحيحة باستخدام مجموعة من خلايا LIF بحدود عتبة مرتبة.
   • تعمل في نافذتين زمنيتين:
     • النافذة 1: يتم دمج مدخل المقام زمنياً لتقدير مقياس التطبيع. يتم تحويل هذا المقياس إلى عتبة أساس عبر عملية الإزاحة لليمين ($\theta \approx I_B \gg n$).
     • النافذة 2: يقوم مدخل البسط بتوجيه مجموعة الخلايا العصبية. يتم فك تشفير خارج القسمة عن طريق عد عدد الخلايا النشطة (منافسة المجموعة)، مما يؤدي فعلياً إلى إجراء العملية $I_A / I_B$ باستخدام تراكم النبضات ومقارنات العتبة فقط.

2. وحدة PolarNorm (PN Unit):

   • تقرب المعيار $\ell_2$ (الجذر التربيعي لمجموع المربعات) المطلوب لعملية RMSNorm.
   • تستخدم هيكلاً شجرياً ثنائياً لخوارزميات CORDIC-Hypot، والتي تقرب $\sqrt{x^2 + y^2}$ باستخدام منطق الجمع والإزاحة فقط، متجنبة عمليات الضرب العامة أو الجذور التربيعية.
   • يتم إعادة قياس النتيجة النهائية بواسطة كسب عكسي ثابت (قوة للعدد 2)، والذي يتم استيعابه ضمن عوامل القياس الخاصة بالنظام.

3. وحدة الأس الخطي المجزأ (PWL-Exp Unit):

   • تقرب الدالة الأسية $e^x$ عبر مجال محدد $[-L, L]$.
   • تستخدم الاستكمال الخطي المجزأ مع معاملات محسوبة مسبقاً مخزنة في جدول بحث (LUT) مدمج.
   • يتم تكميم المعاملات بدقة 8-بت للنقطة الثابتة (fixed-point)، مما يلغي الحاجة إلى حساب الأس عبر الإنترنت (online computation).

التركيب: يتم دمج هذه البدائيات لإعادة بناء مشغلات محددة:

• Softmax: البسط عبر PWL-Exp، المقام عبر التراكم الزمني، والمخرج عبر خلية القسمة العصبية.
• SiLU: البسط هو المدخل؛ المقام هو $1 + \text{PWL-Exp}(-x)$؛ المخرج عبر خلية القسمة العصبية.
• RMSNorm: البسط هو المدخل المقياس؛ المقام هو المعيار $\ell_2$ عبر وحدة PolarNorm؛ المخرج عبر خلية القسمة العصبية.

المساهمات الرئيسية

1. إطار عمل قابل للتركيب والتشغيل على مستوى المشغل: يعمل الأسلوب على مستوى المشغل، مما يسمح بالتكامل السلس في مسارات التحويل الحالية من ANN إلى SNN (مثل SpikeLLM و SpikeZIP) دون تغيير أوزان النموذج أو الحاجة لإعادة التدريب.
2. ضمانات خطأ نظرية: اشتق المؤلفون حدود خطأ صريحة لتقريب Softmax و SiLU و RMSNorm. وقد أثبتوا أن إجمالي الخطأ يتفكك بشكل تراكمي إلى حدود معزولة من الأسّيات، والقسمة، وتقدير المعيار، مما يضمن بقاء الخطأ ضمن حدود معينة تحت ظروف ملائمة.
3. التوافق مع الأجهزة: يعتمد النهج حصرياً على عمليات الجمع والإزاحة، والمقارنات، وجداول البحث، متجنباً الحسابات ذات الفاصلة العائمة. وهذا يتوافق مع قيود الأجهزة العصبية الرقمية، التي تفتقر غالباً إلى الدعم الأصيل للدوال غير الخطية المعقدة.
4. التحقق التجريبي: تم اختبار الطريقة على مجموعة من النماذج، بما في ذلك تلك التي تم تحويلها عبر SpikeLLM و SpikeZIP، بالإضافة إلى نماذج ANN القياسية (LLaMA-3, Mistral, Qwen3) حيث تم استبدال المشغلات غير الخطية بشكل انتقائي.

النتائج التجريبية

• الدقة: عبر مهام متنوعة (WinoGrande, HellaSwag, ARC, PIQA) ونماذج مختلفة (LLaMA-2/3, Mistral, Qwen3, BERT)، أدى استبدال المشغلات غير الخطية بوحدات NLSpiking إلى انخفاض في الدقة بأقل من 1% في المتوسط. وفي بعض الحالات (مثل Qwen3 في مهام ARC)، تحسنت الدقة قليلاً.
• أداء المشغل: مقارنة بالنماذج المرجعية مثل Sorbet و XNOR-Net و DoRefa-Net، حقق NLSpiking أدنى متوسط خطأ لـ Softmax و RMSNorm تحت تكميم 8-بت، مع بقاء أقصى الأخطاء محدوة فعلياً ضمن الشبكة الصحيحة.
• الكمون والكفاءة: يلغي إطار العمل عبء نقل البيانات بين المجالات. وخلافاً للمسارات التي تتطلب تقييمات متكررة لغير الخطية عند كل خطوة زمنية (أسلوب SpikeZIP) أو تعتمد على معالجات خارجية لغير الخطيات (أسلوب SpikeLLM)، يقوم NLSpiking بالتنفيذ بالكامل داخل النوى العصبية باستخدام عمليات الجمع والإزاحة وجداول البحث، محافظاً على نفس هيكل التنفيذ الزمني للنماذج المرجعية الفعالة.

الأهمية والادعاءات

يدعي البحث حل "عنق زجاجة اللاخطية" الذي منع تحقيق نماذج Transformer نبضية كاملة (end-to-end) تحت قيود النبضات الصارمة. ومن خلال توفير نهج نمطي، ومبني على أسس نظرية، ولا يتطلب تدريباً لتقريب اللاخطيات، يمهد هذا العمل الطريق لنشر نماذج لغوية ضخمة قائمة على النبضات على الأجهزة العصبية دون التكلفة الباهظة لإعادة التدريب.

يؤكد المؤلفون أن طريقتهم تحترم البدائيات "النبضية فقط" للأجهزة العصبية، مما يجعلها لبنة بناء قابلة للتطبيق لتصميمات Transformer المستقبلية القائمة على SNN. كما يقرون بالقيود الحالية المتعلقة بالنشر الشامل على الأجهزة الحقيقية بسبب المقايضات بين الذاكرة والدقة والكمون، لكنهم يضعون هذا العمل كخطوة حاسمة نحو تحقيق ذلك الهدف.