ملخص تقني: FAR (استبدال الانتباه الحافظ للوظيفة من أجل الاستدلال المتوافق مع الحوسبة داخل الذاكرة)

1. بيان المشكلة

تواجه بنيات المحولات (Transformers)، وخاصة تلك التي تعتمد على الانتباه الذاتي (Self-attention)، اختناقات كبيرة في الكفاءة عند نشرها على أجهزة الحوسبة داخل الذاكرة (IMC) الناشئة، مثل مصفوفات ReRAM. وبينما يتفوق الانتباه الذاتي على المعالجات الرقمية المتوازية (GPUs/TPUs) من خلال تمكين التكامل العالمي للرموز (Tokens)، فإن خصائصه الحسابية تتعارض جوهرياً مع نموذج تنفيذ الحوسبة داخل الذاكرة (IMC):

• عمليات ضرب التنشيط بالتنشيط: يعتمد الانتباه الذاتي بشكل كبير على عمليات مثل $QK^\top$ وتطبيع softmax، والتي تتطلب خلطاً ديناميكياً غير محلي للتنشيطات بدلاً من عمليات ضرب المتجهات في المصفوفات (VMM) التي تعتمد على ثبات الأوزان والتي تحسنها أجهزة IMC.
• العبء الإضافي للذاكرة: التعقيد التربيعي ($O(T^2)$) لتفاعلات الرموز والحاجة إلى قراءة التنشيطات الموزعة مكانياً بشكل متكرر يؤدي إلى عمليات تناظرية مجزأة، وعمليات تحويل مكثفة من التناظري إلى الرقمي ومن الرقمي إلى التناظري (ADC/DAC)، واستغلال ضعيف للمصفوفات (Crossbars).
• القيود الحالية: غالباً ما تقوم مسرعات IMC الحالية بنقل مهام الانتباه إلى وحدات رقمية، مما يترك الاختناق التربيعي دون حل، أو تحاول رسم خرائط الانتباه مباشرة على المصفوفات التناظرية دون معالجة تكاليف حركة البيانات المتأصلة.

بالتزامن مع ذلك، تشير التحليلات الأخيرة إلى أن طبقات الانتباه تظهر فائضاً كبيراً أثناء الاستدلال، حيث تصبح خرائط الانتباه أكثر سلاسة وقابلية للضغط عبر العمق. وهذا يدعم فرضية أن الدور الوظيفي للانتباه يمكن تقريبه بواسطة وحدات متسلسلة تتوافق بشكل أفضل مع محلية الحوسبة داخل الذاكرة وثبات الأوزان.

2. المنهجية: إطار عمل FAR

يقترح المؤلفون FAR (استبدال الانتباه الحافظ للوظيفة)، وهو إطار عمل يستبدل جميع كتل الانتباه الذاتي في نموذج Vision Transformer مدرب مسبقاً (تحديداً عائلة DeiT) بوحدات متسلسلة، وتحديداً نماذج LSTM ثنائية الاتجاه متعددة الرؤوس (Multi-head BiLSTMs). صُمم هذا النهج ليكون عملية تحويل هيكلي "جاهزة للاستخدام" (Drop-in) لا تتطلب التدريب من الصفر.

2.1 استراتيجية الاستبدال

• الاستبدال القائم على الكتل: يتم استبدال كل كتلة انتباه $A_l$ في المحول المدرب مسبقاً ببديل قابل للتعلم $A'_l$ (وهو Multi-head BiLSTM). تظل جميع المكونات الأخرى (كتل MLP، وتضمينات الرقع/Patch Embeddings، وطبقات التقييس/Layer Norms) مجمدة.
• التكافؤ الوظيفي عبر التقطير (Distillation): يتم الإشراف على الاستبدال من خلال التقطير على مستوى الطبقة. لكل طبقة $l$، تعمل خسارة التشابه ($L_{sim}$) على تقليل الفرق بين مخرج رأس الانتباه الأصلي ورأس BiLSTM الجديد:
  $$L_{sim}^{(l)} = ||A_l(x_l) - A'_l(x_l)||_2^2$$
  يضمن هذا أن البديل يكرر البنية التمثيلية للمعلم (Teacher).
• بروتوكول التدريب: تتضمن العملية مرحلتين:
  1. مرحلة التقطير: يتم تدريب وحدات BiLSTM البديلة فقط باستخدام مزيج من خسارة التشابه وخسارة المهمة (التصنيف)، بينما تظل بقية النموذج مجمدة.
  2. مرحلة الضبط الدقيق (Finetuning): يتم ضبط النموذج بالكامل بشكل مشترك لاستعادة أي انخفاض متبقٍ في الدقة.

2.2 بنية Multi-head BiLSTM

للحفاظ على الانحياز الاستقرائي (Inductive Bias) للانتباه متعدد الرؤوس، تم هيكلة البديل كـ Multi-head BiLSTM:

• الإسقاط والتقسيم: يتم إسقاط تضمين المدخل وتقسيمه إلى $N$ من الفضاءات الفرعية (مطابقة لعدد رؤوس انتباه المعلم).
• المعالجة ثنائية الاتجاه: تتم معالجة كل فضاء فرعي بواسطة رأس BiLSTM منفصل، مما يلتقط التبعيات الأمامية والخلفية للرموز.
• الدمج والإسقاط: يتم دمج المخرجات وإسقاطها مرة أخرى إلى البعد الأصلي.
• التوافق مع IMC: على عكس الانتباه، تعتمد هذه البنية على إعادة استخدام الأوزان المتكررة وتدفق البيانات المتسلسل، مما يلغي تفاعلات التنشيط بين جميع الأزواج. وهذا يتوافق طبيعياً مع مصفوفات ReRAM حيث تكون الأوزان ثابتة وتتدفق البيانات بشكل متسلسل.

2.3 التقليم الهيكلي لقيود IMC

للتكيف بشكل أكبر مع مصفوفات IMC محدودة الموارد، يطبق المؤلفون التقليم الهيكلي (Structured Pruning) على الأبعاد الخفية لرؤوس BiLSTM:

• توسيع DeepHoyer: قاموا بتوسيع إطار عمل DeepHoyers ليستهدف وحدات LSTM الخفية. نظرًا لأن بوابات LSTM (المدخلات، النسيان، الخلية، المخرج) تشترك في الوحدات الخفية، فإن تقليم وحدة واحدة يتطلب إزالة منسقة عبر جميع مصفوفات الأوزان المرتبطة بها ($W_{ih}$، $W_{hh}$، وأوزان الإسقاط).
• ندرة المجموعات (Group Sparsity): يتم تطبيق مقياس ندرة Hoyer قابل للاشتقاق على مجموعات الأوزان المقابلة لكل وحدة خفية، مما يشجع الشبكة على تعلم الوحدات الزائدة عن الحاجة.
• الضغط المتكيف مع الطبقة: يتم إجراء التقليم بشكل مستقل لكل رأس وكل اتجاه، مما يسمح للنموذج بتكييف قدرته مع الندرة المحددة لكل طبقة، مما ينتج وحدات مدمجة تناسب أحجام مصفوفات IMC.

3. النتائج الرئيسية

تم تقييم إطار العمل على عائلة DeiT (Tiny, Small, Base) على ImageNet ومهام متنوعة (CIFAR-10/100, Cars, Flowers, iNaturalist).

• الحفاظ على الدقة:
  • DeiT-Tiny: تفوق FAR-Tiny في الواقع على النموذج الأساسي DeiT-Tiny بنسبة +1.2% على ImageNet (73.3% مقابل 72.2%)، مما يشير إلى أن البديل المتسلسل يعمل كتحيز استقرائي مفيد للنماذج الصغيرة.
  • النماذج الأكبر: بالنسبة لـ DeiT-Small وBase، حافظ FAR على دقة تنافسية مع فجوة طفيفة تبلغ حوالي 1-2% مقارنة بالمعلم، مما يثبت أن الدور الوظيفي للانتباه يمكن إعادة إنتاجه إلى حد كبير عبر التكرار المتسلسل.
  • نقل المعرفة للمهام اللاحقة: احتفظت نماذج FAR بقدرة قوية على النقل لمهام التصنيف اللاحقة، مما يشير إلى أن خرائط (Sequence-to-sequence) المتعلمة تعمم بفعالية.
• المتانة تجاه التقليم:
  • أدى تطبيق التقليم الهيكلي إلى تقليل البعد الخفي المتوسط بنسبة 40-60% مع انخفاض إضافي قدره 1-2% فقط في الدقة.
  • كانت أنماط التقليم غير موحدة، حيث لوحظ الاحتفاظ بقدرة أعلى في الطبقات الوسطى وتقليم أكثر عدوانية في نهايات الشبكة، مما يعكس عدم التجانس الداخلي في التمثيل.
• التخصص على مستوى الرأس: أظهرت تصورات خرائط تفاعل الرموز أن رؤوس FAR نجحت في وراثة الأدوار الدلالية المتميزة لرؤوس الانتباه الأصلية، حيث ركزت على مناطق محددة من الكائنات بدلاً من الانهيار في أنماط زائدة.

تحليل كفاءة الأجهزة

باستخدام نموذج تحليلي لـ ReRAM IMC، قدر المؤلفون زمن الوصول والطاقة:

• زمن الوصول (Latency): يُقدر أن FAR على ReRAM IMC أسرع بـ ~18 ضعفاً من DeiT على ReRAM IMC (بسبب تجنب العبء التربيعي للانتباه) وأسرع بـ ~400 ضعف من DeiT على وحدة معالجة الرسومات (GPU).
• الطاقة (Energy): يُقدر أن FAR على ReRAM IMC أكثر كفاءة في استهلاك الطاقة بـ ~3 أضعاف من DeiT على ReRAM IMC وبـ ~150 ضعفاً من DeiT على وحدة معالجة الرسومات (GPU).
• الآلية: تنبع هذه المكاسب من إلغاء عمليات ضرب التنشيط بالتنشيط، وتقليل تحويلات ADC/DAC، وتمكين التنفيذ القائم على ثبات الأوزان. ويشير المؤلفون إلى أن استبعاد تكاليف softmax (التي تعد اختناقات كبيرة للانتباه على IMC) يجعل هذه التقديرات متحفظة لصالح FAR.

4. الأهمية والادعاءات

يزعم البحث أن FAR يوفر بديلاً عملياً وفعالاً من حيث الأجهزة لنشر نماذج Transformer المدربة مسبقاً على مسرعات الحافة القائمة على IMC دون الحاجة إلى تدريب النماذج من الصفر.

• إمكانية الاستبدال الكامل: يثبت العمل أنه يمكن استبدال الانتباه بالكامل في وقت الاستدلال مع الحفاظ على دقة عملية، مما يتحدى الفكرة القائلة بأن تفاعلات جميع أزواج الرموز ضرورية تماماً لمهام الرؤية عالية الأداء.
• المواءمة مع الأجهزة: من خلال استبدال الانتباه بوحدات متسلسلة وثابتة الأوزان، يقوم FAR بمواءمة تدفق البيانات الحسابية مع نقاط القوة الفيزيائية لمصفوفات ReRAM، مما يقلل بشكل كبير من حركة البيانات في الذاكرة وزمن الوصول.
• الحفاظ على المعرفة المدربة مسبقاً: يثبت إطار العمل أنه يمكن الحفاظ على التمثيلات الدلالية الغنية التي تم تعلمها أثناء التدريب واسع النطاق ونقلها إلى بنيات مختلفة هيكلياً ومتوافقة مع IMC من خلال التقطير على مستوى الكتلة.

باختصار، يقدم FAR مساراً لإعادة هيكلة استدلال المحولات حول وحدات متسلسلة متوافقة مع IMC، مما يسد الفجوة بين هيمنة النماذج القائمة على الانتباه وقيود الأجهزة الناشئة المتمحورة حول الذاكرة.