Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression

ملخص تقني: تقليم المشفر التلقائي الطيفي المعقد (SCAP)

بيان المشكلة
تواجه الشبكات العصبية الالتفافية (CNNs) الحديثة عقبات كبيرة في النشر على الأجهزة ذات الموارد المحدودة بسبب التكاليف الحسابية العالية (FLOPs) وبصمات الذاكرة (المعلمات). وبينما يوفر تقليم القنوات المهيكل (structured channel pruning) — الذي يتضمن إزالة قنوات مخرجات كاملة وإعادة توصيل الطبقات اللاحقة — مساراً لزيادة السرعة العملية، فإن تحقيق ضغط "شديد" (تقليل FLOPs والمعلمات بنسبة تزيد عن 90% في آن واحد) مع الحفاظ على الدقة يظل أمراً صعباً. تعتمد المعايير الحالية غالباً على مؤشرات تقريبية مثل حجم المرشحات (filters)، أو إحصائيات التنشيط، أو بروز التدرج (gradient saliency). ويجادل المؤلفون بأن هذه المؤشرات التقريبية تكون هشة عند نسب الضغط العالية: فقد تتخلص الطرق القائمة على الحجم من قنوات ذات معيار منخفض ولكنها تلتقط أنماطاً حاسمة؛ كما أن الطرق القائمة على التدرج قد تكون مشوشة؛ ويمكن أن يؤدي التطبيع على مستوى الطبقة إلى قوة تقليم غير متسقة. والأهم من ذلك، أن العديد من الطرق الحالية تقيم القنوات بشكل منعزل، في حين أن التكرار هو بطبيعته علاقي، ويعتمد على مدى قدرة شرح التحويل من مدخلات إلى مخرجات لكل قناة بواسطة القنوات الأخرى.

المنهجية: تقليم المشفر التلقائي الطيفي المعقد (SCAP)
SCAP هو معيار قائم على إعادة البناء مصمم لقياس التكرار الوظيفي على مستوى القنوات المخرجة الفردية من خلال نمذجة تفاعلها مع المدخلات. تعمل الطريقة في مرحلتين لكل طبقة التفافية:

1. بناء مجال التفاعل المعقد:
   للطبقة التي تمتلك تنشيط مدخل $X \in \mathbb{R}^{B \times C_{in} \times H \times W}$ وتنشيط مخرج $Y \in \mathbb{R}^{B \times C_{out} \times H_1 \times W_1}$، يقوم SCAP ببناء مجال تفاعل معقد $Z_k$ لكل قناة مخرج $k$.
   $$Z_k = X + i \cdot \text{Broadcast}(\text{Resize}(Y_k))$$
   هنا، يعمل المدخل متعدد القنوات الكامل $X$ كجزء حقيقي، بينما يتم تغيير حجم خريطة الميزات المخرجة المحددة $Y_k$ لتتطابق مع الأبعاد المكانية لـ $X$ وتعميمها (broadcast) عبر جميع قنوات المدخل لتكون بمثابة الجزء التخيلي. هذا يربط المدخل والمخرج في كائن علاقي واحد.

2. تدريب المشفر التلقائي الطيفي:
   يتم تحويل المجال المعقد $Z_k$ إلى نطاق التردد عبر تحويل فوريه ثنائي الأبعاد (2D FFT). يتم تطبيع المكونات الطيفية الحقيقية والتخيلية وتغذيتها في مشفر تلقائي (autoencoder) منخفض السعة وخاص بكل طبقة. يتم تدريب المشفر التلقائي على إعادة بناء الأطياف المطبعة باستخدام خسارة متوسط مربع الخطأ (MSE). المشفر التلقائي مقيد عمداً (MLP صغير جداً) ليتعلم فقط الهياكل المشتركة والقابلة للضغط داخل مجالات التفاعل الخاصة بالطبقة.

3. تسجيل الأهمية القائم على الدقة (Fidelity):
   أثناء مرحلة التقليم، يتم تجميد المشفرات التلقائية المدربة. لكل قناة، يتم حساب دقة إعادة البناء الطيفية كتشابه جيب التمام (cosine similarity) بين مجال التفاعل الأصلي المتجهي والمجال المعاد بناؤه (بعد تحويل FFT العكسي).

• الدقة العالية: تشير إلى أن مجال تفاعل القناة يقع بالقرب من المنطو (manifold) منخفض الأبعاد الذي التقطه المشفر التلقائي، مما يعني أن القناة زائدة عن الحاجة وقابلة للضغط.
• الدقة المنخفضة: تشير إلى أن القناة تشفر معلومات فريدة أو عالية الانحناء لا يستطيع النموذج منخفض السعة إعادة إنتاجها، مما يعني أهميتها.
  يُعرف تسجيل الأهمية الأساسي بـ $I_{fid} = 1 - \text{Fidelity}$.

4. الدمج والتقليم:
   للحماية من الحالات التي قد تكون فيها قناة ذات دقة إعادة بناء عالية مهمة بسبب سعتها الكبيرة، يتم دمج درجة الدقة اختيارياً مع معيار $\ell_1$ للمرشح المطبع طبقياً. وجد المؤلفون أن الدمج الجمعي يعطي أفضل مقايضة. يتم الاحتفاظ بالقنوات أو إزالتها بناءً على عتبة ثابتة $\tau$ (عادة 0.5 أو 0.6)، يتبع ذلك عملية ضبط دقيق (fine-tuning) قياسية.

5. كفاءة الذاكرة:
   للتعامل مع قيود الذاكرة عند تسجيل جميع القنوات في وقت واحد، يستخدم SCAP انضباطاً صارماً في الذاكرة: معالجة قنوات المخرجات بالتتابع (أو في مجموعات صغيرة)، واستخدام تراكم التدرج (gradient accumulation) لتدريب المشفر التلقائي، وتحرير التوترات الوسيطة صراحة (مخرجات FFT، وإعادة البناء) لإبقاء ذروة الذاكرة محدودة على وحدات معالجة الرسومات العادية.

المساهمات الرئيسية

• تمثيل التفاعل المعقد: تقديم واصف معقد القيم يربط المدخلات متعددة القنوات بالمخرجات لكل قناة، مما يسمح بتحليل التكرار العلاقي بدلاً من تقييم القنوات المنعزل.
• معيار الدقة الطيفية: معيار مشفر تلقائي في نطاق التردد ومنخفض السعة يستخدم دقة إعادة البناء كمقياس مبدئي للقابلية للضغط. الدقة العالية تعني أن القناة تقع على منحنى (manifold) منخفض الأبعاد تم تعلمه.
• تنفيذ كفء للذاكرة: استراتيجية تنفيذ عملية تسمح للطريقة بالعمل على أجهزة محدودة (مثل وحدات GPU بسعة 11 جيجابايت) دون التضحية بالنموذج المفاهيمي، وذلك باستخدام معالجة كل قناة على حدة وتحرير التوترات.

النتائج التجريبية
قيم المؤلفون SCAP على VGG16 و ResNet-56/110 و DenseNet-40 باستخدام مجموعات بيانات CIFAR-10 و CIFAR-100.

• VGG16 على CIFAR-10: عند عتبة $\tau=0.6$، حقق SCAP تقليلاً بنسبة 90.11% في العمليات الحسابية (FLOPs) و 96.30% في المعلمات مع انخفاض مطلق في دقة Top-1 بنسبة 1.67% فقط (من 93.44% إلى 91.77%).
• المقارنة: تفوق SCAP باستمرار أو ساوى الطرق الرائدة (مثل $\ell_1$-norm، و FPGM، و HRank، و PCC) في نظام الضغط الشديد. على سبيل المثال، في ResNet-56 (CIFAR-10)، حقق SCAP ($\tau=0.6$) تقليلاً بنسبة 83.80% في FLOPs مع انخفاض بنسبة 3.76% في الدقة، بينما عانت الطرق الأخرى غالباً من انخفاض أكبر في الدقة أو ضغط أقل عند مستويات دقة مماثلة.
• الدراسة الاستقصائية (Ablation): أكدت التجارب أن دمج درجة الدقة مع حد $\ell_1$ للمقدار يوفر مقايضة أكثر استقراراً بين الدقة والضغط مقارنة باستخدام الدقة وحدها، خاصة في منع تقليم القنوات ذات المقدار الصغير ولكنها مفيدة وظيفياً.

الأهمية والادعاءات
يزعم البحث أن SCAP يوفر معياراً قابلاً للدفاع عنه، محلياً للطبقة ومبنياً على القابلية للضغط بدلاً من الإحصائيات العشوائية. من خلال صياغة التكرار من منظور إعادة البناء الطيفية، تقدم الطريقة تفسيراً هندسياً: القنوات التي تكون مجالات تفاعلها "منتظمة" أو تقع على منحنى سلس ومنخفض الأبعاد يتم تحديدها كقنوات زائدة. يؤكد المؤلفون أنه بينما لا يضمن SCAP انعدام فقدان الدقة (لأن التقليم يغير ديناميكيات الشبكة)، إلا أنه يعمل كبديل فعال لتحديد القنوات الزائدة وظيفياً تحت الضغط الشديد. يشير العمل إلى أن دقة إعادة البناء الطيفية يمكن أن توحد مختلف إشارات التقليم الاستدلالية تحت تفسير واحد يتعلق بسهولة تمثيل قناة ما على الهيكل السائد منخفض الأبعاد لمنحنى التنشيط.