⚡ electrical engineering

AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models

تُعدُّ AIR-E-Prune طريقةً مهيكلةً للتقليم في مرحلة ما بعد التدريب لنماذج فضاء الحالة، حيث تعمل على تقليل أبعاد الحالة من خلال تعيين واختيار الحالات بناءً على درجات طاقة استجابة النبضة التقاربية ذات الصيغة المغلقة، مما يحقق اختزالاً كبيراً في العمليات الحسابية مع حد أدنى من الفقد في الدقة عبر مختلف المعايير المرجعية.

المؤلفون الأصليون: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج فضاء الحالة - State Space Model) تقرأ قصصاً طويلة أو تستمع إلى مقاطع صوتية طويلة. لفهم القصة، تمتلك هذه المكتبة آلاف "مدوني الملاحظات" الصغار (يُطلق عليهم اسم الحالات - states) داخل عقلها. كل مدون ملاحظات مسؤول عن تذكر قطعة معينة من المعلومات من الماضي.

المشكلة هي أن المكتبة مثقلة بالموظفين. لقد وظفت عدداً أكبر بكثير مما تحتاجه فعلياً. هذا يجعل المكتبة بطيئة، ومكلفة في التشغيل، وصعبة الإدارة، رغم أن معظم مدوني الملاحظات يجلسون هناك دون فعل أي شيء مهم.

AIRE-Prune هي طريقة ذكية وجديدة لطرد مدوني الملاحظات غير الضروريين دون الإضرö بقدرة المكتبة على سرد القصة. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: "الصرخة الأعلى" (الحالة الأسوأ)

حاولت الطرق السابقة تحديد من يجب الإبقاء عليه من خلال السؤال: "من هو الأعلى صوتاً؟ من يمكنه الصراخ بأعلى صوت إذا دفعناه إلى أقصى حدود طاقته؟"

هذا يشبه تدريب حريق حيث تحتفظ فقط بالأشخاص الذين يمكنهم الصراخ بأعلى صوت. المشكلة هي أنه في الحياة الواقعية، لا يصرخ أحد بهذا العلو أبداً. لذا، ينتهي بك الأمر بالاحتفاظ بأشخاص بارعين في الصراخ لكنهم عديمو الفائدة في المحادثات العادية، بينما تطرد الأشخاص الهادئين الذين يقومون بالعمل اليومي الفعلي. يُسمى هذا نهج "الحالة الأسوأ"، وغالباً ما يكون متحفظاً للغاية.

2. الط الطريقة الجديدة: "درجة الطاقة الإجمالية" (AIRE-Prune)

يقول مؤلفو هذه الورقة البحثية: "دعونا نتوقف عن القلق بشأن أعلى صرخة ممكنة. بدلاً من ذلك، دعونا نقيس مقدار العمل الإجمالي الذي يقوم به كل مدون ملاحظات فعلياً على مدى فترة زمنية طويلة ولانهائية."

ويسمون هذا طاقة استجابة النبضة التقاربية (Asymptotic Impulse-Response Energy).

التشبيه: تخيل أنك نقرت على مدون ملاحظات مرة واحدة (نبضة). كم من الطاقة التي ستخلقها تلك النقرة الواحدة في القصة النهائية؟
بعض مدوني الملاحظات يشبهون الطبل الثقيل: تنقر عليهم مرة واحدة، فيستمرون في الاهتزاز لفترة طويلة، مما يساهم بـ "طاقة" كبيرة في القصة.
أما البعض الآخر فيشبهون الريشة: تنقر عليهم، وبالكاد يتحركون. إنهم لا يساهمون إلا بالقليل جداً.

يقوم AIRE-Prune بحساب درجة لكل مدون ملاحظات بناءً على هذه الطاقة الإجمالية. إذا كانت درجة مدون الملاحظات منخفضة، فهذا يعني أنه مجرد "وزن زائد" لا فائدة منه.

3. "لوحة النتائج العالمية" (التطبيع - Normalization)

هذا هو الجزء الصعب: المكتبة تحتوي على غرف مختلفة (طبقات). في "غرفة الدخول"، قد يكون مدونو الملاحظات صاخبين بطبيعتهم. وفي "غرفة الخروج"، قد يكونون هادئين بطبيعتهم. إذا قمت بمقارنة الدرجات الخام فقط، فقد تطرد الجميع في الغرفة الهادئة عن طريق الخطأ.

يحل AIRE-Prune هذه المشكلة من خلال إنشاء لوحة نتائج مُطبعة (Normalized Scoreboard). تنظر إلى "غرفة الدخول" وتقول: "حسناً، من هم أفضل 10% من العمال هنا؟" وتفعل الشيء نفسه مع "غرفة الخروج". ثم تضع كل هؤلاء "العمال المتميزين" في قائمة واحدة ضخمة لتقرير من سيبقى. هذا يضمن حصول كل غرفة على فرصة عادلة، بغض النظر عن مدى صخب أو هدوء تلك الغرفة.

4. النتائج: قطع الزوائد

اختبرت الورقة البحثية هذا على مجموعة شهيرة من التحديات تسمى Long Range Arena (حيث يتعين على النماذج تذكر سلاسل طويلة جداً من البيانات).

الرقم السحري: تمكنوا من طرد 60.8% من مدوني الملاحظات (الحالات) في المتوسط.
التكلفة: انخفضت دقة المكتبة بنسبة 0.29% فقط. وهذا أمر يكاد يكون غير مرئي.
الفائدة: نظرًا لأنهم طردوا الكثير من مدوني الملاحظات، أصبحت المكتبة أسرع بكثير واستخدمت ذاكرة أقل بكثير.

لماذا يعد هذا أفضل من المنافسين؟

تقارن الورقة البحثية بين AIRE-Prune وبين أفضل طريقة سابقة (تسمى LAST)، والتي استخدمت طريقة "الصرخة الأعلى" (الحالة الأسوأ).

LAST كان مثل مدير حذر يحتفظ بالكثير من الموظفين لمجرد الاحتياط.
AIRE-Prune هو مثل مدير ذكي ينظر إلى الإنتاج اليومي الفعلي. لقد وجد أن المكتبة كانت تحمل الكثير من "الوزن الزائد" الذي فاتته الطريقة القديمة.

الملخص

فكر في AIRE-Prune كقسم موارد بشرية عالي الكفاءة لنماذج الذكاء الاصطناعي. بدلاً من التخمين حول من هو مهم بناءً على من يمكنه أن يكون صاخباً، فإنه يقيس من يساهم فعلياً بالطاقة في النتيجة النهائية بمرور الوقت. ومن خلال طرد العمال ذوي الطاقة المنخفضة، فإنه يجعل الذكاء الاصطناعي أسرع وأرخص في التشغيل، مع الحفاظ على القصة (الدقة) كما هي تماماً تقريباً.

وتزعم الورقة البحثية أن هذا يعمل لأنواع مختلفة من نماذج الذكاء الاصطناعي (مثل S5 و S4D و Mamba) ولا يتطلب إعادة تدريب. أنت فقط تحسب الدرجات، وتقص الـ 60% الأدنى، وانتهى الأمر.

ملخص تقني: AIRE-Prune

بيان المشكلة

أظهرت نماذج فضاء الحالة العميقة (SSMs) فعالية في نمذجة البيانات التسلسلية من خلال ضغط التاريخ المدخل في حالات داخلية. ومع ذلك، يظل بُعد الحالة $n$ محركًا رئيسيًا للتكاليف الحسابية والذاكرة. وبينما تستخدم البنى الحديثة غالبًا بارامترات قطرية أو قابلة للقطرية (مثل مجموعات multi-SISO أو MIMO مثل S5) لضمان الاستقرار والكفاءة، فإن هذه النماذج غالبًا ما تعاني من فرط التخصيص (over-parameterization). وتظل آليات التحسين المتاحة حاليًا بعد التدريب لتقليل $n$ محدودة؛ حيث لا تساهم الطرق السابقة، مثل تقليم الأوزان غير المهيكل (unstructured weight pruning)، في تقليل بُعد الحالة بشكل مباشر. أما الطرق الهيكلية الأخرى، مثل طريقة LAST (Gwak et al., 2025) الحديثة، فتعتمد على أسوأ حالة لكسب التردد (worst-case frequency-domain gain $H_\infty$ ) لتسجيل الحالات. ورغم فعاليتها، إلا أن مقاييس الحالة الأسوأ قد تكون متحفظة للغاية بالنسبة لأعباء العمل النموذجية، لأنها تركز على ذروة التضخيم التي قد نادراً ما تحفزها المهام، مما قد يؤدي إلى نسب ضغط دون المستوى الأمثل.

المنهجية: AIRE-Prune

قدم المؤلفون AIRE-Prune (طاقة استجابة النبضة التقاربية لتقليم الحالة - Asymptotic Impulse-Response Energy for State PRUN(E)ing)، وهي طريقة تقليم هيكلية، تُطبق بعد التدريب، ومتكيفة مع الطبقات، ومصممة لنماذج SSM القطرية (أو القابلة للقطرية). وخلافًا للطرق السابقة التي تركز على أسوأ حالة للكسب، فإن AIRE-Prune توائم عملية التقليم مع طاقة استجابة النبضة التقاربية، وهو معيار للحالة النموذجية يمثل إجمالي طاقة المخرجات التي تساهم بها الحالة عبر أفق زمني لانهائي.

الآلية الجوهرية

التصنيف القائم على الطاقة:
بالنسبة لطبقة SSM قطرية منفصلة الزمن مستقرة معرفة بـ $(\Lambda, B, C)$ ، حيث $\Lambda = \text{diag}(\lambda_1, \dots, \lambda_n)$ و $|\lambda_i| < 1$ ، تقوم الطريقة بحساب إجمالي طاقة المخرات المربعة الناتجة عن وحدة نبضة مدخلة لكل حالة (نمط) $i$ .
يتم اشتقاق الدرجة المغلقة (closed-form score) للنمط $i$ كالتالي:
$\text{EnergyScore}_{\text{local}}(x_i) = E_i = \frac{\|C_{:,i}\|_2^2 \|B_{i,:}\|_2^2}{1 - |\lambda_i|^2}$
تدمج هذه الدرجة ثلاثة عوامل:
- القابلية للتحكم (Controllability): متمثلة في $\|B_{i,:}\|_2^2$ (سهولة الإثارة).
- القابلية للملاحظة (Observability): متمثلة في $\|C_{:,i}\|_2^2$ (سهولة القياس).
- التخميد/الذاكرة (Damping/Memory): متمثلة في القطب $\lambda_i$ ؛ حيث تساهم الحالات ذات الأقطاب القريبة من دائرة الوحدة (التي تتباطأ في الاضمحلال) بمزيد من الطاقة على المدى الطويل.
التطبيع عبر الطبقات (Cross-Layer Normalization):
نظرًا لأن مقاييس الطاقة يمكن أن تختلف بشكل كبير عبر الطبقات المختلفة (على سبيل المثال، بسبب مكاسب المشفر/المفكك)، اقترح المؤلفون استراتيجية التسجيل المسبق المطبع (prefix-normalized scoring) لتمكين المقارنة العالمية:
- داخل كل طبقة $\ell$ ، يتم ترتيب الأنماط حسب طاقتها المحلية $E^{(\ell)}_i$ بترتيب تنازلي.
- يتم حساب مجموع جزئي (prefix sum) $S^{(\ell)}_{(i)}$ للطاقات المرتبة.
- تُعرف الدرجة العالمية بنسبة "معدل الخطر" (hazard-rate ratio):
  $\text{AIREPrune}(x^{(\ell)}_{(i)}) = \frac{E^{(\ell)}_{(i)}}{S^{(\ell)}_{(i)} + \epsilon}$
  يضمن هذا التطبيع أن تكون الدرجات غير متزايدة رتبيًا داخل الطبقة الواحدة، مما يسمح بتطبيق عتبة عالمية واحدة $\tau$ عبر النموذج بأكمله.
تنفيذ التقليم:
بناءً على نسبة التقليم المستهدفة أو العتبة، تقوم الخوارزمية بالاحتفاظ بأطول بادئة (prefix) من الحالات في كل طبقة حيث تتجاوز الدرجة المطبعة العتبة $\tau$ . وهذا يسمح بتقليم متكيف مع الطبقة حيث يمكن تقليم بعض الطبقات بشدة أو حتى إزالتها بالكامل إذا سقطت حالاتها تحت العتبة العالمية، بينما تظل طبقات أخرى سليمة إلى حد كبير.

المساهمات الرئيسية

درجة طاقة تقاربية ذات صيغة مغلقة: تقدم الورقة درجة مشتقة رياضياً بصيغة مغلقة لكل نمط متعلم بناءً على طاقة استجابة النبضة في الأفق اللانهائي. وهذا يتجنب الحاجة إلى عمليات محاكاة عددية مكلفة أو إعادة التدريب.
توسيع تقليص الأنماط (Modal Truncation): يوسع هذا العمل تقليص الأنماط الكلاسيكي (الذي يُطبق عادةً على الأنظمة الخطية الفردية) ليشمل مجموعات عميقة من نماذج SSM غير الخطية، مع الحفاظ على البنية القطرية الضرورية للكفاءة.
الحالة النموذجية مقابل الحالة الأسوأ: من خلال نقل أهمية المقياس من كسب $H_\infty$ في أسوأ حالة إلى طاقة استجابة النبضة التقاربية، تستهدف الطريقة السلوك الإجمالي للنظام بدلاً من التضخمات الذروية النادرة.
استقلالية البنية (Architecture Agnosticism): الطريقة قابلة للتطبيق على كل من إنشاءات multi-SISO و MIMO stacks (مثل S5-style)، وكذلك عائلات SSM الأخرى مثل S4D و Mamba.

النتائج التجريبية

قيم المؤلفون AIRE-Prune على اختبار Long Range Arena (LRA) ومجموعة بيانات Speech Commands باستخدام خلفيات S5 و S4D و Mamba.

كفاءة الضغط: عبر مختلف الاختبارات، حققت AIRE-Prune متوسط تقليم للحالة بنسبة 60.8% مع انخفاض متوسط في الدقة قدره 0.29% فقط دون أي إعادة تدريب.
المقارنة مع الخطوط المرجعية:
- في مجموعة اختبارات LRA، تفوقت AIRE-Prune بشكل كبير على الخطوط المرجعية بما في ذلك Random، و Uniform Magnitude، و Global Magnitude، و LAMP، و Uniform $H_\infty$ ، و Global $H_\infty$ ، و LAST.
- تحت قيد صارم لخسارة دقة $\le 1$ نقطة مئوية (pp)، سمحت AIRE-Prune بنسب تقليم أعلى بكثير من أقوى خط مرجعي (LAST). على سبيل المثال، في مهمة Path-X، قامت AIRE-Prune بتقليم 70% من الحالات بأمان مقارنة بـ 30% لـ LAST.
- في مهمة Speech Commands، تم تقليم 45% من الحالات مع خسارة ضئيلة في الدقة (96.40% مقابل 96.43% للنموذج الكامل).
كفاءة الاستدلال: تُرجم التقليم مباشرة إلى مكاسب على مستوى النظام. على وحدة معالجة رسومات NVIDIA H100، حققت الطريقة تسريعاً في الاستدلال يتراوح بين 1.23 $\times$ إلى 2.86 $\times$ وتقليلاً في المعلمات بنسبة 19% إلى 65%، اعتماداً على المهمة ونسبة التقليم.
التعميم: أظهرت الطة أداءً قوياً على بنيات S4D و Mamba، حيث حققت ما يصل إلى 90% تقليم في مهمة Text لـ S4D و 80% في مهمة Image لـ Mamba مع حد أدنى من تدهور الدقة.

الأهمية والادعاءات

تدعي الورقة أن AIRE-Prune تكشف عن فائض كبير (substantial redundancy) في فضاءات الحالة لنماذج SSM المدربة، والتي يمكن إزالتها دون إعادة تدريب. ومن خلال مواءمة التقليم مع طاقة الاستجابة التقاربية بدلاً من كسب الحالة الأسوأ، تحقق الطريقة ضغطاً هجومياً مع تكلفة ضئيلة في أداء المهام.

يسلط المؤلفون الضوء على أن ملف انخفاض الدقة "الشبيه بالخطوات" (step-like) الملاحظ مع AIRE-Prune (حيث تظل الدقة مستقرة حتى الوصول إلى عتبة تقليم عالية، ثم تنخفض بحدة) يشير إلى فصل قوي بين الحالات المهمة وغير المهمة. وهذا يتناقض مع الخطوط المرجعية التي تظهر تدهوراً سلسًا، مما يشير إلى أن طرق تسجيلها تخلط بين الحالات المهمة وغير المهمة.

عملياً، تمكن الطريقة من:

الميزانية العالمية (Global Budgeting): تحديد ميزانية واحدة مستهدفة دون الحاجة لضبط لكل طبقة.
التقليص على مستوى الكتل (Block-Level Reduction): القدرة على تقليم طبقات كاملة عندما تسقط حالاتها تحت العتبة، مما يحول التشتت دقيق الحبيبات إلى تقليصات هيكلية (block-structured) أكثر توافقاً مع الأجهزة.
التحسين بدون تدريب (Training-Free Optimization): آلية ما بعد التدريب لا تتطلب أي ضبط دقيق إضافي، مما يجعلها قابلة للتطبيق الفوري على النماذج المنشورة.

تخلص الورقة إلى أن AIRE-Prune تقدم نهجاً مبدئياً قائماً على الطاقة لتقليل رتبة النماذج في SSM العميقة، متفوقة على استراتيجيات التقليم الحالية في كل من نسبة الضغط والحفاظ على الدقة.