🤖 machine learning

Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks

تعزز هذه الورقة البحثية من قابلية التفسير والتحكم في نماذج فضاء الحالة (State-Space Models) عبر تحديد اختناقات في الفضاء الجزئي للتنشيط، والتي عند توسيع نطاقها في وقت الاختبار، ترفع الأداء بشكل كبير عبر معايير قياسية متنوعة دون الحاجة إلى ضبط خاص بالمهمة، بينما تتيح أيضاً إنشاء بنية "Stable-Mamba" مُعاد تدريبها ذات قدرات محسنة في السياق الطويل.

المؤلفون الأصليون: Vamshi Sunku Mohan, Kaustubh Gupta, Aneesha Das, Chandan Singh

نُشر 2026-05-22

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vamshi Sunku Mohan, Kaustubh Gupta, Aneesha Das, Chandan Singh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج فضاء الحالة (State-Space Model)، مثل نموذج Mamba الشهير، كخدمة توصيل بريد فائقة الكفاءة. على عكس النماذج التقليدية (Transformers) التي تحمل حقيبة ظهر ضخمة ومتزاومة تحتوي على كل ملاحظة قرأتها لمرة واحدة لاتخاذ القرارات، يحمل Mamba "دفتر ملاحظات" واحدًا ومدمجًا. يقوم بتحديث هذا الدفتر أثناء القراءة، مما يسمح له بمعالجة المعلومات بسرعة هائلة دون أن يثقله وزن الماضي.

ومع ذلك، اكتشف الباحثون في هذه الورقة البحثية أنه بينما هذا المندوب سريع، إلا أن هناك ازدحامًا مروريًا في دماغه.

المشكلة: "عنق الزجاجة"

وجد المؤلفون أنه بينما تتدفق المعلومات عبر طبقات Mamba (تخيل هذه الطبقات كمحطات مختلفة على خط قطار)، فإن كل شيء يمر عبر محطة واحدة محددة وضيقة حول الطبقة 20.

التشبيه: تخيل طريقًا سريعًا واسعًا يتكون من 10 مسارات، وفجأة يُجبر على الدخول في نفق ذي مسار واحد. حتى لو كانت السيارات (البيانات) تتحرك بسرعة، إلا أنها تتعرض للسحق معًا. هذا النفق ضيق للغاية لدرجة أنه يجبر المندوب على نسيان التفاصيل المهمة أو الشعور بالارتباك، خاصة عندما تكون "الطرد" (النص) طويلًا جدًا.
الدليل: استخدم الباحثون أداة "أشعة سينية" خاصة (تسمى Stochastic Parameter Decomposition) للنظر داخل النموذج. ورأوا ارتفاعًا هائلًا في "الاعتلاج" (Entropy - وهو مقياس للفوضى أو الارتباك) عند هذه الطبقة المحددة. كان الأمر أشبه برؤية تكدس للسيارات قبل دخول النفق مباشرة.

الحل: "توجيه" حركة المرور

بدلاً من إعادة بناء نظام المندوب بالكامل، جرب الفريق حلاً ذكيًا وغير جراحي يسمى Post-hoc Steering (التوجيه اللاحق).

التشبية: تخيل أنك تقود سيارة بدواسة وقود عالقة. بدلاً من استبدال المحرك، تقوم فقط بدفع الدواسة بلطف باستخدام عصا لتعطيها دفعة إضافية في اللحظة التي تحتاجها فيها تمامًا.
كيف فعلوا ذلك: حددوا "الفضاءات الفرعية" (المسارات الداخلية) المسببة للازدحام المروري. ثم قاموا ببساطة بضرب نشاط تلك المسارات في رقم (مثل 5 أضعاف) أثناء عملية تفكير النموذج.
النتيجة: هذه الدفعة الصغيرة أزاحت الازدحام. لم يحتج النموذج إلى إعادة التدريب أو تعلم دروس جديدة. بمجرد "توجيه" الإشارات الداخلية، تحسن أداء النموذج في 6 مهام مختلفة (مثل الإجابة على الأسئلة أو البحث عن إبرة في كومة قش) بمتوسط قدره 8.27%. لقد نجح الأمر عبر 7 نسخ مختلفة من النموذج، مما أثبت أن الازدحام المروري كان خللًا عامًا في التصميم.

الحل طويل الأمد: "Stable-Mamba"

بينما يعمل "التوجيه" كشرطي مرور مؤقت، قام الباحثون أيضًا ببناء نسخة جديدة من النموذج تسمى Stable-Mamba لإصلاح المشكلة على مستوى البنية الهيكلية.

التشبية: بدلاً من مجرد دفع السيارة، قاموا بإعادة تصميم الطريق السريع.
- تعدد المقاييس الزمنية (Multi-Timescale): بدلاً من سرعة واحدة لجميع حركة المرور، أضافوا مسارات سريعة، متوسطة، وبطيئة بحيث يمكن للذاكرة القصيرة والطويلة التعايش معًا.
- الحقن العالمي (Global Injection): أضافوا "رؤية من منظور مروحية" تسقط أحيانًا ملخصًا للنص بأكمله في حركة المرور المحلية، حتى لا يفقد المندوب الصورة الكبيرة.
- بوابات أفضل: قاموا بتركيب إشارات مرور أذكى تسمح للمعلومات الصحيحة بالمرور دون حجب كل شيء آخر.
النتيجة: تم تدريب هذا النموذج الجديد، Stable-Mamba، من الصفر. لم يكتفِ فقط بإصلاح الازدحام المروري، بل جعل تدفق المعلومات أكثر سلاسة. لقد تفوق في الأداء حتى على النسخة "الموجهة"، خاصة في النصوص الطويلة جدًا، ولم يضف سوى قدر ضئيل جدًا من الوزن (256 معلمة جديدة) إلى النموذج.

لماذا هذا مهم؟

تظهر هذه الورقة البحثية أنه يمكننا فهم "الصناديق السوداء" المعقدة للذكاء الاصطناعي من خلال العثور على نقاط ضعفها المحددة (عناق الزجاجة). وبمجرد معرفة أين يعاني النموذج، يمكننا إما:

توجيهه: إعطاؤه دفعة سريعة ومجانية وقت الاختبار دون إعادة تدريب.
إصلاح التصميم: بناء نسخة أفضل لا تحتوي على عنق الزجاجة في المقام الأول.

يؤكد المؤلفون أن هذا النهج يجعل الذكاء الاصطناعي أكثر شفافية وكفاءة، مما يسمح لهذه النماذج القوية بالتعامل مع المحادثات الطويلة والمهام المعقدة دون الانهيار، كل ذلك مع الحفاظ على السرعة والكفاءة التي جعلتها شائعة في المقام الأول.

ملخص تقني: تفسير وتوجيه نماذج فضاء الحالة عبر اختناقات الفضاء الفرعي للتنشيط

1. بيان المشكلة

برزت نماذج فضاء الحالة (SSMs)، ولا سيما بنية Mamba، كبدائل فعالة للنماذج المحولة (Transformers) في نمذجة اللغة، حيث توفر تدريبًا بزمن خطي واستدلالًا بزمن ثابت من خلال استخدام حالات مخفية ثابتة الحجم بدلاً من ذاكرة التخزين المؤقت المتنامية للمفاتيح والقيم (KV cache). ومع ذلك، وعلى الرغم من كفاءتها، تواجه هذه النماذج تحديات كبيرة في القابلية للتفسير والقدرة على التوجيه. فخلافًا للنماذج المحولة التي تمتلك رؤوس انتباه صريحة وتمثيلات عصبية خضعت لدراسات تفسيرية مكثفة، تعتمد نماذج SSM على هياكل تكرارية تفتقر إلى هذه المكونات الصريحة. هذا الغموض يعيق فهم أوضاع الفشل، مثل ضعف التعلم في السياق (in-context learning) وضعف الأداء في استرجاع السياقات الطويلة. علاوة على ذلك، لم تسفر أبحاث التفسير الحالية عن تحسينات عملية ملموسة لنماذج SSM، كما أن طرق التوجيه الحالية مصممة إلى حد كبير لتناسب بنيات الـ Transformers.

2. المنهجية

يقترح المؤلفون تحقيقًا ميكانيكيًا يركز على تحديد اختناقات الفضاء الفرعي للتنشيط (Activation Subspace Bottlenecks) داخل نماذج Mamba. تتكون المنهجية من ثلاثة مكونات رئيسية:

أ. تحديد اختناقات الفضاء الفرعي للتنشيط

يستخدم المؤلفون مسار عمل متعدد المراحل لتحديد الاختناقات الوظيفية:

المشفرات التلقائية المتناثرة (SAEs): يتم تدريب SAEs لإعادة بناء التنشيطات المخفية باستخدام تمثيلات كامنة متناثرة، مما يعمل كعنق زجاجة ضاغط لتحديد الميزات المهيمنة على مستوى التنشيط.
تقريب رسم خرائط الانتباه: نظرًا لأن Mamba تفتقر إلى رؤوس انتباه صريحة، يقوم المؤلفون ببناء مصفوفة شبيهة بالانتباه ( $A$ ) من طبقة Mamba mixer باستخدام إجراءات رسم خرائط انتباه ضمنية. يسمح هذا باستخراج ناقلات الأهمية على مستوى الرموز (tokens) وتحديد الفضاءات الفرعية للتنشيط كجموع موزونة للحالات المخفية.
تفكيك المعلمات العشوائي (SPD): يُستخدم SPD لتفكيك معلمات النموذج إلى ناقلات تُستخدم بشكل متناثر. ويتم حساب مقاييس مثل الإنتروبيا، والتباين، والرتبة الفعالة، وانحراف KL بعد الاستئصال (post-ablation KL divergence) على مستوى الطبقات لتحديد الاختناقات.
الفضاءات الفرعية الحساسة لـ $\Delta$ : يحدد المؤلفون الفضاءات الفرعية التي تظهر تباينًا عاليًا في الاستجابة لمعلمة $\Delta$ (التي تتحكم في الخطوة الزمنية المتقطعة والتحديثات المعتمدة على المدخلات). تُعتبر هذه الفضاءات حرجة للديناميكيات التكرارية ويتم اختيارها كأهداف للتوجيه.

ب. التوجيه البعدي (Post-Hoc Steering)

بمجرد تحديد الاختناقات، يقدم المؤلفون تدخلًا وقت الاختبار لا يتطلب إعادة ضبط (fine-tuning):

اختيار الهدف: يحدد مسار العمل طبقات محددة (مثل الطبقة 20 في Mamba-130M) تظهر طفرات في الإنتروبيا وانحراف KL عاليًا بعد الاستئصال. ضمن هذه الطبقات، يتم اختيار أكثر الفضاءات الفرعية الحساسة لـ $\Delta$ أهمية بناءً على تأثيرها على دقة التنبؤ بالرمز التالي عند استئصالها.
التدخل: يتم ضرب تنشيطات هذه الفضاءات الفرعية المحددة في عامل توجيه قياسي (على سبيل المثال، 5x للفضاءات عالية التأثير، و2x للفضاءات متوسطة التأثير) أثناء الاستدلال. يعمل هذا على تضخيم تدفق الإشارة عبر الاختناقات المحددة.

ج. بنية Stable-Mamba

للتحقق مما إذا كانت الاختناقات المحددة هي قيود هيكلية أم مجرد نواتج عرضية للتدريب، يقترح المؤلفون بنية Stable-Mamba المعدلة التي تدمد بصرات التفسير:

ديناميكيات حالة متعددة المقاييس الزمنية: تسمح فروع SSM المتوازية (سريعة، متوسطة، بطيئة) بمعالجة متزامنة للمجالات قصيرة ومتوسطة وطويلة المدى.
التجميع المجمع (Ensembled Output): يستبدل التجميع المجمع إسقاط المخرجات الخطي لتمكين دقة زمنية تكيفية.
حقن السياق العالمي المتناثر: يقوم الانتباه المتناثر بحقن ملخصات عالمية في الحالات المحلية لاستقرار تدفق المعلومات.
البوابات المتعلمة والضغط التكيفي: تقلل بوابات التجميع من التناثر الشديد، بينما يعمل الضغط التكيفي على تعديل السعة ديناميكيًا.
تدرج القيم (Gradient Scaling) والمخلفات الموزونة (Scaled Residuals): تعمل هذه التعديلات على استقرار سلاسل SSM العميقة وتحسين تدفق التدرج.

3. النتائج الرئيسية

تقيم الدراسة الطرق المقترحة عبر 7 نماذج SSM و6 معايير متنوعة (بما في ذلك TriviaQA وSQuAD وMuSique وIFEval وRULER وDROP).

أداء التوجيه: يحسن تدخل التوجيه البعدي الأداء عبر 7 نماذج SSM مختلفة بمتوسط 8.27% دون أي ضبط خاص بالمهمة. ومن الجدير بالذكر أن التدخل تم تحديده باستخدام عينات من "The Pile" ولكنه عمم على معايير متنوعة.
مكاسب السياق الطويل: في معايير السياق الطويل (RULER وLong Range Arena وLongBench v2)، تظهر النماذج الموجهة تحسينات كبيرة. على سبيل المثال، يحقق Stable-M "Mamba" مكسبًا قدره 35 نقطة مئوية في مهمة PathFinder ضمن Long Range Arena مقارنة بـ Mamba الأصلي.
التحقق من الاختناق:
- تحليل الإنتروبيا: يظهر Mamba الأصلي طفرة حادة في الإنتروبيا عند الطبقة 20، مما يشير إلى اختناق في التوجيه. يعمل كل من التوجيه وبنية Stable-Mamba على تنعيم هذه الإنتروبيا، مما يعيد تدفق المعلومات.
- دراسات الاستئصال: يؤدي إزالة الطبقة 20 في Mamba الأصلي في الواقع إلى تحسين الأداء (دقة 77.0% مقابل 63.5% للأساس)، مما يؤكد أنها تعمل كاختناق مقيد. وعلى العكس من ذلك، فإن استئصال نفس الطبقة في النماذج الموجهة أو Stable يؤدي إلى تدهور الأداء، مما يشير إلى أنه قد تم تخفيف الاختناق.
- حساسية المعلمات: تعمل معلمة $dt\_proj.bias$ في الطبقة 20 كـ "بوابة رئيسية" تصبح مجمدة فعليًا أثناء التدريب، حيث تتحكم في 45% من التنبؤات وتسبب فقدانًا كارثيًا للمعلومات (انحراف KL قدره 813) عند استئصالها.
الكفاءة: يضيف Stable-Mamba 256 معلمة فقط. وبينما يزيد من عمليات الحساب لكل رمز (FLOPs) بنحو 2.8 ضعفًا تقريبًا، فإن التوازي يؤدي إلى زيادة في زمن الاستدلال بنسبة ~9% فقط وزيادة مهملة في استهلاك الذاكرة مقارنة بـ Mamba الأصلي.

4. الأهمية والادعاءات

يزعم البحث إمكانية ترجمة التفسير الميكانيكي إلى مكاسب أداء عملية لنماذج SSM. ومن خلال تحديد فشل النماذج في فضاءات تنشيط محددة ومكونات بنيوية، يوضح المؤلفون أن:

التفسير قابل للتطبيق: تحديد الاختناقات يسمح بتدخلات مستهدفة (التوجيه) تحسن الأداء دون الحاجة لإعادة التدريب.
القيود الهيكلية موجودة: تعاني نماذج SSM من قيود بنيوية محددة (مثل المعالجة أحادية المقياس الزمني، ومعلمات البوابات المجمدة) التي تعيق الاستدلال في السياقات الطويلة وتدفق المعلومات.
التعديلات الطفيفة تحقق مكاسب كبيرة: التغييرات البنيوية الصغيرة الموجهة بالتفسير (Stable-Mamba) يمكنها حل هذه القيود، محققة أداءً يضاهي أو يتجاوز النماذج الأكبر مع الحفاظ على الكفاءة.

يتحلى المؤلفون بالتواضع فيما يتعلق بالتعميم، مشيرين إلى أن مسار عملهم يركز حاليًا على Mamba، ولا يزال من غير الواضح ما إذا كان النهج نفسه سيعمم على بنيات أخرى أو أحجام بارامترات أكبر جدًا. كما يقرون بأن مجموعة المهام التي تم تقييمها هي معايير قياسية، وأن تعميم النتائج على مهام الاستدلال المعقدة يتطلب مزيدًا من الاستقصاء.