⚡ electrical engineering

Geometric SSM: LTI State Space Models for Selective Tasks

تتحدى هذه الورقة الرؤية السائدة بأن الانتقائية في نماذج فضاء الحالة تتطلب ديناميكيات متغيرة زمنياً من خلال تقديم نموذج "Geometric SSM"، الذي يستفيد من نظرية التحكم الهندسي لتحقيق تمييز نمطي انتقائي وأداء فائق في مهام الاستقراء مع الحفاظ على خصائص الأنظمة الخطية الثابتة زمنياً (LTI) الفعالة.

المؤلفون الأصليون: Umberto Casti, Giacomo Baggio, Sandro Zampieri, Fabio Pasqualetti

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Umberto Casti, Giacomo Baggio, Sandro Zampieri, Fabio Pasqualetti

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: كسر "كتاب القواعد"

تخيل أنك تحاول تعليم روبوت كيف يقرأ قصة. يحتاج الروبوت إلى معرفة ما يجب تذكره وما يجب تجاهله. إذا قالت إحدى الشخصيات "كان يا ما كان"، فيجب على الروبوت تذكر ذلك. أما إذا عطست إحدى الشخصيات، فمن الأفضل للروبوت أن ينسى الأمر فوراً.

في عالم الذكاء الاصطناعي، تُسمى هذه القدرة على الانتقاء والتمييز بـ "الانتقائية" (Selectivity).

ادعى نموذج ذكاء اصطناعي شهير مؤخراً يُدعى Mamba أنه لكي يمتلك هذا "الذكاء الانتقائي"، يجب على عقل الروبوت أن يغير قواعده الداخلية باستمرار بناءً على ما يقرأه في اللحظة الحالية. وجادلوا بأن القواعد إذا ظلت ثابتة (نظام "ساكن" أو LTI)، فسيكون الروبوت غبياً جداً بحيث لا يستطيع تصفية الضجيج.

هذه الورقة البحثية تقول: "ليس بهذه السرعة!"

يجادل المؤلفون، وهم فريق من المهندسين والرياضيين، بأنك لست بحاجة إلى إعادة كتابة كتاب القواعد باستمرار لتكون ذكياً. كل ما عليك فعله هو تصميم كتاب القواعد ببراعة شديدة منذ البداية. لقد بنوا نموذجاً جديداً يسمى Geometric SSM يثبت أن العقل "الساكن" يمكن أن يكون بنفس قدر انتقائية العقل "الديناميكي"، بل إنه أسرع وأسهل في التدريب.

التشبيه: الحارس مقابل الفلتر الذكي

لفهم الفرق، دعونا نتخيل ملهى ليلياً.

1. نهج Mamba (الحارس الديناميكي)

في نموذج Mamba، يغير الحارس عند الباب رأيه كل ثانية بناءً على من يقف أمامه.

كيف يعمل: إذا جاء شخص مهم (VIP)، يتحقق الحارس من قائمته، ويرى أنه شخص مهم، ويقول: "حسناً، تفضل بالدخول!". إذا جاء شخص عشوائي، يقول له: "لا".
المشكلة: يتعين على الحارس أن يتوقف، ويفكر، ويعيد حساب قراره لكل شخص بمفرده وفي كل لحظة. لا يمكنه النظر إلى تاريخ الشخص أو المجموعة التي ينتمي إليها؛ هو ينظر فقط إلى الشخص الواقف أمامه الآن.
الخلل: إذا ارتدى الشخص المهم تنكراً ودخل مع مجموعة من الأصدقاء، فقد يرتبك الحارس لأنه لا يستطيع تذكر نمط المجموعة. عليه أن يعيد تقييم كل شيء من الصنف الأول في كل مرة.

2. نهج Geometric SSM (الفلتر الذكي)

يقترح المؤلفون نظاماً مختلفاً. بدلاً من حارس يغير رأيه، يستخدمون بوابة أمنية عالية التقنية ذات كتاب قواعد مبرمج مسبقاً وغير قابل للتغيير.

كيف يعمل: تم تصميم البوابة بـ "مسارات" محددة (فضاءات رياضية).
- إذا دخلت وأنت ترتدي قبعة حمراء (بيانات)، ستفتح البوابة تلقائياً مساراً أحمر.
- إذا دخلت وأنت ترتدي قبعة زرقاء (ضجيج)، ستوجهك البوابة تلقائياً إلى مسار مسدود حيث تختفي.
السحر: البوابة نفسها لا تغير قواعدها أبداً. إنها آلة ثابتة. ومع ذلك، ولأن الآلة صُممت باستخدام نظرية التحكم الهندسي (Geometric Control Theory) (وهو فرع متطور من الرياضيات)، فهي تعرف بالضبط كيفية توجيه الأنماط المختلفة.
الذاكرة: والأهم من ذلك، أن هذه البوابة تمتلك "مسار ذاكرة". إذا دخل شخص مهم مع مجموعة، فإن البوابة تتذكر نمط المجموعة خلال الثواني القليلة الماضية. هي لا تنظر فقط إلى الشخص عند الباب؛ بل تنظر إلى تسلسل الأشخاص.

لماذا يهم هذا الأمر؟

تتحدى هذه الورقة افتراضاً رئيسياً في الذكاء الاصطناعي: "لكي تكون ذكياً، يجب أن تكون فوضوياً/متغيراً".

يُظهر المؤلفون أن النظام (LTI) يمكن أن يكون بقوة التغير الزمني (Time-Varying) إذا استخدمت الهندسة.

إليك المكاسب الثلاث الرئيسية لنموذجهم الجديد Geometric SSM:

اختبار "تعدد الرموز" (رأس الاستقراء الممتد):
- التحدي: تخيل شفرة سرية حيث يتعين عليك تذكر عبارة مكونة من 4 كلمات (مثل: "تفاحة حمراء سماء زرقاء") لفتح باب.
- فشل Mamba: لأن Mamba ينظر فقط إلى الكلمة الحالية، فإنه يضيع. يرى "حمراء"، ثم "تفاحة"، ثم "زرقاء"، وينسى بداية العبارة. يفشل في الاختبار.
- نجاح Geometric SSM: نظرًا لأنه يحتوي على "مولد متبقي" (مكون ذاكرة) مدمج، فإنه يتذكر العبارة كاملة. إنه يتعرف على النمط ويفتح الباب بشكل مثالي.
السرعة والكفاءة (طريق سريع عبر FFT):
- القواعد المتغيرة في Mamba تكسر القدرة على معالجة البيانات بالتوازي (مثل خط تجميع المصنع). عليه أن يعالج الأشياء واحداً تلو الآخر، مما يجعله أبطأ.
- يحافظ Geometric SSM على قواعده ثابتة. وهذا يسمح له باستخدام تحويل فوريه السريع (FFT) — وهو اختصار رياضي يسمح له بمعالجة القصة بأكملها دفعة واحدة، مثل خط تجميع فائق السرعة. إنه أسرع ويستهلك ذاكرة حاسوبية أقل.
البساطة:
- يحتاج Mamba إلى كمية هائلة من المعلمات (الذاكرة) ليصبح جيداً في هذه المهام.
- حقق Geometric SSM درجات تقارب المثالية في اختباراتهم باستخدام 50 معلمة فقط، بينما احتاج Mamba إلى 700 ومع ذلك كان أداؤه أسوأ في الاختبارات الصعبة. الأمر يشبه حل لغز بـ 50 قطعة بدلاً من 700.

الخلاصة

تقول هذه الورقة البحثية باختصار: "لسنا بحاجة إلى إعادة اختراع العجلة لجعل الذكاء الاصطناعي أكثر ذكاءً. نحن فقط بحاجة إلى بناء عجلة أفضل."

من خلال استخدام الرياضيات الصارمة والتقليدية (نظرية التحكم الهندسي) بدلاً من مجرد جعل النظام يتغير باستمرار، ابتكروا نموذجاً:

يتذكر الأنماط بشكل أفضل.
يفلتر الضجيج بفعالية أكبر.
يتدرب بشكل أسرع ويستهلك طاقة أقل.

إنها تذكير بأن الحل الأكثر تقدماً ليس دائماً نظاماً فوضوياً ومتغيراً باستمرار، بل هو نظام ثابت ومصمم هندسياً بدقة يعرف تماماً كيف يتعامل مع تدفق المعلومات.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Geometric SSMs with LTI Dynamics for Selective Sequence Modeling" (نماذج الحالة الفراغية الهندسية ذات الديناميكيات الخطية الثابتة زمنياً للنمذجة الانتقائية للتسلسلات).

1. بيان المشكلة

حققت التطورات الأخيرة في نماذج الحالة الفراغية (SSMs)، ولا سيما بنية Mamba، قدرة الانتقائية (Selectivity)—وهي القدرة على التركيز على المعلومات ذات الصلة مع تصفية المدخلات غير ذات الصلة—كقدرة حاسمة لنمذجة التسلسلات. يحقق Mamba ذلك من خلال إدخال ديناميكيات خطية متغيرة زمنياً (LTV)، حيث تصبح مصفوفات النظام معتمدة على المدخل الحالي.

الافتراض السائد في هذا المجال (تحديداً في Gu & Dao, 2023) هو أن الانتقائية تتطلب جوهرياً كسر خاصية الخطية الثبات الزمني (LTI). يجادل المؤلفون بأن الأنظمة الخطية الثابتة زمنياً (LTI) لا يمكنها معالجة المدخلات بشكل انتقائي دون بارامترات متغيرة زمنياً. ولهذا الافتراض تداعيات كبيرة:

التكلفة الحسابية: تكسر الديناميكيات المتغيرة زمنياً (LTV) البنية التلافيفية (Convolutional) للنماذج التقليدية، مما يمنع استخدام طرق التدريب المتوازية الفعالة مثل تحويل فوريه السريع (FFT) ويفرض الحوسبة التسلسلية.
القصور النظري: يشير هذا إلى أنه لكي نتمكن من تحقيق الاستنتاج المعتمد على المحتوى، يجب علينا التضحية بالأناقة الرياضية وكفاءة الأنظمة الخطية الثابتة زمنياً (LTI).

تتحدى هذه الورقة هذا الادعاء، وتطرح السؤال التالي: هل يمكن للأنظمة الخطية الثابتة زمنياً (LTI) تحقيق الانتقائية دون الحاجة إلى ديناميكيات متغيرة زمنياً؟

2. المنهجية: النموذج الهندي للحالة الفراغية (Geometric SSM)

يقترح المؤلفون النموذج الهندسي للحالة الفراغية (Geometric SSM)، وهو بنية تحقق الانتقائية باستخدام ديناميكيات LTI حصراً عبر الاستفادة من مبادئ نظرية التحكم الهندسي (تحديداً الفضاءات الجزئية الثابتة وكشف الأعطال).

المفهوم الجوهري: الفضاءات الجزئية الثابتة (Invariant Subspaces)

بدلاً من تعديل مصفوفات النظام بناءً على المدخل (كما يفعل Mamba)، يقوم Geometric SSM بتصميم النظام بحيث تحفز أنماط المدخلات المختلفة فضاءات جزئية ثابتة متميزة داخل فضاء الحالة.

الآلية: يتم هندسة ناقلات مدخلات محددة (مثل رموز "البيانات") لتحفيز فضاء جزئي يولد مخرجاً غير صفري، بينما تحفز ناقلات أخرى (مثل رموز "الفراغ") فضاءً جزئياً يؤدي إلى مخرج صفري (أو استجابة معدومة).
النتيجة: يقوم النظام بطبيعته بتصفية المدخلات بناءً على خصائصها الهندسية دون الحاجة إلى بارامترات متغيرة زمنياً.

تصميم البنية

ينقل Geometric SSM آلية الاختيار إلى خارج الديناميكيات المتكررة الأساسية. وتتكون البنية من أربعة مكونات رئيسية:

نظام التوقيع ( $\Sigma_f$ ): نظام LTI يعالج المدخل $u(t)$ لتوليد "توقيع" الميزة $f(t)$ .
نظام المعالجة الرئيسي ( $\Sigma_M$ ): نظام LTI يعالج كل من المدخل الخام والتوقيع لإنتاج مخرج مرشح $y_s(t)$ .
مولد المتبقي ( $\Sigma_r$ ): نظام LTI ديناميكي يحسب المتبقي بين المخرج المرشح والمدخل ( $y_s(t) - u(t)$ ). ومن الأهمية بمكان أن هذا النظام يحافظ على الذاكرة الزمنية للمدخلات الماضية.
آلية البوابة ( $\Sigma_g$ ): بوابة غير خطية (باستخدام دالة sigmoid) تستخدم إشارة المتبقي $s(t)$ $s (t)$ للقيام بالاستكمال (Interpolation) بين الحالة السابقة $y(t)$ $y (t)$ والمخرج المرشح الجديد $y_s(t)$ $y_{s} (t)$ .
- إذا كان $s(t) \approx 1$ ، يقوم النظام بالتحديث (الانتباه إلى المعلومات الجديدة).
- إذا كان $s(t) \approx 0$ ، يقوم النظام بالحفاظ على التاريخ (تصفية المدخل).

التنفيذ الفعال (تمثيل المدخل-المخرج I/O)

على عكس Mamba، الذي يعتمد على التكرارات الخاصة بحالة الفضاء مع قيود قطرية لتمكين التوازي، يستخدم Geometric SSM تمثيل المدخل-المخرج (I/O) للأنظمة الخطية الثابتة زمنياً.

دوال النقل: يتم تمثيل النظام بواسطة دوال نقل عقلانية (عبر تحويل Z) بدلاً من مصفوفات الحالة.
التدريب المتوازي: يسمح هذا بتدريب النموذج باستخدام التلافيف القائم على FFT في نطاق التردد.
التعقيد: التدريب قابل للتوازي بالكامل بتعقيد $O(\ell \log \ell)$ (حيث $\ell$ هو طول التسلسل)، ومتطلبات الذاكرة مستقلة عن أبعاد الحالة الداخلية، على عكس تدريب Mamba القائم على الحالة والذي يتوسع مع حجم الحالة.

3. المساهمات الرئيسية

دحض قصور الـ LTI: تقدم الورقة برهاناً نظرياً وتجريبياً على أن الأنظمة الخطية الثابتة زمنياً (LTI) يمكنها تحقيق الانتقائية، مما يتحدى الاعتقاد السائد بأن الديناميكيات المتغيرة زمنياً ضرورية للمعالجة المعتمدة على المحتوى.
إطار التحكم الهندسي: تقدم تطبيقاً جديداً لنظرية التحكم الهندسي (الفضاءات الجزئية الثابتة) في تعلم الآلة، مما يوفر طريقة منهجية لتصميم بنيات انتقائية.
بنية Geometric SSM: تقدم نموذجاً جديداً يفصل استخراج الميزات، والمعالجة، والاختيار إلى مكونات LTI نمطية، مما يحافظ على كفاءة التدريب التلافيفي مع تمكين منطق اختيار معقد.
تدريب موفر للذاكرة: من خلال استخدام تمثيلات I/O، يتجنب النموذج اختناقات الذاكرة المرتبطة بتخزين مسارات الحالة أثناء التدريب، مما يسمح بأبعاد حالة أكبر دون تكاليف ذاكرة باهظة.

4. النتائج التجريبية

قيم المؤلفون Geometric SSM مقابل نموذج Mamba (Selective SSM مبسط) في ثلاث اختبارات معيارية اصطناعية:

مهمة رأس الاستقراء القياسية (Standard Induction Head Task):
- المهمة: استدعاء رمز يتبع رمز مشغل (Trigger) واحد.
- النتيجة: حقق Geometric SSM دقة تقارب 99% عبر جميع أطوال التسلسل (حتى $2^{10}$ ) باستخدام 50 بارامتراً فقط. بينما أظهر Mamba (بـ 700 بارامتر) تدهوراً كبيراً مع زيادة طول التسلسل.
مهمة رأس الاستقراء الممتدة (Extended Induction Head Task - Multi-token Trigger):
- المهمة: التعرف على تسلسل من $N$ من الرموز كـ "مشغل" لاستدعاء هدف معين. يتطلب هذا ذاكرة زمنية لتحديد النمط.
- النتيجة: فشل Mamba تماماً (انخفضت الدقة إلى أقل من 20%) لأن آلية الاختيار لديه "عديمة الذاكرة" (تعتمد فقط على المدخل الحالي). بينما حافظ Geometric SSM على دقة تقارب 99% لأن مولد المتبقي ( $\Sigma_r$ ) لديه يراكم السياق الزمني بشكل طبيعي.
الصور المستمرة (Sequential MNIST - sMNIST):
- المهمة: مهمة نمذجة تسلسل عام (تصنيف صور بكسل تلو الآخر) حيث تكون الانتقائية أقل مركزية.
- النتيجة: حقق Geometric SSM دقة 81%، متفوقاً بشكل كبير على Mamba الذي حقق 11%. وعزا المؤلفون ضعف أداء Mamba هنا إلى تكلفة الذاكرة العالية لتدريبه القائم على الحالة، مما حد من حجم النموذج الذي يمكنهم تدريبه على أجهزتهم.

5. الأهمية والآثار المترتبة

التحول النظري: يغير هذا العمل فهم النمذجة الانتقائية للتسلسلات بشكل جذري، حيث يثبت أن التغير الزمني ليس شرطاً مسبقاً للانتقائية. يمكن تحقيق الانتقائية من خلال التصميم الهندسي والبوابات الديناميكية ضمن إطار عمل LTI.
الكفاءة مقابل القدرة التعبيرية: يوضح Geometric SSM أنه ليس من الضروري التضحية بمزايا التوازي للأنظمة الخطية الثابتة زمنياً (تدريب FFT) من أجل الحصول على القدرة التعبيرية لـ Mamba. إنه يقدم مساراً نحو مصفوفات أنظمة كثيفة وغير قطرية لا تزال قابلة للتدريب بكفاءة.
القابلية للتوسع: يشير التدريب المستقل عن الذاكرة في Geometric SSM إلى أنه قد يتوسع بشكل أفضل نحو أبعاد حالة ضخمة جداً مقارنة بـ Mamba، الذي يتقيد بالحاجة إلى تخزين مسارات الحالة أثناء التدريب.
الاتجاهات المستقبلية: رغم أن النتائج الحالية هي على اختبارات اصطناعية وبسيطة، إلا أن البنية تشير إلى اتجاه واعد لتطوير نماذج أساسية تجمع بين الصرامة النظرية لنظرية التحكم والكفاءة العملية المطلوبة لنمذجة اللغات واسعة النطاق.

في الختام، تجادل الورقة بأن نظرية التحكم الهندسي توفر إطاراً متفوقاً لتصميم نماذج SSM انتقائية، مما يوفر مساراً لنماذج عالية الأداء، موفرة للذاكرة، وسليمة نظرياً، لا تعتمد على الأعباء الحسابية للديناميكيات المتغيرة زمنياً.