🤖 AI

S3T-Former: A Purely Spike-Driven State-Space Topology Transformer for Skeleton Action Recognition

تقدم هذه الورقة البحثية نموذج S3T-Former، وهو أول بنية Transformer تعتمد كلياً على النبضات (spike-driven) للتعرف على حركات الهيكل العظمي، والتي تحقق كفاءة في استهلاك الطاقة ونمذجة زمنية طويلة المدى من خلال تضمين تشريحي نبضي متعدد المسارات (Multi-Stream Anatomical Spiking Embedding)، وتوجيه طوبولوجي نبضي جانبي (Lateral Spiking Topology Routing)، ومحرك حالة نبضي (Spiking State-Space Engine)، متجاوزةً بذلك قيود النماذج النبضية الحالية مع الحفاظ على دقة تنافسية.

المؤلفون الأصليون: Naichuan Zheng, Hailun Xia, Zepeng Sun, Weiyi Li, Yujia Wang

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Naichuan Zheng, Hailun Xia, Zepeng Sun, Weiyi Li, Yujia Wang

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم الحركات البشرية، مثل "الرقص"، أو "الجري"، أو "شرب القهوة"، فقط من خلال مراقبة هيكل عظمي على شكل رجل عصوي (stick-figure).

لفترة طويلة، استخدمنا "الشبكات العصبية الاصطناعية" (ANNs). فكر في هذه الشبكات كأنها آلات حاسبة فائقة السرعة ومفرطة النشاط. إنها ذكية ودقيقة للغاية، لكنها أيضًا "مصاصة للطاقة". فهي تقوم بعمليات حسابية معقدة باستمرار، حتى عندما يكون الهيكل العظمي واقفًا بلا حراك، مما يستنزف البطارية مثل سيارة تعمل في وضع التوقف (idling) وسط الازدحام. وهذا يجعلها سيئة جدًا للأجهزة الصغيرة مثل الساعات الذكية أو الطائرات بدون طيار التي تحتاج للعمل طوال اليوم ببطارية صغيرة.

هنا يظهر S3T-Former، البطل الجديد في هذه القصة. إنه "شبكة عصبية نبضية" (SNN)، وهو يشبه الدماغ البيولوجي أكثر من كونه آلة حاسبة. فبدلاً من الحساب المستمر، هو لا "ينبض" (يرسل إشارة كهربائية صغيرة) إلا عندما يحدث شيء ما بالفعل.

إليك كيف يعمل S3T-Former، مقسمًا إلى مفاهيم بسيطة من الحياة اليومية:

١. "محقق الحركة" (M-ASE)

المشكلة: النماذج التقليدية تنظر إلى الهيكل العظمي بالكامل، حتى الأجزاء التي لا تتحرك. الأمر يشبه محاولة سماع همسة في غرفة يصرخ فيها الجميع.
حل S3T-Former: تخيل حارس أمن لا ينظر إلى الباب إلا عندما يتحرك شخص ما. يمتلك S3T-Former وحدة خاصة تسمى M-ASE تعمل مثل محقق الحركة. فهي تتجاهل الأجزاء الثابتة من الجسم (مثل جذع الشخص أثناء وقوفه) وتركز فقط على التغييرات (مثل تلويح اليد أو ركل الساق).

تشبيه: بدلاً من تسجيل فيديو لغرفة كاملة، فإنه يسجل فقط "ومضات" الحركة. هذا يحول ملف فيديو ضخمًا وثقيلًا إلى تدفق صغير وفعال من "الأحداث".

٢. "ساعي البريد الذكي" (LSTR)

المشكلة: في الشبكة العادية، يتواصل كل جزء من الهيكل العظمي مع كل الأجزاء الأخرى. الأمر يشبه حفلة حيث يصرخ ١٠٠ شخص في وجه بعضهم البعض في وقت واحد؛ فوضى عارمة وهدر للطاقة.
حل S3T-Former: يستخدم S3T-Former تقنية LSTR، والتي تعمل مثل ساعي بريد ذكي لا يسلم الرسائل إلا للأشخاص المرتبطين ببعضهم فعليًا.

تشبيه: إذا تحركت يدك، سيعرف ساعي البريد أنه يجب أن يخبر كوعك وكتفك، لكنه لن يزعج قدمك لأن يدك وقدمك ليستا متصلتين مباشرة في تلك الحركة. هو يرسل الرسائل فقط عبر "عظام" الجسم، وفقط عند الضرورة. هذا يوفر كمية هائلة من الطاقة.

٣. "الذاكرة طويلة المدى" (S3 Engine)

المشكلة: الخلايا العصبية البيولوجية (والنسخ الحاسوبية المستخدمة هنا) لديها عادة سيئة: فهي تنسى الأشياء بسرعة. إذا شاهدت رقصة بطيئة، فقد ينسى "الدماغ النبضي" العادي الحركة الأولى بحلول نهاية الرقصة. يُسمى هذا "فقدان الذاكرة قصير المدى".
حل S3T-Former: أضاف المؤلفون محرك S3، وهو يشبه دفتر ملاحظات يبقيه الدماغ مفتوحًا.

تشبيه: بدلاً من محاولة تذكر الرقصة بأكملها في فكرة عابرة، يقوم النظام بكتابة ملخص للحركة أثناء حدوثها. وعندما يحتاج لاتخاذ قرار في النهاية، فإنه يقرأ من الدفتر. هذا يسمح له بفهم الحركات الطويلة والمعقدة دون الحاجة لإعادة حساب كل شيء من الصفر.

٤. "المراقب الصامت" (ATG-QKV)

المشكلة: معظم نماذج الذكاء الاصطناعي تعامل الخلفية والحركة بنفس الطريقة.
حل S3T-Former: يستخدم خدعة مستوحاة من العين البشرية. عيوننا تمتلك خلايا خاصة لرؤية الحركة وأخرى لرؤية الأشكال. يفعل S3T-Former الشيء نفسه: يستخدم مجموعة من "العيون" لمراقبة الحركة (لتحديد ماذا يحدث) ومجموعة أخرى لتذكر الشكل (لمعرفة من الذي يقوم بالحركة).

تشبيه: إنه يشبه كاميرا مراقبة لا تعمل بجودة عالية إلا عندما ترى حركة، لكنها تحتفظ برسم تخطيطي منخفض الطاقة لتخطيط الغرفة في الخلفية.

لماذا هذا مهم؟

تظهر الورقة البحثية أن S3T-Former هو نقطة تحول لسببين:
١. إنه أذكى: فهو يتفوق فعليًا على العديد من النماذج القدة المستهلكة للطاقة من حيث الدقة. إنه يحصل على الإجابة الصحيحة بشكل أكثر تكرارًا.
٢. إنه صديق للبيئة: نظرًا لأنه "ينبض" فقط عند الضرورة، فإنه يستهلك أقل من ١٠٪ من الطاقة التي تستهلكها النماذج التقليدية.

الخلاصة:
S3T-Former يشبه الترقية من محرك V8 يستهلك الكثير من الوقود ويعمل على مدار الساعة إلى سيارة هجينة (Hybrid) تستخدم الطاقة فقط عندما تضغط على دواسة الوقود. إنه سريع، دقيق، ويمكنه العمل لأيام ببطارية واحدة، مما يجعله مثاليًا لمستقبل التقنيات القابلة للارتداء والذكية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "S3T-Former: محول طوبولوجيا فضاء الحالة المعتمد كلياً على النبضات للتعرف على حركات الهيكل العظمي."

1. بيان المشكلة

يعد التعرف على الحركات بناءً على الهيكل العظمي أمراً حيوياً لتطبيقات الوسائط المتعددة، ولكنه يعتمد حالياً بشكل كبير على الشبكات العصبية الاصطناعية (ANNs). تعاني هذه الشبكات من:

استهلاك عالٍ للطاقة: فهي تعتمد على عمليات الضرب والجمع المتراكم (MAC) الكثيفة ذات الفاصلة العائمة، مما يجعلها غير مناسبة للأجهزة الطرفية محدودة الموارد والتي تعمل بالبطارية وتتطلب إدراكاً "دائماً في حالة العمل".
محدودية نماذج الشبكات العصبية النبضية (SNNs) الحالية: رغم أن الشبكات العصبية النبضية توفر كفاءة في الطاقة عبر النبضات الثنائية المنفصلة وعمليات الجمع (AC)، إلا أن النماذج النبضية الحالية لبيانات الهيكل العظمي تفشل في الحفاظ على التشتت (Sparsity) الحقيقي. فهي غالباً ما تلجأ إلى:
- وحدات دمج متعددة الوسائط ثقيلة.
  طة تحويلات في نطاق التردد غير مشتتة.
- تجميع مصفوفات كثيفة (مما يرث تعقيد $O(V^2)$ الخاص بالشبكات العصبية التلافيفية الرسومية - GCNs).
- فقدان الذاكرة قصير المدى: تعاني عصبونات "الدمج والتكامل والتسريب" (LIF) من اضمحلال أسي متأصل، مما يجعل من الصعب التقاط السببية الزمنية طويلة المدى في تسلسلات الحركة المستمرة.

2. المنهجية: S3T-Former

يقترح المؤلفون S3T-Former، وهو أول بنية محول (Transformer) تعتمد كلياً على النبضات، مصممة خصيصاً للتعرف على حركات الهيكل العظمي بكفاءة عالية في استهلاك الطاقة. تتجنب هذه البنية عمليات ضرب المصفوفات الكثيفة تماماً، وتعتمد بدلاً من ذلك على الحسابات المشتتة المدفوعة بالأحداث.

أ. التضمين النبضي التشريحي متعدد المسارات (M-ASE)

المفهوم: مستوحى من خلايا العقد الشبكية في الشبكية التي تنبض فقط استجابةً للتدرجات المكانية والزمانية، يعمل M-ASE كمؤثر تفاضلي حركي عام.
الآلية: بدلاً من دمج الوسائط المتعددة (المفاصل، العظام، الحركة) عبر شبكات ثقيلة، يقوم بحساب الديناميكيات متعددة الرتب (الهوية، التدرجات المكانية، والتدرجات الزمنية) من وسيط واحد أساسي.
المخرج: يتم إسقاط هذه المسارات غير المتجانسة وتغذيتها في عصبون (LIF) بارامتري لتوليد تدفقات أحداث عالية التشتت، مما يعظم القدرة التمثيلية للمسار الواحد مع القضاء على الحشو الساكن.

ب. QKV ذو التدرج الزمني غير المتماثل (ATG-QKV)

الإلهام البيولوجي: يحاكي الانقسام بين الخلايا "المكبرة" (الحساسة للحركة) والخلايا "الدقيقة" (الحساسة للهيكل) في النظام البصري للرئيسيات.
الآلية:
- الاستعلام (Query - Q) والمفتاح (Key - K): يتم توليدهما حصرياً من تدرجات الحركة الديناميكية. وهما ينبضان فقط عند حدوث حركة، مما يؤدي إلى إسكات العقد الخلفية الساكنة.
- القيمة (Value - V): تُشتق من الميزات الهيكلية المستقرة الأصلية لتثبيت السياق المكاني.
الفائدة: هذا عدم التماثل يجبر آلية الانتباه على التركيز بدقة على التغيرات النشطة، مما يقلل معدل إطلاق النبضات المتوسط بمقدار 1-2 مرتبة عشرية مقارنة بالبنيات المتماثلة.

ج. توجيه الطوبولوجيا النبضية الجانبية (LSTR)

المشكلة التي تم حلها: استبدال مصفوفة الانتباه الكثيفة $O(N^2)$ وتجميعات GCN الكثيفة المكلفة حسابياً.
الآلية:
- الربط المحلي: يستخدم حاصل الضرب (Hadamard product) بين K و V لإنشاء قناع صلب، مما يسمح فقط للعقد النشطة ببث الميزات.
- التوجيه: يقوم بنشر هذه الميزات المقنعة على طول الرسم البياني للهيكل التشريحي.
- صفر عمليات MAC: بما أن التوجيه مشروط بالنبضات الثنائية ويتبع رسماً بيانياً طوبولوجياً ثابتاً، فإن العملية تتحول إلى عمليات جمع (AC) مشتتة ومشروطة سهلة التنفيذ برمجياً بدلاً من عمليات الضرب.
- المرونة: يستخدم مصفوفة طوبولوجيا ديناميكية قابلة للتعلم لالتقاط الاعتمادات الضمنية طويلة المدى مع احترام قيود العظام الفيزيائية.

د. محرك فضاء الحالة النبضي (S3)

المشكلة التي تم حلها: يعالج "فقدان الذاكرة قصير المدى" لعصبونات LIF دون استخدام مرشحات طيفية غير مشتتة أو تلافيف كثيفة.
الآلية: يبني حوض ذاكرة زمنية بـ تعقيد خطي ( $O(T)$ ). يقوم بتجميع ميزات النبض الطوببية عبر نوافذ زمنية ممتدة باستخدام عامل اضمحلال قابل للتعلم.
التكامل: يسترجع الاستعلام الحالي المعلومات مباشرة من حوض الذاكرة هذا، مما يتيح استدلالاً زمنياً قوياً طويل المدى.

هـ. القراءة النهائية (U-Readout)

الآلية: بدلاً من عد النبضات التجريبي (الذي يسبب أخطاء التكميم)، يستخدم النموذج عقدة "تكامل وإطلاق" (IF) غير نبضية مع عتبة لانهائية ( $U_{th} = \infty$ ) كمراكم غير فاقد للمعلومات.
الفائدة: يتم فك تشفير التصنيف النهائي مباشرة من جهد الغشاء النهائي المستمر، مما يحافظ على ثقة القرار تحت العتبة ويسمح بالتدريب الفعال زمنياً (TET).

3. المساهمات الرئيسية

أول محول مدفوع بالنبضات بالكامل: يعد S3T-Former أول بنية تجمع بين طوبولوجيا المحول (Transformer) ونماذج فضاء الحالة بالكامل ضمن إطار عمل مدفوع بالنبضات للتعرف على الحركات.
M-ASE و ATG-QKV: يقدم استراتيجية تضمين تفاضلية وآلية انتباه غير متماثلة تدفع التشتت المدفوع بالأحداث إلى أقصى حد عبر إسكات الحشو الساكن.
LSTR و S3-Engine: يقترح آلية توجيه مكاني بصفر عمليات MAC وحوض ذاكرة زمنية بـ تعقيد خطي، مما يحل اختناقات الكثافة وفقدان الذاكرة في الشبكات النبضية التقليدية.
أداء رائد (State-of-the-Art): يثبت أن النماذج المدفوعة بالنبضات بالكامل يمكن أن تتفوق على الشبكات العصبية الاصطناعية الراسخة في الدقة مع استهلاك جزء ضئيل من الطاقة.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث مجموعات بيانات واسعة النطاق: NTU RGB+D 60، و NTU RGB+D 120، و NW-UCLA.

الدقة:
- في NTU RGB+D 60، حقق S3T-Former (D=384) نسبة 84.94% (X-Sub)، متفوقاً على الحالة السابقة للشبكات النبضية (Signal-SGN) بنسبة +4.44% ومتجاوزاً عدة نماذج ANN (مثل ST-GCN بنسبة 81.5%).
- في NTU RGB+D 120، وصل النموذج المجمّع إلى 81.68%، متفوقاً على نموذج Signal-SGN المجمع بنسبة هائلة بلغت +6.38%.
الكفاءة:
- عمليات FLOPs النظرية أقل بكثير من نظيراتها في ANN (على سبيل المثال، ~1.91G FLOPs مقابل 14.48G لـ SkateFormer).
- استهلاك الطاقة: بسبب استبدال عمليات MAC بعمليات AC والتشتت الشديد (انخفاض معدلات الإطلاق إلى أقل من 2% في الطبقات العميقة)، يستهلك النموذج أقل من 10% من الطاقة النظرية للنماذج ANN المماثلة.
دراسات الاستئصال (Ablation Studies): أكدت أن إزالة أي مكون أساسي (M-ASE, ATG-QKV, LSTR, S3-Engine, U-Readout) يؤدي إلى انخفاض كبير في الدقة، مما يثبت التآزر في التصميم.

5. الأهمية

الجدوى العصبية (Neuromorphic Feasibility): يثبت أن الاستدلال الزماني المكاني المعقد ذو التسلسلات الطويلة يمكن تنفيذه على أجهزة طرفية ذات استهلاك طاقة فائق الانخفاض دون التضحية بالدقة.
تحول في النموذج المعرفي: يتجاوز مجرد استبدال الأوزان بالنبضات في "الشبكات العصبية التلافيفية الرسومية النبضية" أو "المحولات النبضية". يعيد S3T-Former تعريف البنية لتكون مشتتة بطبيعتها، ومدفوعة بالأحداث، وواعية للطوبولوجيا.
التأثير المستقبلي: يضع معياراً جديداً للتعرف على الحركات الموفر للطاقة، مما يمهد الطريق لوكلاء أذكياء يعملون دائماً وبالبطارية في مجالات الروبوتات، والواقع المعزز والافتراضي (AR/VR)، والمراقبة.