🤖 machine learning

Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models

تقدم الورقة البحثية Flash PD-SSM، وهو نموذج فضاء حالة متناثر مهيكل ومحسن للذاكرة، يختار ديناميكيًا من مجموعة من المصفوفات المتناثرة القابلة للتدريب لتحقيق القدرة التعبيرية العالية للنماذج غير المهيكلة مع الحفاظ على الكفاءة الحسابية المطلوبة للتدريب واسع النطاق والأداء المتميز في المتواليات الطويلة.

المؤلفون الأصليون: Aleksandar Terzić, Francesco Carzaniga, Nicolas Menet, Yannick Biehl, Michael Hersche, Thomas Hofmann, Abbas Rahimi

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aleksandar Terzić, Francesco Carzaniga, Nicolas Menet, Yannick Biehl, Michael Hersche, Thomas Hofmann, Abbas Rahimi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء روبوت فائق الذكاء يمكنه قراءة القصص الطويلة، وتذكر التفاصيل، والتنبؤ بما سيحدث بعد ذلك. للقيام بذلك، يحتاج الروبوت إلى "دماغ" يمكنه الاحتفاظ بالمعلومات أثناء القراءة.

لفترة طويلة، كانت أفضل الأدمغة لهذه المهمة هي المحولات (Transformers) (التقنية التي تقف وراء العديد من برامج الدردشة الآلية الحالية). إنها ذكية للغاية ولكنها ثقيلة وبطيئة، مثل سيارة ليموزين فاخرة تستهلك الكثير من الوقود وتحتاج إلى مرآب ضخم.

ثم اخترع المهندسون نماذج الفضاء الحالاتي (State-Space Models - SSMs). فكر في هذه النماذج على أنها سكوترات كهربائية. إنها أسرع بكثير وتستهلك طاقة أقل (ذاكرة)، مما يجعلها مثالية للرحلات الطويلة. ومع ذلك، كانت النسخ الأولى من هذه السكوترات تعاني من مشكلة: كانت بسيطة للغاية. كان بإمكانها التعامل مع الطرق المستقيمة، ولكن إذا أصبح الطريق متعرجاً أو تطلب منطقاً معقداً (مثل تذكر قاعدة محددة لشخصية معينة)، فإنها كانت تضل طريقها.

يقدم هذا البحث اختراعاً جديداً يسمى FLASH PD-SSM. إنه يشبه أخذ ذلك السكوتر الكهربائي وترقيته بنظام ملاحة ذكي ومعياري يجعل قدرته على التعامل مع المنعطفات المعقدة تضاهي سيارة الليموزين الثقيلة، ولكن دون فقدان سرعته وكفاءته في استهلاك الوقود.

إليك كيف فعلوا ذلك، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: الخريطة "الثقيلة جداً"

حاولت الإصدارات السابقة من هذه السكوترات الذكية (مثل النموذج المسمى PD-SSM) أن تكون ذكية للغاية عبر حمل خريطة مفصلة وضخمة لكل خطوة من خطوات الرحلة.

المشكلة: حمل هذه الخريطة الضخمة والمفصلة في كل خطوة من الرحلة كان يستهلك مساحة كبيرة من الذاكرة، مما يجعل السكوتر ينفد من البطارية قبل أن يقطع مسافة بعيدة. لقد كان ثقيلاً للغاية ليكون عملياً للاستخدام في العالم الحقيقي.
النتيجة: اختارت نماذج أخرى (مثل Mamba) حمل خريطة صغيرة وبسيطة. كانت سريعة وخفيفة، لكنها لم تستطع حل الألغاز المعقدة أو تذكر القواعد المتشابكة.

2. الحل: "المفتاح السحري"

ابتكر مؤلفو هذا البحث، FLASH PD-SSM، حيلة ذكية. بدلاً من حمل خريطة ضخمة ومفصلة لكل خطوة، قاموا ببناء صندوق أدوات يحتوي على خرائط جاهزة ومتخصصة.

كيف يعمل: عند كل خطوة من الرحلة، ينظر الروبوت إلى الموقف الحالي ويقوم بقلب مفتاح لاختيار الخريطة المثالية الوحيدة من صندوق الأدوات التي تناسب تلك اللحظة.
التشبيه: تخيل أنك تقود سيارة. بدلاً من رسم خريطة جديدة ومفصلة للمدة بأكملها في كل مرة تنعطف فيها، لديك مجموعة من 100 "خريطة محلية" مرسومة مسبقاً. أنت فقط تختار الخريطة التي تحتاجها للكتلة السكنية التالية.
الفائدة: هذا المفتاح سريع جداً في التبديل ولا يشغل مساحة تذكر. وهذا يسمح للروبوت بامتلاك تعقيد سيارة الليموزين الثقيلة (يمكنه حل الألغاز المنطقية الصعبة) مع الحفاظ على سرعة وخفة السكوتر.

3. ما أثبتوه

اختبر الفريق هذا "السكوتر الذكي" الجديد بثلاث طرق رئيسية:

اختبار المنطق (محاكاة FSA): أعطوا الروبوت سلسلة من الألغاز المنطقية (مثل عد التكافؤ أو التنقل في متاهة). حل FLASH PD-SSM معظمها (بدقة 96%)، بينما عانت النماذج الأبسط (مثل Mamba2) بشكل كبير. لقد أثبت أن الروبوت يمكنه حقاً "التفكير" عبر القواعد المعقدة.
اختبار الذاكرة الطويلة (السلاسل الزمنية): طلبوا من الروبوت تحليل تدفقات بيانات طويلة جداً (أكثر من 17,000 خطوة). كان FLASH PD-SSM الأكثر دقة في التنبؤ بما سيحدث بعد ذلك، متفوقاً على جميع المنافسين الآخرين.
اختبار اللغة: وضعوا هذا الدماغ الجديد في نموذج لغوي (روبوت يكتب النصوص).
- تتبع الحالة: عندما طُلب منه تتبع أشياء تتحرك بين الصناديق في قصة (على سبيل المثال: "انتقلت الكرة الحمراء من الصندوق أ إلى الصندوق ب")، كان النموذج الجديد أفضل بكثير في تذكر الموقع النهائي مقارنة بالنماذج السابقة.
- الكتابة: عندما تم تدريبه على الكتابة مثل البشر، كتب نسخة هجينة من هذا النموذج (تجمع بين هذا الدماغ الجديد والتقنيات الموجودة) بشكل أفضل وأسرع من النماذج التي تستخدم الأدمغة الأقدم والأبسط فقط.

4. الخلاصة

يزعم البحث أن FLASH PD-SSM يحل أكبر مقايضة في مجال الذكاء الاصطناعي حالياً: السرعة مقابل الذكاء.

قبل ذلك: كان عليك الاختيار بين أن تكون سريعاً ولكن "غبياً" (النماذج البسيطة) أو "ذكياً" ولكن بطيئاً ومكلفاً (النماذج المعقدة).
الآن: FLASH PD-SSM يشبه قطاراً فائق السرعة يمكنه أيضاً تسلق الجبال. فهو يعمل بسرعة النماذج الرائدة الحالية (Mamba2) ولكنه يستطيع التعامل مع مهام أكثر تعقيداً بكثير، وكل ذلك باستخدام ذاكرة أقل.

باختصار، لقد وجدوا طريقة لجعل نماذج الذكاء الاصطناعي أخف، وأسرع، وأذكى في نفس الوقت، دون الحاجة إلى بناء كمبيوتر أكبر وأكثر تكلفة لتشغيلها.

ملخص تقني: FLASH PD-SSM

بيان المشكلة

تقدم نماذج فضاء الحالة (SSMs) بديلاً قابلاً للتوسع للنماذج المحولة (Transformers)، حيث توفر حسابات خطية واستهلاكاً ثابتاً للذاكرة أثناء الاستدلال. ومع ذلك، تواجه هذه النماذج مقايضة جوهرية بين الكفاءة والقدرة التعبيرية، والتي تمليها بنية مصفوفات الانتقال الخاصة بها.

المصفوفات غير المهيكلة: توفر أقصى قدر من القدرة التعبيرية (القدرة على محاكاة أي آلة تلقائية محدودة، أو FSA) ولكنها تتسبب في تكاليف حسابية وذاكرة باهظة.
المصفوفات المهيكلة: (مثل المصفوفات القطرية أو مصفوفات الهوية الموزونة) هي عالية الكفاءة ولكنها تعاني من قدرة تعبيرية محدودة، وهي عاجزة نظرياً عن محاكاة الـ FSAs ذات مجموعات التحويل غير القابلة للحل.
المصفوفات المتفرقة المهيكلة (PD-SSM): يمثل التطور الأخير (PD-SSM) استخدام مصفوفات متفرقة مهيكلة لتحقيق قدرة تعبيرية بمستوى FSA مع تمكين الحساب المتوازي الفعال. ومع ذلك، يعاني PD-SSM من اختناق حرج: توليد المصفوفات المتفرقة المعتمدة على المدخلات يتطلب تكلفة ذاكرة تبلغ $O(LN^2)$ (حيث $L$ هو طول التسلسل و $N$ هو حجم الحالة الخفية). هذه الزيادة تجعل PD-SSM أبطأ بـ (40 ضعفاً) وأكثر استهلاكاً للذاكرة من المنافسين الفعالين مثل Mamba2، مما يجعله غير مناسب للنشر واسع النطاق.

المنهجية: FLASH PD-SSM

يقترح المؤلفون FLASH PD-SSM، وهو نموذج SSM متفرق مهيكل ومحسن للذاكرة، يحل مشكلة اختناق التوليد في PD-SSM مع الحفاظ على ضمانات القدرة التعبيرية النظرية.

1. آلية الاختيار المبتكرة (الاختيار الصلب - Hard Selection)

يستبدل الابتكار الجوهري آلية الاختيار الناعم (soft-selection) في PD-SSM بآلية اختيار صلب (hard selection):

PD-SSM الأصلي: يولد مزيجاً محدباً من مصفوفات القاموس الكثيفة ويطبق عملية "الحد الأقصى للأعمدة" (column-wise hardmax) لتفريغ المصفوفة. يتطلب هذا تجسيد مصفوفات كثيفة بحجم $N \times N$ لكل خطوة زمنية، مما يؤدي إلى تكلفة ذاكرة $O(LN^2)$ .
FLASH PD-SSM: يقوم بحساب مسبق لقاموس من $K$ من المصفوفات المتفرقة. في كل خطوة زمنية، يقوم المدخل $u_t$ بتوليد $K$ من الدرجات عبر تحويل خطي. يختار النموذج المصفوفة الوحيدة ذات الدرجة الأعلى (argmax) ويستخدمها مباشرة.
تقليل التعقيد: بما أن المصفوفة المختارة هي بالفعل متفرقة (محدد عمود واحد-ساخن)، تنخفض تكلفة الذاكرة من $O(LN^2)$ إلى $O(LN)$ . كما تنخفض تكلفة الحساب لتوليد المصفوفة من $O(LN^2K)$ إلى $O(LNK)$ .

2. انتشار التدرج (Gradient Propagation)

لأن الاختيار يتضمن عمليات منفصلة (argmax/hardmax)، يستخدم النموذج المقدرات العابرة للمسار (Straight-Through Estimators - STE) مع تكييف الميل (slope annealing) للانتشار الخلفي:

في تمرير الأمام (forward pass)، يتم استخدام الاختيار الصلب (argmax).
في التمرير الخلفي (backward pass)، يتم تقريب الاختيار الصلب باستخدام "softmax" مخفف (tempered softmax) للسماح بتدفق التدرج عبر أوزان الاختيار ومصفوفات القاموس.
توفر الخاصية 2 في الورقة البحثية تعبيرات التدرج البديلة، والتي تصبح دقيقة مع اقتراب معامل الحرارة $\tau$ من الصفر.

3. التنفيذ المدرك للأجهزة (Hardware-Aware Implementation)

قام المؤلفون بتنفيذ نواة CUDA ثلاثية المراحل مخصصة (مغلفة في Triton) لاستغلال التوازي في وحدات معالجة الرسومات (GPU):

المرحلة A: تحسب التكرارات المتسلسلة المستقلة داخل كتل (chunks) التسلسل.
المرحلة B: تجمع التبعيات بين الكتل (prefix scan) لحساب حالات الحمل (carry states).
المرحلة C: تطبق تصحيحات الحمل على حالات الكتل.
يقلل هذا التصميم من حركة البيانات في الذاكرة ويزيد من استغلال عرض النطاق الترددي، مما يحقق أداءً يقترب من ذروة عرض نطاق ذاكرة الـ GPU.

4. التكامل المعماري

يتم دمج FLASH PD-SSM في بنية "pre-norm" قياسية مع طبقات SSM متعددة الرؤوس. يسمح التصميم متعدد الرؤوس بتقليل تكاليف المعاملات لمصفوفات القاموس الكثيفة. يوضح المؤلفون أن توسيع حجم القاموس $K$ كـ $O(\sqrt{D})$ (حيث $D$ هو بُعد التضمين) يحافظ على عدد المعاملات ضمن حدود معقولة دون تضخم حجم النموذج.

المساهمات الرئيسية

تحسين خوارزمي: يقلل من تعقيد ذاكرة توليد SSM المتفرق المهيكل من $O(LN^2)$ إلى $O(LN)$ عبر آلية اختيار منفصلة، مما يسمح بالتدريب على نطاق واسع.
القدرة التعبيرية النظرية: يثبت (الخاصية 1) أن FLASH PD-SSM يحتفظ بالضمان النظري لـ SSMs غير المهيكلة: يمكنه تمثيل أي FSA حتمي بدقة بـ $N$ من الحالات باستخدام طبقة واحدة بحجم $N$ .
تحسين الأجهزة: يقدم تنفيذ CUDA مخصصًا يحقق إنتاجية وكفاءة ذاكرة في أعلى مستوياتها.
تكامل النماذج الهجينة: يوضح أن FLASH PD-SSM يعمل كبديل فعال لطبقات SSM في النماذج الهجينة، مما يحسن قدرات تتبع الحالة دون التضحية بالإنتاجية.

النتائج التجريبية

تتبع الحالة الاصطناعية والقدرة التعبيرية

محاكاة FSA: في المهام الاصطناعية (parity, modular counting, cycle navigation)، حقق FLASH PD-SSM متوسط دقة بلغ 96.3%، متفوقاً بشكل كبير على المصفوفات القطرية (Mamba2: 58.9%, Mamba3: 90.7%) ونماذج DPLR (Gated DeltaProduct: 80.7%). وهذا يؤكد التحقيق العملي لقدرته التعبيرية النظرية.
القدرات الميكانيكية (اختبار MAD): سجل FLASH PD-SSM نسبة 69.2%، وهي مقاربة لنموذج Mamba (69.3%)، مما يشير إلى قدرات قوية في الاستدعاء داخل السياق والذاكرة.

كفاءة وقت التشغيل والذاكرة

الإنتاجية (Throughput): عند طول تسلسل 5120، يعد FLASH PD-SSM أسرع بنسبة 18% من DeltaNet وأسرع بنسبة 4% من Mamba2.
الذاكرة: قلل من استهلاك ذروة الذاكرة بنسبة أكثر من 12% مقارنة بكل من DeltaNet وMamba2 عند أطوال تسلسل تزيد عن 4000.
القابلية للتوسع: يحافظ النموذج على إنتاجية عالية عبر أطوال تسلسل متغيرة، مما يعالج الاختناق الذي أعاق PD-SSM سابقاً.

تتبع الحالة في اللغة الطبيعية

تم التقييم باستخدام مجموعة بيانات Box (الموسعة إلى 26 انتقال حالة) باستخدام نماذج هجينة (Granite4, Nemotron-H).
أدت طبقات FLASH PD-SSM المدرجة في هذه النماذج إلى تحسين دقة التوزيع خارج النطاق (OOD) بنسبة تصل إلى 10% مقارنة بـ Mamba2 و8% مقارنة بـ DeltaNet، مع الحفاظ على إنتاجية مماثلة.

نمذجة اللغة

تم تدريب نموذج DELTA-PD، وهو نموذج هجين يجمع بين FLASH PD-SSM وDeltaNet (بنسبة 1:3)، على FineWeb100B.
الأداء: تفوق DELTA-PD على DeltaNet النقي في الدقة (42.3% مقابل 41.3% في المتوسط) وفي الإنتاجية (253 ألف توكن/ثانية مقابل 168 ألف توكن/ثانية، بزيادة قدرها 1.5 ضعف).
كما تفوق أيضاً على FLASH PD-SSM النقي، مما يشير إلى أن التهجين يوازن بين نقاط قوة أنواع مختلفة من SSM.

نمذجة السلاسل الزمنية

حقق دقة الأفضل عالمياً (SoTA) في مهمة تصنيف السلاسل الزمنية متعددة المتغيرات UEA (تسلسلات > 17,000).
وصل إلى مستوى قريب من SoTA في متوسط مربع الخطأ (MSE) لمهمة التنبؤ PPG-DaLiA.

الأهمية والادعاءات

تدعي الورقة أن FLASH PD-SSM نجح في كسر المقايضة بين الكفاءة والقدرة التعبيرية التي حدت من نماذج SSM. ومن خلال تقليل عبء الذاكرة للمصفوفات المتفرقة المهيكلة، فإنه يتيح استخدام نماذج عالية القدرة التعبيرية (قادرة على محاكاة FSA) بالمقياس المطلوب لنماذج اللغة الحديثة.

يضع المؤلفون FLASH PD-SSM ليس فقط كتحسين نظري، بل كـ بديل عملي وجاهز للاستبدال لطبقات SSM الحالية في النماذج الهجينة الرائدة. إنه يشغل موقعاً فريداً في مشهد الأداء: فهو النموذج الوحيد المحدد في "الربع العلوي الأيمن" من الشكل 1، مما يعني أنه عالي القدرة التعبيرية وسريع وفعال في استهلاك الذاكرة في آن واحد.

تقر الورقة بالقيود المتعلقة باستخدام المقدرات العابرة للمسار (STEs)، مشيرة إلى أن التفسير النظري لفعاليتها في الطرق المتسلسلة شديدة الانفصال لا يزال مجالاً مفتوحاً للبحث المستقبلي. ومع ذلك، فإن النتائج التجريبية عبر المهام الاصطناعية والميكانيكية ولغات الطبيعة تؤكد أن هذا النهج يمثل حلاً قوياً لنمذجة التسلسل التعبيرية والقابلة للتوسع.