🤖 machine learning

mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters

تُثبت هذه الورقة أن تطبيق الروابط الفائقة المقيدة بالمنوع (mHC) على نماذج فضاء الحالة (SSMs) يحسن بشكل كبير أداء نمذجة اللغة على مجموعة بيانات WikiText-2 من خلال تقييد خلط التدفق المتبقي بمصفوفات ثنائية العشوائية ودمج محولات متخصصة في التدفق، مما يحقق انخفاضاً في الحيرة مع زيادات طفيفة فقط في تكاليف الذاكرة والإنتاجية.

المؤلفون الأصليون: Abdulvahap Mutlu, Şengül Doğan, Türker Tuncer

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Abdulvahap Mutlu, Şengül Doğan, Türker Tuncer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كتابة قصة. للقيام بذلك، يحتاج الروبوت إلى "دماغ" يمكنه تذكر ما قرأه للتو واستخدام ذلك لتخمين الكلمة التالية. في عالم الذكاء الاصطناعي، هناك طريقتان رئيسيتان لبناء هذا الدماغ: طريقة "الانتباه" (Attention) التقليدية (مثل إنسان يقرأ صفحة كاملة دفعة واحدة)، وطريقة "فضاء الحالة" (State Space - SSM) الأحدث (مثل إنسان يقرأ كلمة بكلمة مع الاحتفاظ بملاحظة ذهنية مستمرة).

يسأل هذا البحث سؤالاً بسيطاً: هل يمكننا جعل دماغ "فضاء الحالة" أكثر ذكاءً من خلال تزويده بترقية معمارية محددة تسمى "الروابط الفائقة المقيدة بالمتشعب" (Manifold-Constrained Hyper-Connections - mHC)؟

إليك تفصيل ما قاموا به، باستخدام تشبيهات بسيطة.

1. المشكلة: مسار ذي حارة واحدة مقابل طريق سريع

تعمل معظم نماذج الذكاء الاصطناعي مثل طريق ذي حارة واحدة. تتدفق المعلومات للداخل، تُعالج، ثم تتدفق للخارج. إذا أصبح الطريق مزدحماً جداً أو ضعفت الإشارة، فقد يصاب النموذج بالارتباك أو عدم الاستقرار.

أراد الباحثون تجربة طريق سريع متعدد الحارات. فبدلاً من تدفق واحد للمعلومات، قاموا بتقسيم البيانات إلى عدة "تدفقات" متوازية (مثل 4 أو 8 حارات). الفكرة هي أنه إذا كان لديك عدة حارات، فيمكن للنموذج معالجة أجزاء مختلفة من القصة في وقت واحد وخلطها معاً بطرق ذكية.

2. الخطر: "ازدحام مروري" من الفوضى

أدرك الباحثون أن مجرد إضافة المزيد من الحارات ليس كافياً. فإذا تركت السيارات (البيانات) تندمج وتنتقل بين الحارات عشوائياً دون قواعد، فقد تتسبب في ازدحام مروري أو حادث. في لغة الرياضيات، يسمى هذا "عدم الاستقرار". قد يتم تضخيم الإشارة حتى تنفجر، أو قد تضعف حتى تختفي.

الحل: "الخلاط العادل" (قيد المتشعب)
لإصلاح ذلك، قدموا قاعدة تسمى الروابط الفائقة المقيدة بالمتشعب (mHC).

التشبيه: تخيل مجموعة من الناس يمررون دلواً من الماء في خط مستقيم. إذا سكب كل شخص كمية من الماء أكثر مما استلمه، سيفيض الدلو. وإذا سكب أقل، سيجف الدلو.
القاعدة: أجبر الباحثون عملية "خلط" هذه الحارات على أن تكون ثنائية العشوائية (doubly stochastic). باللغة البسيطة، هذا يعني أن قواعد الخلط متوازنة تماماً. إذا أخذت 100 وحدة من المعلومات من الحارات، يجب أن تضع 100 وحدة بالضبط في الخارج. لا يتم إنشاء أو تدمير الماء؛ بل يتم إعادة ترتيبه فقط.
الأداة: استخدموا خدعة رياضية تسمى إسقاط سينكهورن-كنوب (Sinkhorn-Knopp projection) لضمان اتباع هذه القواعد، والتي تعمل مثل شرطي المرور الذي يفحص التدفق باستمرار للتأكد من بقائه متوازناً.

3. الترقية: "مساعدون متخصصون" (المهايئات)

حتى مع وجود حارات متوازنة، قد يواجه النموذج صعوبة في التعامل مع أجزاء معينة وصعبة من القصة. لذا، أضاف الباحثون مهايئات متخصصة لكل مسار (Stream-Specialized Adapters).

التشبيه: تخيل أن الطريق السريع الرئيسي (جوهر الـ SSM) هو الطريق الأساسي. المهايئات هي مثل مساعدين متخصصين ملحقين بكل حارة.
كيف يعمل: يحصل كل مسار على "مساعد" صغير وخفيف الوزن خاص به يمكنه تعديل المعلومات لهذا المسار تحديداً. جميعهم يتشاركون "حقيبة ظهر" واحدة (عنق زجاجة مشترك) لتوف استهلاك المساحة، ولكن لكل مساعد "قفازات" فريدة (معاملات القياس) للتعامل مع الاحتياجات الخاصة للمسار.
النتي نتيجة: يسمح هذا للنموذج بأن يكون أكثر إبداعاً وتحديداً دون جعل الدماغ بأكွယ် ضخماً.

4. التجربة: الاختبار على "WikiText-2"

اختبروا هذا التصميم الجديد على مجموعة بيانات قياسية تسمى WikiText-2 (مجموعة من مقالات ويكيبيديا). وقارنوا بين ثلاثة إصدارات:

النموذج المرجعي (Baseline): نموذج SSM قياسي ذي حارة واحدة.
نموذج mHC: الطريق السريع متعدد الحارات مع قواعد "الخلاط العادل".
نموذج mHC + Adapter: الطريق السريع متعدد الحارات مع قواعد "الخلاط العادل" بالإضافة إلى المساعدين المتخصصين.

5. النتائج: أذكى، ولكن أبطأ

إليك ما حدث عندما أجروا الاختبارات:

الجودة (الذكاء): أصبحت النماذج الجديدة أفضل بكثير في التنبؤ بالكلمة التالية.
- حقق نموذج mHC أخطاءً أقل من النموذج المرجعي.
- حقق نموذج mHC + Adapter أقل عدد من الأخطاء على الإطلاق.
- فكر في الأمر هكذا: حصل النموذج المرجعي على درجة 6.35. وحصل نموذج mHC على 6.24. وحصل نموذج mHC + Adapter على 6.13. (في هذا الاختبار، الرقم الأقل هو الأفضل).
السرعة (الإنتاجية): نظرًا لأن النموذج الآن يتعامل مع عدة حارات ويقوم بعمليات حسابية إضافية للحفاظ على توازنها، فقد أصبح أبطأ قليلاً.
- استطاع النموذج المرجعي معالجة حوالي 1,025 كلمة في الثانية.
- تباطأ نموذج mHC إلى 964 كلمة في الثانية.
- تباطأ نموذج mHC + Adapter أكثر ليصل إلى 938 كلمة في الثانية.
الذاكرة (المساحة): احتاجت النماذج الجديدة إلى ذاكرة حاسوب أكبر (RAM) لاستيعاب كل تلك الحارات والمساعدين الإضافيين.
- استخدم النموذج المرجعي حوالي 2,365 ميجابايت.
- استخدم نموذج mHC + Adapter حوالي 3,092 ميجابايت.

الخلاصة

يثبت البحث أنه يمكنك جعل نموذج لغوي يعتمد على "فضاء الحالة" أكثر ذكاءً من خلال منحه عدة "حارات" متوازية من التفكير، شرط فرض قواعد صارمة للحفاظ على توازن المعلومات (الخلاط العادل). إن إضافة مساعدين صغار متخصصين (مهايئات) لتلك الحارات يجعل النموذج أكثر ذكاءً.

المقايضة: تحصل على نموذج أذكى يرتكب أخطاء أقل، ولكنه يعمل ببطء أكبر ويتطلب ذاكرة حاسوب أكثر للقيام بذلك. وجد الباحثون أن هذه المقايضة تستحق العناء من أجل تحسين الجودة، حتى بدون استخدام شرائح حاسوبية خاصة عالية السرعة لتسريع العملية.

ملخص تقني: mHC-SSM

بيان المشكلة

بينما تُعد الاتصالات المتبقية (residual connections) أساسية لاستقرار التعلم العميق، تقترح الاتصالات الفائقة (Hyper-Connections - HC) توسيع التدفق المتبقي إلى مسارات متوازية متعددة لزيادة القدرة التعبيرية للنموذج دون زيادة عدد العمليات الحسابية ذات الفاصلة العائمة (FLOPs) للطبقة الجوهرية. ومع ذلك، فإن الخلط غير المقيد بين هذه التدفقات يمكن أن يخل بخصيصة التعيين المحايد (identity mapping)، مما يؤدي إلى عدم استقرار التدريب بسبب تضخم أو خمود الإشارة عبر الطبقات العميقة.

تعالج الاتصالات الفائقة المقيدة بالمتعدد (Manifold-Constrained Hyper-Connections - mHC) هذه المشكلة من خلال تقييد مصفوفات الخلط المتبقية ضمن متنوّع المصفوفات ثنائية التوزيع (doubly stochastic matrices) (متعدد بيركوف - Birkhoff polytope) عبر إسقاط Sinkhorn-Knopp، مما يضمن سلوكاً غير تمددي. وبينما تمت دراسة mHC في البنى القائمة على آلية الانتباه (attention-based architectures)، فإن فعاليتها في نماذج اللغة القائمة على نماذج فضاء الحالة (State Space Models - SSM) لا تزال غير مستكشفة. علاوة على ذلك، ليس من الواضح كيفية إدخال قدرة محددة لكل تدفق بطريقة خفيفة الوزن ضمن إطار عمل SSM دون زيادة حجم الكتلة الجوهرية بشكل كبير أو زعزعة استقرار التكرار (recurrence).

المنهجية

قام المؤلفون بتنفيذ وتقييم بنية Static mHC-SSM على مجموعة بيانات WikiText-2، ومقارنتها بنموذج أساسي مكون من تدفق واحد (single-stream SSM) ونسخة موسعة مزودة بـ محولات متخصصة للتدفقات (Stream-Specialized Adapters).

1. تصميم البنية

تقوم البنية المقترحة بتوسيع حالة الفضاء الخفي إلى $n$ من التدفقات المتوازية، ومعالجتها عبر مكدس من كتل SSM، ثم تجميعها للمخرج النهائي.

توسيع التدفق والتجميع: يتم توسيع حالة الفضاء الخفي أحادية التدفق إلى $n$ من التدفقات عبر إسقاط خطي متعلم. وقبل دخول نواة SSM، يتم تجميع التدفقات باستخدام متجه أوزان الخلط المسبق المقيد بالمتعدد (simplex-constrained pre-mixing) (يتم تمثيله عبر softmax). وبعد نواة SSM، يتم توزيع المخرجات مرة أخرى إلى التدفقات باستخدام متجه الخلط اللاحق المقيد بالمتعدد (simplex-constrained post-mixing).
الخلط المتبقي المقيد بالمتعدد: داخل التدفق المتبقي، يتم إسقاط مصفوفة خلط متعلمة على المتعدد ثنائي التوزيع باستخدام إجراء بأسلوب Sinkhorn (رفع اللوغاريتمات إلى الأس مع المعايرة التبادلية للصفوف والأعمدة). يضمن هذا أن مصفوفة الخلط غير سالبة وأن مجموع الصفوف والأعمدة يساوي واحدًا، مما يحافظ نظرياً على الاستقرار.
نواة SSM: وحدة المعالجة الجوهرية هي كتلة نموذج فضاء حالة (SSM) قطرية خفيفة الوزن، تتميز بـ RMSNorm، وإسقاطات خطية بوابية (gated linear projections)، وتلافيف عميقة سببية (causal depthwise convolutions)، وتكرار فضاء حالة قطري يتم حسابه عبر المسح (scanning).

2. المحولات المتخصصة للتدفقات (Stream-Specialized Adapters)

لتعزيز الأداء دون تغيير تكرار SSM، قدم المؤلفون محولات متخصصة للتدفقات:

البنية: يُستخدم عنق زجاجة مشترك (إسقاط لأسفل إلى الرتبة $r$ وإسقاط لأعلى للعودة إلى البعد $D$ ) عبر جميع التدفقات.
التخصص: تُطبق متجهات قياس لكل تدفق ( $\gamma$ ) في مساحة عنق الزجاجة.
الموضع: تُطبق هذه المحولات مرتين:
1. المحول المسبق (Pre-Adapter): يُطبق على تانسر التدفق قبل التجميع في مدخل SSM.
2. المحول اللاحق (Post-Adapter): يُطبق على مخرج SSM قبل التوزيع مرة أخرى إلى التدفقات.
الآلية: يضيف هذا التصميم درجات حرية محددة لكل تدفق مع مشاركة معظم معاملات المحول، بهدف تشجيع التدفقات على تمثيل جوانب مختلفة من التسلسل.

3. الإعداد التجريبي

مجموعة البيانات: WikiText-2 (باستخدام ترميز GPT-2).
الإعدادات: بُعد النموذج $D=512$ ، 8 طبقات، طول التسلسل $T=256$ ، حجم الدفعة $B=16$ .
التدريب: 10 حقبات (epochs) باستخدام AdamW، والدقة المختلطة (mixed precision)، وتقليم التدرج (gradient clipping).
القياس المرجعي: تم استخدام بروتوكول التحقق من نقطة التفتيش (checkpoint-based protocol) "العادل" لقياس الإنتاجية وذروة الذاكرة. تم حفظ حالة النموذج قبل القياس، واستعادة الأوزان بعد القياس، وتقييم الارتياب (perplexity) على نقطة التفتيش الأصلية لضمان مقارنة عادلة.

المساهمات الرئيسية

تجسيد mHC في نماذج SSM: قام العمل بتنفيذ خلط متبقي بأسلوب mHC ثابت ضمن نموذج لغة SSM قطري، باستخدام خلط متبقي مسقط بأسلوب Sinkhorn وأوزان خلط مسبقة ولاحقة مقيدة بالمتعدد.
المحولات المتخصصة للتدفقات: تقديم آلية محول مبتكرة تشارك عنق زجاجة عبر التدفقات ولكنها تستخدم معاملات قياس لكل تدفق، وتُطبق قبل وبعد نواة SSM، لإضافة سعة مدمجة.
التقييم الشامل: تحليل مقارن لثلاثة متغيرات (Baseline SSM، وStatic mHC SSM، وmHC + Adapters) تعرض سجلات التدريب خطوة بخطوة ومقاييس نقطة التفتيش للتحقق من خسارة الصلاحية، والارتياب، والإنتاجية، وذروة ذاكرة وحدة معالجة الرسومات.

النتائج

أُجريت التجارب على NVIDIA GeForce GTX 1650 Ti. تُظهر النتائج مقايضة بين جودة النموذج والكفاءة الحسابية:

متغير النموذج	خسارة الصلاحية (Val Loss)	الارتياب (Perplexity)	الإنتاجية (tokens/sec)	ذروة الذاكرة
Baseline SSM	6.3507	572.91	1025.52	2365 MB
Static mHC SSM	6.2448	515.35	964.81	2568 MB
mHC + Adapters	6.1353	461.88	938.90	3092 MB

مكاسب الجودة: حسن Static mHC خسارة الصلاحية بنحو ~0.106 وخفض الارتياب بنحو ~57 نقطة. أدت إضافة المحولات إلى تحسين الخسارة بمقدار ~0.110 وخفض الارتياب بمقدار ~53 نقطة إضافية.
تكاليف الكفاءة: انخفضت الإنتاجية بشكل طفيف (حوالي 6% لـ mHC، و8% إجمالاً لـ mHC+Adapters). زادت ذروة الذاكرة بشكل ملحوظ، خاصة مع المحولات (من 2365 ميجابايت إلى 3092 ميجابايت).

الأهمية والادعاءات

يزعم البحث أن الخلط المتبقي متعدد التدفقات المقيد والمستوحى من mHC يمكن أن يحقق تحسينات ملموسة في الجودة في نماذج لغة SSM، مما يشير إلى أن هذه الفوائد الهيكلية الكلية ليست حصرية للبنى القائمة على آلية الانتباه.

تشمل النقاط الرئيسية ما يلي:

انتقال الاستقرار: يبدو أن قيود mHC الموجهة نحو الاستقرار (الخلط ثنائي التوزيع) تنتقل بشكل مفيد إلى نماذج SSM، ويرجح أن يكون ذلك عبر توفير آلية مستقرة لخلط الفضاءات الفرعية المتوازية للميزات.
فعالية المحولات: يمكن للمحولات المتخصصة للتدفقات تعزيز الأداء من خلال السماح للتدفقات بالتخصص دون تغيير تكرار SSM الأساسي، وإن كان ذلك يأتي مع زيادة في عبء الذاكرة.
المقايضات: تأتي التحسينات في الارتياب مع مقايضات كفاءة متوقعة: زيادة في عبء الوصول إلى الذاكرة بسبب توسيع التدفقات المتبقية وتخزين حالات التدفق الموسعة.
سياق التنفيذ: يشير المؤلفون صراحةً إلى أن تنفيذهم هو نسخة ثابتة (static variant) وتفتقر إلى النواة المدمجة المتخصصة (مثل نوى Sinkhorn المخصصة، أو دمج النوى) الموصوفة في ورقة mHC الأصلية. لذلك، فإن أرقام الإنتاجية والذاكرة المبلغ عنها تعكس تنفيذ PyTorch قياسي وتمثل الحد الأعلى للتكاليف، وليس إمكانات نظام إنتاجي محسن.

تخلص الدراسة إلى أنه بينما لم يتم تنفيذ الإسقاط المتعدد أو الخرائط الديناميكية (كما في ورقة mHC الكاملة) بشكل كامل، فإن النهج الثابت المبسط يثبت جدوى الطبوغرافيات متعددة التدفقات المقيدة لنمذجة التسلسل بكفاءة.