Hybrid Mamba-Attention Neural Architecture for Channel Estimation
تقترح هذه الورقة بنية عصبية هجينة تجمع بين "ماما" (Mamba) والانتباه (attention)، تستخدم مسحاً اختيارياً ثنائي الاتجاه لتقدير قنوات OFDM بكفاءة، وبتعقيد منخفض وقدرة فائقة على التعميم، متفوقة بذلك على الطرق المرجعية في الدقة وكفاءة المعلمات.
المؤلفون الأصليون:Dianxin Luan, Chengsi Liang, Jie Huang, Zheng Lin, Kaitao Meng, John Thompson, Cheng-Xiang Wang, Ozgur Akan
تخيل أنك تحاول إجراء محادثة في ملعب مزدحم وصاخب بالصدى حيث يصرخ الجميع في وقت واحد. هذا هو بالضبط ما يحدث عندما يحاول هاتفك التحدث مع برج خلوي. الإشارة ترتد عن المباني، والسيارات، والأشجار، مما يؤدي إلى تشويهها وتشتتها قبل أن تصل إليك. ولإصلاح هذه الفوضى، يستخدم المهندسون حيلة ذكية تسمى "تعديل تقسيم التردد المتعامد" (OFDM). فكر في الـ OFDM كعملية تقسيم رسالة ضخمة وفوضوية إلى آلاف البطاقات البريدية الصغيرة والمنظمة، كل منها يركب على موجة راديو خاصة به (أو ما يسمى بـ "التردد الفرعي"). ويجب على المستقبل أن يكتشف بالضبط كيف غير صدى الملعب كل بطاقة بريدية لإعادة بناء الرسالة الأصلية. تُسمى هذه العملية "تقدير القناة". وإذا أخطأ المستقبل في التخمين، تختلط البطاقات البريدية، فتتجمد مكالمة الفيديو الخاصة بك أو تصل رسالتك النصية ككلام غير مفهوم. ومع انتقالنا نحو شبكات الجيل السادس (6G) فائقة السرعة في المستقبل، تصبح هذه البطاقات البريدية عديدة للغاية لدرجة أن الرياضيات اللازمة لإصلاحها تصبح ثقيلة للغاية، مثل محاولة حل مليون لغز في وقت واحد. الطرق التقليدية إما أنها بطيئة جداً أو بسيطة جداً للتعامل مع هذا النطاق الهائل، مما يترك العلماء يبحثون عن طريقة أذكى وأسرع لفك شفرة هذه الفوضى.
هنا، قام فريق من الباحثين من جامعات عبر المملكة المتحدة والصين بابتكار وصفة رقمية جديدة تسمى "MambaNet". لقد أرادوا حل مشكلة فك تشفير آلاف الموجات الراديوية الصغيرة هذه دون الحاجة إلى حاسوب خارق للقيام بالعمليات الحسابية. حلهم هو عبارة عن شبكة عصبية هجينة — وهي نوع من الذكاء الاصطناعي — تمزج بين فكرتين قويتين: "الانتباه" (Attention) و"مامبا" (Mamba).
فكر في جزء "الانتباه" كأنه أمين مكتبة شديد التركيز. عندما تطلب كتاباً، لا يقوم أمين المكتبة هذا بمسح المكتبة بأكملة بشكل عشوائي؛ بل يعرف على الفور الأرفف المحددة ذات الصلة بطلبك ويركز عليها. في عالم الموجات الراديوية، يساعد هذا النظام في معرفة الترددات الفرعية المرتبطة ببعضها البعض. ومع ذلك، قد يشعر أمين المكتبة بالإرهاق إذا كانت المكتبة ضخمة جداً. وهنا يأتي دور "مامبا". "مامبا" هو نوع جديد من محركات الذكاء الاصطناعي المصممة للتعامل مع خطوط طويلة من المعلومات بكفاءة عالية. لقد أدرك الباحثون أن للموجات الراديوية سمة غريبة: الإشارة عند تردد معين تؤثر على الإشارة عند تردد آخر بطريقة لا تهتم بالزمن (غير سببية/non-causal). الأمر يشبه لو أن صدى صرخة أطلقتها بالأمس غير فجأة صوت همسة تقوم بها الآن. عادةً ما تنظر نماذج الذكاء الاصطناعي القياسية إلى الأشياء في خط مستقيم، من البداية إلى النهاية، مما يفوت هذه الروابط الغريبة ثنائية الاتجاه.
ولإصلاح ذلك، بنى الفريق "مسحاً اختيارياً ثنائي الاتجاه" (bidirectional selective scan) داخل محرك "مامبا" الخاص بهم. تخيل محققاً يسير في ممر طويل من الأدلة. المحقق العادي يمشي للأمام، وينظر إلى الأدلة واحداً تلو الآخر. لكن هذا المحقق الجديد يمشي للأمام وللخلف في نفس الوقت، جامعاً المعلومات من كلا الاتجاهين لفهم القصة الكاملة. هذا يسمح لـ "MambaNet" بالتقاط العلاقات المعقدة ثنائية الاتجاه بين الموجات الراديوية دون أن تثقل كاهلها العمليات الحسابية.
النتائج التي حققتها عمليات المحاكاة واعدة للغاية. فعندما اختبروا "MambaNet" مقابل أنظمة ذكية أخرى باستخدام نموذج قناة 3GPP قياسي (محاكاة واقعية لبيئة حضرية مزدحمة)، تفوقوا على المنافسين. وتحديداً، عند قوة إشارة تبلغ 25 ديسيبل، قلل "MambaNet" من معدل الخطأ (MSE) بهامش ضئيل ولكنه مهم مقارنة بالشبكات العصبية الأخرى، بل وتفوق حتى على طريقة "MMSE" التقليدية، والتي تتطلب عادةً معرفة الظروف الدقيقة للقناة مسبقاً — وهو ترف نادراً ما يتوفر في العالم الحقيقي. ولعل الأهم من ذلك، أن "MambaNet" حقق هذا الأداء العالي بعدد أقل بكثير من "المعلمات القابلة للضبط" (الأزرار الداخلية التي يعدلها الذكاء الاصطناعي للتعلم) مقارنة بمنافسيه. فبينما احتاجت النماذج المعقدة الأخرى إلى ما يقرب من مليون زر لإنجاز المهمة، فعلها "MambaNet" بـ 0.27 مليون فقط. وهذا يعني أنه أخف بكثير وأقل استهلاكاً للطاقة في الأجهزة التي تعمل بالبطارية.
ومع ذلك، يوضح الباحثون بحذر أن هذه هي نتائج محاكاة، وليست اختبارات ميدانية في العالم الحقيقي. كما وجدوا أنه بينما يتميز "MambaNet" بقدرة جيدة على التعميم — أي أنه يمكنه التعامل مع أنواع جديدة وغير مرئية من البيئات الراديوية بشكل أفضل من بعض النماذج الأخرى — إلا أنه ليس مثالياً. فعند اختباره على قنوات لم يسبق له رؤيتها أثناء التدريب، انخفض أداؤه قليلاً مقارنة باختباره على القناة التي صُمم خصيصاً لها. وهذا يشير إلى أنه بينما يعد "المحقق ثنائي الاتجاه" خطوة كبيرة للأمام، لا يزال هناك بعض العمل الذي يتعين القيام به لجعله قوياً تماماً ضد كل نوع ممكن من تداخل الإشارات. وفي نهاية المطاف، تشير هذه الورقة البحثية إلى أنه من خلال الجمع بين تركيز "الانتباه" والمسح الفعال ثنائي الاتجاه لـ "مامبا"، قد نكون قد وجدنا طريقة أخف وأسرع للحفاظ على اتصالات الجيل السادس (6G) المستقبلية واضحة ونقية.
ملخص تقني: بنية عصبية هجينة تجمع بين "مامبا" (Mamba) وآلية الانتباه لتقدير القناة
بيان المشكلة في أنظمة اتصالات الجيل السادس (6G) التي تستخدم تعدد الإرسال بتقسيم التردد المتعامد (OFDM)، يعد الحصول على معلومات حالة القناة (CSI) بدقة أمرًا بالغ الأهمية لتعويض عيوب القناة وضمان الاتصال الموثوق. تعاني المقدرات التقليدية مثل "المربعات الصغرى" (LS) من أداء ضعيف، بينما تعتمد طرق "الخطأ التربيعي المتوسط الأدنى" (MMSE) على معلومات إحصائية للقناة غير متوفرة. علاوة على ذلك، يمثل الاستيفاء الدقيق للقنوات ذات الانتقائية المزدوجة تحديًا بسبب النماذج الإحصائية غير الدقيقة. وعلى الرغم من أن حلول الذكاء الاصطناعي، وخاصة البنيات القائمة على "المحولات" (Transformers)، قد أظهرت نتائج واعدة، إلا أنها تواجه عقبة كبيرة: وهي أن تعقيداتها الحسابية والمكانية تتوسع بشكل تربيعي مع عدد الموجات الحاملة الفرعية (Nf). هذا التعقيد التربيعي يجعلها غير مناسبة لتكوينات الموجات الحاملة الفرعية واسعة النطاق وللأجهزة التي تعمل بالبطارية. بالإضافة إلى ذلك، تعاني العديد من نهج الشبكات العصبية من صعوبة في التعميم على ظروف القناة غير المرئية مسبقًا دون الحاجة إلى ضبط دقيق مكثف عبر الإنترنت.
المنهجية: MambaNet يقترح البحث بنية MambaNet، وهي بنية عصبية هجينة مصممة لمعالجة تحديات القابلية للتوسع والتعميم في تقدير قناة OFDM. يدمج الإطار آلية انتباه متعدد الرؤوس مع وحدة "مامبا" (Mamba) مخصصة (نموذج فضاء الحالة).
معالجة المدخلات: تأخذ الشبكة تقديرات (LS) عند مواضع الرواد (H^pilotLS) كمدخلات. يتم دمج هذه التقديرات في متجه عمودي، مع فصل الأجزاء الحقيقية والتخيلية إلى قناتين لتشكيل رموز القناة (channel tokens).
وحدة الماما المدعومة بالانتباه:
الانتباه الذاتي (Self-Attention): تقوم طبقة الانتباه متعدد الرؤوس أولاً بالتقاط الارتباطات بين تقديرات (LS) المدخلة. تقوم هذه الطبقة بإسقاط المدخلات، وتقسيمها إلى مصفوفات الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value)، وحساب الانتباه بناتج الضرب النقطي القياسي.
المسح الانتقائي ثنائي الاتجاه: على عكس هياكل "مامبا" القياسية التي غالبًا ما تكون سببية، ينفذ هذا البحث مسح حالة انتقائي ثنائي الاتجاه. الدافع وراء ذلك هو أن مكاسب القناة عبر الموجات الحاملة الفرعية هي بطبيعتها غير سببية. تستخدم الوحدة نموذج فضاء حالة انتقائي (SSM) عبر مسارين:
مسح أمامي (htf) ينشر المعلومات من البداية إلى النهاية.
مسح خلفي (htb) ينشر المعلومات من النهاية إلى البداية.
الحالة المخفية النهائية هي مجموع المسارين (ht=htf+htb).
التحكم بالبوابة (Gate Control): تستخدم الوحدة التلافيف العمقي (depthwise convolution) وتنشيط (SiLU) لتوليد معاملات البوابة (a,b,g) التي تتحكم ديناميكيًا في تحديثات الحالة وتدفق المعلومات، مما يسمح للشبكة باختيار الاحتفاظ بالمعلومات أو نسيانها بناءً على المدخلات.
التعقيد: من خلال استبدال التعقيد التربيعي للانتباه الذاتي بالتعقيد الخطي للمسح الانتقائي (O(N))، تتعامل وحدة "مامبا" بكفاءة مع الاعتمادات طويلة المدى عبر عدد كبير من الموجات الحاملة الفرعية.
بنية المتبقي والرفع (Upsampling): يتم إعادة تشكيل مخرجات وحدة "مامبا" وتمريرها عبر بنية متبقية تتكون من طبقات تلافيفية وخمس كتل متبقية. أخيرًا، تقوم وحدة رفع عبر الاستيفاء الثنائي الخطي وطبقة تلافيفية مقترنة بتوليد تقدير مصفوفة القناة الكاملة للمرحلة بأكملها.
المساهمات الرئيسية
البنية الهجينة: اقتراح إطار هجين جديد يجمع بين قوة التقاط الارتباط لآليات الانتباه وكفاءة التعقيد الخطي لنموذج فضاء حالة "مامبا".
المسح ثنائي الاتجاه للبيانات غير السببية: التكييف المحدد لهيكل "مامبا" لأداء مسحات انتقائية ثنائية الاتجاه، مع الإقرار بالطبيعة غير السببية لارتباطات الموجات الحاملة الفرعية، والتي تغفلها نماذج "مامبا" السببية القياسية.
القابلية للتوسع: يستهدف التصميم تحديدًا التكوينات ذات العدد الكبير من الموجات الحاملة الفرعية (Nf)، مما يوفر حلاً يتجنب انفجار المعلمات والتكلفة الحسابية العالية المرتبطة بالمقدرات القائمة على المحولات (Transformer).
التعميم القوي: استخدام مجموعات بيانات تدريب اصطناعية تم إنشاؤها عبر معايير تصميم محددة لضمان أداء النموذج بشكل جيد على القنوات التي لم تُشاهد أثناء التدريب.
نتائج المحاكاة أُجريت عمليات المحاكاة باستخدام نماذج قناة 3GPP TS 36.101 (تحديدًا Extended Typical Urban - ETU) مع تعديل QPSK. تمت مقارنة الطريقة المقترحة بكل من LS وMMSE وInterpolateNet وHA02 وChannelformer.
الأداء: حققت MambaNet تفوقًا في متوسط الخطأ التربيعي (MSE) ونسبة خطأ البت (BER) عبر نطاق نسبة الإشارة إلى الضوضاء (SNR) من 5 ديسيبل إلى 25 ديسيبل. ومن الجدير بالذكر أنه عند SNR قدره 25 ديسيبل، تفوقت MambaNet على كل من HA02 وChannelformer، بل وتجاوزت طريقة MMSE (التي تعتمد على معرفة مثالية للقناة كخط أساس نظري).
التعميم: عند اختبارها على نماذج قنوات غير مرئية (Flat Fading, Two-path, EPA, EVA)، أظهرت MambaNet المدربة مسبقًا أداءً قويًا، وإن كان مع انخفاض متوقع مقارنة بالقناة المصممة، مما يشير إلى أن عدم تطابق التوزيع لا يزال يؤثر على الأداء.
التعقيد والكفاءة:
المعلمات: تتطلب MambaNet عددًا أقل بكثير من المعلمات القابلة للضبط (0.27 مليون) مقارلة بـ Channelformer (0.77 مليون) وHA02 (0.99 مليون)، مما يمثل انخفاضًا بنسبة 73-76%.
وقت التشغيل: على الرغم من امتلاك MambaNet معلمات أقل، إلا أن وقت تشغيلها النسبي (24.3 ضعفًا بالنسبة لـ LS) أعلى من Channelformer (22.5 ضعفًا) وHA02 (15.2 ضعفًا)، ومع ذلك تظل تنافسية. يشير البحث إلى أن عدد المعلمات يتوسع بشكل أفضل (O((NfNpilot/Ls)2)) مقارنة بالتوسع التربيعي للطرق القائمة على المحولات (O((NfNs)2)) مع زيادة Nf.
الأهمية والادعاءات يزعم البحث أن MambaNet تقدم حلاً عمليًا لتقدير القناة في أنظمة الجيل السادس المستقبلية ذات أعداد الموجات الحاملة الفرعية الضخمة. من خلال دمج وحدة "مامبا" ثنائية الاتجاه، تستطيع البنية التقاط الاعتمادات طويلة المدى بفعالية دون التكلفة الحسابية الباهظة لبنيات المحولات الكاملة. ويؤكد المؤلفون أن الطريقة تحقق دقة تقدير محسنة بمعلمات أقل وتظهر قدرات تعميم جيدة، مما يجعلها مرشحًا حيويًا للنشر في السيناريوهات التي تكون فيها الموارد الحسابية محدودة أو ظروف القناة متغيرة للغاية. يسلط العمل الضوء على إمكانية تكييف نماذج فضاء الحالة (SSMs) لمهام الاتصالات اللاسلكية حيث تظهر البيانات ارتباطات هيكلية غير سببية.