🤖 AI

Enhancing User Throughput in Multi-panel mmWave Radio Access Networks for Beam-based MU-MIMO Using a DRL Method

تقترح هذه الورقة إطار عمل لإدارة الحزم التكيفية القائم على التعلم المعزز العميق، والذي يستفيد من خصائص النطاق المكاني والملاحظات في الوقت الفعلي في شبكات الموجات المليمترية متعددة اللوحات لتعزيز إنتاجية المستخدم بنسبة تصل إلى 16% وتقليل زمن الاستجابة بمقدار 3 إلى 7 مرات مقارنة بالطرق التقليدية.

المؤلفون الأصليون: Ramin Hashemi, Vismika Ranasinghe, Teemu Veijalainen, Petteri Kela, Risto Wichman

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ramin Hashemi, Vismika Ranasinghe, Teemu Veijalainen, Petteri Kela, Risto Wichman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قائد أوركسترا ضخم وعالي السرعة، ولكن بدلاً من الكمان والطبول، تكون آلاتك هي الموجات الراديوية التي تسافر بسرعة الضوء. هذا هو عالم الاتصالات بالموجات المليمترية (mmWave)، وهي التقنية الكامنة وراء شبكات الجيل الخامس (5G) فائقة السرعة في المستقبل.

ومع ذلك، هناك مشكلة: هذه الموجات الراديوية تشبه الهمسات الهشة؛ فهي لا تستطيع السفر لمسافات بعيدة أو اختراق الجدران بسهولة. ولجعلها مسموعة بما يكفي، نستخدم الهوائيات التي تعمل مثل كشافات ضوئية عملاقة، حيث تركز الإشارة في حزم ضيقة لتصيب مستخدمين محددين.

المشكلة: معضلة "الكشاف الضوئي"

في مدينة مزدحمة، لديك العديد من المستخدمين (لنطلق عليهم "الأجهزة الطرفية المتنقلة" أو MTs) يحاولون التحدث مع الشبكة في نفس الوقت. تمتلك المحطة الأساسية لديك (التي تسمى gNB) عدة لوحات من الهوائيات، لكل منها مجموعتها الخاصة من "الكشافات" (الحزم).

الطريقة القديمة (النهج التقليدي):
تخيل شرطي مرور لا ينظر إلا إلى من يقف بالقرب من التقاطع. النظام القديم يختار ببساطة الحزمة ذات الإشارة الأقوى (الهمسة الأعلى صوتاً) لكل مستخدم.

العيب: مجرد كون الإشارة قوية الآن لا يعني أنها الخيار الأفضل للمجموعة بأكملها. إذا اخترت الحزمة الأقوى للجميع، فقد تتسبب بالخطأ في توجيه حزمتين إلى نفس المكان، مما يؤدي إلى اصطدامهما ببعضهما البعض (التداخل). أو قد تختار حزمة قوية ولكنها نادراً ما تُستخدم، مما يترك مستخدمين آخرين ينتظرون في الطابور. الأمر يشبه طباخاً يطهو فقط الطبق الأكثر شعبية، متجاهلاً أن المطبخ بدأ ينفد منه المكونات لـ 99% من الزبائن الآخرين.

الحل: "القائد الذكي" (DRL)

تقدم هذه الورقة نظام التعلم التعزيزي العميق (DRL). فكر في هذا كـ قائد أوركسترا ذكي لا يكتفي بالنظر إلى من هو الأقرب فحسب، بل يتعلم من الخبرة لإدارة الأوركسترا بأكملها بشكل مثالي.

ينظر القائد الذكي إلى ثلاثة أشياء قبل أن يقرر أي "كشاف ضوئي" سيقوم بتشغيله:

قوة الإشارة (RSRP): هل الإشارة قوية؟ (هذا هو الخيار البديهي).
الشعبية (استخدام الحزمة): هل تم استخدام هذه الحزمة كثيراً مؤخراً؟ إذا كانت الحزمة "شعبية"، فهذا يعني أن الشبكة جيدة بالفعل في التعامل مع حركة المرور على هذا المسار. أما الانتقال إلى حزمة جديدة غير مستخدمة فقد يتسبب في تأخير بينما يحاول النظام فهم كيفية التعامل معها.
التوافق (الارتباط المتبادل): هذا هو الجزء السحري. تخيل أن شخصين يحاولان التحدث عبر أجهزة اللاسلكي (Walkie-talkies). إذا وقفا بالقرب من بعضهما البعض، ستتداخل أصواتهما وتصبح ضجيجاً. يتحقق القائد الذكي من "العلاقة المكانية" بين الحزم. يسأل نفسه: "إذا قمت بتشغيل الحزمة (أ) للمستخدم 1، فهل ستتداخل مع الحزمة (ب) للمستخدم 2؟" إذا كانا متوافقين، فإنه يجدولهما معاً. وإذا لم يكونا كذلك، فإنه يختار زوجاً مختلفاً.

كيف يتعلم (تشبيه لعبة الفيديو)

كيف يتعلم الكمبيوتر ليكون بهذا الذكاء؟ إنه يلعب لعبة فيديو.

الهدف: تعظيم إجمالي البيانات (الإنتاجية) المرسلة للجميع وتقليل وقت الانتظار (زمن الاستجابة/Latency).
التجربة والخطأ: في البداى، يتخذ الذكاء الاصطناعي خيارات عشوائية. أحياناً يختار الحزمة الخاطئة، فتنخفض معدلات البيانات (يفقد نقاطاً). وأحياناً يختار مجموعة رائعة، فتتدفق البيانات بسرعة (يكسب نقاطاً).
المكافأة: في كل مرة تعمل فيها الشبكة بسلاسة، يحصل الذكاء الاصطناعي على "مكافأة". ومن خلال آلاف المحاولات، يتعلم سياسة (Policy): "عندما أرى هذا النمط من الإشارات وهذا التاريخ من الاستخدام، يجب أن أختار دائماً هذا المزيج المحدد من الحزم."

النتائج: لماذا يهم هذا؟

اختبرت الورقة هذا "القائد الذكي" مقابل طريقة "شرطي المرور" القديمة في مدينة محاكاة تضم 210 مستخدمين. وكانت النتائج مبهرة:

سرعات أعلى: قدمت الشبكة بيانات أكثر بنسبة تصل إلى 16% للمستخدمين. هذا يشبه الحصول على سرعة تحميل أسرع على هاتفك دون تغيير باقتك.
انتظار أقل: انخفض الوقت الذي تستغرقه الرسالة للانتقال من هاتفك إلى البرج والعودة (زمن الاستجونة) بمقدار 3 إلى 7 مرات.
- تشبيه: إذا كان النظام القديم يجعلك تنتظر 7 ثوانٍ لتحميل صفحة ويب، فإن النظام الجديد يجعلها تُحمل في ثانية واحدة.
تجميع أذكى: تعلم الذكاء الاصطناعي تجميع المستخدمين معاً بشكل أكثر كفاءة. بدلاً من خدمتهم واحداً تلو الآخر، وجد طرقاً لخدمة مستخدمين متعددين في وقت واحد دون أن يتداخلوا مع بعضهم البعض، تماماً مثل سائق الحافلة الذي يدرك أنه يمكنه ركوب ثلاثة أشخاص من نفس جانب الشارع دون الحاجة لتغيير مساره.

الخلاصة

تظهر هذه الورقة أنه من خلال تعليم الكمبيوتر التعلم من البيئة بدلاً من مجرد اتباع قواعد جامدة، يمكننا جعل شبكات الجيل الخامس لدينا أسرع بكثير وأكثر كفاءة. إنه الفرق بين روبوت يتبع خريطة بشكل أعمى، وسائق بشري يعرف الطرق المختصرة، وأنماط حركة المرور، وكيفية التنقل في المدينة بسلاسة.

باخت-الاختصار: الطريقة القديمة كانت "اختر الإشارة الأقوى". الطريقة الجديدة هي "اختر المزيج الأذكى من الإشارات لإبقاء الجميع سعداء وسريعي الحركة".

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تعزيز إنتاجية المستخدم في شبكات الوصول الراديوي لترددات الميليمتر (mmWave) متعددة الألواح باستخدام طريقة التعلم المعزز العميق (DRL) لتقنية MU-MIMO القائمة على الحزم."

1. بيان المشكلة

تتناول الورقة البحثية تحدي تحسين إنتاجية المستخدم وتقليل زمن الاستجابة (Latency) في شبكات الوصول الراديوي (RAN) متعددة الألواح لترددات المليمتر (mmWave) التي تستخدم تقنية تعدد المدخلات والمخرجات متعدد المستخدمين (MU-MIMO) مع تكوين الحزم الهجين (Hybrid Beamforming).

تعقيد اختيار الحزمة: في التكوينات متعددة الألواح (حيث يمتلك محطة القاعدة gNB عدة ألواح هوائيات، كل منها يحتوي على سلسلة ترددات راديوية واحدة)، لا يعد اختيار الحزمة مجرد مشكلة ثنائية الأبعاد بسيطة. بل يتضمن مقايضة معقدة بين:
1. قوة الإشارة: اختيار الحزم ذات أعلى قدر من طاقة الإشارة المستلمة للمرجع (RSRP).
2. سجل استخدام الحزمة: مراعاة مدى تكرار تفعيل الحزم (لتجنب التأخير المرتبط بتفعيل حزم جديدة).
3. الارتباط المتبادل المكاني: إدارة التداخل بين الحزم المختارة من ألواح مختلفة. الحزم ذات الارتباط القوي تسبب تداخلاً، مما يقلل من كفاءة تعدد الإرسال المكاني (Spatial Multiplexing).
قصور النهج التقليدية: تفشل النهج "الجشعة" (Greedy) التقليدية التي تختار الحزم بناءً على أعلى RSRP فقط في مراعاة التداخل بين الألواح وسجل الجدولة. يؤدي هذا إلى استخدام غير أمثل للموارد، وزيادة زمن الاستجابة (بسبب تخزين الحزم مؤقتاً أثناء انتظار حزم معينة)، وانخفاض الكفاءة الطيفية الإجمالية.
عدم جدوى التحسين الكلاسيكي: تنمو مساحة البحث عن الاختيار الأمثل للحزم بشكل أسي مع زيادة عدد الحزم والمستخدمين، مما يجعل التحسين الرياضي المباشر غير ممكن حسابياً للتشغيل في الوقت الفلي (Real-time).

2. المنهجية

يقترح المؤلفون إطار عمل يعتمد على التعلم المعزز العميق (DRL)، وتحديداً استخدام شبكة Q العميقة المزدوجة (DDQN)، لنمذجة عملية اختيار الحزمة كعملية قرار ماركوف (MDP).

أ. نموذج النظام

السيناريو: اتصالات الوصلة الهابطة (Downlink) في شبكة 5G NR متوافقة مع معايير 3GPP (في بيئة حضرية كثيفة - Dense Urban Macro) تعمل عند تردد 30 جيجاهرتز (FR2).
الأجهزة: محطات قاعدة (gNBs) مجهزة بعدة ألواح هوائيات (على سبيل المثال، 3 ألواح لكل قطاع)، حيث يدعم كل لوح هيكل شبكة من الحزم (GoB). يمكن تفعيل حزمة واحدة فقط لكل لوح في كل فترة زمنية للتردد (TTI).
نموذج القناة: نموذج قناة مكاني ثلاثي الأبعاد (3D) متوافق مع معايير 3GPP مع مراعاة حركة مستخدمي الشبكة.

ب. صياغة التعلم المعزز العميق (DRL)

تمت صياغة المشكلة كعملية قرار ماركوف (MDP) محددة بـ $(S, A, R, P)$ :

فضاء الحالة ( $S$ ): يراقب الوكيل (Agent) متجهاً يدمج ثلاثة أبعاد رئيسية:
1. RSRP المعياري ( $z_b$ ): قوة إشارة الحزم المرشحة (مقصوصة ضمن نطاق تقارير 3GPP).
2. سجل تفعيل الحزمة ( $h_b$ ): وتيرة استخدام الحزم في الماضي ضمن فاصل زمني للتبديل (حوالي 40 مللي ثانية).
3. الارتباط المتبادل ( $\rho_{b,j}$ ): الارتباط المكاني بين الحزم من ألواح مختلفة، والذي يتم حسابه بناءً على بيانات الجدولة المشتركة التاريخية للتنبؤ بالتداخل.
فضاء الإجراء ( $A$ ): اختيار فهرس حزمة محددة من مجموعة الحزم المتاحة ( $B$ ) للتفعيل.
دالة المكافأة ( $R$ ): تُعرف بأنها الإنتاجية اللحظية المعيارية المقدمة للمستخدم ( $B^t_k / \max_j(B^t_j)$ ). وهذا يشجع الوكيل على تعظيم تسليم البيانات مع ضمان استقرار عملية التدريب.
الخوارزمية: تُستخدم خوارزمية DDQN لتقريب دالة قيمة الإجراء الأمثل ( $Q^*$ )، مما يسمح للوكيل بتعلم سياسة تهدف لتعظيم المكافآت التراكمية طويلة الأمد دون الحاجة إلى نموذج صريح لديناميكيات انتقال القناة.

ج. استراتيجية إدارة الحزم

يتعلم وكيل DRL كيفية الموازنة بين المقايضة بين جودة الرابط الفورية (RSRP) والكفاءة الإجمالية للنظام (التعامد المكاني وتكرار الجدولة). يقوم الوكيل بتجميع المستخدمين (MTs) على حزم قد تكون ذات RSRP أقل قليلاً ولكنها توفر فصلاً مكانياً أفضل (ارتباط متبادل منخفض) أو احتمالية تفعيل أعلى، مما يتيح اقتران MU-MIMO أكثر كفاءة.

3. المساهمات الرئيسية

إدارة حزم متعددة الأبعاد: على عكس الأعمال السابقة التي ركزت على اختيار الحزم أحادية اللوح أو ثنائية الأبعاد، تقدم هذه الورقة إطار عمل يحسن بشكل مشترك RSRP، وإحصائيات استخدام الحزمة، والارتباط المتبادل المكاني بين الألواح في بيئة gNB متعددة الألواح.
التعلم المعزز العميق للتحسين الديناميكي: توضح الورقة تطبيق التعلم المعزز الخالي من النموذج (Model-free DRL) لحل مشكلة اختيار الحزم المعقدة (NP-hard) في الوقت الفعلي، متجنبة الحاجة إلى مجموعات بيانات ضخمة مجمعة مسبقاً كما في التعلم الخاضع للإشراف.
التكامل العملي مع الشبكة: تم التحقق من الحل في بيئة محاكاة لمستوى النظام واقعية ومتوافقة مع مواصفات 3GPP (بما في ذلك إجراءات طبقة PHY/MAC، ومسح الحزم، وحلقات التغذية الراجعة)، بدلاً من مجرد محاكاة نظرية لمستوى الرابط.

4. النتائج العددية

تم تقييم نهج DDQN المقترح مقابل خط أساس يعتمد على طريقة "Max RSRP" لاختيار الحزم في شبكة تحتوي على 210 أجهزة طرفية متنقلة (MTs) و21 محطة قاعدة (gNBs).

زيادة الإنتاجية: حقق نهج DRL زيادة في متوسط الإنتاجية الهندسي للمستخدم تصل إلى 16% (تحديداً 16.5% في بعض التكوينات) مقارنة بخط الأساس.
تقليل زمن الاستجابة: انخفض زمن الاستجماء من طرف إلى طرف بمقدار 3 إلى 7 أضعاف. ويُعزى ذلك إلى قدرة الوكيل على جدولة المستخدمين على حزم قد تكون دون المستوى الأمثل (من حيث RSRP) ولكنها متاحة فوراً، مما يقلل من وقت بقاء الحزم في وحدات التخزين المؤقت بانتظار تفعيل حزم معينة.
أداء التوزيع التراكمي (CDF): أظهر منحنى التوزيع التراكمي (CDF) لإنتاجية المستخدم منحنى أكثر حدة لنهج التعلم المعزز، مما يشير إلى أن نسبة أكبر من المستخدمين شهدوا إنتاجية أعلى مقارنة بخط الأساس.
كفاءة الجدولة: نجح وكيل RL في تجميع المزيد من المستخدمين للجدولة المشتركة في المجال المكاني، مما أدى إلى الاستخدام الفعال لألواح الهوائيات المتاحة ( $M_p=3$ ) لتعظيم مكاسب تعدد الإرسال المكاني.

5. الأهمية

يمثل هذا العمل خطوة حاسمة نحو إدارة ذكية وعملية للحزم في شبكات 6G المستقبلية وشبكات mmWave المتقدمة لـ 5G.

القابلية للتوسع: يوفر حلاً قابلاً للتوسع لمشكلة "لعنة الأبعاد" في اختيار الحزم متعددة الألواح، والتي لا تستطيع طرق التحسين التقليدية التعامل معها.
تجربة المستخدم: من خلال تقليل زمن الاستجوة وزيادة الإنتاجية بشكل كبير، يعزز هذا الأسلوب بشكل مباشر جودة التجربة (QoE) للتطبيقات التي تتطلب عرض نطاق ترددي عالٍ (eMBB).
التوجه المستقبلي: تثبت الدراسة أن التعلم المعزز يتفوق على الطرق الثابتة أو التعلم الخاضع للإشراف في البيئات اللاسلكية الديناميكية حيث تتغير ظروف القناة وحركة المستخدمين بسرعة. كما تفتح الباب لدمج أبعاد إضافية من معلومات حالة القناة (CSI) وتقنيات تشكيل الحزم الرقمي في الأبحاث المستقبلية.