Quantized IRS Phase Control under Limited Observation with Short-History State Stacking
تُثبت هذه الورقة أن تكديس الحالات ذات التاريخ القصير يعزز التمثيل المدخل الزمني للمتحكمات من عائلة DDQN، مما يحسن بشكل كبير من كفاءة الطيف للتحكم في طور السطح العاكس الذكي المكمم تحت الملاحظة المحدودة مقارنة بالطرق القياسية والاستدلالات الهندسية.
المؤلفون الأصليون:Hongzhang Guo, Heng Yang, Shanshan Li, Yuwei Kong, Zicheng Yue, Lei Zhang, Jiahan Xu, Sixue Liu, Fangwei Li
في المشهد غير المرئي للاتصالات اللاسلكية الحديثة، تنتقل الإشارات من المحطة الأساسية إلى الهاتف الذكي، لكنها غالبًا ما تكافح للوصول إلى وجهتها. فالمباني، والتلال، وحتى حركة الناس يمكن أن تحجب هذه الإشارات أو تضعفها، مما يخلق مناطق ميتة حيث تتباطأ البيانات لتصبح في غاية البطء. ولحل هذه المشكلة، طور المهندسون تقنية تسمى "السطح العاكس الذكي". تخيل لوحة مسطحة كبيرة مغطاة بآلاف المرايا الصغيرة القابلة للبرمجة. وبخلاف المرآة العادية التي تعكس الضوء ببساطة في اتجاه واحد، يمكن ضبط هذه اللوحة إلكترونيًا لتوجيه الموجات الراديوية بدقة إلى حيث تشتد الحاجة إليها، مما يحول الجدار أو السقف فعليًا إلى مساعد ذكي يعزز الإشارة.
ومع ذلك، فإن التحكم في هذه اللوحة مهمة معقدة. فالسطح يتكون من العديد من العناصر الفردية، ويجب ضبط كل منها على زاوية محددة لتعكس الإشارة بشكل صحيح. وفي العالم الحقيقي، لا يمكن ضبط هذه الزوايا بدقة لانهائية؛ بل هي محدودة بمجموعة من الخطوات المنفصلة، تمامًا مثل مفتاح خفت الإضاءة الذي يحتوي على عشر مستويات سطوع محددة فقط بدلًا من منزلق سلس. علاوة على ذلك، فإن الأشخاص الذين يستخدمون الشبكة في حركة مستمرة، والمتحكم الذي يدير السطح لا يملك خريطة مثالية وفورية للمحيط بأكٍمله. فهو لا يرى سوى لقطة لمكان وجود المستخدمين، وما يفعلونه، ومدى جودة الاتصال قبل لحظة واحدة. التحدي يكمن في معرفة كيفية ضبط المرايا بسرعة ودقة كافيتين للحفاظ على قوة الاتصال، حتى عندما يعمل المتحكم بمعلومات محدودة وذاكرة لا تتجاوز بضع ثوانٍ.
لقد وضع الباحثون في جامعة شنيانغ للتكنولوجيا حلاً لهذا اللغز تحديدًا. أرادوا معرفة ما إذا كان منح المتحكم تاريخًا قصيرًا للأحداث الأخيرة — بدلًا من مجرد لقطة واحدة للحظة الراهنة — سيساعده على اتخاذ قرارات أفضل. وفي دراستهم، قارنوا بين برامج حاسوبية مختلفة مصممة للتحكم في السطح. بعض البرامج نظرت فقط إلى الوضع الحالي، بينما سُمح لأخرى بالنظر إلى الخطوات الأربع الأخيرة من حركة المستخدم وأداء النظام. واختبروا هذه البرامج في بيئة محاكاة حيث يتحرك المستخدمون عبر مسارات مشابهة لتلك المسجلة من الهواتف الذكية الحقيقية، وكان على النظام ضبط المرايا للحفاظ على أفضل سرعة بيانات ممكنة.
وجد الباحثون أن النظر إلى الماضي ساعد بالفعل. فعندما استخدم المتحكم تاريخًا قصيرًا مكونًا من أربع خطوات، كان أداؤه أفضل مما لو اعتمد على لقطة واحدة فقط. وتحديدًا، بالنسبة لنوع واحد من خوارزميات التعلم، أدى هذا النهج إلى تحسين سرعة البيانات بنسبة 6.9 بالمائة تقريبًا مقارنة بنسخة اللقطة الواحدة. وبالنسبة لنوع آخر، كان التحسن أصغر ولكنه ظل إيجابيًا، بنحو 1.7 بالمائة. كما أظهرت الدراسة أنه بينما كانت برامج التعلم هذه جيدة جدًا في التكيف مع التغييرات، فإن الطريقة الأبسط التي تحسب زوايا المرآة مباشرة بناءً على مواقع المستخدمين كانت لا تزال الأكثر فعالية في تحقيق أقصى قدر من السرعة في اختبارهم المحدد. ومع ذلك، كانت برامج التعلم أفضل في موازنة الحاجة إلى السرعة مع تكلفة تغيير الإعدادات باستمرار، وهو عامل بالغ الأهمية للاستقرار في العالم الحقيقي.
كما استكشف الفريق طول هذا التاريخ. فقد اختبروا النظر إلى الوراء لخطوة واحدة، أو اثنتين، أو أربع، أو ثمانٍ، أو ست عشرة خطوة. واكتشفوا أن امتلاك ذاكرة أكبر ليس أفضل دائمًا. فبينما وفرت الخطوات الأربع ميزة واضحة، فإن النظر إلى الوراء لثماني أو ست عشرة خطوة لم يستمر في تحسين الأداء، بل جعل النظام أكثر تعقيدًا وأبطأ في المعالجة. وهذا يشير إلى وجود "نقطة مثالية" حيث تساعد الذاكن البسيطة النظام على فهم تدفق الحركة دون إثقاله ببيانات غير ضرورية. وقد صحت هذه النتائج حتى عندما أدخل الباحثون متغيرات عشوائية لمحاكاة الطبيعة غير المتوقعة للموجات الراديوية، حيث أظهر نهج التاريخ القصير فوائد في معظم سيناريوهات الاختبار.
في نهاية المطاف، يوضح هذا العمل أنه بالنسبة للأنظمة التي تتحكم في الأسطح الذكية في عالم متنقل، يمكن تحسين "المتحكم ذي التغذية الأمامية" (feed-forward controller) — وهو المتحكم الذي لا يمتلك حالة ذاكرة داخلية معقدة — ببساطة عن طريق تغذيته بتسلسل قصير من الملاحظات الأخيرة. وتؤكد الدراسة أن هذه الطريقة هي وسيلة عملية ومدمجة لتعزيز الأداء دون الحاجة إلى تغيير شامل في بنية التحكم. وبينما تظل الطريقة الهندسية البسيطة التي تحسب الزوايا مباشرة هي المتفوقة من حيث السرعة الخام في هذه المحاكاة، فإن نهج التاريخ القصير يقدم بديلًا قويًا يعتمد على البيانات ويتكيف جيدًا مع الظروف المتغيرة. وتوفر هذه النتائج مخططًا واضحًا للمهندسين المصممين للجيل القادم من الشبكات اللاسلكية، موضحين أن قدرًا متواضعًا من السياق التاريخي يمكن أن يجعل السطح الذكي أكثر ذكاءً.
ملخص تقني: التحكم الكمي في طور الـ IRS تحت الملاحظة المحدودة باستخدام تكديس حالة التاريخ القصير
صياغة المشكلة تتناول هذه الورقة التحكم في الأسطح العاكسة الذكية (IRS) ذات الدقة المحدودة في بيئات لاسلكية متنقلة، حيث يعمل المتحكم تحت ظروف الملاحظة المحدودة. في السيناريو المعتبر، يتحرك المستخدمون عبر مسارات مستوية، لكن المتحكم لا يملك الوصول إلى تفكيك لحظي كامل للقنوات المباشرة والمتسلسلة قبل كل تحديث للطور. بدلاً من ذلك، يتلقى المتحكم متجه ملاحظة مدمج يتكون من:
الهندسة الحالية للمستخدم (المواقع).
حالة نشاط المستخدم (قناع المستخدم النشط).
التكوين المطبق سابقاً للـ IRS.
التغذية الراجعة الإجمالية للرابط (متوسط الكفاءة الطيفية، متوسط SINR، ومقدار القناة الفعال).
يكمن التحدي الجوهري في أن الملاحظة الواحدة عند الزمن t قد تسبب تداخلاً (aliasing) لحالات زمنية مختلفة جوهرياً (مثل اتجاهات حركة مختلفة أو ظروف رابط في المستقبل القريب). تبحث الورقة فيما إذا كان توفير تكديس حالة التاريخ القصير (سلسلة من الملاحظات الأخيرة) بشكل صريح لتغذية متحكمات التعلم التعزيزي العميق (DRL) ذات التغذية الأمامية (feed-forward) يمكن أن يحسن الأداء في هذا الإعداد القابل للملاحظة جزئياً، دون تغيير بنية المتحكم الأساسية (مثل إضافة طبقات متكررة) أو واجهة الإجراء المكممة.
المنهجية تستخدم الدراسة إطار عمل مقارن مضبوط يتضمن ست طرق يتم تقييمها بموجب نموذج تغذية راجعة لتخليق المسار حتمي وتوسيع قناة ريسيان (Rician) عشوائية مساعدة.
نموذج النظام: يتكون البيئة من محطة قاعدة (BS) متعددة الهوائيات، وIRS سلبية ذات دقة محدودة، ومستخدمين متنقلين. فضاء إجراءات الـ IRS هو متعدد المتغيرات المنفصلة (multi-discrete)، حيث يختار كل عنصر من العناصر L طوراً من أبجدية مكممة بحجم Mϕ.
عائلات المتحكمات: تقارن الدراسة أربع متغيرات من شبكات Q العميقة (DQN) مقابل قاعدتين غير تعلميتين:
القواعد المرجعية (Baselines): عشوائي ثابت (غير متكيف) وخوارزمية هندسية استدلالية (تبني الأطوار مباشرة من الهندسة المسارية الحالية).
المتحكمات المتعلمة:
DDQN & D3QN: شبكات Q المزدوجة والسابقة (Double Q-Networks) القياسية والمزدوجة (Dueling) باستخدام ملاحظة خطوة واحدة (H=1).
SEQ-DDQN & SEQ-D3QN: نفس بنيات الشبكة ولكن باستخدام تكديس حالة التاريخ القصير بسعة H=4 من الملاحظات المتتالية كمدخلات.
تمثيل المدخلات: تستبدل متغيرات المدخلات المكدسة متجه الملاحظة الفردي st بمتجه مدمج s~t(H)=[st;st−1;…;st−H+1]. يزيد هذا من أبعاد المدخلات خطياً ولكنه يحافظ على بنية الشبكة ذات التغذية الأمامية.
بروتوكول التدريب: تشترك جميع المتحكمات المتعلمة في بروتوكول تدريب موحد يتضمن إعادة تجربة الخبرة (experience replay)، وأهداف الـ double-Q، ومزامنة شبكة الهدف الصلبة. تتضمن دالة المكافأة الكفاءة الطيفية (SE) مع عقوبة على إعادة تكوين تغيير الطور.
المساهمات الرئيسية تقدم الورقة المساهمات المحددة التالية:
الصياغة القائمة على المسار: تضع صياغة مستوية للتحكم في IRS ذات الدقة المحدودة مع مستخدمين متنقلين، وتحدد واجهة ملاحظة مدمجة للمتحكم تستبعد معلومات CSI اللحظية وتتضمن الهندسة والتغذية الراجعة الإجمالية.
عزل تأثيرات المدخلات الزمنية: من خلال إنشاء تكديس التاريخ القصير في كل من DDQN وD3QR مع تثبيت واجهة الإجراء وعائلة الشبكة، تعزل الدراسة مكاسب الأداء المنسوبة حصرياً لتمثيل المدخلات الزمنية الصريح، بعيداً عن التغييرات البنيوية المتكررة أو القائمة على الانتباه (attention).
مقارنة مضبوطة لست طرق: تقدم مقارنة صارمة بين المتحكمات غير المتكيفة، والهندسية، والقائمة على التغذية الراجعة للقيم، مع التمييز بين المكاسب الناتجة عن المدخلات الزمنية وبين القدرات الجوهرية للتعلم القائم على القيمة مقابل البناء الهندسي.
توصيف المقايضة: تحلل الورقة التوازن بين نطاق الملاحظة، الكفاءة الطيفية، سلوك المكافأة، أبعاد المدخلات، وتكال التخزين في الذاكرة المخبئية عبر أطوال تسلسل مختلفة وملفات قنوات مختلفة.
النتائج في التكوين المرجعي (4 مستخدمين، شبكة IRS بمقاس 5x5، و4 مستويات طور):
مكاسب الأداء: أدى تكديس التاريخ القصير (H=4) إلى تحسين الكفاءة الطيفية (SE) للنافذة المتأخرة بنسبة تقارب 6.9% لزوج DDQN/SEQ-DDQN و1.7% لزوج D3QN/SEQ-D3QN مقارنة بنظائرهم ذات الخطوة الواحدة.
المقارنة مع المرجع: حققت الخوارزمية الهندسية الاستدلالية أعلى كفاءة طيفية نهائية ومتأخرة بين جميع الطرق في الإعداد الحتمي. ومع ذلك، حققت المتحكمات المتعلمة مكافآت منظمة أعلى بسبب انخفاض عقوبات تغيير الطور.
الحساسية لطول التسلسل: كانت العلاقة بين طول التاريخ والأداء غير رتيبة. بينما وفر H=4 مكاسب، فإن زيادة التاريخ إلى H=8 أو H=16 لم تؤدِ باستمرار إلى تحسين SE وزادت من أبعاد المدخلات وتكاليف التخزين خطياً.
المتانة: في توسعة قناة ريسيان المساعدة (5 تدفقات تلاشي متميزة)، حقلت جميع متغيرات المدخلات المكدسة فروقاً إيجابية في SE في أربعة من أصل خمسة تدفقات، وإن كان مقدار التحسن يختلف باختلاف عدد المستخدمين وحجم الـ IRS.
الأهمية والادعاءات تدعي الورقة أن تكديس حالة التاريخ القصير يعمل كقاعدة أساسية مدمجة وفعالة لتعزيز متحكمات DRL ذات التغذية الأمامية في التحكم بـ IRS تحت الملاحظة المحدودة. وتثبت النتائج أن:
التكديس الصريح للملاحظات الأخيرة يمكن أن يقوي تمثيل المدخلات الزمنية دون الحاجة إلى تعقيدات الشبكات العصبية المتكررة (RNNs) أو آليات الانتباه.
فائدة الأداء قابلة للقياس ولكنها تعتمد على التكوين؛ فهي ليست تحسناً عالمياً عبر جميع أعداد المستخدمين، أو أحجام الـ IRS، أو أطوال التسلسل.
يمثل التكوين المقترح H=4 "نقطة تشغيل مدمجة" توازن بين مكاسب الأداء وتكاليف الأبعاد والتخزين المرتفعة.
يؤكد المؤلفون أن الخوارزمية الهندسية الاستدلالية تعمل كمعيار هيكلي مدرك للموقع وليس كحد نظري أعلى، وأن المكاسب الملحوظة تسلط الضال على قيمة السياق الزمني في التحكم القائم على التغذية الراجعة عندما لا تتوفر معلومات CSI اللحظية. وتشمل الأعمال المستقبلية المقترحة عزل مكونات تاريخية محددة ومقارنة التكديس الصريح مقابل المشفرات الزمنية المتعلمة تحت نماذج قنوات أكثر ثراءً.