⚡ electrical engineering

Safe Deep Reinforcement Learning for Building Heating Control and Demand-side Flexibility

تقترح هذه الورقة إطار عمل للتعلم التعزيزي العميق الآمن باستخدام خوارزمية تدرج السياسة الحتمية العميقة ومرشح سلامة تكيفي في الوقت الفعلي لتحسين التحكم في تدفئة المباني، مما يحقق وفراً كبيراً في الطاقة والتكلفة مع ضمان الامتثال الصارم لطلبات المرونة من جانب الطلب والحفاظ على راحة الشاغلين.

المؤلفون الأصليون: Colin Jüni, Mina Montazeri, Yi Guo, Federica Bellizio, Giovanni Sansavini, Philipp Heer

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Colin Jüni, Mina Montazeri, Yi Guo, Federica Bellizio, Giovanni Sansavini, Philipp Heer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن نظام التدفئة في منزلك يشبه طباخاً يطهو وجبة معقدة لعائلة. مهمة الطباخ هي الحفاظ على الطعام (درجة حرارة الغرفة) دافئاً بشكل مثالي، ولكن عليه أيضاً التعامل مع أمرين صعبين:

سعر المكونات: أحياناً تكون الكهرباء رخيصة (مثل شراء الخضروات أثناء التخفيضات)، وأحياناً تكون غالية (مثل شراء الكمأة).
الطلب الخاص: قد يتصل "مدير المطعم" (شبكة الكهرباء) ويقول: "مهلاً، نحتاج منك أن تطبخ أقل في الساعتين القادمتين لأن لدينا الكثير من الطاقة الشمسية الآن"، أو "اطبخ أكثر قليلاً لأننا نحتاج إلى طاقة".

المشكلة: الطباخ القديم مقابل الطباخ الجديد

الطريقة القديمة (التحكم القائم على القواعد):
تخيل نظام التدفئة القديم كطباخ يتبع قاعدة بسيطة فقط: "إذا كان الحساء بارداً، أشعل الموقد. إذا كان ساخناً، أطفئه."

المزايا: إنها بسيطة.
العيوب: هو لا يهتم إذا كانت الكهرباء غالية في هذه اللحظة. هو لا يستمع إلى "مدير المطعم". إنه فقط يحافظ على دفء الحساء، مما يهدر المال ويضيع فرصاً لمساعدة الشبكة.

الطريقة الجديدة (التعلم التعزيزي العميق - DRL):
الآن، تخيل طباخاً ذكياً جداً يعمل بالذكاء الاصطناائي. هذا الطباخ يتعلم من خلال التجربة والخطأ. هو يتذوق الحساء، ويتحقق من سعر المكونات، ويتعلم أنه "إذا سخنت الحساء قليلاً عندما يكون السعر منخفضاً، يمكنني إطفاء الموقد لاحقاً عندما يكون السعر مرتفعاً".

المزايا: يوفر الكثير من المال ويبقي الحساء في درجة الحرارة المثالية.
العيوب: نظرًا لأنه يتعلم من خلال التجربة، فقد يصبح جشعاً للغاية. قد يحاول توفير المال عن طريق إطفاء الموقد في وقت مبكر جداً، مما يجعل الحساء بارداً (مما يسبب عدم الراحة للعائلة). أو قد يتجاهل "الطلب الخاص من مدير المطعم"، مما قد يسبب مشاكل لشبكة الكهرباء بأكملها.

الحل: "فلتر الأمان"

هنا تأتي الفكرة الكبيرة للورقة البحثية. لقد بنى المؤلفون فلتر أمان (Safety Filter)، والذي يعمل مثل مساعد طباخ صارم ولكن متعاون يقف بجانب طباخ الذكاء الاصطناعي مباشرة.

إليك كيف يعمل مساعد الطباخ:

طباخ الذكاء الاصطناعي يضع خطة: "سأقوم بخفض حرارة الموقد لتوفير المال!"
مساعد الطباخ يتحقق من القواعد: "انتظر! لقد طلب منا 'مدير المطعم' للتو تقليل الطبخ بنسبة 30% للساعة القادمة. إذا خفضت الحرارة بهذا القدر، فلن نفي بالطلب."
التعديل: يقول مساعد الطباخ: "حسناً، يمكنك خفض الحرارة، ولكن بهذا القدر فقط. ليس أكثر."
النتيجة: لا يزال طباخ الذكاء الاصطناعي ذكياً ويوفر المال، لكن الإجراء النهائي مضمون الأمان ويتبع القواعد.

لماذا هذا الأمر مميز؟

معظم أنظمة الأمان في الماضي كانت مثل كتيبات قواعد جامدة تتطلب خريطة مثالية لفيزياء المبنى (مثل معرفة مقدار الحرارة التي تحتفظ بها الجدران بدقة). إذا كان المبنى قديماً أو غريباً، فإن الخريطة ستكون خاطئة، وسيفشل النظام.

هذا الفلتر الجديد للأمان هو نظام تكيفي. فهو لا يحتاج إلى خريطة مثالية. إنه ينظر إلى الوضع الحالي في الوقت الفعلي:

"هل الغرفة تصبح باردة جداً؟" -> يخفف القواعد قليلاً ليسمح للذكاء الاصطناعي بالتسخين.
"هل الكهرباء رخيصة جداً؟" -> يسمح للذكاء الاصطناعي باستخدام المزيد من الطاقة لتوفير المال لاحقاً.
"هل يطلب 'المدير' خفضاً كبيراً؟" -> يشدد القواعد فوراً.

النتائج: طباخ سعيد، عائلة سعيدة، وشبكة سعيدة

اختبر المؤلفون هذا في مبنى سكني حقيقي (مختبر حي) في سويسرا. وإليك ما حدث:

مقارنة بالطباخ القديم: وفر النظام الجديد حوالي 50% من فواتير الطاقة. هذا يشبه خفض فاتورة البقالة إلى النصف!
مقارنة بطباخ الذكاء الاصطناعي بدون مساعد: كان الطباخ وحده رائعاً في توفير المال، ولكنه أحياناً كان يكسر قواعد "المدير". مع وجود "فلتر الأمان"، اتبع القواعد بنسبة 100% من الوقت دون أن يفقد الكثير من سحره في توفير المال.
الراحة: ظلت العائلة دافئة. العيب الوحيد كان زيادة طفيفة في اللحظات التي تكون فيها الغرفة أبرد قليلاً من الدرجة المثالية، لكنها كانت مقايضة عادلة مقابل التوفير الهائل واستقرار الشبكة.

الصورة الكبيرة

تخيل شبكة الكهرباء كطريق سريع مزدحم.

الطاقة المتجددة (الرياح/الشمس) تشبه تدفقاً مفاجئاً للسيارات.
المباني تشبه السيارات التي يمكنها التسريع أو التباطؤ.
فلتر الأمان هو شرطي المرور الذي يخبر سائق الذكاء الاصطناعي (المبنى) متى يبطئ أو يسرع بالضبط حتى لا يصطدم أحد، مع السماح له في الوقت نفسه باتخاذ المسار الأكثر كفاءة.

تثبت هذه الورقة البحثية أنه يمكننا الحصول على مباني ذكية ذاتية التعلم توفر لنا المال وتساعد الكوكب، طالما أننا نمنحها شبكة أمان للتأكد من أنها لن تخرج عن المسار الصحيح.

ملخص تقني لورقة بحثية بعنوان: "التعلم العميق المعزز الآمن للتحكم في تدفئة المباني ومرونة جانب الطلب"

1. بيان المشكلة

يمثل قطاع المباني حوالي 40% من استهلاك الطاقة العالمي وجزءاً كبيراً من انبعاثات ثاني أكسيد الكربون. ومع دمج مصادر الطاقة المتجددة (RES) المتقطعة بشكل متزايد في الشبكة الكهربائية، تبرز حاجة ملحة لـ مرونة جانب الطلب (DSF)، حيث تقوم المباني بتعديل استهلاكها للطاقة لدعم استقرار الشبكة.

ومع ذلك، فإن التحكم في أنظمة التدفئة والتهوية وتكييف الهواء (HVAC) في المباني لتوفير هذه المرونة يواجه ثلاثة تحديات رئيسية:

السلامة والقيود: تتسم وكلاء التعلم المعزز (RL) القياسية بالاستكشاف، وقد تنتهك قيوداً حرجة، مثل الراحة الحرارية للساكنين أو أهداف خفض الطاقة المحددة التي يطلبها مشغلو الشبكة.
الاعتماد على النماذج: يتطلب التحكم التنبئي بالنماذج (MPC) التقليدي نماذج فيزيائية دقيقة للمبنى، والتي يصعب الحصول عليها وتوسيع نطاقها عبر أنواع المباني المتنوعة.
التكيف في الوقت الفعلي: تعتمد الحلول الحالية غالباً على قواعد ثابتة أو تحديد أنظمة معقد، مما يحد من قدرتها على التكيف ديناميكياً مع أسعار الكهرباء المتقلبة وطلبات المرونة في الوقت الفعلي.

تتمثل المشكلة الجوهرية في تصميم إطار تحكم يحسن التدفئة من حيث التكلفة والراحة مع ضمان الامتثال الصارم لقيود المرونة الخارجية (مثل تقليل استخدام الطاقة بنسبة محددة خلال نافذة زمنية معينة) دون الاعتماد على نماذج فيزيائية محددة مسبقاً.

2. المنهجية

يقترح المؤلفون إطار عمل لـ التعلم العميق المعزز الآمن (SRL) يتكون من ثلاثة مكونات رئيسية:

أ. متحكم التعلم العميق المعزز (DDPG)

الخوارزمية: يستخدم المتحكم الأساسي خوارزمية التدرج المتدرج لسياسة التحديد العميق (DDPG)، وهي مناسبة لمساحات العمل المستمرة (مستويات فتح الصمام).
فضاء الحالة ( $S_t$ ): يشمل الإشعاع الشمسي، درجة الحرارة المحيطة، درجة حرارة الغرفة، درجة حرارة الغرفة المجاورة، الميزات الزمنية، سعر الكهرباء، توقيت نافذة المرونة، واستهلاك الطاقة التراكمي.
الإجراء: مستوى فتح الصمام المستمر ( $u_t$ ) للمضخة الحرارية.
دالة المكافأة: مجموع مرجح مصمم للموازنة بين ثلاثة أهداف:
- الراحة الحرارية (مع فرض عقوبة على الانحرافات عن $23.5^\circ\text{C} - 25^\circ\text{C}$ ).
- تكلفة الكهرباء (تقليل $u_t \times \text{price}$ ).
- الامتثال للمرونة (فرض عقوبة على الانحرافات عن ميزانية الطاقة المطلوبة).
النموذج الحراري: تستخدم البيئة شبكة عصبية متسقة فيزيائياً (PCNN). هذا النموذج الهجين يجمع بين نموذج فيزيائي خطي وشبكة عصبية غير خطية لالتقاط الديناميكيات غير القسرية، مما يضمن دقة التنبؤ بدرجة الحرارة دون الحاجة إلى نموذج كامل قائم على المبادئ الأولى.

ب. مرشح السلامة التكيفي في الوقت الفعلي (RASF)
لمعالجة قيود السلامة في التعلم المعزز العميق القياسي، تم تقديم مرشح سلامة خالٍ من النماذج ويعمل في الوقت الفعلي. يعمل هذا المرشح كوسيط بين وكيل التعلم المعزز العميق وبيئة المبنى.

الوظيفة: يأخذ الإجراء المقترح ( $u_t$ ) من وكيل التعلم المعزز ويعدله إلى إجراء آمن ( $u_{safe,t}$ ) لضمان عدم تجاوز استهلاك الطاقة التراكمي ضمن نافذة المرونة لطلب المشغل.
الآلية:
1. حساب الخط المرجعي: يحسب متوسط الإجراء الآمن المتبقي ( $u_{1,t}$ ) المطلوب لتلبية ميزانية الطاقة خلال الوقت المتبقي.
2. التسامح الديناميكي ( $\tau_t$ ): يحسب عامل التسامح بناءً على مؤشرين معيارين:
  - المرونة الحرارية: مدى قرب درجة حرارة الغرفة من حدود الراحة (تسامح أعلى إذا كانت الغرفة بعيدة عن الحدود).
  - تفضيل السعر: مدى انخفاض سعر الكهرباء (تسامح أعلى إذا كانت الأسعار منخفضة).
3. تعديل الإجراء: يحدد المرشح حدوداً عليا ودنيا لفتح الصمام بناءً على $u_{1,t}$ $u_{1, t}$ و $\tau_t$ $τ_{t}$ .
  - إذا كان يجب تقليل الطاقة: $u_{safe,t} = \min(u_t, u_{maximal,t})$ .
  - إذا كان يجب زيادة الطاقة: $u_{safe,t} = \max(u_t, u_{minimal,t})$ .

ج. بيئة المحاكاة
تم اختبار النظام باستخدام بيانات تاريخية من وحدة شقة UMAR في مبنى NEST (إمبا، سويسرا). تغطي المحاكاة فترة شهر واحد بدقة 15 دقيقة، مع مقارنة الطريقة المقترحة بالتحكم القائم على القواعد (RBC) والتعلم المعزز العميق (DRL) القياسي.

3. المساهمات الرئيسية

مرشح سلامة تكيفي خالٍ من النماذج: مرشح RASF مبتكر لا يتطلب أي تحديد مسبق للنظام أو نمذجة فيزيائية. فهو يعدل إجراءات التحكم ديناميكياً في الوقت الفعلي بناءً على درجة حرارة الغرفة وأسعار الكهرباء لضمان الامتثال لطلبات المرونة.
إطار عمل متكامل للتعلم المعزز العميق الآمن: الدمج الناجح لمرشح السلامة في بنية تحكم قائمة على DDPG، مما يسمح للوكيل بتعلم السياسات المثلى مع الالتزام الصارم بقيود الشبكة الخارجية.
التحقق من الواقع: محاكاة قريبة من الواقع باستخدام بيانات من مبنى مختبر حي، مما يثبت قدرة المتحكم على تحسين استخدام الطاقة، والحفاظ على الراحة الحرارية، وتقديم خدمات المرونة في آن واحد.

4. النتائج

قارنت الدراسة أربعة سيناريوهات:

الأساس (Baseline): التحكم القائم على القواعد (التباطؤ/Hysteresis).
DRL (بدون مرونة): يحسن التكلفة/الراحة ولكنه يتجاهل طلبات المرونة.
DRL (مع مرونة): يحسن المرونة ولكنه يفتقر إلى مرشح السلامة (خطر الانتهاك).
DRL + RASF: الطريقة المقترحة.

النتائج الرئيسية (محاكاة لمدة شهر واحد):

كفاءة التكلفة: حقق نهج DRL + RASF خفضاً في التكاليف بنسبة 64.5% مقارنة بالأساس القائم على القواعد (19.42 مقابل 40.75 فرنك سويسري).
توفير الطاقة: قلل استهلاك الطاقة بنسبة تقارب 50% مقارنة بالأساس (69.02 كيلوواط ساعة مقابل 134.62 كيلوواط ساعة).
الامتثال للمرونة: على عكس DRL القياسي (الحالة 3)، الذي فشل في تلبية بعض طلبات المرونة، ضمن RASF امتثالاً بنسبة 100% لقيود المشغل.
مقايضة الراحة: رغم أن فرض المرونة أدى قليلاً إلى زيادة انتهاكات الراحة (من 75.62 Kh في "بدون مرونة" إلى 103.56 Kh في "المرونة + RASF")، إلا أن النظام لا يزال يتفوق بشكل كبير على الأساس (97.12 Kh) في الاستقرار الحراري العام والتكلفة.
الأداء مقابل الأساس: خفض المتحكم المقترح التكاليف بنسبة 64.5% وحسن مقاييس الراحة الحرارية بنسبة 45.5% مقارنة بالمتحكم القائم على القواعد.

5. الأهمية

تعالج هذه الورقة فجوة حرجة في أبحاث الشبكة الذكية: غياب السلامة المضمونة في التحكم في المباني القائم على البيانات.

استقرار الشبكة: من خلال ضمان التزام المباني الصارم بطلبات المرونة، تسمح هذه الطريقة للمباني بالعمل كجهات مشاركة موثوقة ونشطة في موازنة الشبكة وإدارة الازدحام.
القابلية للتوسع: الطبيعة الخالية من النماذج لهذا النهج (الاعتماد على PCNNs والبيانات بدلاً من المعادلات الفيزيائية المعقدة) تجعله قابلاً للتوسع بشكل كبير عبر أنواع المباني المختلفة حيث لا تتوفر نماذج فيزيائية دقيقة.
الجدوى الاقتصادية: تثبت النتائج أن قيود السلامة الصارمة لا تمنع الفوائد الاقتصادية؛ حيث يحقق النظام وفورات هائلة في التكاليف مع تلبية احتياجات مشغلي الشبكة.
التأثير المستقبلي: يوفر إطار العمل مخططاً لنشر الذكاء الاصطناعي في البنية التحتية الحرجة حيث تكون انتهاكات السلامة (مثل عدم الراحة أو عدم استقرار الشبكة) غير مقبولة، مما يمهد الطريق لأنظمة طاقة لامركزية ومرنة.