🤖 machine learning

A Unified Python Framework for Direct PPO-based Control of AHUs with Economizer Logic and CO2-Constrained Ventilation

تقدم هذه الورقة إطار عمل موحد بلغة بايثون يستخدم خوارزمية تحسين السياسة القريبة (PPO) للتحكم في وحدات مناولة الهواء مع منطق مدمج للموفر (economizer) وآلية تدفق هرمية تتجاوز إجراءات الوكيل للحفاظ على مستويات ثاني أكسيد الكربون دون 1000 جزء في المليون، مما يظهر استقراراً فائقاً في درجة الحرارة وكفاءة في استهلاك الطاقة مقارنة بمتحكمات PID ومتحكمات التشغيل/الإيقاف التقليدية.

المؤلفون الأصليون: Erfan Haghighat Damavandi, Davide Papurello, Mahdi Alibeigi, Armin Keshavarz, Simone Canevarolo, Marco Condo

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Erfan Haghighat Damavandi, Davide Papurello, Mahdi Alibeigi, Armin Keshavarz, Simone Canevarolo, Marco Condo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مبنى مكاتب ضخم كأنه منزل عملاق حي يحتاج إلى التنفس، والبقاء بارداً، والحفاظ على راحة ساكنيه. الورقة البحثية التي تقرأها تدور حول تعليم هذا "المنزل" كيفية إدارة نظام تكييف الهواء الخاص به (المسمى AHU) باستخدام عقل حاسوبي ذكي يتعلم ذاتياً، بدلاً من منظم حرارة (ترموستات) بسيط وغير ذكي.

إليك تفصيل نهجهم، باستخدام تشبيهات بسيطة:

المشكلة: منظم الحرارة "الغبي"

تستخدم معظم المباني حالياً نوعين من أجهزة التحكم:

مفتاح التشغيل/الإيقاف (On/Off): مثل مفتاح الضوء الذي يكون إما في وضع التشغيل الكامل أو الإيقاف التام. إذا ارتفعت حرارة الغرفة، يضخ المكيف بأقص القدرة حتى تبرد الغرفة، ثم ينطفئ تماماً. هذا يسبب تذبذباً حاداً في درجة حرارة الغرفة (مثل البندول)، مما يجعل الناس غير مرتاحين ويهدر الطاقة.
متحكم PID: نسخة أكثر ذكاءً قليلاً تحاول تقليل تلك التذبذبات، لكنه لا يزال يتبع قواعد جامدة ولا يتكيف جيداً مع التغييرات، مثل دخول حشد من الناس فجأة إلى الغرفة.

المشكلة هي أن المباني معقدة. درجة الحرارة تتغير، والرطوبة تتبدل، وعدد الأشخاص (الذين يزفرون ثاني أكسيد الكربون CO2) يتغير باستمرار. تجد أجهزة التحكم التقليدية صعوبة في الموازنة بين الراحة (ليس حاراً جداً ولا بارداً جداً)، وجودة الهواء (عدم وجود الكثير من ثاني أكسيد الكربون)، وتوفير الطاقة في آن واحد.

الحل: "الطالب المتعلم" (PPO)

ابتكر المؤلفون نظاماً جديداً باستخدام التعلم التعزيزي العميق (DRL)، وتحديداً خوارزمية تسمى PPO.

تخيل وكيل الـ PPO ليس كروبوت يتبع القواعد، بل كطالب يتعلم القيادة.

البيئة: يتم وضع الطالب في محاكاة لمبنى (توأم رقمي) يتضمن فيزياء مثل انتقال الحرارة وكيفية تراكم ثاني أكسيد الكربون عند تحدث الناس.
الهدف: مهمة الطالب الوحيدة هي الحفاظ على درجة حرارة الغرفة عند 22 درجة مئوية (71.6 فهرنهايت) مثالية.
المكافأة: في كل مرة تظل فيها درجة الحرارة قريبة من 22 درجة مئوية، يحصل الطالب على نقطة "عمل جيد". وفي كل مرة تنحرف فيها درجة الحرارة عن ذلك، يحصل على عقوبة "عمل سيء".
التعلم: من خلال التجربة والخطأ على مدار 300,000 دقيقة محاكاة، يتعلم الطالب بالضبط مقدار تشغيل أو إيقاف المروحة للحفاظ على درجة الحرارة مثالية، حتى عندما تتغير حالة الطقس في الخارج أو يدخل حشد من الناس.

الميزات الخاصة: "شبكة الأمان" و"الغداء المجاني"

قدمت الورقة البحثية خدعتين ذكيتين لجعل هذا الطالب أكثر ذكاءً:

1. منطق التدفق الهرمي (شبكة الأمان)
في سيناريو التعلم العادي، قد يحاول الطالب إطفاء المروحة تماماً لتوفير الطاقة، مما قد يؤدي إلى ارتفاع مستويات ثاني أكسيد الكربون وجعل الناس يمرضون.

الحل: بنى المؤلفون "شبكة أمان" داخل النظام. حتى لو حاول الطالب إطفاء المروحة، فإن شبكة الأمان ستتجاوز قراره إذا ارتفعت مستويات ثاني أكسيد الكربون (فوق 1000 جزء في المليون). فهي تحسب بالضبط مقدار الهواء النقي المطلوب للحفاظ على سلامة الهواء وتجبر المروحة على العمل بهذا القدر على الأقل. هذا يضمن عدم تحول المبنى إلى مكان "مكتوم الهواء"، بغض النظر عن محاولات الطالب لتوفير الطاقة.

2. الموفر الاقتصادي (الغداء المجاني)
أحياناً، يكون الهواء في الخارج أبرد وأكثر جفافاً من الهواء في الداخل.

الحل: يتحقق النظام من الهواء الخارجي. إذا كان "تبريداً مجانياً" (مثل نسيم بارد في يوم صيفي)، يقوم النظام بفتح النوافذ (أو الصمامات) على اتساعها للسماح لهذا الهواء المجاني بالدخول، بدلاً من استخدام الكهرباء لتشغيل ملفات التبريد الثقيلة. الأمر يشبه فتح نافذة في مساء بارد بدلاً من تشغيل المكيف.

النتائج: من فاز بالسباق؟

اختبر المؤلفون أربعة "سائقين" مختلفين في نفس المبنى على مدار 24 ساعة:

منظم الحرارة (On/Off): كانت درجة حرارة الغرفة تتأرجح صعوداً وهبوطاً مثل "اليويو". كما وصلت مستويات ثاني أكسيد الكربون أحياناً إلى مستويات خطيرة.
متحكم PID: تحكم أكثر سلاسة في درجة الحرارة، لكنه لا يزال يستهلك الكثير من الطاقة.
طالب PPO الأساسي: قام بعمل جيد في الحفاظ على استقرار درجة الحرارة، بشكل مشابه لـ PID.
طالب PPO الذكي (مع شبكة الأمان والغداء المجاني): كان هو الفائز.
- الراحة: حافظ على درجة حرارة ثابتة تماماً عند 22 درجة مئوية.
- جودة الهواء: حافظ على مستويات ثاني أكسيد الكربون تحت حد السلامة تماماً (حوالي 910 جزء في المليون) دون هدر الهواء.
- الطاقة: استهلك طاقة أقل بنسبة 6% تقريباً من أجهزة التحكم الأخرى. وقد فعل ذلك من خلال معرفة الوقت المناسب تماماً لجلب الهواء الخارجي المجاني ومتى يقلل تدفق الهواء عندما يكون المبنى فارغاً.

الخلاصة

تزعم الورقة البحثية أنه باستخدام إطار عمل موحد بلغة بايثون مع هذا "الطالب الذكي" (PPO) وقواعد السلامة المدمجة فيه، يمكن للمبنى أن يكون أكثر برودة، ويحتوي على هواء أكثر نقاءً، ويستخدم كهرباء أقل من الطرق التقليدية. لقد بنوا أداة محاكاة كاملة تثبت نجاح هذا الأمر، ويخططون لاختباره على مبنى حقيقي في الخطوة التالية.

ملخص تقني: إطار عمل موحد بلغة بايثون للتحكم المباشر في وحدات مناولة الهواء (AHUs) القائم على خوارزمية PPO

بيان المشكلة

تعد أنظمة التدفئة والتهوية وتكييف الهواء (HVAC) في المباني مسؤولة عن جزء كبير من استهلاك الطاقة العالمي (30-40% من استخدام الطاقة في المباني)، ومع ذلك، فإن الحفاظ على الأداء الأمثل يمثل تحدياً بسبب الخصائص غير الخطية لأغلفة المباني والتقلبات العشوائية في الأحمال. غالباً ما تفشل استراتيجيات التحكم التقليدية، مثل منظمات الحرارة (Thermostats) التي تعمل بنظام التشغيل/الإيقاف (On/Off) ومنظمات PID ذات نقطة الضبط الثابتة، في تحقيق التوازن بين الراحة الحرارية، وجودة الهواء الداخلي (IAQ)، وكفاءة الطاقة في آن واحد. وتحديداً، تفشل هذه الطرق التقليدية غالباً في تعديل معدلات التهوية ديناميكياً بناءً على الإشغال الفعلي ومستويات ثاني أكسيد الكربون (CO2) في الوقت الفعلي، مما يؤدي إما إلى هدر طاقة مفرط بسبب التهوية الزائدة أو مخاطر صحية بسبب سوء جودة الهواء الداخلي. علاوة على ذلك، فإن درسات التعلم المعزز العميق (DRL) الحالية غالباً ما تعامل جودة الهواء الداخلي كعقوبة لينة (Soft Penalty) بدلاً من كونها قيداً صارماً (Hard Constraint)، وتعتمد على أدوات محاكاة مشتركة معقدة تعيق التنفيذ، أو تفتقر إلى النماذج الفيزيائية المتكاملة (مثل الشبكات الحرارية ومعادلات توازن الكتلة) ضمن بيئة موحدة بلغة بايثون.

المنهجية

يقترح المؤلفون إطار عمل موحداً بلغة بايثون ينفذ خوارزمية تحسين السياسة القريبة المباشرة (Direct PPO) للتحكم في وحدة مناولة الهواء (AHU). تعتمد المنهجية على المكونات التالية:

1. النمذجة الفيزيائية والرياضية

تستخدم بيئة المحاكاة نموذج شبكة حرارية 2R-2C مقترناً بمعادلات توازن الكتلة الديناميكية للرطوبة وثاني أكسيد الكربون.

الديناميكا الحرارية: تم نمذجتها باستخدام المقاومة الحرارية ( $R_{in}, R_{out}$ ) والسعة الحرارية ( $C_{wall}$ ) لمحاكاة السلوك الديناميكي الحراري العابر.
الرطوبة وثاني أكسيد الكربون: يقوم النظام بحساب الرطوبة الداخلية وتركيز ثاني أكسيد الكربون بناءً على معدلات توليد الشاغلين، وخصائص هواء التزويد، ومعدلات التهوية.
منطق الاقتصاد (Economizer Logic): تم دمج نظام اقتصاد يعتمد على المحتوى الحراري (Enthalpy) لتمكين "التبريد المجاني" عندما تكون الظروف الخارجية (درجة الحرارة والرطوبة) أفضل من الظروف الداخلية.

2. استراتيجيات التحكم المقارنة

تقيم الدراسة أربع استراتيجيات تحكم متميزة عبر محاكاة ديناميكية لمدة 24 ساعة:

منظم الحرارة (On/Off): منطق تبديل أساسي مع فرق ثابت (Hysteresis).
منظم PID: إشارة تحكم مستمرة تعدل سرعة المروحة بناءً على معاملات التناسب والتكامل والاشتقاق.
وكيل PPO القياسي: وكيل تعلم معزز مدرب لتنظيم درجة الحرارة مع نسبة هواء نقي ثابتة (50%).
وكيل PPO "الذكي" المقترح: وكيل متطور يتميز بـ منطق التدفق الهرمي (Hierarchical Flow Logic).

3. إطار عمل PPO المقترح

يكمن الابتكار الجوهري في منطق التدفق الهرمي وتصميم البيئة:

فضاء الحالة (State Space): يراقب الوكيل درجة الحرارة الداخلية الحالية ( $T_{air}$ ) والخطأ الحراري اللحظي ( $e(t)$ ).
فضاء العمل (Action Space): يخرج الوكيل إجراءً مستمراً للتحكم في معدل تدفق الهواء الإجمالي.

منطق التدفق الهرمي (تجاوز جودة الهواء الداخلي): هذه هي آلية السلامة الحرجة. تقوم البيئة بحساب الحد الأدنى لحجم الهواء النقي المطلوب لإبقاء مستويات ثاني أكسيد الكربون دون 1000 جزء في المليون بناءً على الإشغال في الوقت الفعلي. الإجراء النهائي هو الحد الأقصى بين تدفق الهواء الذي طلبه الوكيل والحد الأدنى للتدفق المطلوب لجودة الهواء الداقل. يضمن هذا عدم قدرة الوكيل على إغلاق التهوية لتوفير الطاقة إذا كان ذلك سيضر بجودة الهواء.

دالة المكافأة (Reward Function): يتم مكافأة الوكيل بناءً على مربع الخطأ السالب لانحراف درجة الحرارة عن نقطة الضبط 22 درجة مئوية ( $R = -|T_{air} - T_{set}|^2$ ).
التدريب: يتم تدريب الوكيل باستخدام مكتبة Stable Baselines3 على مدار 300,000 خطوة زمنية مع اضطرابات ساعية ديناميكية.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية في مجال التحكم في أنظمة HVAC:

بيئة Gym ذاتية الاحتواء: بيئة بايثون مخصصة تربط نموذج 2R-2C مع توازن ديناميكي لثاني أكسيد الكربون، مما يلغي الحاجة إلى أدوات المحاكاة المشتركة الخارجية.
قيود صارمة لجودة الهواء الداخلي (IAQ): على عكس العديد من دراسات التعلم المعزز التي تعامل جودة الهواء كعقوبة لينة، يفرض هذا الإطار جودة الهواء كقيد صارم عبر منطق التدفق الهرمي، مما يضمن عدم تجاوز مستويات ثاني أكسيد الكربون لحد الـ 1000 جزء في المليون للأمان.
التحسين المتكامل: نجح النظام في الموازنة بين الهدف الوحيد المتمثل في تنظيم درجة الحرارة والضرورة الفيزيائية للتهوية، مما يثبت أن وكيل التعلم المعزز يمكنه تعلم تحسين استخدام الطاقة دون التضحية بصحة السكان.

النتائج

تشير نتائج المحاكاة، التي تقارن الاستراتيجيات الأربع عبر فترة 24 ساعة مع ملفات تعريف ديناميكية للإشغال والطقس، إلى ما يلي:

الراحة الحرارية: تفوق كل من متحكمات PID وPPO بشكل كبير على منظم الحرارة (On/Off)، حيث قضيا على تذبذبات درجة الحرارة الكبيرة (نمط أسنان المنشار) المرتبطة بالتبديل الثنائي. حققت وكلاء PPO استقراراً مشابهاً لمتحكم PID.
جودة الهواء الداخلي (CO2):
- أدى منظم الحرارة (On/Off) إلى حدوث ارتفاعات متكررة في ثاني أكسيد الكربون تتجاوز 1300 جزء في المليون.
- حافظ متحكم PID على مستويات ثاني أكسيد الكربون حول 920 جزء في المليون ولكنه أظهر تجاوزات عرضية للحدود أثناء انخفاض الإشغال.
- أظهر الـ PPO الذكي مع منطق الاقتصاد (Economizer Logic) أعلى دقة، حيث حافظ على مستويات ثاني أكسيد الكربون أقل بصرامة من 910 جزء في المليون أثناء ذروة الطلب، وتتبع عتبة الـ 1000 جزء في المليون بدقة لمنع التهوية الزائدة.
كفاءة الطاقة:
- On/Off: 2776 كيلوواط ساعة
- PID: 2760 كيلوواط ساعة
- Standard PPO: 2762 كيلوواط ساعة
- Smart PPO (مع الاقتصاد/التحكم في التهوية حسب الطلب DCV): 2609 كيلوواط ساعة
  حقق استراتيجية Smart PPO حوالي 6% من توفير الطاقة مقارنة بنماذج PID وOn/Off، مع تحقيق أدنى مستويات لثاني أكسيد الكربون في الوقت نفسه.

الأهمية والادعاءات

تدعي الورقة أن هذا البحث يعالج فجوات كبيرة في أدبيات التحكم في HVAC من خلال توفير حل قوي ومعمم وسهل التنفيذ يعتمد على بايثون. تكمن أهمية العمل في جانبين:

التنفيذ العملي: من خلال دمج النماذج الفيزيائية (2R-2C، توازن الكتلة) مباشرة في بيئة من نوع Gym، يوفر إطار العمل مساراً لحلول "من الطرف إلى الطرف" (end-to-end) يمكن نقلها بسهولة أكبر إلى تطبيقات الأجهزة الحقيقية مقارنة بنهج المحاكاة المشتركة المعقدة.
السلامة والكفاءة: أثبت منطق التدفق الهرمي أن وكلاء التعلم المعزز يمكن تقييدهم لإعطاء الأولوية للسلامة (جودة الهواء الداخلي) دون المساس بقدرتهم على تعلم سياسات الطاقة المثلى. وتظهر الدراسة أن التهوية الديناميكية التي يتم التحكم فيها حسب الطلب والموجهة بالتعلم المعزز يمكن أن تقلل من استهلاك الطاقة مع الالتزام الصارم بمعايير الصحة، مما يقدم بديلاً قابلاً للتطبيق للأنظمة التقليدية القائمة على القواعد أو رد الفعل.

يخلص المؤلفون إلى أنه بينما يعد العمل الحالي عبارة عن محاكاة، فإن إطار العمل مصمم ليتم نشره على وحدات مناولة الهواء (AHUs) الحقيقية، مع التخطيط لأعمال مستقبلية للتحقق من هذه النتائج باستخدام بيانات مبانٍ حقيقية ونشر الأجهزة في العالم الواقعي.