Learning to Modulate, Not to Cycle: Soft Actor---Critic Recovers Inverter-Style Heat-Pump Control
تُثبت هذه الورقة أن إضافة عقوبة تآكل الضاغط إلى دالة المكافأة تمكّن خوارزمية "ساتش" (Soft Actor-Critic) من تعلم سياسة تعديل مستمرة تقضي على دورات التشغيل والإيقاف الضارة وتقلل بشكل كبير من عدم الارتياح الحراري، في حين تفشل خوارزمية "بي بي أو" (Proximal Policy Optimisation) في القيام بذلك وتعود إلى التحكم بنظام التشغيل والإيقاف المتقطع غير الفعال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
فن الطنين الهادئ مقابل النقرة العالية
تخيل أنك تحاول الحفاظ على درجة حرارة الغرفة مثالية. لديك سخان يمكنه إما العمل بكامل طاقته أو التوقف تمامًا عن العمل. هكذا تعمل معظم السخانات المنزلية القياسية: إنها تشبه مفتاح الضوء. عندما يبرد الجو، تضغط بقوة على المفتاح إلى وضع "التشغيل"، وتضخ الحرارة، ثم تضغط بقوة على وضع "الإيقاف" عندما يصبح الجو دافئًا جدًا. هذه النقرات المستمرة للتشغيل والإيقاف تسمى "الدورات" (cycling). ورغم أنها تنجز المهمة، إلا أنها ترهق الآلة. ففي كل مرة يبدأ فيها السخان بالعمل، يمر بمرحلة "انتقالية" مرهقة حيث تتحرك الأجزف، وتتحرك الزيوت، ويتعادل الضغط. افعل هذا آلاف المرات، وستتآكل الآلة بشكل أسرع، تمامًا مثل محرك السيارة الذي يتم تشغيله وإيقافه باستمرار.
لحل هذه المشكلة، اخترع المهندسون سخانات "الإنفرتر" (inverter). فبدلاً من مفتاح الضوء، تستخدم هذه السخانات ما يشبه "المُخفت" (dimmer). يمكنها العمل بقدرة 10%، أو 50%، أو 90%، وتعدل قدرتها بسلاسة لتناسب احتياجات الغرفة دون أن تتوقف تمامًا عن العمل. هذا يحافظ على عمل الآلة بسلاسة ويجعل عمرها الافتراضي أطول بكثير. الآن، تخيل تعليم كمبيوتر كيفية التحكم في هذه السخانات. نحن نستخدم طريقة تسمى "التعلم التعزيزي" (Reinforcement Learning)، وهي تشبه تدريب كلب باستخدام المكافآت. يحاول الكمبيوتر القيام بأفعال مختلفة، وإذا حافظ على راحة الغرفة مع توفير المال، فإنه يحصل على "مكافأة" (treat). السؤال الكبير الذي طرحه الباحثون هو: هل يمكننا تعليم الكمبيوتر أن أسلوب التحكم بـ "المُخفت" أفضل من أسلوب "مفتاح الضوء"، دون أن نبرمجه صراحةً على ذلك؟
اكتشاف الورقة البحثية: تعليم الخوارزمية كيف تكون سلسة
في هذه الدراسة، سعى باحثون من جامعة كوفنتري لمعرفة ما إذا كانت أنواع مختلفة من "الكلاب" الذكية (الخوارزميات) يمكنها تعلم التحكم في مضخة حرارية بطريقة توفر على الآلة عناء التآكل والاهتراء. لم يكتفوا بإخبار الذكاء الاصطناعي بتوفير المال أو الحفاظ على دفء الغرفة فحسب؛ بل أضافوا قاعدة جديدة إلى اللعبة. لقد منحوا الذكاء الاصطناعي "تكلفة تآكل" (wear cost) لكل مرة يعمل فيها السخان. فكر في الأمر كأنه لعبة فيديو تفقد فيها نقاطًا في كل مرة تقفز فيها شخصيتك، مما يجبرها على إيجاد طريقة للانزلاق بدلاً من القفز.
اختبر الباحثون طريقتين مختلفتين لتدريب الذكاء الاصطناعي على محاكاة مضخة حرارية. الطريقة الأولى، المسماة PPO، تصرفت كلاعب فيديو محموم. على الرغم من إخبارها بأن التشغيل مكلف، إلا أنها اكتشفت أن أرخص طريقة للبقاء دافئًا هي ضخ الحرارة بنسبة 100% ثم إيقافها تمامًا، وتكرار هذه الدورة مرارًا وتكرارًا. في الواقع، انتهى الأمر بهذا الذكاء الاصطناعي بالدوران (التبديل) أكثر من السخان القياسي غير المدرب، مما تسبب في مزيد من التآكل والاهتراء. لقد تعلم أن يكون متحكمًا بنمط "الضرب والتشغيل" (bang-bang)—أي الضغط بقوة على المفتاح للتشغيل والإيقاف.
أما الطريقة الثانية، المسماة SAC (Soft Actor-Critic)، فقد تعلمت شيئًا مختلفًا تمامًا. فبدلاً من الضغط بقوة على المفتاح، اكتشفت استراتيجية "التعديل المستمر". لقد تعلمت الحفاظ على عمل السخان بنغمة منخفضة وثابتة، وتعديل القدرة صعودًا وهبوطًا قليًّا لتناسب احتياجات الغرفة، ولكن دون إيقاف الآلة فعليًا. لقد تعلمت أن تعمل تمامًا مثل سخان "إنفرتر" عالي التقنية، رغم أنها لم تُبرمج لتكون كذلك.
النتائج: الرحلة السلسة هي الفائزة
عندما اختبر الباحثون هذه السلوكيات المتعلمة على محاكي عالي الدقة لمبنى حقيقي، كانت النتائج مذهلة. حقق ذكاء SAC الاصطنا، الذي تعلم الحفاظ على عمل الضاغط (compressor) بشكل مستمر، صفر عمليات تشغيل في اليوم. لقد قضى تمامًا على دورات التشغيل والإيقاف الضارة التي كان يقوم بها السخان القياسي (الأساس)، والذي كان يبدأ بالعمل ما بين 1.07 و1.50 مرة في اليوم.
هذا النهج السلس لم يحمِ الآلة فحسب، بل جعل الغرفة أكثر راحة أيضًا. فمن خلال تجنب التقلبات في درجات الحرارة الناتجة عن تشغيل وإيقاف السخان، قلل ذكاء SAC من عدم الارتياح الحراري بنسبة تصل إلى 90.7% في أكثر الأيام برودة. كان هناك ثمن صغير لهذا الكمال: ارتف extra فاتورة الكهرباء بنحو 11.5% لأن السخان كان يعمل لفترات أطول. ومع ذلك، حسب الباحثون أن الأموال التي تم توفيرها من خلال عدم الحاجة لاستبدال الضاغط المتآكل (والذي قدروا تكلفته بنحو 0.0133 يورو لكل عملية تشغيل) قد عوضت أكثر من تكلفة الكهرباء الإضافية.
في المقابل، فإن ذكاء PPO، الذي استمر في تدوير السخان (التشغيل والإيقاف)، جعل الغرفة أكثر برودة لتوفير المال، مما أدى إلى راحة سيئة وتآكل عالٍ.
لماذا يهم هذا الأمر؟
الجزء الأكثر إثارة في هذا الاكتشاف هو أن الذكاء الاصطناعي اكتشف حل "الإنفرتر" من تلقاء نفسه. لم يقل الباحثون للكمبيوتر: "يجب عليك العمل باستمرار". لقد أضافوا ببساطة تكلفة لتشغيل الآلة. وبسبب تصميمها الرياضي المحدد، أدركت خوارزمية SAC بشكل طبيعي أن أفضل طريقة لتجنب تلك التكلفة هي عدم إيقاف الآلة أبدًا. لقد وجدت مسارًا "سلسًا" عبر المشكلة فات على الخوارزمية الأخرى.
يشير هذا إلى أنه بالنسبة للآلات التي تتعطل بسبب التبديل المتكرر، فإن نوعًا صحيحًا من تدريب الذكاء الاصطناعي يمكن أن يؤدي بشكل طبيعي إلى سلوكيات تحمي الأجهزة، مما يجعل منازلنا أكثر راحة وأجهزتنا تدوم لفترة أطول، وكل ذلك دون الحاجة إلى مهندس بشري لكتابة قواعد معقدة لكل سيناريو.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.