Reinforcement learning for vertical position control on the EXL-50U spherical tokamak
تقدم هذه الورقة إطار عمل للتعلم المعزز تم التحقق من صحته تجريبياً للتحكم في الموضع الرأسي على التوكاماك الكروي EXL-50U، والذي يحقق دقة تتبع بمقياس المليمتر تضاهي وحدات التحكم التقليدية (PID) مع تقليل جهد المشغل باستمرار، مما يثبت جدوى التحكم القائم على التعلم لأنظمة الاندماج المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في السعي وراء طاقة نظيفة وغير محدودة، يحاول العلماء إعادة إنشاء قوة الشمس هنا على الأرض. يقومون بذلك عن طريق حبس غاز شديد السخونة، يسمى البلازما، داخل قفص مغناطيسي على شكل حلقة (دونات). هذه العملية، المعروفة باسم الحصر المغناطيسي للاندماج، تتطلب إبقاء البلازما ثابتة تماماً. فإذا انحرف الغاز ولو قليلاً عن المركز، يمكنه الاصطدام بجدران الآلة، مما يؤدي إلى تبريده فوراً وتوقف التفاعل. وهذا أمر صعب للغاية في نوع معين من الآلات يسمى "توكاماك كروي"، والذي يشبه في شكله تفاحة مأكولة القلب أكثر من كونه حلقة مسطحة. صُممت هذه الآلات لتكون مدمجة وفعالة، لكن شكلها الفريد يجعل البلازما غير مستقرة بطبيعتها، وعرضة للانطلاق للأعلى أو الأسفل مثل بالون لا يستقر في مكانه. إن الحفاظ على هذه الكرة النارية العائمة مستقرة هو الفرق بين تجربة ناجحة وبين انهيار مفاجئ وعنيف.
لسنوات طويلة، اعتمد الباحثون على برامج حاسوبية قياسية تعتمد على القواعد لإبقاء البلازما متمركزة. تعمل هذه البرامج مثل منظم الحرارة (الثرموستات)، حيث تتحقق باستمرار من الموقع وتجري تعديلات صغيرة على المجالات المغناطيسية. وبينما تعمل هذه البرامج بشكل جيد بما يكفي لبعض الإعدادات، إلا أنها تواجه صعوبة عندما تكون البلازما ممتدة أو عندما يتم دفع الآلة إلى أقصى حدودها. وفي تجارب حديثة على آلة تسمى EXL-50U في الصين، غالباً ما تركت هذه الضوابط القياسية المعتمدة على القواعد البلازما تتذبذب بشكل كبير، حيث انحرفت أحياناً بعدة سنتيمترات. مثل هذه التحركات الكبيرة خطيرة؛ إذ يمكن أن تسبب ضرراً للآلة وتمنع استخدام أنظمة التسخين المتقدمة. ولحل هذه المشكلة، لجأ فريق من العلماء إلى نوع مختلف من الذكاء: التعلم الآلي. فبدلاً من برمجة الحاسوب بقواعد جامدة، قاموا بتعليمه كيفية التحكم في البلازما من خلال التدرب في محاكاة افتراضية دقيقة للغاية، تماماً مثل طيار يتدرب في جهاز محاكك الطيران قبل لمس طائرة حقيقية.
بنى الباحثون "توأماً رقمياً" لآلة EXL-50U، وهي بيئة افتراضية تحاكي الفيزياء الحقيقية للبلازما والدوائر الكهربائية بدقة متناهية. وداخل هذه المحاكاة، اختبروا نوعاً جديداً من وحدات التحكم القائمة على "التعلم التعزيزي". وهذه طريقة يتعلم فيها وكيل اصطناعي من خلال التجربة والخطأ، حيث يتلقى مكافأة لإبقاء البلازما مستقرة وعقوبة لتركها تنحرف. قام الفريق بتدريب هذا الوكيل الرقمي على جولة تجريبية واحدة محددة، ثم تحدوه للتحكم في البلازما في جولة مختلفة تماماً، حيث كانت الظروف مختلفة قليلاً. وقارنوا هذا النهج القائم على التعلم مع وحدة التحكم القياسية القائمة على القواعد، ومع طريقة متقدمة أخرى تُعرف باسم "المنظم التربيعي الخطي"، والتي تعتمد على نماذج رياضية معقدة.
كانت النتائج من المحاكاة كاشفة. استطاع وحدة التحكم القياسية القائمة على القواعد إبقاء البلازما في المسار المستهدف، لكنها تطلبت من مغناطيسات الآلة العمل بجهد كبير، باستخدام الكثير من الطاقة الكهربائية لإجراء تصحيحات مستمرة. أما النهج القائم على النماذج فقد عانى للبقاء مستقراً عند تغير الظروف، مما ترك البلازما غالباً في وضع خاطئ قليلاً. ومع ذلك، تعلم وكيل التعلم التعزيزي توجيه البلازما بسلاسة ملحوقة. لقد تتبع المسار المطلوب بدقة تضاهق وحدة التحكم القياسية، لكنه فعل ذلك بجهد أقل بكثير من المغناطيسات. هذه الكفاءة أمر بالغ الأهمية لأنها تعني أن الآلة يمكنها العمل لفترات أطول وبشكل أكثر استقراراً دون تحميل أنظمة الطاقة فوق طاقتها. ولضمان قدرة وكيل التعلم على التعامل مع الاختلافات الحتمية بين العالم الافتراضي والواقع، أضاف الفريق آلية تصحيح بسيطة ساعدته على التكيف مع الأخطاء الصغيرة، وهي تقنية ثبت أنها حيوية للحفاظ على الدقة.
ومشجعين بهذا النجاح الافتراضي، أخرج الفريق الذكاء الاصطناዊ المدرب من الحاسوب إلى الآلة الحقيقية. قاموا بنشر وحدة التحكم المتعلمة على جهاز "توكاماك" EXL-50U الفعلي، تاركين إياها تتولى التحكم خلال التجارب الحية. وفي أكثر من عشر جولات منفصلة، نجح النظام في الحفاظ على استقرار البلازما رأسياً ضمن النافذة الزمنية المحددة. وفي مقارنة مباشرة عبر سبع من هذه الجولات، طابقت وحدة التحكم المتعلمة دقة التتبع الخاصة بوحدة التحكم القياسية، حيث أبقت البلازما ضمن بضعة مليمترات من هدفها. وفي الوقت نفسه، استخدمت طاقة كهربائية أقل باستمرار لتحقيق هذا الاستقرار. وقد أثبت ذلك أن نظام التعلم الآلي لا يمكنه فقط الصمود في البيئة القاسية لمفاعل الاندماج، بل يمكنه أيضاً التفوق على الطرق التقليدية من حيث الكفاءة.
ومع ذلك، سلطت التجربة الضوء أيضاً على حدود التكنولوجيا الحالية. فعندما بدأ تيار البلازما في الانخفاض في نهاية التجربة، بدأت وحدة التحكم المتعلمة، التي تم تدريبها على ظروف مستقرة، في فقدان سيطرتها، وبدأت البلازما في الانحراف مجدداً. وأظهر هذا أنه بينما كان الوكيل ممتازاً في التعامل مع المراحل المستقرة، فإنه لا يزال بحاجة إلى أدوات أكثر قوة للتكيف مع الظروف سريعة التغير. وأشار الباحثون إلى أن التحسينات المستقبلية ستتطلب على الأرجح أن يحدد النظام التغييرات في سلوك الآلة في الوقت الفعلي ويعدل استراتيجيته فورياً. ورغم ذلك، فإن هذا النشر الناجح يمثل خطوة كبيرة للأمام؛ فهو يثبت أن التحكم القائم على التعلم هو مسار قابل للتطبيق لإدارة الفيزياء المعقدة وغير المستقرة للاندماج، مما يوفر طريقاً عملياً نحو مفاعلات أكثر استقراراً وكفاءة لتوفير الطاقة النظيفة للشبكة الكهربائية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.