ملخص تقني: التحكم الديناميكي في شكل البلازما باستخدام مجموعات فرعية عشوائية من المستشعرات

بيان المشكلة

يعد التحكم الدقيق في شكل البلازما أمراً بالغ الأهمية للتشغيل الآمن والفعال لتوكات (tokamaks)، مما يؤثر على احتجاز الطاقة، وتوزيع الحمل الحراري، والاستقرار. عادةً ما تستخدم أنظمة التحكم الكلاسيكية، مثل تلك المستخدمة في DIII-D وJET، خط معالجة مكون من مرحلتين: أولاً، يقوم كود إعادة بناء التوازن في الوقت الفعلي (مثل RTEFIT) بتقدير حدود البلازما من التشخيصات المغناطيسية؛ ثانياً، يقوم متحكم متعدد المدخلات والمخرجات (MIMO) خطي بإصدار أوامر الملفات لتتبع الأشكال المستهدفة.

يواجه هذا النهج التقليدي ثلاث قيود رئيسية:

1. الهشاشة تجاه فشل المستشعرات: صُممت خوارزميات إعادة البناء لمجموعة كاملة من المستشعرات؛ ونقص التشخيصات يؤدي إلى تدهور دقة إعادة البناء بشكل غير متوقع، مما يضعف التحكم اللاحق.
2. نطاق ديناميكي محدود: غالباً ما يتم ضبط المتحكمات الخطية حول توازن اسمي، مما يجعلها تجد صعوبة في التعامل مع التغيرات الشكلية الديناميكية الكبيرة أو الانتقالات بين الأنظمة.
3. الافتقار إلى القدرة على التكيف: تتطلب معالجة أنماط الفشل الجديدة تحديثات يدوية للأوزان بين التجارب (shots)، دون وجود قدرة على التكيف أثناء التجربة نفسها.

بينما أظهرت مناهج التعلم التعزيزي (RL) الحديثة (End-to-end) قدرات في التحكم، إلا أنها تعتمد عموماً على مجموعة تشخيصات ثابتة وكاملة التشغيل، وتستهدف نقاط ضبط استاتيكية أو تسلسلات مخططة مسبقاً، مما يجعلها عاجزة عن معالجة الأهداف الديناميكية العشوائية أو توفر المستشعرات الجزئي.

المنهجية

يقدم المؤلفون وكيل تعلم تعزيزي (RL) واحداً مصمماً لمعالجة تتبع الشكل الديناميكي، والمجموعات الفرعية العشوائية من المستشعرات، وعدم اليقين في الرصد (partial observability) في آن واحد.

بيئة التوزيع والتدريب

يتم تدريب الوكيل في NSFsim، وهو محاكي توكات عالي الدقة مهيأ لجهاز DIII-D، ويقوم بنمذجة ديناميكيات نظام القدرة الكاملة، بما في ذلك دوائر التقطيع (chopper circuits) وقيود تيار الملفات.

• فضاء الهدف: بدلاً من أخذ عينات عشوائية موحدة من فضاء الهدف ذي الـ 11 بُعد (والذي قد يؤدي إلى تكوينات غير قابلة للتحقيق فيزيائياً)، قام المؤلفون بتنظيم مجموعة بيانات من 120 شكلاً تجريبياً لنمط القطب الواحد المنخفض (LSN) مستمدة من أكثر من 329,000 توازن لجهاز DIII-D (من 2014 إلى 2020). وقد ضمن معيار التنوع الجشع (greedy diversity criterion) أن تغطي هذه الأشكال النطاق التشغيلي بالكامل.
• الانتقالات الديناميكية: خلال التدريب، يتم إعادة أخذ عينات من الشكل المستهدف عشوائياً من هذه المجموعة كل 0.25 ثانية، مما يعرض الوكيل لانتقالات متنوعة عبر كامل نطاق الشكل.

إسقاط التشخيص (Diagnostic Dropout) والمتانة

لتحقيق المتانة ضد فشل المستشعرات دون الحاجة إلى كشف صريح للأعطال أو تبديل الأنماط، استخدم المؤلفون استراتيجية إسقاط التشخيص (diagnostic dropout):

• في بداية كل حلقة تدريب، يتم أخذ قناع ثنائي (binary mask) عن طريق تصفير كل قناة من قنوات التشخيص المغناطيسي الـ 114 (71 مجساً + 43 حلقة) بشكل مستقل باحتمالية $p=0.3$.
• لا يتلقى الوكيل مؤشراً صريحاً حول المستشعرات المفقودة؛ بل يجب عليه استنتاج غياب الإشارات من نمط المدخلات المستبدلة بالمتوسط.
• ينتج عن ذلك سياسة واحدة قادرة على العمل بسلاسة تحت مجموعات فرعية عشوائية من المستشعرات.

البنية: الممثل-الناقد غير المتماثل مع خسارة مساعدة (Asymmetric Actor-Critic with Auxiliary Loss)

يستخدم الوكيل بنية "الممثل-الناقد غير المتماثل" للتعامل مع الرصد الجزئي:

• الممثل (Actor): يتلقى ناقل رصد مكون من 146 بُعداً يشمل المجسات المغناطيسية، حلقات التدفق، تيارات الملفات، تيار البلازما ($I_p$)، وهدف الشكل ذي الـ 11 بُعداً. قد تكون القنوات المغناطيسية محجوبة (masked).
• الناقد (Critic - المتميز): يتلقى ملاحظات الممثل معززة بمعلومات "مميزة" متاحة فقط في المحاكاة: الفروق الموقعة بين النقاط المحورية الحالية والمستهدفة ($\Delta p$) ومواقع نقطة X ($\Delta x$)، بالإضافة إلى المشتقات الزمنية لجميع المدخلات. يساعد هذا في تقدير القيمة في ظل الرصد الجزئي.
• الخوارزمية: يتم تدريب الوكيل باستخدام النقديات الكمية المبتورة (TQC)، وهي خوارزمية تعلم تعزيزي غير سياسية توزيعية تقلل من انحياز المبالغة في التقدير.
• رأس إعادة بناء الشكل المساعد: رأس تنبؤ خطي متصل بالطبقة قبل الأخيرة للممثل يتنبأ بخطأ النقطة المحورية ($\Delta p$) من التشخيصات الخام. تخدم هذه الخسارة ($L_{aux}$) غرضين:
  1. استقرار التدريب: تعمل على تثبيت التمثيل الداخلي للممثل ليكون كمية هندسية قابلة للتفسير فيزيائياً، مما يقلل من إنهاء الحلقات المبكر.
  2. القابلية للتفسير: تمكن من إجراء تحليل قائم على التدرج لأهمية المستشعرات وتعمل كوحدة مستقلة لإعادة بناء الشكل.

دالة المكافأة

تجمع المكافأة بين جودة تتبع الشكل واستقرار نقطة X باستخدام متوسط مرجح بـ (softmax)، حيث تعاقب الانحرافات في ثماني نقاط محورية على سطح آخر تدفق مغلق (LCFS) وموقع نقطة X، باستخدام آلية الحد الأدنى الناعم (soft-minimum) لمنع الوكيل من التضحية بهدف لتحسين الآخر.

النتائج الرئيسية

أداء المحاكاة (NSFsim)

• التتبع الديناميكي: على تكوين ثابت محجوز للاختبار، حقق الوكيل متوسط خطأ في الشكل ($\bar{d}_{shape}$) قدره 2.01 سم. وقد نجح في تتبع المسارات الديناميكية إلى التكوينات القصوى (مثل أقصى استطالة، وأقصى إزاحة لنقطة X جهة اليمين)، رغم زيادة الأخطاء عند حدود نطاق تيار الملفات بسبب قيود الجهد.
• متانة التشخيص: حقق الوكيل المدرب بـ $p=0.3$ إسقاط خطأ شكل متوسط ($\bar{d}_{shape}$) قدره 4.1 سم على قناع مستشعرات ثابت يطابق حالات الفشل الفعلية في DIII-D. وهذا يقل عن "السياسة المثالية" (oracle policy) المدربة خصيصاً على ذلك القناع الثابت بمقدار 0.7 سم فقط، مما يثبت أن السياسة الواحدة تعمم على المجموعات الفرعية العشوائية دون معرفة مسبقة بنمط الفشل.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الناقد غير المتماثل (المعلومات المميزة) إلى أكبر انخفاض في الأداء (ارتفاع $\bar{d}_{shape}$ من 4.0 إلى 4.9 سم).
  • إزالة الخسارة المساعدة لم تغير متوسط المكافأة بشكل كبير ولكنها زادت من الانحراف المعياري لطول الحلقة من 0.7 إلى 21.0 خطوة، مما يؤكد دورها كمثبت للتدريب.
  • استبدال TQC بخوارزمية SAC أدى إلى مكافآت أقل وتفاوت كبير في التحكم في نقطة X، مع فقدان كامل للتحكم أحياناً في الأشكال الصعبة.

النشر الفيزيائي (DIII-D)

تم نشر السياسة في توكات DIII-D لتنفيذ مناورتين ديناميكيتين:

1. المسح الشعاعي لنقطة X: تتبع بنجاح نقطة X مستهدفة تتحرك من 1.36 م إلى 1.31 م.
2. إزاحة مركز البلازما: نجح في نقل مركز البلازما بين تجربتين متطابقتين ($R_c$ من 1.685 م إلى 1.660 م).

في التجارب الفيزيائية، حافظ وكيل RL على البلازما في نظام القطب الواحد المنخفض (LSN) طوال الوقت. وبينما أظهر متحكم (isoflux) الكلاسيكي خطأ استقرار أدنى في محاكي GSevolve (بسبب الضبط الخاص بنقطة التشغيل تلك)، أظهر وكيل RL متانة فائقة تجاه ظروف إسقاط المستشعرات المحددة الموجودة في التجربة. لوحظت "فجوة محاكاة-إلى-واقع" (sim-to-real) في خطأ تتبع نقطة X في إحدى التجارب، وعُزي ذلك إلى وجود إزاحات منهجية في القراءات المغناطيسية الخام التي يستوعبها كود EFIT ولكنها تؤثر على مدخلات سياسة RL.

أهمية المستشعرات

كشف التحليل القائم على التدرج للرأس المساعد أن السياسة تعتمد بشكل كبير على التشخيصات المغناطيسية القريبة من نقاط المحور الثمانية المستهدفة والجدار الداخلي للمحدد (limiter). كانت تصنيفات الأهمية مستقرة عبر معدلات تدريب الإسقاط المختلفة، مما يشير إلى أن الهيكل يعكس هندسة المهمة بدلاً من ضجيج التدريب.

الأهمية والادعاءات

يدعي البحث تقديم أول طريقة تحكم شاملة (end-to-end) تعالج في آن واحد:

1. تغطية توزيع التدريب: باستخدام مجموعة بيانات من الأشكال التجريبية لتجنب لعنة الأبعاد مع تغطية النطاق التشغيلي.
2. التعميم الصفري (Zero-Shot Generalization): القدرة على تتبع مسارات الشكل الديناميكية غير المرئية دون الحاجة لضبط دقيق خاص بكل مسار.
3. متانة التشخيص: سياسة واحدة تعمل تحت مجموعات فرعية عشوائية من التشخيصات المغناطيسية دون الحاجة لمتحكمات احتياطية أو منطق صريح لكشف الأعطال.

يؤكد المؤلفون أن رأس إعادة بناء الشكل المساعد لا يعمل فقط على تثبيت التدريب، بل يوفر أيضاً آلية للتفسير، مما يسمح بتحليل المستشعرات التي تقود قرارات التحكم. إن النجاح في الانتقال من محاكي NSFsim إلى محاكي GSevolve المستقل، وصولاً إلى جهاز DIII-D الفيزيائي، يؤكد إمكانات هذا النهج للتشغيل الواقعي في أجهزة التوكات تحت ظروف تشخيصية متغيرة.