Physics-informed Reinforcement Learning for Stochastic Reach-Avoid Analysis
تقترح هذه الورقة إطار عمل للتعلم التعزيزي المستند إلى الفيزياء (PIRL) يجمع بين تعلم الممثل-الناقد بفروق زمنية وبين فرض بقايا المعادلات التفاضلية الجزئية التدريجي للتغلب على القيود الحسابية والدقة للطرق التقليدية لتحليل الوصول-التجنب العشوائي عالي الأبعاد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الهندسة، غالبًا ما تكون عملية الحفاظ على سلامة الأنظمة بمثابة لعبة احتمالات. فعندما تقود سيارة نفسها أو تطير طائرة بدون طيار وسط عاصفة، فإنها تعمل في بيئة مليئة بالضجيج غير المتوقع والتغيرات المفاجئة. يحتاج المهندسون ليس فقط لمعرفة ما إذا كانت الآلة قادرة على الوصول إلى وجهة ما، بل أيضاً مدى احتمالية وصولها دون الاصطدام بشيء خطير. يُعرف هذا بمسألة "الوصول-التجنب" (reach-avoid): وهي إيجاد مجموعة من نقاط البداية التي يمكن للنظام من خلالها الوصول بنجاح إلى هدف ما مع الابتعاد عن منطقة خطر. بالنسبة للآلات البسيطة، امتلك الرياضيون أدوات منذ زمن طويل لحساب مناطق الأمان هذه. ولكن مع زيادة تعقيد الأنظمة، مع وجود العديد من الأجزحة المتحركة والمتغيرات التي تتفاعل في آن واحد، تصبح الرياضيات ثقيلة للغاية لدرجة أن أسرع الحواسيب الفائقة لا تستطيع حلها في وقت معقول. ومن المعروف أن المعادلات التي تصف حدود السلامة هذه صعبة الحل بشكل لا يصدق عندما يزدل عدد المتغيرات.
ولمعالجة ذلك، لجأ الباحثون إلى الذكاء الاصطناعي، وتحديداً طريقة تسمى "التعلم التعزيزي" (reinforcement learning). تخيل وكيلًا رقميًا يتعلم القيادة عن طريق التجربة والخطأ، يتلقى مكافآت للبقاء على الطريق وعقوبات للاصطدام بجدار. بمرور الوقت، يتعلم هذا الوكيل "دالة القيمة" (value function)، وهي خريطة ذهنية تخبره بمدى أمان التواجد في أي موقف معين. ومع ذلك، فإن هذا النهج القائم على التعلم من الخبرة لديه نقطة عمياء: فهو لا يرى إلا المسارات التي يسلكها الوكيل بالفعل. قد يغفل عن زوايا خطيرة لم يزرها قط، أو قد يتعلم طريقًا مختصرًا يبدو جيدًا في مسار معين ولكنه ينتهك القوانين الفيزيائية الأساسية التي تحكم النظام. ومن ناحية أخرى، تحاول تقنية أخرى للذكاء الاصطناعي تسمى "الشبكات العصبية المستندة إلى الفيزياء" (physics-informed neural networks) حل المشكلة من خلال إجبار الكمبيوتر على اتباع قوانين الفيزياء مباشرة. لكن هذه الطريقة غالبًا ما تتعثر، حيث تجد حلاً يبدو صحيحًا رياضيًا على الورق ولكنه لا يعبر عن واقع فيزيائي، مثل سيارة تقود بشكل مثالي على خط مستقيم ولكنها تسقط عن حافة العالم بمجرد أن تنعطف.
قام فريق من الباحثين الآن بتطوير نهج جديد يجمع بين أفضل ما في العالمين، مما يخلق نظامًا هجينًا يتجنب عيوب كل منهما. أطلقوا عليه اسم "التعلم التعزيزي المستند إلى الفيزياء". الفكرة الجوهرية هي ترك الذكاء الاصطناعي يتعلم من الخبرة أولاً، لبناء خريطة أمان تقريبية ولكن موثوقة بناءً على مسارات القيادة الفعلية. وفقط بعد وضع هذا الأساس، يتم إدخال القواعد الصارمة للفيزياء لتنقيح الخريطة وملء الفجوات. هذا النهج "المجدول" يمنع الذكاء الاصطناعي من الارتباك بسبب الرياضيات المعقدة قبل أن يتعلم شكل المسار الآمن بالفعل. فمن خلال البدء بتجارب الوكيل نفسه ثم إضافة القوانين الفيزيائية تدريجيًا، يتعلم النظام خريطة سلامة دقيقة ومتسقة مع الواقع.
اختبر الباحثون هذه الطريقة في تحديين مختلفين تمامًا. أولاً، استخدموا مسألة بسيطة أحادية البعد حيث كانت الإجابة الصحيحة معروفة مسبقًا. في هذا الاختبار، فشلت الطريقة التقليدية المعتمدة على الفيزياء وحدها مرارًا وتكرارًا، حيث تعثرت في نهايات مسدودة حيث تبدو الرياضيات جيدة ولكن الحل عديم الفائدة. أما الطريقة المعتمدة على الخبرة وحدها فقد عملت بشكل موثوق ولكنها كانت أقل دقة. ومع ذلك، نجحت الطريقة الهجينة الجديدة في كل مرة، محققة دقة أفضل المحاولات القائمة على الفيزياء مع الاحتفاظ بموثوقية التعلم القائم على الخبرة. وقد أثبت ذلك أن استراتيجية الجدولة توجه الذكاء الاصطناعي بفعالية بعيدًا عن الحلول الزائفة.
كان الاختبار الثاني أكثر صعوبة: التحكم في مركبة تقوم بمناورة "الانجراف عالي السرعة" (high-speed drift). هذه مناورة صعبة للغاية حيث تنزلق السيارة جانبًا، متوازنة على حافة فقدان السيطرة. كان على النظام تعلم كيفية إبقاء السيارة في حالة انجراف محددة مع تجنب الاصطدام، كل ذلك مع مراعاة المطبات العشوائية والتغيرات في تماسك الطريق. تم وصف حالة المركبة بثمانية متغيرات مختلفة، وهي درجة من التعقيد قد ترهق طرق الحساب التقليدية. قام الباحثون بتدريب ذكائهم الاصطناعي باستخدام منهج تعليمي، بدءًا من تصحيحات صغيرة وسهلة بالقرب من مركز الانجراف، ثم التوسع تدريجيًا إلى مواقف أكثر حدة. ووجدوا أن الطريقة الهجينة تعلمت خريطة سلامة تحدد بشكل صحيح المناطق "القابلة للاستعادة" في فضاء الحالة. وعندما قاموا بمحاكاة آلاف السيناريوهات العشوائية، طابقت تنبؤات الذكاء الاصطناعي النتائج الفعلية لحركات السيارة. لقد حدد النظام بشكل صحيح أن بعض المسارات بدت آمنة في عرض ثنائي الأبعاد، لكنها كانت في الواقع محكومة بالفشل بسبب كيفية تغير المتغيرات الأخرى.
تظهر الدراسة أنه من خلال توقيت إدخال القوانين الفيزيائية في عملية التعلم بعناية، يمكن للمهندسين إنشاء ذكاء اصطناعي يفهم العواقب المباشرة لأفعاله والقوانين الأعمق التي تحكم عالمه. وقد أظهر الباحثون أن هذه الطريقة لا تعمل فقط مع الأمثلة البسيطة، بل مع مشكلات التحكم المعقدة في العالم الحقيقي حيث تكون السلامة أمرًا بالغ الأهمية. وبينما أُجري هذا العمل من خلال محاكاة الكمبيوتر، فإن النتائج تشير إلى مسار واعد لتصميم أجهزة التحكم لكل شيء، من المركبات ذاتية القيادة إلى شبكات الطاقة، حيث يكون معرفة الحدود الدقيقة للسلامة في ظل عدم اليقين أمرًا ضروريًا. والنتيجة الرئيسية هي أنه ليس عليك الاختيار بين التعلم من الخبرة أو اتباع قوانين الفيزياء؛ فمع الجدول الزمني الصحيح، يمكن للذكاء الاصطناعي القيام بكليهما.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.