🤖 machine learning

Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

تقترح هذه الورقة خوارزمية قائمة على التحكم التنبئي بالنموذج تعمل على تقريب "أوراكل" (oracle) للسلامة من خلال الاستفادة من افتراضات القابلية للانعكاس المدفوعة بالمحاكي واللثبات الإيجابي للتحقق من سلامة الإجراء دون الحاجة إلى صياغات قيود صريحة أو بيانات مصنفة يدوياً.

المؤلفون الأصليون: Jeff Pflueger, Michael Everett

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jeff Pflueger, Michael Everett

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً قيادة سيارة عبر مدينة مزدحمة. الهدف هو الوصول إلى الوجهة بأسرع وقت ممكن. ومع ذلك، هناك عقبة: إذا تحطم الروبوت، فستتدمر السيارة، وسيعلق السائق (الروبوت) هناك للأبد. في عالم الروبوتات، يُسمى هذا "حالة غير آمنة ذات ثابت إيجابي" (positive invariant unsafe state)—بمجرد دخولك إليها، لا يمكنك الخروج منها.

عادةً، لكي يحافظ المهندسون على سلامة الروبوت، يحتاجون إلى "عراف للسلامة" (Safety Oracle). فكر في هذا العراف كشرطي مرور فائق الذكاء وكلي المعرفة، يمكنه أن يخبرك فوراً: "نعم، تلك الدورة آمنة"، أو "لا، سيؤدي ذلك إلى حادث". ولكن المشكلة هي أن كتابة جميع القواعد لكل حادث محتمل (مثل "لا تصطدم بجدار"، "لا تنقلب"، "لا تكسر مستشعراً") أمر صعب للغاية، ويستغرق وقتاً طويلاً، وغالباً ما يكون مستحيلاً لأن العالم الحقيقي فوضوي.

الفكرة الكبرى: زر "التراجع" (Undo)

يقدم هذا البحث طريقة جديدة تسمى SAVMPC (تقييم السلامة عبر التحكم التنبئي بالنماذج). بدلاً من سؤال "شرطي المرور" كلي المعرفة عن الإذن، يسأل SAVMPC سؤالاً مختلفاً: "هل يمكنني الضغط على زر 'التراجع'؟"

المنطق بسيط:

إذا كان الروبوت في مكان آمن، فيجب أن يكون قادراً على اتخاذ خطوة للأمام ثم العث find (إيجاد) طريقة فورية للعودة إلى حيث بدأ.
إذا اتخذ الروبوت خطوة ولم يستطع العثور على طريقة للعودة إلى مكانه الآمن السابق، فهذا يعني أنه قد دخل على الأرجح منطقة خطرة (مثل حفرة غائرة أو حافة منحدر) لا يمكن الرجوع منها.

كيف يعمل الأمر: المحاكي والمسافر عبر الزمن

يستخدم SAVMPC "محاكياً" (نسخة فيديو جيم من العالم الحقيقي) لاختبار الأفعال قبل أن يقوم بها الروبوت فعلياً. إليك العملية خطوة بخب:

الاقتراح: يقترح عقل الروبوت (السياسة الخاصة به) حركة، مثل "انعطف يساراً بسرعة".
المحاكاة: يقوم النظام بتسريع الوقت في المحاكي ليرى ما سيحدث. ينعطف الروبوت وينتهي به المطاف في مكان جديد.
الرحلة العكسية (السحر الجوهري): الآن، يحاول النظام إيجاد مسار لقيادة الروبوت للخلف من ذلك المكان الجديد إلى المكان الدقيق الذي كان فيه قبل الانعطاف. يستخدم النظام أداة تخطيط متطورة تسمى MPPI (التحكم التنبئي بالمسار المتكامل للنماذج) للبحث عن مسار "التراجع" هذا.
- تشبيه: تخيل أنك تسير على حبل مشدود. قبل أن تأخذ خطوة للأمام، تتخيل أخذ تلك الخطوة، ثم تتحقق فوراً مما إذا كان بإمكانك المشي للخلف إلى نقطة توازنك الأصلية. إذا استطعت، فأنت آمن. إذا لم تستطع (لأنك سقطت في حفرة)، فلا تأخذ الخطوة.
القرار:
- إذا وجد مسار "التراجع": الروبوت آمن. يقوم الرخذ بتنفيذ الإجراء في العالم الحقيقي.
- إذا لم يوجد مسار "التراجع": الروبوت في خطر. يقول النظام "لا!" ويجرب إجراءً مختلفاً. إذا حاول عدة مرات ولم يجد حركة آمنة، فإنه يوقف المحاولة بأكملها لمنع وقوع حادث.

لماذا هذا الأمر مميز

معظم أنظمة السلامة تحتاج إلى قائمة قواعد مكتوبة مسبقاً (مثل "ابقَ على بعد متر واحد من الجدران"). SAVMPC لا يحتاج إلى تلك القائمة؛ فهو يحتاج فقط إلى محاكٍ يمكنه التنبؤ بما سيحدث بعد ذلك. هو يفترض أنه إذا لم تتمكن من العودة إلى حيث بدأت، فمن المحتمل أنك قد كسرت شيئاً ما أو وقعت في فخ.

ما أظهرته التجارب

اختبر الباحثون SAVMPC في سيناريوهين:

موازنة عمود: روبوت يحاول موازنة عمود على عربة دون أن يسقط.
الملاحة: روبوت يحاول القيادة نحو هدف مع تجنب "حفرة غائرة" في منتصف الأرض.

قارنوا SAVMPC بـ:

الذكاء الاصطنا-القياسي (Standard AI): والذي تحطم كثيراً.
الذكاء الاصطناعي "الآمن" الآخر: والذي تعلم كيف يكون آمناً ولكنه لا يزال يتحطم أحياناً.
الذكاء الاصطناعي "العراف" (The Oracle AI): الذي يمتلك قواعد السلامة المثالية وكاملة المعرفة (المعيار الذهبي).

النتائج:
أدى SAVMPC أداءً يكاد يطابق أداء "الذكاء الاصطناعي العراف". لقد تعلم القيادة بسرعة وموازنة العمود بفعالية، ولكن الأهم من ذلك، لم يتحطم ولو لمرة واحدة أثناء التدريب. لقد تمكن من تقريب قواعد السلامة المثالية دون أن يتم إخباره بتلك القواعد أبداً.

باختاًصر

SAVMPC يشبه تعليم روبوت القيادة من خلال إعطائه "شبكة أمان" مكونة من المنطق بدلاً من القواعد. بدلاً من حفظ كل خطر محتمل، يتعلم الروبوت ألا يتخذ إلا الأفعال التي يمكنه عكسها فوراً. إذا لم يستطع عكس الفعل، فهو يعرف أن ذلك خطير جداً لتجربته. هذا يسمح للروبوتات بالتعلم بأمان في بيئات معقدة وفوضوية دون الحاجة إلى بشر لكتابة كل قاعدة من قواعد الطريق.

ملخص تقني: تقريب التغذية الراجعة للسلامة دون وجود "أوراكل" للسلامة عبر التحكم التنبئي بالنماذج

بيان المشكلة
يعتمد اتخاذ القرار الآمن للروبوتات المتنقلة غالبًا على وجود "أوراكل للسلامة" (Safety Oracle)—وهي آلية للتحقق مما إذا كانت الإجراءات المقترحة تنتهك قيود السلامة. تتطلب الطرق الحالية، مثل دوال حاجز التحكم (Control Barrier Functions)، وأنابيب الوصول الخلفي (Backward Reachable Tubes)، ومميزات التعلم المعزز الآمن (Safe RL)، معرفة مسبقة بقيود سلامة صريحة أو الوصول إلى تسميات حقيقية للسلامة أثناء التدريب. ومع ذلك، في البيئات المعقدة (مثل الملاحة عالية السرعة على تضاريس غير مستوية أو التلاعب الروبوتي في خلايا عمل مفتوحة)، تكون قيود السلامة غالبًا ضمنية، أو يصعب نمذجتها رياضيًا، أو غير مفهومة بشكل كامل. وبينما يمكن للمحاكيات نمذجة الديناميكيات المعقدة، إلا أنها لا توفر بطبيعتها دالة سلامة. كما أن النهج الحالية التي تحاول تعلم بدائل للسلامة (على سبيل المثال، عبر العمليات الغاوسية أو المميزات العميقة للتعلم) تتطلب غالبًا حقائق مرصودة للتسمية أو تضع افتراضات قوية حول سلاسة دالة السلامة، مما يحد من قابليتها للتطبيق في العالم الحقيقي. علاوة على ذلك، فإن العديد من طرق الاستكشاف القابلة للعكس لا تزال تخاطر باتخاذ إجراءات غير آمنة أثناء عملية التعلم.

المنهجية: SAVMPC
يقترح البحث خوارزمية التقييم للسلامة عبر التحكم التنبئي بالنماذج (SAVMPC)، وهي خوارزمية تصفية مصممة لتقريب التغذية الراجعة للسلامة دون الوصول المباشر إلى "أوراكل للسلامة" أو قيود مصممة يدويًا. تعمل الطريقة تحت فرضيتين أساسيتين:

الثبات الإيجابي للحالات غير الآمنة: فضاء الحالة غير الآمنة ( $X_{unsafe}$ ) هو ثابت إيجابي، مما يعني أنه بمجرد دخول الوكيل في حالة غير آمنة، لا يمكنه العودة إلى حالة آمنة.
القابلية للعكس كبديل: إذا كان بإمكان الوكيل الانتقال من حالة حالية $x$ إلى حالة مستقبلية $x'$ ومن ثم العثور على تسلسل من الإجراءات للعودة من $x'$ إلى $x$ مجددًا، فإن $x$ و $x'$ ينتميان إلى نفس المجموعة. وبالنظر إلى الثبات الإيجابي لـ $X_{unsafe}$ ، فإذا وجد مسار عودة إلى حالة آمنة معروفة، فإن الحالات المتوسطة هي أيضًا آمنة.

سير العمل الخوارزمي:
تعمل SAVMPC كدرع أثناء اختيار الإجراء:

اقتراح الإجراء: تقترح سياسة التحكم $\pi$ إجراءً $u$ عند الحالة $x$ .
الإسقاط الأمامي: يتم إسقاط الإجراء للأمام باستخدام محاكي (ديناميكيات الصندوق الأسود $f_{dyn}$ ) إلى حالة مرشحة تالية $x'$ .
التحقق من القابلية للعكس: تستخدم الخوارزمية متحكم تكامل المسار التنبئي بالنماذج (MPPI) لمحاولة إيجاد تسلسل من الإجراءات ينقل الوكيل من $x'$ $x^{'}$ للعودة إلى الحالة الأصلية $x$ $x$ (أو حالة سابقة في المسار).
- يتم صياغة ذلك كمسألة جدوى: البحث عن تسلسل تحكم $u_0, \dots, u_{T-1}$ بحيث يؤدي المسار الناتج إلى الوصول إلى $x$ ضمن حد سماح $\delta$ خلال أفق زمني $T$ .
القرار:
- إذا وجد MPPI مسار عودة صالح، يُعتبر الإجراء $u$ آمنًا ويتم تنفيذه.
- إذا لم يتم العثيد مسار عودة ضمن حد العينات، يتم رفض الإجراء، وتُعيد السياسة أخذ العينات. وإذا فشلت إعادة أخذ العينات بعد $N$ من المحاولات، يتم إيقاف المسار وإعادة ضبط البيئة.

يتيح هذا النهج للنظام التحقق من السلامة من خلال ضمان أن أي إجراء لا يؤدي إلى "طريق مسدود" لا يستطيع الوكيل من خلاله العودة إلى منطقة آمنة معروفة.

المساهمات الرئيسية

خوارزمية SAVMPC: خوارزمية تصفية مبتكرة تمكن من الاختيار الآمن للإجراءات من خلال التخطيط للخلف نحو حالات آمنة معروفة باستخدام القابلية للعكس، مما يلغي الحاجة إلى قيود مصممة يدويًا أو تسميات حقيقية للسلامة.
تقدير القيود المتحفظ: امتداد لخوارزمية التخطيط القائم على القابلية للعكس يقوم صراحةً بحساب تقدير متحفظ لقيود البيئة غير المعروفة.
التحقق التجريبي: تقييم SAVMPC كدرع في تدريب التعلم المعزز (RL)، مما أظهر أداءً مشابهًا للدروع القائمة على "الأوراكل" مع تفوقها على الأساليب الأخرى القائمة على القابلية للعكس (مثل RAC و LNT) من حيث ضمانات السلامة.

النتائج التجريبية
قيم المؤلفون SAVMPC في بيئتين: Cartpole المستمر و الملاحة ثنائية الأبعاد.

دراسة عدم الاتفاق: في محاكاة شملت 300,000 مسار، تمت مقارنة SAVMPC مع "أوراكل سلامة" حقيقي. أظهرت النتائج أن SAVMPC ينتج صفرًا من السلبيات الكاذبة (فهو لا يصنف أبدًا حالة غير آمنة على أنها آمنة). حدثت حالات عدم الاتفاق بشكل أساسي بالقرب من حدود القيود، حيث كانت الخوارزمية أكثر تحفظًا (تُبالغ في تقدير المنطقة غير الآمنة) عند استخدام حدود سلامة أضيق ( $\delta$ ).
أداء تدريب التعلم المعزز (RL):
- Continuous Cartpole: حققت SAVMPC عائدًا نهائيًا مشابهًا لخوارزمية PPO المزودة بدرع "أوراكل سلامة" حقيقي، وأعلى بكثير من خوارزميات PPO و RAC و LNT الأساسية. والأهم من ذلك، حافظت SAVMC على 0.0% من انتهاكات القيود، بينما سجلت الأساليب الأساسية وغيرها من الطرق القابلة للعكس انتهاكات كبيرة (وصلت إلى 77.3%).
- الملاحة ثنائية الأبعاد (2D Navigation): تفوقت SAVMPC على درع "أوراكل السلامة" في العائد النهائي (842.74 مقابل 782.23) مع الحفاظ على 0.0% من انتهاكات القيود. كما تقاربت بشكل أسرع من الطرق الأخرى، ويُعزى ذلك إلى تقريبها المتحفظ الذي قلص مساحة الاستكشاف بفعالية.
- المقارنة: على عكس RAC و LNT، اللذين تعلما تقريبات السلامة بمرور الوقت ولا يزال يرتكبان انتهاكات، فرضت SAVMPC السلامة منذ الخطوة الأولى دون الحاجة لمعلومات مميزة.

الأهمية والادعاءات
يزعم البحث أن SAVMPC يقدم حلاً عمليًا لاتخاذ القرارات الآمنة في البيئات التي تكون فيها قيود السلامة معقدة أو غير معروفة. من خلال الاستفوتادة من افتراض الثبات الإيجابي والقدرة الحسابية لـ MPPI داخل المحاكي، تقرب الطريقة أداء "أوراكل السلامة" دون الحاجة إلى تسميات حقيقية. يؤكد المؤلفون أن الخوارزمية تضمن أن الوكيل يتخذ صفرًا من الإجراءات غير الآمنة في البيئة الأساسية، مما يسد الفجوة بين ضمانات السلامة النظرية والقيود العملية لنمذجة الديناميكيات الفيزيائية المعقدة. يشير العمل إلى أن القابلية للعكس يمكن أن تعمل كبديل قوي لبيانات السلامة في السيناريوهات التي يكون فيها نمذجة القيود التقليدية غير ممكنة.

أبحاث مشابهة