🤖 AI

Conformal Reachability for Safe Control in Unknown Environments

تقترح هذه الورقة إطار عمل مبتكر يدمج التنبؤ المطابق مع تحليل إمكانية الوصول لتمكين التحكم الآمن والمثبت رياضياً للأنظمة الديناميكية غير المعروفة، مبرهنةً من خلال تجارب مستفيضة أن السياسات الناتجة تحقق ضمانات سلامة احتمالية قوية مع الحفاظ على أداء عالٍ عبر مجالات متنوعة.

المؤلفون الأصليون: Xinhang Ma, Junlin Wu, Yiannis Kantaros, Yevgeniy Vorobeychik

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinhang Ma, Junlin Wu, Yiannis Kantaros, Yevgeniy Vorobeychik

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يقود سيارة، أو يطير بطائرة بدون طيار، أو يوازن عمودًا. أنت تريد من الروبوت أن يكون سريعًا وفعالًا (للحصول على "مكافآت" عالية)، ولكنك تحتاج أيضًا إلى ضمان عدم اصطدامه أو سقوطه أبدًا. هذا هو التحدي الجوهري لـ التحكم الآمن (Safe Control).

المشكلة في معظم أساليب الذكاء الاصطناعي الحالية هي أنها تشبه طالبًا يدرس للاختبار عن طريق التخمين. قد يحصل على درجة عالية في المتوسط، ولكن إذا سألته: "هل أنت متأكد من أنك لن تصطدم في هذا الموقف تحديدًا؟" فلن يتمكن من إعطائك "نعم" مثبتة رياضيًا. إنهم يعتمدون على الحظ أو المتوسطات الماضية، وهذا ليس كافيًا للحالات التي تتعلق بالحياة أو الموت مثل السيارات ذاتية القيادة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى ReCORS (الوصولية مع مجموعات عدم اليقين المعتمدة على التنبؤ المطابق لتعزيز التعلم مع ضمانات السلامة). وإليك كيفية عملها، مقسمة إلى مفاهيم بسيطة:

1. المشكلة: "الصندوق الأسود" والطريق المجهول

عادةً، لإثبات أن الروبوت آمن، تحتاج إلى معرفة كيفية عمل العالم بدقة (الفيزياء). ولكن في العالم الحقيقي، غالبًا ما تكون "الفيزياء" غير معروفة أو فوضوية (مثل هبات الرياح التي تؤثر على طائرة بدون طيار).

الطريقة القديمة: افترض أنك تعرف القواعد تمامًا، أو افترض أن العالم بسيط. إذا كان العالم في الواقع معقدًا، فإن ضمان السلامة ينكسر.
طريقة هذه الورقة: نحن نعترف بأننا لا نعرف القواعد بدقة. بدلًا من التخمين، نقوم ببناء "شبكة أمان" حول توقعاتنا.

2. الحل: "شبكة الأمان" (التنبؤ المطابق - Conformal Prediction)

فكر في التنبؤ المطابق (Conformal Prediction) كوسيلة لرسم فقاعة متوسعة وضبابية حول مسار الروبوت المستقبلي المتوقع.

بدلًا من قول: "الروبوت سيكون هنا بالضبط في الساعة 2:00 مساءً"، يقول النظام: "نحن متأكدون بنسبة 95% أن الروبوت سيكون في مكان ما داخل هذه الفقاعة المحددة في الساعة 2:00 مساءً".
تستخدم الورقة خدعة إحصائية خاصة للتأكد من أن هذه الفقاعات بالحجم الصحيح. إذا كانت الفقاعة صغيرة جدًا، فقد ينزلق الروبوت خارجها ويصطدم. وإذا كانت كبيرة جدًا، فقد يصبح الروبوت خائفًا جدًا من الحركة. تجد هذه الطريقة الحجم "المثالي" الذي يضمن رياضياً احتواء الروبوت بنسبة 95% من المرات، حتى لو كان نموذج الروبوت الداخلي غير مثالي.

3. فحص الخريطة (تحليل الوصولية - Reachability Analysis)

بمجرد أن يقوم النظام برسم هذه الفقاعات لكل ثانية من رحلة الروبوت، فإنه يجري تحليل وصولية.

تخيل أنك تتحقق من خريطة. تنظر إلى "الفقاعة" التي قد يكون الروبوت فيها عند كل خطوة.
يسأل النظام: "هل يلمس أي جزء من هذه الفقاعة 'منطقة خطر' (مثل جدار أو منحدر)؟"
إذا كانت الإجابة "لا، الفقاعة تبقى بعيدة عن الخطر"، فإن الروبوت مثبت سلامته لهذا المسار.
إذا لمست الفقاعة منطقة الخطر، فإن الروبوت يعرف أنه يجب عليه تغيير خطته.

4. التدريب: التعلم ليكون شجاعًا ولكن حذرًا

تصف الورقة عملية تدريب (ReCORS) تعلم الروبوت شيئين في آن واحد:

كن فعالًا: حاول الحصول على أعلى درجة (التحرك بسرعة، الوصول إلى الهدف).
كن آمنًا: عدل سلوكه بحيث لا تلمس "فقاعات السلامة" مناطق الخطر.

ابتكر المؤلفون "بطاقة تقييم" خاصة (دالة الخسارة - loss function) تعاقب الروبوت إذا أصبحت فقاعات السلامة الخاصة به كبيرة جدًا أو إذا اقتربت كثيرًا من مناطق الخطر. هذا يجبر الروبوت على تعلم سياسة عالية الأداء وآمنة ومثبتة رياضيًا في نفس الوقت.

5. النتائج: "السائق الذكي"

اختبر الباحثون هذه الطريقة في سبعة سيناريوهات مختلفة، من موازنة العمود (Cartpole) إلى طيران الطائرات بدون طيار وقيادة السيارات.

المنافسة: قارنوا ReCORS بأفضل أساليب سلامة الذكاء الاصطناعي الراقية الأخرى.
النتيجة: غالبًا ما فشلت الأساليب الأخرى في تقديم ضمان سلامة "مثبت" بمجرد أن يصبح الأفق الزمني طويلًا (على سبيل المثال، بعد 20 ثانية). لقد كانوا مثل السائقين الذين يكونون آمنين لبضع ثوانٍ ولكن قد يصطدمون لاحقًا.
ReCORS: تمكن من إثبات السلامة لفترات أطول بكثير (أكثر من 50 ثانية) مع الاستمرار في القيادة بسرعة والحصول على مكافآت عالية.
المقايضة: حصلت بعض الأساليب الأخرى على درجات أعلى قليلاً في بعض الألعاب، لكنها فعلت ذلك من خلال اتخاذ مخاطر كبيرة (المقامرة بأنها لن تصطدم). كان ReCORS هو الوحيد الذي قدم كلاً من الأداء العالي والضمان المثبت رياضيًا بأنه لن يصطدم.

ملخص التشبيه

تخيل أنك تسير على حبل مشدود فوق أخدود.

الذكاء الاصطناعي القديم: يمشي بسرعة ويقول: "لقد فعلت هذا 100 مرة وسقطت مرة واحدة فقط، لذا فأنا آمن على الأرجح".
ReCORS: يمشي بسرعة ولكنه يحمل شبكة أمان ضخمة وغير مرئية تضمن رياضياً التقاطك إذا انزلقت. إنه يتحقق باستمرار من موقع الشبكة بالنسبة لجدران الأخدود. إذا اقتربت الشبكة من الجدار، فإنه يبطئ أو يعدل مساره. إنه يثبت لك: "لن أسقط"، دون التضحية بسرعة مشيك.

تخلص الورقة إلى أن هذه الطريقة تسمن لنا بناء أنظمة مستقلة يمكننا الوثوق بها حقًا، حتى عندما لا نفهم بالكامل البيئة التي تعمل فيها.

ملخص تقني: الوصول التشكلي للتحكم الآمن في البيئات المجهولة

1. بيان المشكلة

تتناول الورقة البحثية تحدي تصميم سياسات تحكم آمنة ومثبتة للأنظمة ذاتية القيادة التي تعمل في بيئات ديناميكية مجهولة. وبينما حقق التعلم التعزيزي (RL) تقدماً في الاستقلالية، إلا أن النهج القياسية غالباً ما تفتقر إلى ضمانات سلامة صارمة، حيث تركز عادةً على تحسين الأداء المتوسط أو تعتمد على سلامة تجريبية تفشل في السيناريوهات الحرجة للسلامة.

تواجه تقنيات التحقق والتركيب الحالية قيوداً كبيرة:

الافتراضات المعروفة/الحتمية: تفترض العديد من الطرق أن ديناميكيات النظام معروفة أو حتمية، وهو أمر نادر الحدوث في الواقع.
فضاءات الحالة/الأفعال المحدودة: تتطلب النهج غالباً فضاءات حالة أو أفعال محدودة، مما يحد من قابليتها للتطبيق على الأنظمة المستمرة.
القابلية للتوسع والنعومة: لا تتوسع طرق مثل "وصول هاميلتون-جاكوبي" (Hamilton-Jacobi reachability) بشكل جيد مع تعقيد النظام، كما تفترض العديد من الطرق القائمة على التعلم ديناميكيات ناعمة أو نماذج محددة (مثل العمليات الغاوسية).
الضمانات التقريبية: توفر معظم طرق التعلم التعزيزي الآمن السلامة "في المتوسط" فقط (عبر عمليات ماركوف لاتخاذ القرار المقيدة)، بدلاً من تقديم ضمانات احتمالية لأفق زمني محدد للديناميكيات المجهولة والتي قد تكون عشوائية.

المشكلة الجوهرية هي تعلم سياسة تعظم المكافأة التراكمية مع ضمان بقاء النظام ضمن مجموعة آمنة $S_s$ لأفق قرار $K$ بضمان عالٍ وصارم، رغم عدم وجود معرفة مسبقة بديناميكيات النظام $P$ أو دالة المكافأة $r$ .

2. المنهجية: ReCORS

يقترح المؤلفون إطار عمل ReCORS (الوصول باستخدام مجموعات عدم اليقين التشكلية للتعلم التعزيزي مع ضمانات السلامة)، وهو إطار يدمج التعلم التعزيزي القائم على النموذج والتعلم التعزيزي المستقل عن النموذج مع التنبؤ التشكلي (Conformal Prediction) وتحليل الوصول.

2.1 تقريب ديناميكيات النظام

يتعلم الأسلوب نموذج ديناميكيات بارامترياً ذا زمن منفصل $\hat{f}_\beta$ (شبكة عصبية) يقوم برسم خريطة من أزواج (الحالة-الفعل) إلى الحالات التالية المتوقعة.

التدريب الواعي بالسلامة: على عكس تعلم الديناميكيات القياسي، تتضمن دالة الخسارة لـ $\hat{f}_\beta$ أوزان سلامة. يتم تخصيص أوزان أعلى لأبعاد فضاء الحالة الأكثر حرجاً للسلامة (مثل القرب من العوائق) في خسارة $\ell_2$ . هذا يعطي الأولوية لدقة التنبؤ في الأبعاد الحرجة للسلامة، حتى لو أدى ذلك لزيادة طفيفة في خطأ التنبؤ الإجمالي.
خط أنابيب التدريب: يتم تدريب النموذج مسبقاً باستخدام أفعال عشوائية، ثم يتم ضبطه بدقة بشكل تكراري جنباً إلى جنب مع السياسة باستخدام البيانات المجموعة من السياسة الحالية.

2.2 تحليل السلامة التشكلي (CSA)

لتوفير ضمانات احتمالية دون افتراض توزيعات محددة للديناميكيات، يستخدم ReCORS التنبؤ التشكلي.

تحديد عدم اليقين: يُستخدم التنبؤ التشكلي لتوليد فترات تنبؤ صالحة (مجموعات عدم اليقين) لنموذج الديناميكيات. لأي حالة وفعل معطيين، يُضمن أن الحالة التالية الحقيقية تقع ضمن الفترة $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ باحتمالية $1-\alpha$ .
الحدود على مستوى المسار: لتجنب الحدود المبالغ فيها (union bounds) عبر الخطوات الزمنية، يستخدم المؤلفون درجة عدم تطابق على مستوى المسار (بناءً على Cleaveland et al. [12]). يعمل هذا على تحسين الأوزان لكل خطوة زمنية لإنتاج حدود أكثر إحكاماً عبر الأفق الكامل $K$ .
التحقق من الوصول: باستخدام الديناميكيات المتعلمة $\hat{f}_\beta$ وحدود عدم اليقين التشكلية $\eta$ ، يقوم النظام بإجراء تحليل الوصول الأمامي. يتحقق مما إذا كانت مجموعة الحالات التي يمكن الوصول إليها في أي وقت $t \in [1, K]$ تتقاطع مع المجموعة غير الآمنة $S_u$ .
توزيع الحالة الابتدائية: يأخذ الإطار في الاعتبار عدم اليقين في توزيع الحالة الابتدائية $\rho$ من خلال تطبيق حدود ذيل العينات المحدودة (متباينة هوفدينج) على نتائج التحقق التجريبية، مما يضمن أن ضمان السلامة ينطبق على التوزيع بأكمله، وليس فقط على الحالات الابتدائية التي تم أخذ عينات منها.

2.3 خط أنابيب التدريب القابل للتفاضل

الابتكار الرئيسي هو جعل عملية التحقق من السلامة قابلة للتفاضل لتمكين تحسين السياسة من البداية إلى النهاية.

المتنبئ التشكلي العصبي: يتم تدريب شبكة عصبية منفصلة $\eta_\omega$ للتنبؤ بعتبات التطابق $\eta$ . هذا يستبدل حساب الكم (quantile) غير القابل للتفاضل في التنبؤ التشكلي القياسي.
دوال الخسارة:
- خسارة التشكل: تجمع بين حد الكفاءة (تقليل حجم مجموعة التنبؤ) وحد التغطية (ضمان أن التغطية التجريبية تلبي الهدف $1-\alpha$ ).
- خسارة السلامة: تعاقب صراحةً الحد الأقصى لانتهاك السلامة عبر الأفق وتشجع على تحسين درجات السلامة من الخطوة الأولى إلى الخطوة النهائية.
التحسين المشترك: يتم تحسين السياسة (الممثل/Actor)، والناقد (Critic)، ونموذج الديناميكيات، والمتنبئ التشكلي بشكل مشترك. تجمع الخسارة الإجمالية بين هدف مكافأة RL القياسي وخسائر التشكل والسلامة.
التعلم المنهجي (Curriculum Learning): يستخدم الخوارزمي استراتيجية منهجية، تبدأ بأفق سلامة قصير $K_0$ وتزيده تدريجياً مع تحقيق السياسة للسلامة المثبتة، مما يسمح للنظام بتعلم السلوكيات المعقدة تدريجياً.

3. المساهمات الرئيسية

تحليل السلامة التشكلي (CSA): إطار عمل جديد يجمع بين التنبؤ التشكلي وتحليل الوصول للتحكم القائم على التعلم في الأنظمة الديناميكية المجهولة. يوفر ضمانات سلامة احتمالية صارمة دون افتراض النعومة أو أشكال محددة للديناميكيات.
تعلم سياسة آمنة مثبتة: إطار تدريب يدمج التعلم التعزيزي المستقل عن النموذج (لتعظيم المكافأة) مع الوصول القائم على النموذج (للسلامة). يفرض قيود سلامة صلبة عبر دوال خسارة مشتقة من مجموعات عدم اليقين التشكلية.
تقييم شامل: تجارب واسعة النطاق عبر سبعة بيئات (تشمل Cartpole، وLane Following، و2D/3D Quadrotors، وCarGoal، وHalfCheetah) مع مواصفات سلامة خطية (affine) وغير خطية.

4. النتائج التجريبية

قيم المؤلفون ReCORS مقابل خمسة من أحدث النماذج المرجعية (PPOLag, PCPO, CRPO, P3O, RESPO).

السلامة المتحقق منها: حقق ReCORS ضمانات سلامة مثبتة أقوى بكثير من جميع النماذج المرجعية. على سبيل المثال، في بيئة Cartpole، فشلت النماذج المرجعية في تقديم ضمانات مفيدة لما بعد الأفق $K=20$ ، بينما حافظ ReCos على ضمانات سلامة عالية الاحتمالية حتى $K \ge 50$ .
المقايضة بين المكافأة والسلامة: بينما حققت بعض النماذج المرجعية مكافآت أعلى، فقد فعلت ذلك على حساب خصائص السلامة (انتهاكات متكررة). كان ReCORS هو الطريقة الوحيدة التي حققت باستمرار كلاً من الأداء القوي والسلامة المتحقق منها. في بعض المجالات (مثل 2D Quadrotor)، تفوق ReCORS على جميع النماذج المرجعية في كل من المكافأة والسلامة.
القيود غير الخطية: تعامل النهج بنجاح مع قيود السلامة غير الخطية (مثل المسافة الآمنة في 2D Quadrotor)، متفوقاً على النماذج المرجعية التي إما فشلت في التحقق من السلامة أو أدت إلى سلوكيات متحفظة للغاية (مثل بقاء الطائرات بدون طيار ثابتة).
دراسات الاستئصال (Ablation Studies): أكدت النتائج أهمية أوزان السلامة في تدريب الديناميكيات والتحسين المشترك للنماذج الديناميكية ونماذج عدم اليقين.

5. الأهمية والادعاءات

تدعي الورقة تقديم نهج مبتكر يسد الفجوة بين الأداء العالي والتحقق الصارم من السلامة في البيئات المجهولة. تكمن أهميته في:

إزالة الافتراضات المقيدة: على عكس الأعمال السابقة، لا يفترض هذا النهج ديناميكيات معروفة أو حتمية أو ناعمة، ولا يتطلب فضاءات حالة محدودة.
ضمانات خالية من التوزيع: من خلال الاستفادة من التنبؤ التشكلي، فإنه يوفر تحديداً لعدم اليقين معايرًا وخاليًا من التوزيع، مما يجعل ضمانات السلامة قوية تجاه أخطاء النموذج والعشوائية المجهولة.
القابلية للتوسع: يتوسع صياغة الوصول للخطوات المنفصلة زمنياً بشكل أفضل مع تعقيد النظام مقارنة بطرق Hamilton-Jacobi القائمة على المعادلات التفاضلية الجزئية (PDE).
القابلية للتطبيق العملي: تم إثبات فعالية الطريقة عبر مجالات متنوعة، مما يوفر مساراً قابلاً للتطبيق نحو استقلالية موثوقة حيث لا يمكن المساومة على السلامة من أجل الأداء.

يقر المؤلفون بوجود قيود، مشيرين إلى أن النهج الحالي يفترض الملاحظة الكاملة لحالة النظام، وهو ما يظل مشكلة مفتوحة للعمل المستقبلي.