🤖 machine learning

Robust Adversarial Policy Optimization Under Dynamics Uncertainty

تقدم هذه الورقة البحثية "تحسين السياسة الخصومية المتينة" (RAPO)، وهو إطار عمل ثنائي الصيغة يعزز مرونة التعلم التعزيزي تجاه عدم اليقين في الديناميكيات من خلال الجمع بين عمليات تدحرج المسارات الخصومية الموجهة بالحرارة وبين أخذ عينات النماذج بإعادة التوزين بأسلوب بولتزمان لتحقيق سياسات مستقرة، وأقل تحفظاً، وأكثر تعميماً.

المؤلفون الأصليون: Mintae Kim, Koushil Sreenath

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mintae Kim, Koushil Sreenath

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب كلب آلي على المشي. قمت بتدريبه في لعبة فيديو مثالية حيث الأرض دائمًا مستوية، والهواء ساكن، وأرجل الروبوت متوازنة تمامًا. تعلم الروبوت كيف يمشي ببراعة في هذا "عالم التدريب".

ولكن، بمجرد أن تأخذ الروبوت إلى الخارج، فجأة تصبح الأرض زلقة، والرياح تهب بقوة، وربما تكون إحدى أرجله أثقل قليلاً من غيرها. ولأن الروبوت تدرب فقط على النسخة "المثالية"، فإنه يتعثر ويسقط فوراً.

هذه هي المشكلة التي يحاول RAPO (تحسين السياسة الخصمية المتينة) حلها. إنه طريقة جديدة لتدريب الذكاء الاصطناعي بحيث لا يتعلم المشي على جهاز مشي مثالي فحسب، بل يتعلم المشي وسط عاصفة، وعلى الجليد، وبساق مكسورة، وكل ذلك دون أن ينهار.

إليك كيف يعمل RAPO، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: فخ "العالم المثالي"

معظم تدريبات الذكاء الاصطناعي تشبه المذاكرة للاختبار عبر النظر فقط في نموذج الإجابة. يتعلم الذكاء الاصطناعي العالم "الاسمي" (المتوسط) بشكل مثالي. لكن العالم الحقيقي فوضوي.

الطريقة القديمة 1 (تنويع النطاق - Domain Randomization): تشبه تدريب الروبوت عن طريق تغيير ملمس الأرض، وسرعة الرياح، ووزن الساق عشوائياً مع كل خطوة. هذا يساعد، لكنه يعامل النسيم اللطيف مثلما يعامل الإعصار. إنها طريقة غير فعالة وغالباً ما تجعل الروبوت حذراً للغاية (يمشي مثل السلحفاة تحسباً لأي شيء).
الطريقة القديمة 2 (التدريب الخصمي - Adversarial Training): تشبه وجود "شخص سيء" يحاول عرقلة الروبوت أثناء التدريب. المشكلة هي أن هذا الشخص السيئ قد يصبح مجنوناً جداً، مما يجعل الروبوت غير مستقر، أو قد يركز فقط على طريقة واحدة محددة لتعثره، مما يجعله يغفل عن مخاطر أخرى.

2. الحل: هجوم RAPO ذو المسارين

أدرك RAPO أنه لكي تكون متيناً حقاً، عليك القلق من شيئين مختلفين في آن واحد:

اللحظة المحددة: "أوه لا، أنا أخطو الآن على بقعة جليد!"
الصورة الكبيرة: "انتظر، العالم الذي أنا فيه بالكامل قد يكون مختلفاً قليلاً عما ظننته (على سبيل المثال، الجاذبية أقوى)."

يستخدم RAPO أداتين خاصتين للتعامل مع هذه الأمور:

الأداة (أ): شبكة "اختبار الإجهاد" (AdvNet)

الاستعارة: تخيل مدرباً يراقب مشي الروبوت ويهمس له فوراً: "مهلاً، تخيل الآن أن الأرض أكثر انزلاقاً بنسبة 10%".
كيف تعمل: هذه شبكة عصبية تسمى AdvNet. بدلاً من ترك الروبوت يمشي بشكل طبيعي، تنظر AdvNet إلى الموقف الحالي وتقول: "إذا عدلنا الفيزياء قليلاً هنا، فسوف يسقط الروبوت. لنمارس هذا الفشل المحدد".
السحر: هي لا تختار أسوأ حالة عشوائياً. بل تستخدم "مقبض حرارة" رياضياً لتجد الطريقة الأكثر احتمالاً التي يمكن أن يفشل بها الروبوت بناءً على القواعد الحالية. إنها تجبر الروبوت على تعلم كيفية التعافي من لحظات صعبة ومحددة دون ذعر.

الأداة (ب): "قائمة القلق" (Boltzmann Reweighting)

الاست metaphor: تخيل أن لديك مكتبة من 100 "عالم" مختلف (بعضها بجاذبية ثقيلة، وبعضها بأرض زلقة، وبعضها برياح قوية). المدرب العادي يختار عالماً عشوائياً. أما مدرب RAPO فينظر إلى مهارات الروبوت الحالية ويقول: "الروبوت سيء حقاً في المشي في الجاذبية الثقيلة. لذا، دعونا نقضي 80% من وقتنا في التدريب في الجاذبية الثقيلة و20% فقط في الجاذبية الخفيفة".
كيف تعمل: هذه هي عملية Boltzmann Reweighting. فهي تقوم بتحديث "قائمة القلق" باستمرار. إذا كان الروبوت يعاني مع نوع معين من البيئات (مثل حمل ثقيل)، فإن النظام يوجه وقت التدريب تلقائياً للتركيز على تلك الصعوبة المحددة. إنه يتجاهل الأشياء السهلة ويركز على التدريب على الأشياء الصعبة.

3. كيف يعملان معاً

فكر في RAPO كمدير طهاة يدرب مساعد طباخ:

AdvNet هو الطاهي الواقف بجانب الموقد مباشرة، ويصرخ: "احذر! المقلاة أكثر سخونة من المعتاد الآن!" (إجهاد على مستوى المسار).
Boltzmann Reweighting هو الطاهي الذي ينظر إلى قائمة الطعام ويقول: "نحن سيئون جداً في صنع السوفليه، لذا فلنتوقف عن ممارسة صنع الأومليت ونقضي فترة الظهيرة بأكملها في صنع السوفليه" (تركيز على مستوى النموذج).

من خلال الجمع بين هذين، يتعلم الروبوت كيفية التعامل مع المفاجات الفورية (انزلاق مفاجئ) والتغيرات الهيكلية (بيئة جديدة بالكامل).

4. النتيجة: الروبوت "غير القابل للكسر"

عندما اختبر المؤلفون RAPO على كلب روبوتي (Walker2d) وطائرة بدون طيار تحمل طرداً ثقيلاً:

الذكاء الاصطناعي القياسي (PPO): مشى بشكل رائع في عالم التدريب، لكنه تعثر بمجرد هبوب الرياح أو تغير الوزن.
الذكاء الاصطناعي المتين القديم: كان آمناً جداً ولكنه تحرك ببطء شديد وبشكل غير متناسق، كأنه يخاف من ظله.
RAPO: تحرك بنفس سرعة وسلاسة الذكاء الاصطناعي القياسي في الظروف العادية، ولكن عندما ألقوا عليه فوضى عارمة (رياح شديدة، أجزاء مكسورة، أوزان غريبة)، استمر في المشي دون أن يسقط.

ملخص

RAPO هو طريقة أذكى لتدريب الذكاء الاصطناعي. بدلاً من الأمل في أن يتعلم الذكاء الاصطناعي كل شيء بالصدفة، فإنه يستخدم استراتيجية مزدوجة:

على المستوى الدقيق (Micro-level): شبكة ذكية تجد "مخاطر التعثر" المحددة في اللحظة الحالية.
على المستوى الكلي (Macro-level): مجدول ذكي يركز وقت التدريب على البيئات المحددة التي يظهر فيها الذكاء الاصطناعي ضعفاً حالياً.

إنه يشبه تدريب طيار ليس فقط عبر الطيران في طقس مثالي، بل عبر توفير جهاز محاكاة يعرف بالضبط المناورات التي يواجه فيها الطيار صعوبة، ويجبره على ممارسة تلك المناورات المحددة حتى يتقنها. النتيجة هي ذكاء اصطناعي مستعد للعالم الحقيقي الفوضوي وغير المتوقع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تحسين السياسة الخصامية المتينة تحت عدم اليقين في الديناميكيات" (RAPO) من إعداد مينتي كيم وكوشيل سرينات.

1. بيان المشكلة

غالبًا ما تفشل سياسات التعلم المعزز (RL) عند نشرها في بيئات العالم الحقيقي بسبب عدم تطابق الديناميكيات (الفجوة بين المحاكاة أثناء التدريب والواقع). بينما يعمل التعلم المعزز القياسي على تعظيم العوائد الاسمية، إلا أنه يكون هشًا تجاه التباينات الآلية (العشوائية) والمعرفية (عدم يقين النموذج).

تعاني النهج الحالية من قيود:

عشوائية النطاق (Domain Randomization - DR): تقوم بأخذ عينات من البيئات بشكل موحد، حيث تعامل جميع الاضطرابات بالتساوي. يؤدي هذا إلى تدريب غير فعال وسياسات مفرطة في التحفظ.
التعلم المعزز الخصامي (Adversarial RL): غالبًا ما يستخدم وكلاء خصمين صريحين أو أخذ عينات للحد الأدنى الصعب. يمكن أن يتسبب هذا في عدم استقرار التدريب، وديناميكيات تذبذبية، ويفشل في توفير ضمانات توزيعية (نقاط عمياء في مجموعة الغموض).
التعلم المعزز المتين توزيعيًا (DR-RL): يصيغ المشكلة كمعادلة (minimax) على مجموعة من نوى الانتقال (مثل كرة تباعد KL). ومع ذلك، فإن حل المشكلة الأولية مباشرة أمر مستعصٍ حاسوبيًا. تعتمد الصيغ المزدوجة الموجودة غالبًا على خصوم بدائل يقربون التوزيع الأسوأ حالة، مما يؤدي إلى تحفظ مفرط أو عدم استقرار.

التحدي الجوهري: كيف يمكن تصميم خوارزمية تعلم معزز تكون متينة تجاه عدم اليقين في الديناميكيات دون الانهيار في التحفظ الشديد أو المعاناة من عدم استقرار التدريب، مع الحفاظ على القدرة الحاسوبية.

2. المنهجية: تحسين السياسة الخصامية المتينة (RAPO)

يقترح المؤلفون إطار عمل RAPO، الذي يحقق التعلم المعزز المتين توزيعيًا من خلال الجمع بين صيغة مزدوجة ومكونين متكاملين: الإمالة الأسية على مستوى المسار وإعادة التوزين بـ "بولتزمان" على مستوى النموذج.

أ. الأساس النظري: الصيغة المزدوجة

بدلاً من حل مشكلة (minimax) الأولية مباشرة ( $\inf_p \mathbb{E}_p[V]$ )، يستخدم RAPO المزدوج المحدب للتوقع المتين المقيد بـ KL.

الأولي: $\inf_{p: D_{KL}(p\|\hat{p}) \leq \epsilon} \mathbb{E}_p[V]$
المزدوج: $\sup_{\eta \geq 0} \left\{ -\frac{1}{\eta} \log \mathbb{E}_{\hat{p}}[e^{-\eta V}] - \frac{\epsilon}{\eta} \right\}$
هنا، $\hat{p}$ هو نواة الانتقال الاسمية، و $\eta$ هو معامل درجة الحرارة المزدوجة. يحول هذا العملية من تحسين لانهائي الأبعاد عبر التوزيعات إلى تحسين قياسي قابل للتتبع. يمثل المصطلح $-\frac{1}{\eta} \log \mathbb{E}[e^{-\eta V}]$ المخاطرة الإنتروبية (الإمالة الأسية)، والتي تركز بشكل طبيعي على النتائج ذات العائد المنخفض (الضارة) دون الحاجة إلى أخذ عينات صعبة.

ب. المكون 1: شبكة الخصم (AdvNet) (المتانة على مستوى المسار)

إن حل $\eta^*$ الأمثل مباشرة عبر البحث عن الجذور في كل خطوة أمر مستعصٍ حاسوبيًا.

الآلية: يقدم RAPO شبكة خصم (AdvNet)، وهي شبكة عصبية أمامية تأخذ الحالة الحالية (والإجراء اختياريًا) كمدخل وتتنبأ بدرجة الحرارة المزدوجة $\eta_t$ .
الوظيفة: تعمل AdvNet على تقليل زمن البحث عن $\eta^*$ عبر التجريد. فهي توجه عمليات التشغيل (rollouts) نحو مناطق العائد المنخفض بما يتوافق مع ميزانية KL $\epsilon$ .
الاستقرار: يتم تدريب الشبكة لتلبية قيد KL عبر حد عقوبة. ومن المهم أن يثبت البحث أن عامل "بيلمان" المتين يظل عامل تقليص $\gamma$ حتى مع وجود $\eta$ تقريبية، مما يضمن التقارب إلى نقطة ثابتة فريدة. الخطأ في القيمة يتناسب تربيعيًا مع الخطأ في $\eta$ .

ج. المكون 2: إعادة التوزين بـ "بولتزمان" (المتانة على مستوى النموذج)

تتعامل AdvNet مع الهشاشة المحلية للمسار، لكن سوء توصيف النموذج العالمي يتطلب معالجة مجموعة النماذج.

الآلية: يحافظ RAPO على مجموعة من $K$ من المحاكيات الحتمية ذات المعلمات الفيزيائية المتنوعة (مثل الكتلة، الاحتكاك). بدلاً من أخذ العينات الموحدة، فإنه يستخدم إعادة التوزين بـ "بولتزمان" عبر هذه المجموعة.
الوظيفة: يتم تحديث أوزان $w$ لنماذج المجموعة لتقليل العائد المتوقع مع مراعاة ميزانية KL قدرها $\kappa$ بالنسبة لتوزيع سابق. ينتج عن ذلك توزيع "الحد الأدنى الناعم":
$w^*_\beta(k) \propto \rho(k) \exp(-\beta h_k)$
حيث $h_k$ هو درجة تعرض النموذج (مثل تقديرات القيمة المنخفضة) للنموذج $k$ ، و $\beta$ هي درجة حرارة يتم ضبطها لتلبية قيد KL.
الفائدة: يركز هذا على النماذج "الضارة" حيث يقل أداء السياسة حاليًا، مما يوفر تغطية حساسة للسياسة في مساحة الديناميكيات.

د. الخوارزمية الموحدة

يدمج RAPO هذه المكونات في حلقة متوافقة مع PPO:

التشغيل (Rollout): جمع البيانات تحت البيئة الاسمية.
تحديث AdvNet: التنبؤ بـ $\eta$ لحساب أهداف "بيلمان" المتينة (الإمالة الأسية).
تحديث الممثل-الناقد (Actor-Critic): تحديث السياسة باستخدام PPO مع الأهداف المتينة.
تحديث المجموعة (Ensemble): تحديث أوزان الخليط $w$ عبر إعادة التوزين ببولتزمان بناءً على أداء السياسة الحالي عبر المجموعة.

3. المساهمات الرئيسية

الصيغة المزدوجة للتعلم المعزز المتين: تؤسس الورقة لواقع عملي للتعلم المعزز المتين توزيعيًا باستخدام صيغة مزدوجة تكشف صراحة عن المقايضة بين المتانة والأداء عبر معامل درجة الحرارة $\eta$ .
بنية ثنائية الطبقات: تقدم هيكلًا مبتكرًا بطبقتين:
- على مستوى المسار: AdvNet للإمالة الأسية المعتمدة على الحالة والإجراء.
- على مستوى النموذج: إعادة التوزين ببولتزمان للتغطية العالمية للديناميكيات الضارة في مجموعة.
  تعمل هذه المكونات بشكل مستقل ومتكامل للحماية من كل من الهشاشة المحلية وسوء التوصيف العالمي.
الضمانات النظرية:
- يثبت أن عامل "بيلمان" المتين يظل عامل تقليص حتى مع وجود $\eta$ تقريبية.
- يوضح أن فجوة القيمة بين السياسات الاسمية والمتينة تتناسب مع $O(\sqrt{\epsilon})$ ، مما يبرر $\epsilon$ كمعامل قابل للضبط.
- يثبت تقارب تقريب المجموعة المحدودة للحالة المستمرة بمعدل مونت كارلو ( $O(K^{-1/2})$ ).
القابلية للتوسع العملي: يقوم RAPO بتجريد التحسين المزدوج عبر الشبكات العصبية، مما يجعله قابلًا للتوسع ومتوافقًا مع خوارزميات الممثل-الناقد القياسية مثل PPO.

4. النتائج التجريبية

قيم المؤلفون RAPO على مهمة Walker2d (الحركة) ومهمة تتبع حمولة الكوادروتور (الديناميكيات المقترنة).

المتانة تجاه عدم اليقين في الديناميكيات:
- تم اختبار RAPO تحت تغيرات كبيرة في المعلمات (الكتلة، القصور الذاتي، الاحتكاك، عزم الدوران) تتراوح من 0.5x إلى 1.5x من القيم الاسمية.
- المقارنة المرجعية: تمت المقارنة مع PPO (الاسمي)، وPPO+DR (عشوائية النطاق)، وRARL (التعلم المعزز الخصامي)، وEPOpt (المتجنب للمخاطر).
- النتيجة: حافظ RAPO على عوائد عالية في الأنظمة خارج التوزيع (OOD) حيث انهار PPO وتدهور أداء PPO+DR بشكل كبير. كان RARL غير مستقر، وكان EPOpt متحفظًا للغاية. حقق RAPO أفضل توازن، محافظًا على الأداء حتى عند المقاييس القصوى (مثل 0.5x أو 1.5x كتلة).
دراسات الاستئصال (Ablation Studies):
- إزالة AdvNet (الاعتماد فقط على البحث عن الجذور) قلل من المتانة وزاد من التباين.
- إزالة إعادة التوزين ببولتزمان (أخذ العينات الموحد) أدى إلى ظهور ذيول هشة في مناطق OOD.
- إزالة كلاهما أدى إلى أكبر انخفاض في الأداء، مما يؤكد ضرورة كلا المكونين.
مهمة حمولة الكوادروتور:
- في مهمة معقدة تتضمن حمولة معلقة مع اضطرابات عشوائية، حقق RAPO نسبة تحطم 0% في بيئات OOD، بينما سجل PPO-DR نسبة تحطم بلغت 40%.
- قلل RAPO بشكل كبير من تذبذبات المسار وخطأ الحالة المستقرة مقارنة بجميع النماذج المرجعية.

5. الأهمية

يجسر RAPO الفجوة بين المتانة التوزيعية النظرية والنشر العملي للتعلم المعزز.

حل مشكلة "النقطة العمياء": على عكس عشوائية النطاق (التي تعامل جميع الاضطرابات بالتساوي) أو التدريب الخصامي الصرف (الذي قد يفتقد التوزيع الأسوأ الحقيقي)، يضمن RAPO رياضيًا تغطية مجموعة الغموض عبر الصيغة المزدوجة.
الاستقرار مقابل التحفظ: يتجنب التحفظ المفرط للتحسين في أسوأ حالة باستخدام الحد الأدنى الناعم (الإمالة الأسية) ويتجنب عدم استقرار الوكلاء الخصمين الصعبيين.
التعميم: من خلال التركيز على الديناميكيات الضارة الحساسة للسياسة، ينتج RAPO سياسات تتعمم بفعالية على البيئات غير المرئية دون الحاجة لإعادة التدريب، وهو مطلب حاسم لتطبيقات الروبوتات ذات الأهمية الحرجة للسلامة.

باختاً، يوفر RAPO إطار عمل متأسس نظريًا، وقابل للتوسع، ومتفوق تجريبيًا لتدريب وكلاء التعلم المعزز الذين يتميزون بالمرونة تجاه عدم اليقين في الديناميكيات.