🤖 machine learning

When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning

تقدم هذه الورقة تحليلاً موحداً بصيغة مغلقة لتوجيه ما بعد التدريب لسياسات التعلم التعزيزي غير المتصل بالإنترنت المجمدة، مما يثبت أن "نتاج الخبراء" والتكيف المنظم بـ "كاي إل" يعملان كآليات سلامة "مرتكزة على الفاعل" توفر تدهوراً تدريجياً بدلاً من مكاسب أداء مضمونة عند تغير أهداف النشر.

المؤلفون الأصليون: Elias Hossain, Mohammad Jahid Ibna Basher, Ivan Garibay, Ozlem Garibay, Niloofar Yousefi

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Elias Hossain, Mohammad Jahid Ibna Basher, Ivan Garibay, Ozlem Garibay, Niloofar Yousefi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً محترفاً أمضى سنوات في إتقان وصفة محددة للغاية ومنظمة بدقة لطبق "بيف ويلينجتون" الكلاسيكي. هذا الطباخ "مجمد"، مما يعني أنه لا يُسمح لك بتغيير تدريبه، أو أدواته، أو تقنياته الأساسية لأنه قد تم اعتماده بالفعل من قبل هيئة صارمة لسلامة الغذاء.

فجأة، يدخل زبون ويطلب نفس الطبق، ولكن مع لمسة مختلفة: "هل يمكنك أن تجعله أكثر حِدّة (سبايسي) وأقل دسامة؟"

في عالم الذكاء الاصطناعي، هذا هو المشكلة التي تحلها هذه الورقة البحثية. عادةً، إذا أردت تغيير سلوك الذكاء الاصطناعي، يجب عليك "إعادة تدريبه"، وهو أمر مكلف، بطيء، وغالباً ما يكون مستحيلاً إذا كان الذكاء الاصطناعي مقيداً بالفعل بقواعد سلامة صارمة. تقترح هذه الورقة طريقة لـ "توجيه" ذلك الطباخ المجمد دون تغيير تدريبه الجوهري أبداً.

الفكرة الجوهرية: "الخبير والمرشد"

يستخدم الباحثون أسلوب "حاصل ضرب الخبراء" (Product-of-Experts - PoE). فكر في الأمر كالتالي:

الخبير المجمد (الطباخ): هذا هو الذكاء الاصطناعي الأصلي. إنه موثوق للغاية ويعرف تماماً كيف يتحرك، لكنه يعرف فقط كيفية القيام بشيء واحد محدد.
الأولوية المشروطة بالهدف (مساعد الطباخ/المرشد): هذا ذكاء اصطناعي ثانٍ، أخف وزناً. هو لا يعرف كيفية طهي وجبة كاملة، لكنه يعرف القليل عن الهدف الجديد (مثل "الحِدّة").

بدلاً من إجبار الطباخ على تعلم مهارة جديدة، أنت تترك الطباخ والمرشد يعملان معاً في اللحظة الأخيرة تماماً. عندما يوشك الطباخ على اتخاذ خطوة، يهمس له المرشد: "مهلاً، تذكر، نريد مزيداً من الحِدّة هنا!". الفعل النهائي هو مزيج رياضي بين خبرة الطباخ واقتراح المرشد.

"مرساة السلامة" (لماذا هذا ذكي)

الجزء الأهم في هذه الورقة هو كيفية تعاملها مع الأخطاء.

تخيل لو تركت "المرشد" يتولى زمام الأمور فحسب. بما أن المرشد ليس طباخاً ماهراً، فقد يقترح شيئاً جنونياً، مثل وضع فلفل حار خام داخل العجينة. سيؤدي ذلك إلى إفساد الطبق.

وجد الباحثون أن طريقتهم تعمل بمثابة "مرساة سلامة". نظرًا لأنهم يستخدمون صيغة رياضية محددة (الـ "حاصل الضرب" في طريقة حاصل ضرب الخبراء)، فإن القرار النهائي لا يمكن أن يفعل أي شيء يعتقد الطباخ الأصلي أنه مستحيل. إذا كان الطباخ يعرف أن "وضع الفلفل في العجينة" هو احتمال بنسبة صفر بالمائة، فلا يمكن للمرشد إقناعه بفعل ذلك. خبرة الطباخ تعمل كحدود تمنع المرشد من دفع الذكاء الاصطناعي نحو الهاوية.

"السقف" (واقع التحقق)

اكتشف الباحثون أيضاً شيئاً صادقاً للغاية: لا يمكنك توجيه سيارة ليس لها محرك.

لقد اختبروا ذلك في مهام أصعب بكثير. ووجدوا أنه إذا كان "الطباخ" الأصلي (الذكاء الاصطناعي المجمد) موجوداً بالفعل عند الحد الأقصى لما هو ممكن، أو إذا كان الطباخ ببساطة غير كفء (مثل طباخ لا يعرف كيفية استخدام الموقد)، فلن يساعد أي قدر من "التوجيه". يمكنك توجيه سائق ماهر نحو وجهة جديدة، لكن لا يمكنك توجيه تمثال.

ملخص في ثلاث نقاط:

المشكلة: كيف تغير هدف الذكاء الاصطناعي عندما يكون الذكاء الاصطناعي "مجمداً" ولا يمكن إعادة تدريبه؟
الحل: استخدم "مرشداً" ليدفع "الخبير" في لحظة اتخاذ القرار، باستخدام صيغة رياضية تضمن بقاء "الخبير" دائماً في حالة سيطرة على حدود السلامة.
العائق: هذا يعمل فقط إذا كان الذكاء الاصطناعي الأصلي كفؤاً بالفعل. إذا كان الذكاء الاصطناعي الأساسي سيئاً، فإن "التوجيه" لن ينقذه.

ملخص تقني: عندما لا يمكن إعادة تدريب السياسات

العنوان: عندما لا يمكن إعادة تدريب السياسات: رؤية موحدة ذات صيغة مغلقة للتوجيه ما بعد التدريب في التعلم المعزز خارج الخط (Offline Reinforcement Learning)

1. بيان المشكلة

في العديد من تطبيقات التعلم المعزز خارج الخط (Offline RL) في العالم الحقيقي، يتم تدريب سياسة (الـ "actor") على مجموعة بيانات ثابتة، ومن ثم تتم الموافقة على نشرها. ومع ذلك، غالبًا ما تتغير أهداف النشر بعد التدريب (على سبيل المثال، تغيير في أوزان المكافأة أو هدف جديد). في هذه السيناريوهات، يكون إعادة تدريب الـ "actor" مستحيلاً في كثير من الأحيان بسبب قيود الوصول إلى البيانات، أو التكاليف الحسابية العالية، أو متطلبات الحوكمة وإعادة التحقق الصارمة.

يتناول المؤلفون تحدي التكيف وقت النشر: كيفية "توجيه" (steer) "actor" مُثبّت ومُعتمد نحو هدف جديد مع البقاء متحفظاً بما يكفي لضمان عدم انحراف الوكيل نحو مساحات أفعال غير آمنة أو غير مدعومة.

2. المنهجية

يقترح البحث إطار عمل معياري للتوجيه ما بعد التدريب باستخدام تركيب "حاصل ضرب الخبراء" (Product-of-Experts - PoE).

الآلية الجوهرية: يتم تشكيل سياسة النشر $\pi_{\text{ref}}$ عن طريق دمج "actor" خارج الخط مُثبّت $\pi_\theta(a|s)$ مع "prior" (سابق) للنشر مشروط بالهدف $\rho_\phi(a|s, g)$ . وتُعرف السياسة المنقحة كالتالي:
$\pi_{\text{ref}}(a | s, g) \propto \pi_\theta(a | s)^\alpha \rho_\phi(a | s, g)^{1-\alpha}$
حيث يتحكم $\alpha \in [0, 1]$ في المقايضة بين اتباع الـ "actor" الأصلي ( $\alpha \to 1$ ) واتباع الـ "prior" الجديد المشروط بالهدف ( $\alpha \to 0$ ).
الصيغة المغلقة الغاوسية (Gaussian Closed-Form): بالنسبة لمهام التحكم المستمر حيث يكون كل من الـ "actor" والـ "prior" عبارة عن توزيعات غاوسية قطرية، فإن تحديث الـ PoE له حل بصيغة مغلقة. والنتيجة هي سياسة تجمع بين المتوسطات والتباينات بأسلوب مرجح بالدقة (precision-weighted).
التوحيد: المساهمة النظرية الرئيسية هي إثبات أن تحديث الـ PoE لسياسات غاوس هو متطابق جبرياً مع تحديث منظم بـ KL (حيث $\beta = \alpha / (1-\alpha)$ ). وهذا يوحد آليتين كان يُنظر إليهما سابقاً كآليتين مختلفتين في إطار عمل واحد "مرتكز على الـ actor".
الـ "prior" المشروط بالهدف: يتم تدريب الـ "prior" بشكل منفصل عن الـ "actor" باستخدام استنساخ سلوكي (behavioral cloning) متباين وموزون بالهدف، مما يسمح له بتقديم التوجيه دون الحاجة للوصول إلى بيانات التدريب الأصلية.

3. المساهمات الرئيسية

التوحيد النظري: قدموا برهاناً رسمياً على أن الـ PoE وتحديث الـ KL-regularized هما نفس السياسة الحتمية لتوزيعات غاوس، والاختلاف بينهما يكمل في مقياس عالمي (global scalar) في التباين.
التدهور التدريجي (Graceful Degradation): أظهروا أن الـ PoE يعمل كـ "طبقة سلامة". فعندما يكون الـ "prior" للنشر مشوشاً أو عشوائياً، فإن التوزين بالدقة (precision-weighting) يثبت السياسة طبيعياً عند الـ "actor" المُثبّت، بينما تفشل الطرق الجمعية أو التي تعتمد على الـ "prior" فقط.
سقف كفاءة الـ "actor": حددوا حداً جوهرياً للتوجيه: ففعالية التكيف محدودة بكفاءة الـ "actor" المُثبّت. إذا لم يستطع الـ "actor" حل المهمة، فلن يؤدي أي قدر من التوجيه عبر الـ "prior" إلى تحقيق النجاح.

4. النتائج

قيم المؤلفون طريقتهم على بيئات التحكم المستمر D4RL (MuJoCo) وبيئات أكثر صعوبة (Medium-Expert و AntMaze).

تقسيم الأداء: في البيئات القياسية، لاحظوا تقسيم 4/5/3 (HELP/FROZEN/HURT). الطريقة تساعد في بعض إعدادات الأهداف، وتطابق الـ "actor" المُثبّت في حالات أخرى، وتضر بالأداء عندما يتعارض الهدف الجديد مع القدرات المتأصلة للـ "actor" (مثل أهداف السرعة العالية لوكيل وصل بالفعل إلى سقف سرعته).
المتانة: تحت ظروف "الـ priors المتدهورة" (مشوشة أو عشوائية)، ظل منهج PoE/KL-Reg مستقراً وقريباً من الـ "actor" المُثبّت، بينما فشلت الطرق الأخرى (الجمعية، أو المعتمدة على الـ prior فقط) بشكل كبير.
تأثير السقف: في أنظمة "Medium-Expert"، كانت الطريقة "ضارة" (HURT) باستمرار عبر جميع قيم $\alpha$ ، وفي AntMaze، لم تحقق أي نجاح. وهذا يؤكد أن التوجيه هو أداة لـ إعادة وزن القدرات الموجودة، وليس لـ توليد قدرات جديدة.
النماذج المرجعية (Baselines): بينما كانت الطرق الموجهة بالناقد (مثل خطوات CQL/IQL-guided) تنافسية في بعض الخلايا، إلا أنها لم تتفوق باستمرار على متانة واستقرار نهج الـ PoE المرتكز على الـ "actor".

5. الأهمية

ينقل هذا العمل التركيز في تكيف التعلم المعزز خارج الخط من التحسين (إعادة التدريب) إلى التركيب (التوجيه). ومن خلال إثبات أن الـ PoE هو وسيلة رياضية سليمة، ومتينة، ومتحفظة لتعديل السلوك أثناء الاستدلال، يوفر البحث مخططاً عملياً لنشر وكلاء التعلم المعزز في الصناعات المنظمة (مثل الروبوتات أو الرعاية الصحية) حيث تكون القدرة على تعديل نموذج مُعتمد مقيدة. كما يحدد "حد النطاق" الذي يكون فيه هذا التوجيه مفيداً، مما يمنع الممارسين من محاولة توجيه نماذج غير كفؤة نحو مهام مستحيلة.