🤖 AI

Improving Diffusion Planners by Self-Supervised Action Gating with Energies

تقترح الورقة البحثية طريقة "بوابات الأفعال ذاتية الإشراف باستخدام الطاقات" (SAGE)، وهي طريقة للتعامل مع وقت الاستدلال دون الحاجة للتدريب، تعمل على تعزيز مخططات الانتشار في التعلم المعزز غير المتصل عبر إعادة ترتيب المسارات التي تم أخذ عينات منها بناءً على إشارة اتساق كامنة لمعاقبة المخططات غير المتسقة ديناميكيًا وتحسين متانة التنفيذ.

المؤلفون الأصليون: Yuan Lu, Dongqi Han, Yansen Wang, Dongsheng Li

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuan Lu, Dongqi Han, Yansen Wang, Dongsheng Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يمشي عبر متاهة معقدة أو يلتقط كوبًا من القهوة. أنت لا تريد للروبوت أن يتعلم عن طريق الاصطدام بالجدران وتحطيم الأشياء (لأن ذلك خطير ومكلف). بدلاً من ذلك، تعطيه مكتبة فيديو لروبوتات أخرى وهي تؤدي المهمة بشكل مثالي. هذا ما يسمى التعلم المعزز غير المتصل (Offline Reinforcement Learning).

مؤخرًا، أصبح نوع جديد من "الأدمغة" للروبوتات يسمى المخطط الانتشاري (Diffusion Planner) شائعًا جدًا. فكر في المخطط الانتشاري كأنه "حالم مبدع". عندما يحتاج الروبوت إلى التحرك، لا يكتفي المخطط باختيار إجراء واحد فحسب؛ بل يحلم بمئات المسارات المستقبلية الممكنة (مثل "امشِ يسارًا"، "اقفز فوق"، "انزلق يمينًا") ثم يحاول اختيار الأفضل منها.

المشكلة: "الحالم" مقابل "اختبار الواقع"

العقبة هي أن المخطط الانتشري مبدع للغاية لدرجة أنه يصنع أحيانًا مسارات تبدو مذهلة على الورق ولكنها مستحيلة جسديًا.

تخيل أن المخطط يحلم بمسار حيث ينتقل الروبوت فورًا إلى خط النهاية (ينتقل آنيًا). ينظر "المسجل" (دالة القيمة) إلى هذا المسار ويقول: "واو! هذا يوصل إلى الهدف بسرعة! هذا تقييمه 10/10!". لذا، يحاول الروبوت تنفيذ هذا المسار. ولكن نظرًا لأن الروبوت لا يمكنه الانتقال آنيًا، فإنه يصطدم بجدار.

من الناحية التقنية، المخطط يسعى لتحقيق أعلى درجة (Score) ولكنه يتجاهل الجدوى المحلية (Local Feasibility) (أي ما إذا كانت الخطوة التالية مباشرة ممكنة بالفعل بالنظر إلى موقع الروبوت الحالي وقوانين الفيزياء).

الحل: SAGE (حارس بوابة "اختبار الواقع")

يقترح مؤلفو هذه الورقة طريقة جديدة تسمى SAGE (بوابة الإجراءات ذاتية الإشراف باستخدام الطاقات).

فكر في SAGE كأنه حارس بوابة صارم أو محرر يدقق في الواقع يقف بين "الحالم" (المخطط) و"الفاعل" (الروبوت).

إليك كيف يعمل SAGE، باستخدام تشبيه بسيط:

1. مرحلة التدريب: تعلم "قوانين الفيزياء"

قبل أن يتحرك الروبوت أبدًا، يدرس SAGE مكتبة الفيديو للنجاحات السابقة. هو لا يحفظ الحركات فحسب؛ بل يتعلم إيقاع وانسيابية كيفية حدوث الأشياء فعليًا.

التشبيه: تخيل مدرب رقص يشاهد آلاف الساعات من فيديوهات الرقص. هو لا يحفظ الخطوات فحسب؛ بل يتعلم أنه إذا رفعت ساقك اليسرى، يجب أن تتأرجح ذراعك اليمنى بطريقة معينة للحفاظ على التوازن. إذا حاول راقص رفع ساقه اليسرى وتجميد ذراعه اليمنى، سيعرف المدرب فورًا: "هذه ليست حركة رقص حقيقية، هذا خلل تقني".
الجانب التقني: يستخدم SAGE بنية ذكاء اصطناعي خاصة (JEPA) لتعلم هذه "الإيقاعات" في لغة خفية (فضاء كامن - Latent Space). إنه يتعلم التنبؤ: "إذا كان الروبوت في الحالة (أ) وفعل الإجراء (ب)، فإن الحالة التالية يجب أن تبدو مثل (ج)".

2. مرحلة الاستنتاج: اختبار "الطاقة"

الآن، الروبوت في العالم الحقيقي. يقوم المخطط الانتشاري (الحالم) بتوليد 50 مسارًا مستقبليًا محتملاً.

الطريقة القديمة: يختار الروبوت المسار الذي يحقق أعلى درجة.
طريقة SAGE: قبل أن يختار الروبوت الفائز، يقوم SAGE باختبار سريع على الخطوات القليلة الأولى من كل مسار.
- يسأل: "إذا حاول الروبوت القيام بالخطوة الأولى من هذا المسار، هل يتوافق ذلك مع الإيقاع الذي تعلمناه من الفيديوهات؟"
- إذا كان المسار غريبًا (مثل الانتقال الآني، أو الانزلاق عبر الجدران)، يمنح SAGE هذا المسار درجة "طاقة" (Energy) عالية. في الفيزياء، الطاقة العالية تعني عادةً أن الشيء غير مستقر أو غير مرجح.
- إذا كان المسار يبدو طبيعيًا وانسيابيًا، فإنه يحصل على درجة "طاقة" منخفضة.

3. القرار النهائي

يخبر SAGE الروبوت: "مهلًا، استبعد أفضل 20% من هذه المسارات لأن لديها طاقة عالية (أي أنها مستحيلة فيزيائيًا). ومن بين الـ 80% المتبقية التي تبدو واقعية، اختر المسار صاحب أفضل درجة".

لماذا يعد هذا أمرًا مهمًا؟

ترقية جاهزة للاستخدام (Plug-and-Play): لست بحاجة لإعادة تدريب عقل الروبوت الرئيسي (المخطط الانتشاري). يمكنك فقط إضافة هذا "الحارس" (SAGE) عند المدخل. إنه يعمل مع الأنظمة الموجودة بالفعل.
لا يحتاج لبيانات تدريب جديدة: يتعلم SAGE بالكامل من مكتبة الفيديو الموجودة. لا يحتاج الروبوت للخروج والاصطدام بالأشياء ليتعلم ما الذي لا يجب فعله.
يمنع السلوك "الهش": بدون SAGE، قد يلتزم الروبوت بخطة مجنونة، ويفشل فورًا، ثم يضطر للارتباك وإعادة التخطيط. SAGE يمنع الروبوت من حتى محاولة تنفيذ الخطط المجنونة من الأساس.

ملخص التشبيه

المخطط الانتشاري (Diffusion Planner) يشبه كاتب السيناريو الذي يكتب 100 سيناريو فيلم مثير. بعضها رائع، ولكن بعضها يحتوي على ثغرات في الحبكة (مثل: البطل يطير بدون أجنحة).
دالة القيمة (Value Function) هي المنتج الذي يختار السيناريو الذي يحتوي على أكبر قدر من الانفجارات والأموال.
SAGE هو مستشار الفيزياء. قبل أن يختار المنتج السيناريو، يقول المستشار: "السيناريو رقم 42 فيه انفجارات رائعة، لكن البطل يطير. هذا مستحيل. لنستبعده".
النتيجة: الفيلم (إجراء الروبوت) لا يزال مثيرًا، ولكنه قابل للتصوير (التنفيذ) بالفعل.

من خلال إضافة "اختبار الواقع" هذا، يصبح الروبوت أكثر موثوقية، وأقل عرضة للاصطدام، وأفضل في إكمال المهام الطويلة والمعقدة مثل المشي عبر غرفة أو تجميع الأثاث.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تحسين مخططات الانتشار عبر بوابات الأفعال ذاتية الإشراف باستخدام الطاقات (SAGE)".

1. بيان المشكلة

برزت المخططات الانتشارية (Diffusion planners) كنهج قوي للتعلم التعزيزي (RL) غير المتصل (offline)، وهي قادرة على نمذجة توزيعات معقدة ومتعددة الأنماط لمسارات الحالة-الفعل. ومع ذلك، فهي تعاني من نمط فشل حرج يُعرف باسم عدم الاتساق الديناميكي (dynamic inconsistency):

المشكلة: تقوم المخططات الانتشارية عادةً بتوليد العديد من المسارات المرشحة واختيار "الأفضل" منها بناءً على دالة قيمة (ناقد) متعلمة. غالبًا ما تكافئ دالة القيمة هذه المسارات التي تبدو واعدة على المدى الطويل ولكنها تحتوي على انتقالات غير متسقة محليًا (على سبيل المثال، ذراع روبوت تتحرك عبر جدار أو ساق تتحرك بطريقة مستحيلة فيزيائيًا) والتي لا يمكن تنفيذها من الحالة الحالية.
النتيجة: عندما يحاول الوكيل تنفيذ الخطوة الأولى من مثل هذا المسار، فإنه يفشل لأنه لا يوجد فعل يمكنه إنتاج الحالة التالية المتوقعة. يؤدي هذا إلى تنفيذ هش، وتراكم الأخطاء، وفشل كارثي أثناء إعادة التخطيط.
محدودية الحلول الحالية: تحاول الأساليب السابقة إصلاح ذلك عن طريق إضافة قيود أثناء عملية التوليد (أخذ العينات الموجه) أو استخدام أدوات تحقق صلبة. تتطلب هذه الأساليب غالبًا إعادة التدريب، أو نماذج مساعدة معقدة، أو استراتيجيات أخذ عينات سلبية، مما يحد من القابلية للتوسع والنمطية.

2. المنهجية: SAGE

يقترح المؤلفون بوابات الأفعال ذاتية الإشراف باستخدام الطاقات (SAGE)، وهو وحدة زمن الاستدلال التي تفصل بين القابلية للتنفيذ (feasibility) و القيمة (value). يعمل SAGE كآلية لإعادة الترتيب تفرض عقوبة على الخطط غير المتسقة ديناميكيًا دون تعديل المولد الانتشار الأساسي أو ناقد القيمة.

البنية الجوهرية

يتكون SAGE من مكونين يتم تدريبهما حصريًا في وضع عدم الاتصال (offline):

مشفر JEPA (المرحلة الأولى):
- يستخدم بنية تنبؤية ذات تضمين مشترك (JEPA) يتم تدريبها على تسلسلات الحالة غير المتصلة.
- يتعلم تمثيلًا كامنًا $z$ حيث تكون الحالات المستقبلية قابلة للتنبؤ من نافذة سياقية.
- يستخدم معلمًا يعمل بالمتوسط المتحرك الأسي (EMA) وإخفاءً ذاتي الإشراف (مشابه لـ MAE) لتعلم ديناميكيات قوية ومتسقة مع البيانات دون إشارات مكافأة.
متنبئ كامن مشروط بالفعل (المرحلة الثانية):
- متنبئ $f_\eta$ يتم تدريبه في الفضاء الكامن المجمد لـ JEPA.
- يأخذ حالة كامنة $z_t$ وفعلًا $a_t$ للتنبؤ بالحالة الكامنة التالية $\hat{z}_{t+1}$ .
- أهداف التدريب:
  - خسارة فرض المعلم (Teacher-forced loss): يتنبأ بالحالة الكامنة التالية بمعطى مقدمات حقيقية.
  - خسارة التمرير (Rollout loss): تضمن الاتساق عبر آفاق زمنية قصيرة عبر التنبؤ التكراري.
  - مفصل استخدام الفعل (Action-usage hinge): حد تنظيم مبتكر يقوم بتبديل الأفعال داخل الدفعة. إذا تجاهل المتنبئ الفعل (أي تنبأ بنفس الحالة بغض النظر عن الفعل)، تظل الخطأ منخفضًا؛ يقوم مفصل الخسارة (hinge loss) بمعاقبة ذلك، مما يجبر المتنبئ على أن يكون حساسًا للفعل المحدد المتخذ.

آلية البوابة في زمن الاستدلال

في وقت الاختبار، يعمل SAGE كما يلي:

التوليد: يقوم المخطط الانتشار الأساسي بأخذ عينات من $C$ من المسارات المرشحة $\hat{\tau}^{(i)}$ .
تقييم الطاقة: لكل مرشح، يحسب SAGE طاقة الاتساق الكامن عبر بادئة قصيرة (طول $K$ $K$ ):
$E(\hat{\tau}^{(i)}) = \frac{1}{K} \sum_{k=0}^{K-1} \| f_\eta(z_{t+k}, a_{t+k}) - z_{t+k+1} \|_1$
- طاقة منخفضة: الانتقال متسق مع ديناميكيات مجموعة البيانات (قابل للتنفيذ).
- طاقة عالية: الانتقال غير متسق ديناميكيًا (غير قابل للتنفيذ).
إعادة الترتيب: يتم تصفية المرشحين وإعادة ترتيبهم من خلال الجمع بين درجة القيمة الأصلية $J$ $J$ وعقوبة الطاقة:
$i^* \in \arg \max_{i \in I_{retained}} \left( J(\hat{\tau}^{(i)}) - \lambda E(\hat{\tau}^{(i)}) \right)$
- أولاً، يتم الاحتفاظ بأفضل نسبة $P$ من المرشحين ذوي أقل طاقة.
- ثم، يتم اختيار أفضل مرشح من هذه المجموعة باستخدام الدرجة المعاقبة.

3. المساهمات الرئيسية

فصل القابلية للتنفيذ عن القيمة: يفصل SAGE صراحةً بين تقييم "هل هذه الخطة قابلة للتنفيذ؟" (القابلية للتنفيذ) وبين "هل هذه الخطة جيدة؟" (القيمة)، مما يعالج التوتر حيث قد تغفل مُحسنات القيمة عن القيود الفيزيائية المحلية.
تعلم ذاتي الإشراف بدون تمرير (Rollouts): على عكس الأساليب السابقة التي تتطلب تفاعلًا مع البيئة أو أخذ عينات سلبية، يتعلم SAGE القابلية للتنفيذ بالكامل من البيانات غير المتصلة باستخدام التنبؤ ذاتي الإشراف (JEPA).
نمطي وقابل للتركيب (Plug-and-Play): لا يتطلب SAGE إعادة تدريب المولد الانتشار أو ناقد القيمة. يمكن دمجه في خطوط التخطيط الانتشارية الحالية (مثل Diffuser أو DV) بأقل قدر من التكاليف الإضافية.
المتنبئ المشروط بالفعل: يضمن تقديم "مفصل استخدام الفعل" أن إشارة القابلية للتنفيذ حساسة حقًا للأفعال المحددة المتخذة، مما يمنع النموذج من تعلم نموذج ديناميكيات بسيط يعتمد على الحالة فقط.

4. النتائج التجريبية

قيم المؤلفون SAGE على معيار D4RL عبر ثلاثة مجالات: الحركة (MuJoço)، التحكم (Kitchen)، والملاحة (AntMaze, Maze2D).

مكاسب الأداء:
- الحركة (Locomotion): حسن SAGE متوسط درجة المخطط الانتشار الأحدث (DV) من 82.9 إلى 84.4.
- التحكم (Manipulation):ية: تحسينات كبيرة في بيئة Kitchen، حيث ارتفعت الدرجات من 73.6 إلى 74.5 (Mixed) ومن 90.0 إلى 96.6 (Partial).
- الملاحة (Navigation): تحسينات متسقة في AntMaze (81.6 $\to$ 84.5) و Maze2D (161.6 $\to$ 163.1).
تشخيصات القابلية للتنفيذ:
- أظهرت التجارب التي تم فيها إفساد تسلسلات الأفعال اصطناعيًا أن مقياس طاقة SAGE أنتج طفرات موضعية حادة تمامًا عند نقطة الإفساد، محققًا درجات AUROC عالية (0.94–0.99) في اكتشاف الانتقالات غير القابلة للتنفيذ.
الكفاءة:
- يضيف SAGE عبئًا حسابيًا ضئيلًا (زيادة بنسبة 6.8% تقريبًا في وقت الاستدلال الفعلي) لأنه يقيم فقط بادئة قصيرة من المسار.
دراسات الاستئصال (Ablation Studies):
- الطريقة قوية تجاه المعلمات الفائقة ( $K$ , $P$ , $\lambda$ ).
- أظهرت المقارنات أن SAGE يتفوق بشكل كبير على نماذج التنبؤ البسيطة في فضاء الحالة (Ridge/MLP) ونماذج خط الأساس الكامنة العشوائية، مما يثبت أهمية تمثيل JEPA والاشتراط بالفعل.

5. الأهمية

يعالج هذا العمل عقبة أساسية في التعلم التعزيزي غير المتصل: الفجوة بين التخطيط (توليد مستقبلات عالية القيمة) و التنفيذ (ضمان أن تلك المستقبلات قابلة للتحقيق فيزيائيًا).

الموثوقية: من خلال تصفية البادئات غير المتسقة ديناميكيًا، يجعل SAGE المخططات الانتشارية أكثر قوة بشكل ملحوظ، مما يقلل من مشكلة "التنفيذ الهش" التي تعاني منها المهام طويلة الأمد.
القابلية للتوسع: يجعل نموذج التدريب ذاتي الإشراف وغير المتصل SAGE عالي القابلية للتوسع مع مجموعات البيانات الضخمة والمتنوعة دون الحاجة إلى استكشاف عبر الإنترنت مكلف أو هندسة قيود معقدة.
القدرة على التعميم: كونه مختارًا مستقلًا عن النموذج، يمكن تطبيق SAGE على أي مخطط انتشار، مما يوفر مسارًا عمليًا نحو اتخاذ قرار أكثر موثوقية في الروبوتات والذكاء الاصطناعي.