🤖 machine learning

Contractive Diffusion Policies: Robust Action Diffusion via Contractive Score-Based Sampling with Differential Equations

تقدم هذه الورقة سياسات الانتشار الانكماشية (CDPs)، وهي طريقة تعزز متانة واتساق التحكم غير المتصل القائم على الانتشار من خلال إحداث ديناميكيات انكماشية في عملية أخذ العينات، مما يخفف من أخطاء الحل والمطابقة للدرجة، مع تحسين الأداء، لا سيما في سيناريوهات ندرة البيانات.

المؤلفون الأصليون: Amin Abyaneh, Charlotte Morissette, Mohamad H. Danesh, Anas El Houssaini, David Meger, Gregory Dudek, Hsiu-Chin Lin

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amin Abyaneh, Charlotte Morissette, Mohamad H. Danesh, Anas El Houssaini, David Meger, Gregory Dudek, Hsiu-Chin Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم ذراع آلي القيام بمهمة دقيقة، مثل تكديس المكعبات أو صب كوب من الماء. لديك مقطع فيديو لخبير بشري يقوم بهذه المهمة، وتريد من الروبوت أن يتعلم من هذا الفيديو دون أن يتدرب أبداً في العالم الحقيقي (وهذا ما يسمى "التعلم غير المتصل" أو offline learning).

في السنوات الأخيرة، أصبح أسلوب ذكاء اصطناعي قوي يسمى سياسات الانتشار (Diffusion Policies) هو اللاعب النجم في هذه المهمة. فكر في "سياسة الانتشار" كأنها نحات يعمل بالطين.

المشكلة: "النحات المتذبذب"

إليك كيف تعمل سياسة الانتشار القياسية:

الفوضى: يبدأ الذكاء الاصطناعي بكتلة من الضجيج العشوائي (مثل كتلة طين بلا شكل محدد).
التنظيف: يحاول "إزالة الضجيج" من هذه الكتلة خطوة بخطوة، حيث يقشر العشوائية ليكشف عن الحركة المثالية (المنحوتة) المختبئة بالداخل.
الموجه: يستخدم "دالة الدرجة" (خريطة ذهنية) لتخبره في أي اتجاه يدفع الطين ليقترب من حركة الخبير.

العيب:
لأن الذكاء الاصطناعي يتعين عليه تخمين المسار عبر آلاف الخطوات الصغيرة، فإنه يرتكب أخطاءً صغيرة عند كل منعطف.

الانجراف: تخيل أنك تحاول السير على حبل مشدود وأنت معصوب العينين، وتأخذ 100 خطوة صغيرة. حتى لو كنت بعيداً قليلاً عن المسار عند الخطوة العاشرة، فقد تصبح عند الخطوة 100 بعيداً جداً عن الحبل.
النتيجة: في توليد الصور (صنع صور للقطط)، يعني التذبذب البسيط أن أذن القطة قد تكون مائلة قليلاً. ولكن في الروبوتات، يعني التذبذب البسيط أن الروبوت قد يسقط الكوب، أو يكسر المكعب، أو يؤذي نفسه. تتراكم الأخطاء، ويفشل الروبوت.

الحل: "سياسة الانتشار الانكماشية" (CDP)

قدم المؤلفون طريقة جديدة تسمى سياسات الانتشار الانكماشية (Contractive Diffusion Policies - CDP).

التشبيه: المطاط مقابل القارب المنجرف

السياسة القياسية (القارب المنجرف): تخيل قاربين يبدآن بالقرب من بعضهما البعض في محيط ضبابي. وبينما يبحران نحو الوجهة، تدفع موجة صغيرة أحد القاربين قليلاً إلى اليسار والآخر قليلاً إلى اليمين. ولأنه لا توجد قوة تسحبهما معاً، فإنهما يبتعدان أكثر فأكثر. وبحلول الوقت الذي يصلان فيه إلى الرصيف، يكونان قد ابتعدا أميالاً عن بعضهما.
سياسة CDP (المطاط): الآن، تخيل أن هذين القاربين متصلان بـ شريط مطاطي قوي وغير مرئي. إذا دفعت موجة القاربين بعيداً عن بعضهما، فإن الشريط المطاطي يعيدهما بقوة إلى مكانهما. مهما حدث من أخطاء صغيرة (أمواج) على طول الطريق، يظل القاربان قريبين من المسار الصحيح ويصلان إلى الرصيف جنباً إلى جنب.

كيف تعمل تقنياً (بمصطلحات بسيطة):
أضاف الباحثون قاعدة "الشريط المطاطي" الخاصة إلى تدريب الذكاء الاصطناعي. لقد علموا الذكاء الاصطناعي أنه إذا كانت هناك حركتان محتملتان قريبتان من بعضهما البعض، فيجب أن تظلا قريبتين من بعضهما البعض أثناء قيام الذكاء الاصطناعي بتحسينهما. هذا يجبر الذكاء الاصطناعي على أن يكون متيناً (Robust). حتى لو أصبحت الرياضيات معقدة قليلاً أو كانت البيانات شحيحة، فإن "الشريط المطاطي" يسحب أفعال الروبوت مرة أخرى إلى المسار الصحيح والآمن.

لماذا يعد هذا أمراً مهماً؟

إنه أكثر أماناً: من غير المرجح أن يرتكب الروبوت أخطاءً كارثية لأن الأخطاء الصغيرة لا تتضخم.
يعمل ببيانات أقل: عادةً ما تحتاج هذه الروبوتات إلى آلاف الساعات من الفيديو للتعلم. ولأن سياسة CDP بارعة جداً في تجاهل الأخطاء الصغيرة، يمكنها التعلم بفعالية من مجموعات بيانات أصغر بكثير (مثل 10% من البيانات المعتادة).
من السهل إضافته: أظهر المؤلفون أنه يمكنك إضافة ميزة "الشريط المطاطي" هذه إلى أنظمة الذكاء الاصطناعي الموجودة بمجرد تعديل بسيط، مثل إضافة توابل جديدة إلى وصفة دون تغيير الطبق بأكمله.

النتائج

اختبر الفريق ذلك على:

المحاكاة: روبوتات افتراضية تعمل على أجهزة الكمبيوتر (مثل المشي، الجري، والتنقل في المتاهات).
الحياة الواقعية: ذراع روبوت "فرانكا" (Franka) حقيقي في مختبر.

النتيجة:
في العالم الحقيقي، كان روبوت CDP أكثر نجاحاً في المهام الصعبة (مثل انزلاق وتد داخل ثقب) مقارنة بالروبوت القياسي. غالباً ما فشل الروبوت القياسي لأن "انجرافه" أصبح كبيراً جداً، بينما ظل روبوت CDP على المسار الصحيح، بفضل "الشرب المطاطي" الانكماشي.

باختصار:
تُعلم هذه الورقة البحثية الروبوتات كيف تكون أقل حساسية للأخطاء الصغيرة. من خلال إضافة "شبكة أمان" رياضية تسحب الأفعوهات الهائمة عائدة إلى المركز، يمكن للروبوتات أن تتعلم بشكل أسرع، وتحتاج إلى بيانات أقل، وتؤدي المهام في العالم الحقيقي بموثوقية أعلى بكثير.

إليك ملخص تقني مفصل لورقة البحث "Contractive Diffusion Policies" (CDPs)، المنشورة كأوراق بحثية في مؤتمر ICLR 2026.

1. بيان المشكلة

أصبحت سياسات الانتشار (Diffusion policies) هي الأحدث في مجال تعلم السياسات غير المتصلة (سواء في التعلم المعزز أو التعلم بالتقليد) نظرًا لقدرتها على نمذجة توزيعات الأفعال متعددة الأنماط والمعقدة. ومع ذلك، فهي تعاني من قيود حرجة في بيئات التحكم المستمر:

تراكم الخطأ: تعتمد عملية أخذ العينات التكرارية على دالات الدرجة (score functions) والمحللات العددية (ODE/SDE). وتتراكم الأخطاء في تقدير الدرجة، والتقطيع (discretization)، والتكامل العددي عبر خطوات إزالة الضجيج (denoising steps).
عدم اتساق الفعل: تؤدي هذه الأخطاء المتراكمة إلى توليد أفعال غير متسقة لنفس الحالة، مما يتسبب في انحراف السياسة بعيدًا عن نطاق دعم توزيع البيانات.
الحساسية لنقص البيانات: في ظل ندرة البيانات، تكون دالة الدرجة المتعلمة أقل دقة، مما يفاقم أخطاء المحلل (solver errors) ويؤدي إلى فشل السياسة.
مخاطر السلامة: على عكس توليد الصور، يمكن للانحرافات الصغيرة في الروبوتات أن تتراكم لتتحول إلى حالات فشل كارثية، مما يستدعي وجود ضمانات قوية.

تركز الطرق الحالية غالبًا على مسارات التدريب أو التكامل متعدد الأنماط، لكنها تهمل ديناميكيات عملية أخذ عينات الانتشار نفسها، وتحديدًا الافتقار إلى المتانة ضد الاضطرابات.

2. المنهجية: سياسات الانتشار الانكماشية (CDPs)

يقترح المؤلفون سياسات الانتشار الانكماشية (CDPs)، وهو إطار عمل يحفز الانكماش (contraction) في ديناميكيات أخذ عينات الانتشار لتعزيز المتانة وتقليل التباين.

المفهوم الجوهري: نظرية الانكماش

تستفيد الطريقة من نظرية الانكماش (contraction theory)، التي تدرس تقارب حلول المعادلات التفاضلية بمرور الوقت. يضمن النظام الانكماشي أن المسارات التي تبدأ من ظروف أولية مختلفة تتقارب نحو بعضها البعض، مما يؤدي فعليًا إلى "نسيان" الاضطرابات الأولية وكبح نمو الخطأ.

الأساس النظري

معادلة الانتشار العكسية (Reverse Diffusion ODE): أعاد المؤلفون صياغة عملية الانتشار العكسية كمعادلة تفاضلية عادية (ODE): $da_t = F_\theta(a_t, s, t)dt$ .
تحليل جاكوبي (Jacobian Analysis): اشتقوا مصفوفة جاكوبي للتدفق العكسي، $J_{F_\theta}$ ، موضحين أنها تعتمد على حد الانجراف (المحدد بواسطة جدول الضجيج) وجاكوبي الدرجة ( $J_{\epsilon_\theta}$ )، وهو الجزء القابل للتعلم.
النظرية 3.1: يكون نظام أخذ العينات (ODE) انكماشيًا إذا كان أكبر قيمة ذاتية (eigenvalue) للجزء المتماثل من جاكوبي الدرجة، $\lambda_{\max}(J^{\text{sym}}_{\epsilon_\theta})$ ، يستوفي حداً محددًا بالنسبة لمعاملات الانجراف والانتشار. وتحديدًا، يجب ألا يكون حد الدرجة توسعيًا محليًا بما يكفي للتغلب على الانجراف الانكماشي.

التنفيذ العملي (الوصفة)

لفرض الانكماش دون تقويض قدرة السياسة على تعلم أنماط متنوعة، قدم المؤلفون خسارة الانكماش (Contraction Loss) التي تُضاف إلى خسارة الانتشار القياسية:

تقدير القيمة الذاتية بكفاءة: حساب أكبر قيمة ذاتية لجاكوبي بشكل مباشر هو أمر مكلف حاسبيًا. لذا استخدم المؤلفون تكرار القدرة (Power Iteration) (التمهيدية 3.1) لتقريب $\lambda_{\max}$ بكفاءة باستخدام حاصل ضرب جاكوبي والمتجه.
خسارة الانكماش ( $L_c$ ): تم صياغة حد عقوبة لدفع أكبر قيمة ذاتية لجاكوبي الدرجة المتماثل نحو قيمة سالبة (أو تحت عتبة $\beta$ $β$ ).
- قدموا شكلين: عقوبة مباشرة على القيمة الذاتية المقدرة، أو عقوبة معيار فروبينيوس (Frobenius norm) على جاكوبي المزاح ( $\|J^{\text{sym}}_{\epsilon_\theta} + \beta I\|_F$ ).
إجمالي الخسارة: تجمع دالة الهدف النهائية بين خسارة مطابقة الدرجة القياسية ( $L_d$ ) وخسارة الانكماش ( $L_c$ ):
$L(\theta) = \mathbb{E}[\| \text{score error} \|^2 + \gamma L_c(\theta)]$
حيث $\gamma$ هو معلم فائق (hyperparameter) واحد يتحكم في قوة الانكماش.

التكامل

صُممت CDPs لتكون غير مرتبطة بهيكل معماري معين (architecture-agnostic) فيما يتعلق بتعلم السياسة. وقد أظهر المؤلفون تكاملها مع:

التعلم المعزز غير المتصل (Offline RL): سياسة الانتشار الفعالة (EDP).
التعلم بالتقليد (Imitation Learning - IL): استنساخ السلوك بالانتشار (DBC).
تتطلب الطريقة تعديلات طفيفة على الأكواد البرمجية الحالية، وتتمثل أساسًا في إضافة حساب جاكوبي وحد الخسارة.

3. المساهمات الرئيسية

رؤية نظرية: تحليل دقيق يربط السلوك الانكماشي لأخذ عينات الانتشار بالقيم الذاتية لجاكوبي دالة الدرجة، مما يثبت أن الانكماش يخفف من أخطاء المحلل وأخطاء مطابقة الدرجة.
ابتكار خوارزمي: وصفة تدريب عملية وفعالة حاسبيًا (CDP) تدمج الانكماش عبر حد خسارة جديد وتكرار القدرة، متجنبة عمليات تفكيك القيم الذاتية الكاملة المكلفة.
المتانة في ظل ندرة البيانات: إثبات أن الانكماش يعمل كمنظم (regularizer) يعمل على استقرار عملية أخذ العينات عندما تكون البيانات شحيحة، مما يمنع تراكم الخطأ.
التحقق التجريبي: تجارب واسعة النطاق عبر المحاكاة (D4RL, Robomimic) والتحكم الروبوتي في العالم الحقيقي (ذراع Franka)، مما أظهر تحسينات مستمرة على النماذج المرجعية.

4. النتائج التجريبية

قيم المؤلفون CDPs على معايير قياسية ومهام واقعية:

التعلم المعزز غير المتصل (D4RL):
- تفوقت CDP على النماذج المرجعية (DQL, EDP, IDQL) في المتوسط عبر بيئات MuJoCo (HalfCheetah, Hopper, Walker2D) وFranka Kitchen.
- الأداء في حالة نقص البيانات: عند التدريب على 10% فقط من مجموعة البيانات، أظهرت CDP تحسنات حاسمة على النماذج المرجعية، مما يؤكد قدرتها على كبح الأخطاء التي تضخمها ندرة البيانات.
- المتانة تجاه المحلل (Solver Robustness): حافظت CDP على أداء عالٍ حتى مع عدد خطوات أقل للمحلل (تقطيع أخشن)، بينما تدهورت السياسات القياسية بشكل كبير.
التعلم بالتقليد (Robomimic):
- تفوقت CDP باستمرار على النموذج المرجعي DBC في كل من مساحات الملاحظة ذات الأبعاد المنخفضة (proprioceptive) والأبعاد العالية القائمة على الصور.
- كانت المكاسب ملحوية بشكل خاص في المهام المعقدة مثل "Transport" و"Square".
الروبوتات في العالم الحقيقي (Franka Emika Panda):
- شملت التجارب أربع مهام: الرفع (Lift)، التكديس (Stack)، الانزلاق (Slide)، والوتد (Peg).
- حققت CDP معدلات نجاح أعلى من سياسة DBC القياسية، خاصة في المهام عالية الدقة مثل Peg وSlide، حيث تكون تباينات الأفعال الصغيرة بالغة الأهمية.

5. الأهمية والأثر

السلامة والموثوقية: من خلال تقليل تباين الفعل والحساسية لأخطاء المحلل، تجعل CDPs سياسات الانتشار أكثر أمانًا للنشر الفيزيائي، مما يعالج عقبة رئيسية في تطبيق النماذج التوليدية في الروبوتات.
كفاءة البيانات: تقلل الطريقة بشكل كبير من متطلبات البيانات لتدريب سياسات انتشار عالية الأداء، مما يجعلها أكثر جدوى للتطبيقات الواقعية حيث يكون جمع البيانات مكلفًا.
القابلية العامة للتطبيق: لا ترتبط الطريقة بهيكل معماري محدد (مثل UNet مقابل Transformer) أو نموذج تعلم محدد (RL مقابل IL)، مما يقدم تحسينًا جاهزًا للاستخدام (plug-and-play) لمجتمع سياسات الانتشار الأوسع.
الجسر النظري: يربط هذا العمل بين نظرية التحكم (الانكماش) والنمذجة التوليدية، مما يوفر عدسة جديدة لتحليل وتحسين ديناميكيات أخذ عينات الانتشار.

ختامًا، تقدم سياسات الانتشار الانكماشية طريقة مبدئية لاستقرار التحكم القائم على الانتشار، محولة إياها من نماذج توليدية قوية ولكن هشة إلى وكلاء متينين وموثوقين مناسبين لمهام التحكم المستمر في العالم الحقيقي.