🤖 machine learning

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning

تقدم هذه الورقة البحثية إطار عمل TMRL، وهو إطار موحد يربط بين الاستنساخ السلوكي والتعلم التعزيزي من خلال استخدام "الما قبل التدريب الممهد بالسياق" لحقن ضجيج الانتشار من أجل تغطية واسعة للأفعال، و"التعلم التعزيزي المعدل بالخطوات الزمنية" للتحكم ديناميكياً في الاستكشاف، مما يحسن كفاءة العينات بشكل كبير ويمكّن من الضبط الدقيق الناجح لسياسة الروبوت في العالم الحقيقي في أقل من ساعة واحدة.

المؤلفون الأصليون: Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta

نُشر 2026-08-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً وظيفة جديدة، مثل صنع شطيرة أو البحث عن لعبة مفقودة. الطريقة المعتادة للقيام بذلك هي رقصة من خطوتين. أولاً، تعرض على الروبوت آلاف الفيديوهات لبشر يقومون بالمهمة بشكل مثالي؛ يحاول الروبوت تقليدهم بدقة، مثل طالب يحفظ كتاباً مدرسياً. يُسمى هذا "تعلم التقليد" (Imitation Learning). ولكن تكمن المشكلة هنا في أنه إذا واجه الروبوت موقفاً لم يره من قبل — كأن تكون الشطيرة على طبق ذي شكل غريب — فإنه يصاب بالذعر. ولأنه حفظ الحركات الدقيقة لـ "الطبق المثالي"، فإنه يتجمد أو يحاول القيام بشيء مستحيل، لأنه لم يتعلم أبداً ما يجب فعله عندما تصبح الأمور فوضوية.

ولإصلاح ذلك، يحاول العلماء غالباً تعليم الروبوت "الاستكشاف" عبر إضافة ضجيج عشوائي، مثل إخباره بأن يحرك ذراعه قليلاً بشكل عشوائي ليرى ماذا سيحدث. لكن هذا يشبه محاولة تعلم القيادة عن طريق تدوير عجلة القيادة بشكل عشوائي؛ قد ينجح الأمر في النهاية، لكنه أمر خطير وغير فعال. السؤال الكبير في علم الروبوتات هو: كيف نعلم الروبوت أن يكون دقيقاً بما يكفي لاتباع التعليمات، ومرناً بما يكفي لتجربة أشياء جديدة عندما يعلق، دون أن يترنح بعشوائية عمياء؟

هنا يأتي دور فكرة جديدة تسمى TMRL (التعلم المعزز المعدل زمنياً). يقترح الباحثون في جامعة واشنطن وأمازون تحولاً ذكياً في كيفية تعليم الروبوت. فبدلاً من مجرد حفظ الحركات المثالية أو إضافة فوضى عشوائية، يعلمونه "تغبيش" رؤيته للعالم قليلاً، وبشكل متعمد.

فكر في الأمر على هذا النحو: تخيل أنك تتعلم خبز كعكة. إذا كنت تخبز الكعكة دائماً باستخدام كوبين من الدقيق بالضبط، فقد تفشل إذا استخدمت بالخطأ 2.1 كوب. ولكن ماذا لو قيل لك أثناء التدريب أن تتظاهر بأن لديك 2.1 كوب، أو 2.2 كوب، أو حتى 3 أكواب؟ من خلال التدرب على هذه النسخ "المغبشة" من الوصفة، ستتعلم أن الكعكة لا تزال ناجحة حتى لو لم تكن المكونات مثالية. ستتعلم "جوهر" الخبز، وليس فقط الأرقام الدقيقة.

في عالم الروبوت، "الوصفة" هي التعليمات (مثل "التقط المكعب الأحمر") و"المكونات" هي مستشعرات الروبوت (ما يراه أو يشعر به). طريقة الباحثين، التي تسمى التمهيد بسياق ناعم (CSP)، تأخذ تعليمات الروبوت وتضيف إليها القليل من "الضباب الرقمي". إنها تعلم الروبوت التصرف حتى عندما تكون التعليمات غامضة قليلاً. هذا يجبر الروبوت على تعلم نطاق أوسع من الحركات. إذا رأى الروبوت نسخة "مغبشة" من أمر "التقط المكعب الأحمر"، فقد يحاول التقاط مكعب أحمر بعيد قليلاً، أو مائل قليلاً. إنه يتعلم أن الهدف هو "الحصول على الشيء الأحمر"، وليس فقط "الإمساك بالشيء الأحمر عند الإحداثي X".

بمجرد أن يمتلك الروبوت هذا التدريب "المغبش"، يحدث الجزء السحري الثاني: TMRL. هذا يشبه إعطاء الروبوت قرصاً خاصاً يمكنه تدويره أثناء أداء الوظيفة فعلياً. عندما يكون الروبوت متأكداً مما يجب فعله (مثل عندما يمسك بالمكعب)، فإنه يدير القرص إلى وضع "التركيز الحاد" ويتصرف بدقة. ولكن إذا تعثر أو كان الموقف غريباً (مثل وجود المكعب في مكان جديد)، فإنه يدير القرص إلى "الوضع المغبش". هذا يخبر الروبوت: "حسناً، انسَ حركات الكتاب المدرسي الدقيقة لثانية؛ جرب بعض تلك الحركات الأوسع والمغبشة التي تعلمتها أثناء التدريب".

اختبر الباحثون هذا في محاكاة حاسوبية وعلى روبوتات حقيقية. وجدوا أن الروبوتات المدربة بهذه الطريقة "المغبشة" كانت أفضل بكثير في حل الألغاز الجديدة من الروبوتات المدربة بالطريقة القديمة. في المحاكاة، ساعدت الطريقة الجديدة الروبوتات على التعلم بسرعة أكبر بكثير، حيث وصلت غالباً إلى معدلات نجاح تقارب الكمال في حين فشلت الطرق الأخرى تماماً. والأكثر إثارة للإعجاب هو أنهم أظهروا نجاح ذلك على روبوتات حقيقية في العالم الحقيقي. في أحد الاختبارات، تعلم ذراع روبوت وضع سجق في قدر وجمبري في درج في أقل من ساعة من وقت التجربة الفعلي. بدون هذه الطريقة، كان الروبوت سيكتفي بمجرد التحديق في الأشياء، غير قادر على معرفة كيفية تحريكها.

تجادل الورقة البحثية بأن الطريقة القديمة المتمثلة في مجرد إضافة ضجيج عشوائي إلى أفعال الروبوت هي طريقة خرقاء وغير فعالة. بدلاً من ذلك، من خلال تعليم الروبوت كيفية التعامل مع التعليمات "المغبشة"، فإنه يتعلم كيف يكون ذكياً في استكشافه. إنه يعرف تماماً متى يكون دقيقاً ومتى يكون مبدعاً. يشير المؤلفون إلى أن هذا النهج يمكن أن يكون نقطة تحول في جعل الروبوتات قادرة على التكيف مع العالم الحقيقي الفوضوي وغير المتوقع، وتحويلها من متبعين صارمين للقواعد إلى حلالين مرنين للمشكلات. وبينما لا يزال هناك عمل يتعين القيام به للتأكد من أن هذه الروبوتات آمنة وفعالة بما يكفي لكل مهمة، فإن النتائج حتى الآن تشير إلى أن "تغبيش" التعليمات قد يكون هو "الخلطة السرية" لإطلاق العنان لذكاء الروبوت الحقيقي.

ملخص تقني: TMRL – التدريب المسبق للانتشار المعدل بالخطوة الزمنية لضبط السياسات بكفاءة

1. بيان المشكلة

يتضمن النموذج المعياري لتدريب السياسات الروبوتية التدريب المسبق عبر التقليد السلوكي (Behavioral Cloning - BC) على مجموعات بيانات ضخمة من العروض التوضيحية، يليه الضبط الدقيق باستخدام التعلم التعزيزي (Reinforcement Learning - RL) في بيئات التشغيل. وبينما يوفر التقليد السلوكي محاكاة دقيقة في السياقات المألوفة، فإنه يعاني من قيد حرج وهو: انهيار توزيع الأفعال (action distribution collapse). ففي المناطق ذات التغطية المتناثرة أو تحت تأثير انزياح التوزيع (السياقات خارج نطاق التوزيع - OOD)، تفرط سياسات التقليد السلوكي في التكيف مع البيانات المرصودة، مما يؤدي إلى تخصيص احتمالية تقترب من الصفر للأفعال المثلى التي لم يتم عرضها صراحةً.

هذا النقص في تغطية الأفعال يخلق عنق زجاجة لعملية الضبط الدقيق بالتعلم التعزيزي؛ فإذا لم تتمكن السياسة المدربة مسبقاً من أخذ عينات من الانتقالات اللازمة لاكتشاف إشارات المكافأة، فإن الضبط الدقيق بالتعلم التعزيزي سيفشل. الحلول الموجودة، مثل حقن ضوضاء غاوسية غير مهيكلة في الأفعال (مثل PostBC)، غالباً ما تؤدي إلى "الارتجاف" (dithering) وعدم اتساق التنفيذ. ومن ناحية أخرى، فإن الأساليب التي تعتمد حصرياً على التوزيع الشرطي $p(a|c)$ لا يمكنها الاستكشاف خارج نطاق دعم السياسة الأساسية. التحدي الجوهري هو كيفية تدريب سياسات يمكنها توسيع توزيع أفعالها بشكل تكيفي أثناء التعلم التعزيزي لتحقيق التوازن بين الاستغلال الدقيق والاستكشاف الضروري.

2. المنهجية

يقترح المؤلفون إطار عمل موحداً يتكون من مرحلتين: التدريب المسبق بسياق ناعم (CSP) والتعلم التعزيزي المعدل بالخطوة الزمنية (TMRL).

أ. التدريب المسبق بسياق ناعم (CSP)

بدلاً من تشويه الأفعال، يقوم CSP بحقن الضوضاء مباشرة في مدخلات السياق ( $c$ ) أثناء التدريب المسبق.

الآلية: تقوم عملية انتشار أمامية بتشويه السياق $c$ بضوضاء مُعلمات بواسطة خطوة زمنية $\sigma$ (أو $t_c$ )، مما ينتج عنه سياق مشوش $\tilde{c}$ .
هدف التدريب: يتم تدريب السياسة $p_\theta$ للتنبؤ بالأفعال $a$ مشروطة بالسياق المشوش $\tilde{c}$ ومتغير كامن $z$ . يتم تدريب السياسة عبر توزيع من مستويات الضوضاء $\sigma \in [0, T]$ .
الأثر:
- عند الضوضاء المنخفضة ( $\sigma \to 0$ )، تتعلم السياسة السلوك الشرطي الدقيق $p(a|c)$ .
- عند الضوضاء العالية ( $\sigma \to T$ )، يصبح السياق غير معلوماتي، وتُقارب السياسة التوزيع الهامشي للفعل $p(a)$ ، مما يوفر تغطية واسعة.
- والأهم من ذلك، أن هذا يخلق استمرارية حيث يمكن للسياسة "استعارة" تسلسلات أفعال متسقة من سياقات مجاورة متشابهة بدلاً من الاعتماد على الضوضاء العشوائية.

ب. التعلم التعزيزي المعدل بالخطوة الزمنية (TMRL)

خلال مرحلة الضبط الدقيق بالتعلم التعزيزي، يعمل الـ CSP المدرب مسبقاً كسياسة أساسية قابلة للتوجيه.

السياسة عالية المستوى: يتعلم وكيل التعلم التعزيزي (السياسة عالية المستوى $\pi_{HL}$ ) اختيار متغيرين في كل خطوة: الضوضاء الكامنة $z$ (التوجيه القياسي) والخطوة الزمنية للانتشار $\sigma$ .
التحكم الديناميكي: يعامل الوكيل $\sigma$ $σ$ كمتغير تحكم صريح (مثل "قرص التغطية").
- $\sigma$ مرتفعة: تقوم بمطابقة السياق الحالي مع سياقات مجاورة، مما يوسع تغطية الأفعال للاستكشاف بأمان في الحالات خارج نطاق التوزيع (OOD).
- $\sigma$ منخفضة: تعمل على تشديد التكييف من أجل الاستغلال الدقيق بمجرد تحديد الوكيل لمسار واعد.
التنفيذ: هذا النهج متوافق مع مختلف بنيات السياسات، بما في ذلك سياسات الانتشار القائمة على الحالة، ومدخلات السحب النقطي ثلاثي الأبعاد، ونماذج (Vision-Language-Action - VLA).

3. المساهمات الرئيسية

السياسات ذات السياق الناعم (CSP): إطار عمل للتدريب المسبق يوسع دعم الأفعال عن طريق حقن ضوضاء الانتشار في مدخلات السياق، مما يخلق عملية استكمال سلسة بين المحاكة الشرطية والاستكشاف الهامشي.
التعلم التعزيزي المعدل بالخطوة الزمنية (TMRL): خوارزمية ضبط دقيق بالتعلم التعزيزي تعدل ديناميكياً الخطوة الزمنية للانتشار أثناء التعلم التعزيزي، مما يمنح الوكيل تحكماً صريحاً في المقايضة بين الاستكشاف (التغطية الواسعة) والاستغلال (التكييف الدقيق).
الضمانات النظرية: تقدم الورقة تحليلاً نظرياً يوضح أن تنعيم السياق يزيد من تداخل التباين الكلي (Total Variation) بين توزيعات الأفعال للسياقات المختلفة. وهذا يثبت أن التنعيم يقلل من انهيار التغطية، مما يضمن وجود احتمالية غير صفرية لأخذ عينات من الأفعال المثلى من السياقات المجالة في حالات خارج نطاق التوزيع.
القدرة على التعميم: تم إثبات عمل الطريقة بسلاسة عبر نماذج إدخال متنوعة، بما في ذلك الحالات ثنائية الأبعاد، والسحب النقطية ثلاثية الأبعاد، وتضمينات (VLA).

4. النتائج التجريبية

قيم المؤلفون TMRL عبر مهام روبوتية محاكاتية وواقعية:

تغطية الأفعال (صفر من الخطوات - Zero-Shot): يتفوق CSP بشكل كبير على التقليد السلوكي القياسي وPostBC في مقاييس "النجاح عند K" (Success@K) في المهام غير المرئية (مثل الملاحة والتحكم في OGBench)، مما يظهر تغطية أولية أوسع للأفعال.
كفاءة عينات التعلم التعزيزي:
- المحاكاة: يحقق TMRL معدلات نجاح تقترب من 100% في مهام معقدة مثل pointmaze-giant وcube-single، متفوقاً على النماذج المرجعية مثل DSRL وSPiRL وRLPD. والجدير بالذكر أنه في مهمة cube-single، حققت النماذج المرجعية نجاحاً يقترب من الصفر بينما نجح TMRL.
- مهام VLA: في اختبار LIBERO، نجح TMRL في تكييف سياسات VLA المدربة مسبقاً لمهام طويلة الأمد (libero-90) حيث تفشل الطرق الأخرى بسبب الإفراط في التكيف.
- السحب النقطية ثلاثية الأبعاد: في مهام القبض الماهرة، يمكّن TMRL السياسات من التعميم على أشكال أجسام جديدة (مثلاً من العلب إلى العلامات) من خلال مشاركة استراتيجيات القبض عبر السياقات المنعمة.
الأداء في العالم الحقيقي:
- يتيح TMRL الضبط الدقيق الناجح لسياسات VLA على روبوتات حقيقية (WidowX وFranka Panda) لمهام مثل "وضع السجق في القدر" أو "الضغط على زر".
- الكفاءة: يحقق النهج نجاحاً في التكيف في أقل من ساعة واحدة من وقت التجربة الواقعية، بينما تفشل الطرق المرجعية (مثل DSRD) في تعلم هذه المهام تماماً.
دراسات الاستئصال (Ablation Studies): تُظهر المقارنات مع توجيه التصنيف المجاني (Classifier-Free Guidance - CFG) أن نهج تشويه السياق في TMRL يتفوق في الاستكشاف خارج نطاق التوزيع، حيث أن CFG لا يزال يعتمد على التوزيع الشرطي المنهار. وتؤكد التصورات أن TMRL يستكشف عبر أفعال متسقة ومماثلة بدلاً من الضوضاء العشوائية.

5. الأهمية والادعاءات

تزعم الورقة أن TMRL يعيد التفكير جذرياً في العلاقة بين التدريب المسبق والضبط الدقيق. ومن خلال نقل التركيز من ضوضاء الأفعال غير المهيكلة إلى تنعيم السياق المهيكل، توفر الطريقة آلية للسياسات لتوسيع دعمها بشكل تكيفي دون التضحية باتساق التنفيذ.

يؤكد المؤلفون أن هذا النهج يسد الفجوة بين دقة التعلم بالتقليد والاستكشاف المطلوب للتعلم التعزيزي. تكمن الأهمية الأساسية في تمكين الضبط الدقيق للتعلم التعزيزي بكفاءة العينات لمهام المناولة المعقدة في العالم الحقيقي، وهي قدرة تفتقر إليها سياسات التقليد السلوكي التقليدية. ويشير العمل إلى أن "استجابة السياسة لتمثيلات المدخلات المشوشة" هي رافعة حاسمة، لم تُستغل سابقاً، لتحسين تعلم الروبوتات.

القيود المعترف بها:
يشير المؤلفون إلى أن توسيع توزيعات الأفعال يمكن أن يؤدي إلى مخاطر تتعلق بالسلامة (سلوكيات غير آمنة)، مما يستلزم وجود مرشحات سلامة أو نماذج عالم (world models) للتشغيل الموثوق. بالإضافة إلى ذلك، بينما تم تحسين كفاءة العينات، إلا أنها تظل تحدياً للمهام الواقعية شديدة التعقيد، مما يشير إلى وجود مجال لمزيد من التحسين في خوارزميات التوجيه ونواة التشويه.