🤖 AI

Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

تقدم هذه الورقة البحثية Curiosity-Diffuser، وهي طريقة تعزز موثوقية سياسات التقليد الروبوتية باستخدام وحدة تقطير الشبكة العشوائية (RND) لتوجيه نماذج الانتشار الشرطية نحو توليد مسارات ذات فضول أقل، مما يقلل من الهلوسة والتعميم المفرط مع مواءمة السلوكيات بشكل وثيق مع بيانات التدريب.

المؤلفون الأصليون: Zihao Liu, Xing Liu, Yuhang Dong, Haitao Chang, Zhengxiong Liu, Panfeng Huang

نُشر 2026-08-06

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zihao Liu, Xing Liu, Yuhang Dong, Haitao Chang, Zhengxiong Liu, Panfeng Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا خدعة جديدة، مثل ألعاب الخفة أو فتح باب. تعرض عليه فيديو لإنسان يقوم بها بشكل مثالي، ويحاول عقل الروبوت (الشبكة العصبية) تقليد هذه الحركات. يُسمى هذا "تعلم التقليد" (Imitation Learning). إنه يشبه طالبًا يحفظ كتابًا دراسيًا لاجتياز اختبار. ولكن إليك المشكلة: ماذا يحدث عندما يكون سؤال الاختبار مختلفًا قليًا عما هو موجود في الكتاب؟ في العالم الحقيقي، الأمور فوضوية. قد يواجه الروبوت موقفًا لم يره من قبل، وقد يبدأ عقله في "الهلوسة". فبدلاً من ابتكار حركة جديدة آمنة، قد يخترع حركة مجنونة أو مستحيلة تتسبب في اصطدامه أو إسقاط الشيء الذي يحمله. هذا عدم الاستقرار يمثل مشكلة كبيرة إذا أردنا أن تعمل الروبوتات بأمان في منازلنا أو مستشفياتنا. لقد حاول العلماء بناء روبوتات لا تكتفي بالتقليد فحسب، بل تعرف أيضًا متى تكون في حالة تخمين ويجب أن تكون حذرة.

تقدم هذه الورقة البحثية طريقة ذكية لمنع الروبوتات من ابتكار حركات خطيرة. عمل المؤلفون باستخدام نوع من الذكاء الاصطناعي يسمى "نموذج الانتشار" (Diffusion Model) (وهو يشبه فنانًا ذكيًا يمكنه رسم لوحة من خلال تحويل الضجيج العشوائي ببطوع إلى صورة واضحة)، حيث أنشأوا نظامًا يطلقون عليه اسم Curiosity-Diffuser. فكر في عقل الروبوت كطالب درس مجموعة محددة من مسائل التدريب. عندما يواجه الطالب مسألة جديدة، قد يصاب بالذعر ويبدأ في التخمين بعشوائية. يضيف نظام Curiosity-Diffuser "مقياس فضول" للروبوت. إذا حاول الروبوت القيام بشيء يبدو غريبًا جدًا أو غير مألوف مقارنة بما تعلمه، ينطلق المقياس. يقوم النظام بعد ذلك بتوجيه الروبوت بلطف للعودة نحو الحركات الآمنة والمألوفة التي يعرف أنها تنجح، مما يمنعه من التيه في مناطق خطيرة.

اختبر الباحثون هذه الفكرة بطريقتين: أولاً في محاكاة حاسوبية حيث كان على الروبوتات المشي أو التنقل في متاهات، وثانيًا في العالم الحقيقي مع أذرع روبوتية حقيقية. ووجدوا أنه باستخدام "دليل الفضول" هذا، أصبحت الروبوتات أكثر موثوقية. في المحاكاة، ارتكبت الروبوتات أخطاء أقل وظلت قريبة من المسارات الآمنة التي تدربت عليها. وفي العالم الحقيقي، عندما طُلب من الروبوت إغلاق باب خزانة أو تكديس المكعبات، ساعدت الطريقة الجديدة الروبوت على النجاح بنسبة 85% من الوقت، مقارنة بنحو 50% فقط للطرق الأقدم. تشير الورقة إلى أنه من خلال تعليم الروبوت التعرف على متى يكون "خارج نطاق خبرته" وتوجيهه للعودة إلى الأمان، يمكننا بناء آلات ذكية أقل عرضة للتسبب في الحوادث.

قصة الروبوت الفضولي

المشكلة: أحلام الروبوت اليقظة
تخيل أنك روبوت يدعى "روبو". لقد تم تدريبك من خلال مشاهدة إنسان يفتح بابًا 100 مرة. أنت تعرف تمامًا كيف تمسك المقبض وتدفع. ولكن في أحد الأيام، يكون الباب أثقل قليلاً، أو تكون يدك في مكان مختلف قليلاً. يبدأ عقلك، الذي يجيد تقليد ما رآه، في الذعر. لا تعرف ماذا تفعل، لذا تبدأ في "الهلوسة". قد تقرر دفع الباب بمرفقك، أو تحاول القفز فوقه، أو مجرد الدوران حول نفسك. هذه هي "الهلوسات" — حركات مبتكرة تبدو وكأنها قد تنجح، لكنها في الواقع بلا معنى. في العالم الحقيقي، هذا أمر خطير. إذا هلوس الروبوت أثناء إمساكه بأداة ثقيلة، فقد يؤذي شخصًا ما.

الحل: بوصلة الفضول
أدرك مؤلفو هذه الورقة أن الروبوتات تحتاج إلى وسيلة للتحقق من مستوى ثقتها. لقد استعاروا فكرة من مجال يسمى "التعلم المعزز" (Reinforcement Learning) تُعرف باسم توزيع الشبكة العشوائية (Random Network Distillation - RND). دعونا نشرح ذلك باستخدام تشبيه بسيط.

تخيل أن لديك "معلمًا" و"طالبًا".

المعلم هو عقل عشوائي وثابت لا يتعلم أي شيء. هو فقط ينظر إلى موقف ما ويعطي إجابة عشوائية.
الطالب هو عقل يتعلم. يحاول تخمين ما سيقوله المعلم إذا نظر إلى نفس الموقف.

عندما يرى الطالب موقفًا تدرب عليه كثيرًا (مثل فتح الباب)، يمكنه توقع إجابة المعلم بدقة. الفرق بينهما يكون ضئيلاً جدًا. ولكن عندما يرى الطالب موقفًا غريبًا وجديدًا (مثل الباب الثقيل)، فإنه يرتبك. تخمينه سيكون مختلفًا تمامًا عن إجابة المعلم العشوائية. هذا الفرق الكبير هو درجة "الفضول". الفضول العالي يعني "أنا لا أعرف هذا!". الفضول المنخفض يعني "لقد رأيت هذا من قبل؛ أنا في أمان".

كيف يعمل Curiosity-Diffuser
تجمع ورقة البحث بين "بوصلة الفضول" هذه وأداة قوية تسمى نموذج الانتشار (Diffusion Model). عادةً، يكون نموذج الانتشار مثل النحات الذي يبدأ بكتلة من الضجيج وينحت فيها حتى تظهر منحوتة. في مجال الروبوتات، "المنحوتة" هي خطة لكيفية الحركة. يقوم الروبوت بتوليد العديد من الخطط الممكنة، بدءًا من الفوضى ثم صقلها ببطء.

أضاف المؤلفون لمسة مميزة: أخبروا نموذج الانتشار، "بينما تقوم بنحت الضجيج لصنع خطة، أبقِ عينك على بوصلة الفضول الخاصة بك".

إذا بدأت الخطة تبدو كشيء لم يره الروبوت من قبل (فضول عالٍ)، فإن البوصلة تدفع الخطة للعودة نحو المألوف.
إذا بدت الخطة آمنة ومألوفة (فضول منخفض)، تسمح لها البوصلة بالاستمرار.

هذا يشبه وجود مدرب يقف بجانب النحات. إذا بدأ النحات في نحت شكل غريب وغير منطقي، يقول المدرب: "مهلًا، هذا لا يشبه صور التدريب بتاتًا. لنحاول شكلاً أقرب إلى الأصل".

النتائج: روبوتات أكثر أمانًا وذكاءً
اختبر الفريق هذه الفكرة بطريقتين رئيسيتين:

في عالم الكمبيوتر (المحاكاة): استخدموا روبوتات افتراضية كان عليها المشي عبر أرضية أو التنقل في متاهة.
- في مهام MuJoCo (روبوتات مشي افتراضية)، ساعدت الطريقة الجديدة الروبوتات على الأداء بشكل أفضل، خاصة عندما كانت بيانات التدريب عالية الجودة.
- في مهام AntMaze (نملة افتراضية تتنقل في متاهة معقدة)، كانت النتائج أكثر إبهارًا. بدون دليل الفضول، فشلت الروبوتات الأخرى تمامًا، حيث علقت أو تاهت. ساعد Curiosity-Diffuser النملة الافتراضية على الوصول إلى الهدف في كثير من الأحيان. على سبيل المثال، في مجموعة "Play" من AntMaze، نجحت الطريقة الجديدة بنسبة 58.6% من الوقت، بينما بالكاد تجاوزت الطرق الأخرى نسبة 8%.
في العالم الحقيقي: أخذوا ذراع روبوت حقيقية وعلموها مهمتين:
- إغلاق الباب بالمطرقة: استخدام مطرقة لدفع باب خزانة للإغلاق.
- ترتيب المكعبات: التقاط مكعب أحمر ووضعه فوق مكعب أخضر.
- اختبروا الروبوت مع تغييرات طفيفة، مثل تغيير موضع بدء الذراع أو الأشياء.
- الطرق القديمة (مثل تعلم التقليد القياسي) نجحت بنسبة 50% تقريبًا فقط.
- نجح نظام Curiosity-Diffuser الجديد بنسبة 85% من الوقت. كان أكثر استقرارًا ولم يعلق أو يقوم بحركات جامحة وغير آمنة.

درجة "K-Sim": قياس الأمان
ابتكر المؤلفون أيضًا طريقة جديدة لقياس مدى "أمان" حركات الروبوت، أطلقوا عليها اسم K-Sim.

تخيل أن لديك خريطة لكل الأماكن الآمنة التي زارها الروبوت من قبل.
عندما يتحرك الروبوت، تتحقق K-Sim من: "مدى قرب هذه الحركة الجديدة من الخريطة الآمنة؟"
الدرجة القريبة من 1.0 تعني أن الروبوت يبقى تمامًا على المسار الآمن.
الدرجة القريبة من 0 تعني أن الروبوت يتيه في مناطق مجهولة وخطيرة.
حصل Curiosity-Diffuser باستمرار على درجات K-Sim أعلى (حوالي 0.827 في المتوسط في اختبارات المتاهة) مقارنة بالطرق الأخرى، مما يثبت أنه كان يبقي الروبوت بالفعل على أرض مألوفة.

كلمة تحذير
توضح الورقة البحثية أن هذا ليس عصا سحرية تحل كل شيء. يجب أن يكون "وزن الفضول" (مدى استماع الروبوت للبوصلة) مضبوطًا بدقة. إذا استمع الروبوت أكثر من اللازم للبوصلة، فسيصبح خائفًا جدًا من تجربة أي شيء جديد وقد يفشل في إتمام المهمة. وإذا استمع أقل من اللازم، فقد يظل عرضة للهلوسة. وجد المؤلفون "النقطة المثالية" حيث يوازن الروبوت بين الأمان والفعالية.

لماذا هذا مهم؟
يشير هذا البحث إلى أنه من خلال منح الروبوتات وسيلة لقياس مدى "ألفة" الموقف بالنسبة لها، يمكننا منعها من ابتكار حركات خطيرة. إنها خطوة نحو بناء روبوتات ليست ذكية فحسب، بل متواضعة وحذرة أيضًا — تعرف متى تكون خارج نطاق قدرتها وتلتزم بما تعرف أنه ينجح. وبينما تظهر الورقة نتائج رائعة في المحاكاة والاختبارات الواقعية، يشير المؤلفون إلى أنه لا يزال هناك عمل يتعين القيام به لجعل هذه الأنظمة أكثر قوة في مواجهة كل المواقف الممكنة في عالمنا المعقد.

ملخص تقني: Curiosity-Diffuser

بيان المشكلة
تتناول الورقة البحثية القضية الحرجة المتمثلة في عدم الاستقرار وعدم الموثوقية في التعلم بالتقليد الروبوتي، لا سيما عندما تواجه السياسات حالات خارج التوزيع (OOD). وبينما مكنت التطورات الأخيرة في الشبكات العصبية العميقة ومجموعات البيانات واسعة النطاق أطر التعلم بالتقليد المتطورة (مثل Diffusion Policies وTransformers)، إلا أن هذه النماذج غالباً ما تعاني من "الهلوسة" — أي توليد إجراءات أو مسارات غير دقيقة عند مواجهة حالات جديدة لم يتم تغطيتها بشكل كافٍ في بيانات التدريب. وفي التنفيذ ذي الحلقة المغلقة، يمكن لهذه الأخطاء أن تتضخم بشكل تكراري، مما يؤدي إلى أخطاء تراكمية تقوض السلامة والنجاح في المهام. ولم تنجح الطرق الحالية، مثل توسيع مجموعات البيانات أو الضبط الدقيق باستخدام التعلم التعزيزي، في حل المقايضة بين التعميم والموثوقية بشكل كامل.

المنهجية
يقترح المؤلفون Curiosity-Diffuser، وهو أسلوب مصمم لتوجيه نماذج الانتشار الشرطية لتوليد مسارات ذات "فضول" أقل، مما يضمن بقاء السلوكيات المولدة ضمن توزيع بيانات التدريب. يدمج هذا النهج ثلاثة مكونات أساسية:

تقييم الفضول القائم على RND: يستخدم الأسلوب وحدة تجميع عشوائي للشبكات (Random Network Distillation - RND) لتقييم حداثة الحالات. وتتكون من مشفر عشوائي ثابت المعلمات $f_\xi$ وشبكة تنبؤ قابلة للتعلم $f_\eta$ . تُعرف قيمة "الفضول" بخطأ التنبؤ $\|f_\eta(\tau) - f_\xi(\tau)\|^2$ . يشير الخطأ المنخفض إلى أن الحالة مألوفة (داخل التوزيع)، بينما يشير الخطأ المرتفع إلى الحداثة (التي قد تكون خارج التوزيع).
الانتشار الموجه بالفضول: على عكس الطرق التي تستخدم RND لمجرد الاختيار من المسارات التي تم أخذ عينات منها لاحقاً، يدمج Curiosity-Diffuser إشارة RND مباشرة في عملية أخذ عينات الانتشار عبر توجيه المصنف. يجمع حد التوجيه $g$ بين تدرج قائم على المكافأة ( $g_1$ ) وتدرج لتقليل الفضول ( $g_2$ ):
$g = g_1 + \lambda g_2$
هنا، يُشتق $g_2$ من تدرج خطأ تنبؤ RND، مما يوجه عملية إزالة الضجيج بعيداً عن المناطق ذات الفضول العالي (غير الموثوقة)، بينما يضمن $g_1$ إتمام المهمة. يتم فصل تدريب شبكة السياسة ومصنف RND.
مقياس K-Sim: لتقييم الموثوقية كمياً، قدم المؤلفون K-Sim، وهو مقييد حسابي فعال يقيس مدى تشابه السلوكيات المولدة مع مجموعة بيانات التدريب. يستخدم المقياس تجميع K-Means على حالات التدريب لإيجاد أزواج الحالة-الإجراء الأقرب بكفاءة للمسارات الاختبارية، ويحسب درجة مسافة معيرة. تشير الدرجة القريبة من 1.0 إلى تشابه أعلى مع توزيع التدريب.

المساهمات الرئيسية

الانتشار الموجه بالفضول: إطار عمل مبتكر يستخدم RND لتوجيه نموذج الانتشار الشرطي أثناء الاستدلال، مما يعمل بنشاط على كبح السلوكيات خارج التوزيع وتقليل الهلوسة بدلاً من مجرد تصفيتها بعد حدوثها.
مقياس تقييم الموثوقية: تقديم K-Sim، وهو مقياس قابل للتوسع لقياس مدى قرب قرارات السياسة من مجموعة بيانات التدريب، مما يسهل البحث في التعلم بالتقليد المستقر.
التدريب المنفصل: استراتيجية حيث يتم تدريب السياسة ومصنف الفضول بشكل مستقل، مما يسمح بدمج مرن لإشارات التوجيه.
التحقق الشامل: تقييمات واسعة النطاق عبر المحاكاة (D4RL MuJoCo، Minari AntMaze) ومهام التلاعب الروبوتية في العالم الحقيقي.

النتائج التجريبية

المحاكاة (MuJoCo): في مجموعة بيانات Medium-Expert، حقق Curiosity-Diffuser أفضل متوسط أداء بين النماذج المرجعية (77.9)، مما أظهر قوة خاصة في المهام ذات عروض الخبراء عالية الجودة. ومع ذلك، يشير المؤلفون إلى أن مكاسب الأداء متواض้อมة وتعتمد على البيانات؛ ففي مجموعات البيانات ذات الجودة الأقل (Medium-Replay)، أظهر الأسلوب حساسية، حيث تفوق أحياناً في الأداء على Conservative Q-Learning (CQL) أو Implicit Q-Learning (IQL).
المحاكاة (AntMaze): أظهر الأسلوب تفوقاً كبيراً في البيئات ذات المكافآت المتفرقة. وبينما فشلت النماذج المرجعية مثل Diffuser وDecision Transformer في حل مهام AntMaze (0% نجاح في العديد من الإعدادات)، حقق Curiosity-Diffuser معدلات نجاح تصل إلى 58.6% (AntMaze-Medium-Play) و42.0% (AntMaze-Large-Diverse). وقد ثبت أن توجيه RND كان حاسماً في التنقل عبر المهام طويلة الأمد حيث تكون إشارات المكافأة متفرقة.
تحليل K-Sim: حقق Curiosity-Diffuser أعلى متوسط درجة K-Sim (0.827) مقارنة بـ Diffuser (0.785) وReDiffuser (0.795)، مما يؤكد أن عملية التوليد الموجهة تنتج مسارات أكثر تشابهاً مع بيانات التدريب.
التلاعب في العالم الحقيقي: في التجارب التي أجريت على ذراع روبوتية من نوع PiPER لأداء مهام "إغلاق الباب بالمطرقة" و"ترتيب الكتل"، حقق Curiosity-Diffuser متوسط معدل نجاح قدره 85%، متفوقاً على سياسة الانتشار القياسية (57.5%) وAction Chunking Transformer (47.5%). أظهر الأسلوب متانة ضد التحولات الطفيفة في التوزيع، مثل تغيير أماكن الأشياء عشوائياً واضطرابات الوضع الأولي.
تحليل الحساسية: وجد المؤلفون علاقة غير رتيبة بين وزن الفضول $\lambda$ وأداء المهمة. فالاعتماد المفرط على توجيه الفضول ( $\lambda$ مرتفع جداً) يمكن أن يعيق إتمام المهمة، بينما تؤدي قيمة $\lambda=0$ إلى حدوث هلوسة. يتطلب الأمر توازناً مثالياً.

الأهمية والادعاءات
تدعي الورقة أن Curiosity-Diffuser يحسن بشكل كبير موثوقية سياسات التعلم بالتقليد من خلال منع النموذج من الانحراف إلى مناطق خارج التوزيع أثناء الاستدلال. ومن خلال دمج تقليل الفضول مباشرة في عملية توليد الانتشار، يقلل الأسلوب من الأخطاء التراكمية والهلوسة، مما يؤدي إلى سلوكيات روبوتية أكثر أماناً واتساقاً. ويؤكد المؤلفون أنه بينما يحسن الأسلوب الأداء، فإنه ليس علاجاً عالمياً لكل شيء؛ إذ تعتمد فعاليته على جودة البيانات، ويتطلب ضبطاً دقيقاً لوزن التوجيه. يوفر هذا العمل مساراً عملياً لنشر وكلاء تعلم بالتقليد أكثر متانة في سيناريوهات العالم الحقيقي حيث تكون السلامة والموثوقية أمراً بالغ الأهمية.

قصة الروبوت الفضولي

أبحاث مشابهة