💻 computer science

DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization

تقترح الورقة البحثية DiSPo، وهو نموذج سياسة جديد يعتمد على نماذج الانتشار وحالة الفضاء (diffusion-state space model) يستفيد من Mamba للتعلم من عروض توضيحية متنوعة خشنة وتوليد مقاييس تحكم متفاوتة للأفعال، محققاً معدلات نجاح وكفاءة استدلال متفوقة في تعلم المهارات من الخشن إلى الدقيق مقارنة بالنماذج المرجعية التقليدية.

المؤلفون الأصليون: Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

نُشر 2026-02-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت مهمة دقيقة، مثل لضم خيط في إبرة أو تمرير مشبك عبر أنبوب صغير للغاية.

المشكلة: معضلة الفيديو "المضبب" مقابل "الحاد"
تقليديًا، لتعليم الروبوت هذه المهارات، تحتاج إلى إظهار فيديو عالي الدقة وبحركة بطيئة لإنسان يقوم بالمهمة بشكل مثالي. إذا عرضت للروبوت فقط فيديو منخفض الدقة وسريع الحركة (بيانات خشنة/غير دقيقة)، فسيصاب بالارتباك. سيرى الصورة الكبيرة ولكنه سيفقد التفاصيل الصغيرة والحرجة اللازمة لتجنب الاصطدام.

معظم طرق الذكاء الاصطناعي الحالية تشبه كاميرا لا تملك سوى مستوى واحد من التكبير. إذا غدّيتها بفيديو مضبب، فستحاول تخمين التفاصيل، لكنها غالبًا ما تنتهي بحركات متذبذبة أو تصادمات. وإذا غدّيتها بفيديو حاد وواضح، فستعمل بشكل جيد، لكن تسجيل هذا القدر من البيانات عالية الجودة مكلف، وبطيء، وصعب التخزين.

الحل: DiSPo (الروبوت ذو "الزوم الذكي")
يقدم البحث DiSPo (سياسة الانتشار القائمة على نماذج الحالة الفراغية - Diffusion-SSM based Policy). فكر في DiSPo كروبوت يمتلك عدسة تكبير ذكية ومتكيفة وذاكرة خارقة.

إليك كيف يعمل، مقسمًا إلى استعارات بسيطة:

1. "الزوم الذكي" (من الخشن إلى الناعم)

تخيل أنك تنظر إلى خريطة.

الروبوتات القديمة: إذا أعطيتها خريطة للبلاد بأكملها، فستضيع عندما تحتاج إلى الالتفاف عند زاوية شارع محدد. وإذا أعطيتها خريطة للشارع فقط، فلن تعرف أين تقع في البلاد.
DiSPo: يمكن لـ DiSPo النظر إلى خريطة بعيدة المدى (بيانات خشنة) لفهم المسار العام، ثم "يكبّر" فورًا ليرى الشقوق الصغيرة في الرصيف (التفاصيل الدقيقة) تمامًا عندما يحتاج إلى القيام بحركة دقيقة. هو لا يحتاج إلى فيديو عالي الدقة للرحلة بأكملها؛ بل يحتاج فقط إلى بيانات عالية الدقة للأجزاء الصعبة.

2. "القوتان الخارقتان" (الانتشار + SSM)

يجمع DiSPo بين نوعين مختلفين من أدمغة الذكاء الاصطناعي:

الفنان الانتشار (مزيل الضجيج): تخيل نحاتًا يبدأ بكتلة من الطين الفوضوي والمضبب. يقوم ببطء بنحت الضجيج ليكشف عن تمثال مثالي. بالمعنى التقني، يبدأ DiSPo بتخمين عشوائي لما يجب فعله ثم "ينظفه" خطوة بخطوة حتى يجد الحركة المثالية. هذا يجعله جيدًا جدًا في تعلم الحركات المعقدة والفنية.
أمين المكتبة SSM (حافظ الذاكرة): هذا هو جزء "Mamba". تخيل أمين مكتبة يمكنه قراءة كتاب وتذكر الحبكة تمامًا دون الحاجة لإعادة قراءة كل صفحة. الذكاء الاصطناعي التقليدي يحتاج لإعادة قراءة التاريخ بأكمله ليتذكر ما حدث. أما الـ SSM فهو فعال؛ فهو يتذكر "تدفق" الحركة بشكل جيد جدًا، حتى لو حدثت الحركة بسرعات مختلفة.

3. "القرص السحري" (عامل مقياس الخطوات)

هذا هو الابتكار الأكبر في الورقة البحثية.

الاستعارة: تخيل أنك تقود سيارة. أحيانًا تكون على طريق سريع طويل ومستقيم (يمكنك القيادة بسرعة واتخاذ خطوات كبيرة). وأحيانًا تكون في موقف سيارات مزدحم (تحتاج للتحرك ببطء واتخاذ خطوات صغيرة وحذرة).
كيف يستخدم DiSPo ذلك: يمتلك DiSPo "قرص تحكم في السرعة".
- عندما يكون الروبوت في مساحة مفتوحة، يدير القرص إلى الوضع "الخشن" (خطوات كبيرة، معالجة سريعة).
- عندما يقترب من جدار أو زر، يدير القرص إلى الوضع "الناعم" (خطوات صغيرة، دقة عالية).
- الأهم من ذلك: يمكنه التعلم من فيديو تم تسجيله بسرعة منخفضة وجودة ضعيفة، ثم يقرر من تلقاء نفسه التحرك بسرعة في المناطق الآمنة وببطء في المناطق الخطرة.

4. خدعة "التدريب الوهمي" (العروض التوضيحية الزائفة)

كيف يتعلم الروبوت التحرك بدقة إذا لم يُعرض عليه سوى فيديوهات بطيئة وخشنة؟

الاستعارة: تخيل أنك تتعلم عزف مقطوعة موسيقية على البيانو. لديك فقط تسجيل بطيء ومكتوم لعازف ماهر.
الخدعة: يستمع DiSPo إلى التسجيل البطيء، ويخمن كيف يجب أن تبدو النوتات السريعة، ثم ينشئ "نسخة تدريبية" لنفسه. بعد ذلك، يتحقق من تخمينه مقابل التسجيل البطيء ليتأكد من أنه لم يخرج عن المسار. ويكرر ذلك حتى يتمكن من عزف الأغنية بالسرعة الكاملة، رغم أنه لم يمتلك سوى التسجيل الببطيء في البداية. هذا يوفر كمية هائلة من الوقت ومساحة التخزين.

النتيجة في العالم الحقيقي

اختبر الباحثون ذلك على ذراع روبوت حقيقية (UR5e).

المهمة: تمرير مشبك عبر أنبوب صغير دون لمس الجوانب، والضغط على زر دون الاصطدام بالجدار.
النتيجة:
- الروبوتات القديمة: إما اصطدمت بالأنبوب أو توقفت بشكل غريب لأنها لم تستطع فهم التفاصيل الدقيقة من البيانات الخشنة.
- DiSPo: نجح في تمرير المشبك والضغط على الزر بدقة عالية. لقد تحرك بسرعة عندما كان المكان آمنًا، وتباطأ إلى دقة مجهرية عندما اقترب من العائق.

الملخص

DiSPo يشبه الروبوت الذي يتعلم من "رسم تخطيطي" ولكنه يرسم "صورة فوتوغرافية".
إنه يأخذ عروضًا توضيحية خشنة ومنخفضة الجودة، يفهم الصورة الكبيرة، ثم يستخدم قدرة "الزوم" الخاصة به لملء التفاصيل المفقودة عالية السرعة وعالية الدقة أثناء العمل. وهذا يعني أننا لسنا بحاجة لقضاء ساعات في تسجيل فيديوهات مثالية وبطيئة لتعليم الروبوتات؛ يمكننا تعليمهم ببيانات أسرع وأقل دقة، وهم سيتكفلون باستنتاج التفاصيل الدقيقة بأنفسهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization" (التعلم بالانتشار القائم على نماذج الحالة الفضائية لتعلم السياسات من التجزئة الخشنة إلى الدقيقة).

1. بيان المشكلة

تعالج الورقة فجوة حرجة في التعلم بالتقليد (Imitation Learning - IL) للروبوتات: وهي عدم قدرة الطرق الحالية على تعلم وإعادة إنتاج المهارات بفعالية عند مستويات متعددة من التفصيل (التعلم متعدد التدرج).

التحدي: تتطلب مهام المعالجة في العالم الحقيقي (مثل ربط البراغي، اللحام، الإدخال) مزيجاً من الحركات الخشنة (التموضع الكبير) والحركات الدقيقة (التعديلات الدقيقة).
قصور الطرق الحالية:
- التعلم بالتقليد التقليدي (مثل DMPs): يعتمد على نماذج ديناميكية ثابتة أو ترددات مدخلات محددة، مما يجعله يواجه صعوبة في التكيف مع المقاييس الزمنية المتغيرة.
- التعلم بالتقليد العصبي (مثل Transformers و Diffusion): رغم قوتها، إلا أنها عادة ما تتعلم من تردد واحد ثابت. ولتحقيق تحكم دقيق، تتطلب هذه النماذج عينات توضيحية عالية التردد، مما يؤدي إلى تكاليف تخزين وحوسبة هائلة.
- نماذج الحالة الفضائية (SSMs): رغم كفاءتها (مثل Mamba)، إلا أن التنفيذات القياسية تستخدم أحجام خطوات ثابتة، مما يجعلها غير مناسبة لالتقاط السلوكيات المعقدة ومتعددة الأنماط عبر تدرجات مختلفة.

الهدف هو إنشاء سياسة يمكنها التعلم من عينات توضيحية خشنة (منخفضة التردد) وتوليد أفعال دقيقة (عالية التردد) عند الطلب، مع التكيف مع مقاييس التحكم التي يحددها المستخدم دون الحاجة لإعادة التدريب.

2. المنهجية: إطار عمل DiSPo

يقترح المؤلفون DiSPo، وهو إطار عمل جديد للسياسات يجمع بين نماذج الانتشار (لقوة التمثيل) ونماذج الحالة الفضائية (SSMs)، وتحديداً Mamba، (للتجزئة المرنة والفعالة).

البنية الأساسية

هجين الانتشار-SSM: يستخدم DiSPo إطار عمل نموذج الانتشار الاحتمالي لتقليل الضجيج (DDPM) حيث تُبنى شبكة تقليل الضجيج على كتل DiSPo متراكمة. كل كتلة هي نسخة معدلة من كتلة Mamba.
الاشتراط المدخل (Input Conditioning): يأخذ النموذج:
- تسلسلات الأفعال المشوشة ( $a^{(k)}$ ).
- تسلسلات الملاحظات ( $o$ ).
- تضمين خطوة الانتشار ( $k$ ).
- عوامل مقياس الخطوة ( $r_t$ ): وهو متجه يحدده المستخدم أو يتم التنبؤ به للتحكم في التدرج الزمني للمخرجات.

الابتكارات الرئيسية

كتلة Mamba ذات المقياس المتدرج (Step-Scaled Mamba Block):
- على عكس Mamba القياسي الذي يمتلك معاملات ثابتة، يقدم DiSPo آلية قياس الخطوة.
- يتم تعديل معاملات الـ SSM ( $\Delta, B, C$ ) ديناميكياً بناءً على عامل مقياس الخطوة المدخل $r_t$ .
- المعادلة: $\Delta^{(i)}_t = r_t \cdot \text{SoftPlus}(f^{(i)}_\Delta(\ddagger u^{(i)}_t))$ .
- يسمح هذا للنموذج بـ "التكبير" أو "التصغير" بفعالية على الدقة الزمنية لتسلسل الفعل، مما يمكنه من توليد أفعال بترددات عشوائية.
مخطط التعلم متعدد التدرج:
- ما قبل التدريب (تعزيز معدل العينة): يتم تدريب النموذج على مجموعات بيانات معززة بعوامل مقياس خطوة عشوائية. يتعلم النموذج إعادة بناء الأفعال بترددات مختلفة من مجموعة بيانات واحدة.
- الضبط الدقيق (توليد العينات التوضيحية الزائفة): لتوليد أفعال عالية التردد لم تكن موجودة في مجموعة البيانات الخشنة الأصلية، يقترح المؤلفون حلقة تشمل:
  1. توليد تسلسل فعل خشن باستخدام النموذج المدرب مسبقاً.
  2. استبدال الأفعال الخشنة ببيانات التوضيح الأصلية عالية التردد (حيثما وجدت) وإضافة الضجيج.
  3. تقليل الضجيج لإنشاء "عينة توضيحية زائفة" عند التردد المستهدف العالي.
  4. ضبط النموذج بدقة على هذه العينات الزائفة لتحسين التفاصيل عالية التردد.
متنبئ التدرج ( $\phi_r$ ):
- عبارة عن شبكة MLP تتنبأ بعامل مقياس الخطوة الأمثل $r_t$ بناءً على تسلسل الملاحظة الحالي، مما يسمح للروبوت بالتبديل تلقائياً بين أوضاع التحكم الخشنة (الفعالة) والدقيقة (الدقيقة) أثناء التشغيل.

3. المساهمات الرئيسية

أول دمج لـ Mamba والانتشار من أجل التدرج: يعد هذا أول عمل يقوم بتعديل النموذج المنفصل لـ Mamba من أجل التحكم الروبوتي الدقيق، مما يتيح تجزئة مرنة للأفعال.
التعلم من الخشن إلى الدقيق من بيانات خشنة: نجحت الطريقة في تعلم توليد أفعال عالية التردد ودقيقة بدءاً من عينات توضيحية منخفضة التردد (خشنة)، مما يلغي الحاجة إلى جمع بيانات عالية التردد مكلفة.
الكفاءة: من خلال توليد حركات خشنة في المناطق غير الحرجة وحركات دقيقة فقط عند الضرورة، يقلل DiSPo من عبء الاستدلال والتكلفة الحسابية.
معايير اختبار جديدة: قدم المؤلفون معايير لتعلم التقليد من الخشن إلى الدقيق (Clamp Passing, Passage Passing, Button Touch) لتقييم قدرات التدرج المتعدد.

4. النتائج التجريبية

قيم المؤلفون DiSPo في ثلاثة معايير محاكاة ومهمتين في العالم الحقيقي (باستخدام ذراع UR5e).

أداء المحاكاة:
- معدل النجاح: حقق DiSPo معدل نجاح يتجاوز 81% عبر جميع ترددات العينات (من 2.5 هرتز إلى 20 هرتز)، متفوقاً بشكل كبير على النماذج المرجعية (DiffusionPolicy-C/T, D-Ma, VQ-BeT).
- فجوة الخشن إلى الدقيق: عندما تم تدريبه على بيانات بتردد 2.5 هرتز واختباره عند 20 هرتز، فشلت النماذج المرجعية (بنسبة نجاح تقارب 0%)، بينما حافظ DiSPo على أداء عالٍ.
- التعلم بتردد مختلط: في المهام ذات التردد المختلط (2.5 هرتز و5 هرتز)، حقق DiSPo نجاحاً بنسبة 93% في مهمة "لمس الزر" (Button Touch)، بينما عانت النماذج المرجعية من سرعات أفعال غير مناسبة.
تجارب العالم الحقيقي:
- المهام: تمرير المشبك (Clamp passing) ولمس الزر (Button touching).
- النتائج: نجح DiSPo في تنفيذ عمليات إدخال دقيقة وخالية من الاصطدام ولمس الأزرار.
- المقارنة: غالباً ما تسبب النموذج المرجعي (D-Ma) في حدوث اصطدامات أو التوقف المبكر، بينما ولد DiSPo التصحيحات الدقيقة اللازمة.
- الكفاءة: باستخدام متنبئ مقياس الخطوة المعتمد على البيانات، قلل DiSPO عدد خطوات الفعل المطلوبة بنسبة 32% في مهمة لمس الزر مع انخفاض طفيف فقط في معدل النجاح، مما يثبت قدرته على تحسين تكلفة الاستدلال.

5. الأهمية والأثر

كفاءة البيانات: يحل DiSPo مشكلة "عنق زجاجة البيانات" في الروبوتات. فهو يسمح للروبوتات بتعلم مهارات معقدة وعالية الدقة من عينات توضيحية بشرية منخفضة التردد وسهلة الجمع، مما يزيل الحاجة إلى بيانات التحكم عن بعد عالية التردد.
التحكم التكيفي: تعني القدرة على تعديل تدرج الفعل أثناء التشغيل أن الروبوتات يمكن أن تكون أكثر كفاءة في استهلاك الطاقة والحوسبة عبر استخدام التحكم الخشن في المساحات المفتوحة والتحول إلى التحكم الدقيق فقط في التفاعلات الحرجة.
القابلية للتوسع: يوفر دمج نماذج الحالة الفضائية (Mamba) تعقيداً حسابياً خطياً، مما يجعل النهج قابلاً للتوسع لمهام طويلة المدى مقارنة بالسياسات القائمة على Transformer.

في الختام، يمثل DiSPo خطوة كبيرة للأمام في جعل تعلم التقليد الروبوتي أكثر مرونة وكفاءة في استخدام البيانات وقدرة على التعامل مع المقاييس الزمنية المتنوعة المطلوبة للتحكم الدقيق.