ملخص تقني: التوجيه الترددي للأفعال عبر التنقل في المتشعبات تحت الترددية

بيان المشكلة

يعاني تعلم سياسات الرؤية والحركة (visuomotor policies) عبر استنساخ السلوك (behavior cloning) غالباً من "اعتلال" يتمثل في وراثة الضجيج عالي التردد الموجود في عروض الخبراء البشرية. فالعينات البشرية الطبيعية تحتوي حتماً على حركات مفاجئة، وتوقفات، واهتزازات في الأفعال. وعندما تُدرب سياسات الانتشار (diffusion policies) لمحاكاة هذه المسارات كاملة التردد بشكل مباشر، فإنها تميل إلى الإفراط في ملاءمة (overfitting) هذه التباينات العالية التردد الزائفة، مما يؤدي إلى أوامر حركية مضطربة ومتذبذبة أثناء التشغيل.

تظهر هذه المشكلة بشكل حاد في سياسات الانتشار لأن عملية إزالة الضجيج التكرارية، رغم أنها تتبع مفاهيمياً نموذجاً من "الخشن إلى الناعم"، يمكن أن تضخم عن غير قصد العيوب عالية التردد على حساب التفاصيل الدقيقة ذات المعنى. تتعلم نماذج الانتشار القياسية خرائط مباشرة من الضجيج إلى المتشعب الترددي الكامل، وهو هدف واسع النطاق يمثل تحدياً استثنائياً للمهام المعقدة وغير الخطية حيث تتشابك النوايا منخفضة التردد مع التفاصيل عالية التردد زمنياً.

المنهجية: عامل التوجيه الترددي (FGO)

لمعالجة هذه القيود، يقترح المؤلفون عامل التوجيه الترددي (Frequency Guidance Operator - FGO)، وهو آلية توجيه انتشار مبتكرة تفرض ضمناً تسلسلاً هرمياً طيفياً أثناء عملية التوليد. الفكرة الجوهرية هي توجيه عملية إزالة الضجيج العكسية عبر سلسلة من المتشعبات تحت الترددية الوسيطة ذات النطاقات الطيفية المتوسعة، بدلاً من دفع العينات المشوشة مباشرة نحو المتشعب كامل التردد.

1. تعلم الخرائط متعددة النطاقات (مرحلة التدريب)

بدلاً من تدريب نموذج للتنبؤ بمتشعب البيانات كامل التردد مباشرة، يقوم FGO بتدريب متنبئ الضجيج لتعلم خرائط من الضجيج إلى متشعبات بيانات تحت الترددية.

• القطع الترددي (Frequency Truncation): خلال التدريب، يتم تمرير كتل الأفعال النظيفة $A^0_t$ عبر مجموعة من المرشحات منخفضة التمرير ($L_f$) المحددة بتردد قطع $f$. ينتج عن ذلك تسلسلات مقطوعة ترددياً $A^{0,f}_t$.
• التنبؤ الشرطي (Conditional Prediction): يتم تعزيز متنبئ الضجيج $\epsilon_\theta$ ليكون مشروطاً صراحةً بتردد القطع $f$، ليأخذ الشكل $\epsilon_\theta(A^{k,f}_t, k, O_t, f)$.
• استراتيجية أخذ العينات (Sampling Strategy): لضمان الاستقرار، يتم أخذ عينة من تردد القطع $f$ بحيث يساوي تردداً أساسياً $f_{base}$ باحتمالية $p_{base}$، أو يتم أخذ عينة منه بانتظام من النطاق $[f_{base}, f_{max}]$ في حالات أخرى. هذا يؤسس لأساس مستقر منخفض التردد ضروري لعملية التوجيه.
• أخذ عينات k-f المقترن (KFC Sampling): لمنع النموذج من إضاعة القدرة على التنبؤ بالترددات العالية عند مستويات الضجيج العالية (حيث تهيمن الضوضاء على الإشارات عالية التردد)، يتم ضبط الحد الأعلى لتردد القطع $f_{max}$ ديناميكياً بناءً على خطوة الانتشار $k$. مستويات الضجيج العالية تقيد التدريب على الترددات المنخفضة، بينما تسمح مستويات الضجيج المنخفضة بتدريب طيفي أوسع.

2. التوجيه التصاعدي (مرحلة الاستدلال)

خلال عملية إزالة الضجيج العكسية، يقوم FGO بتوجيه المسار نحو المتشعب كامل التردد عبر تخليق متجه حقل مركب.

• استيفاء حقل المتجهات (Vector Field Interpolation): في كل خطوة إزالة ضجيج $k$، تحسب آلية التوجيه مزيجاً موزوناً من تقديرين للضجيج الشرطي:
  1. $\epsilon_{base}$: حقل المتجهات الذي يوجه نحو متشعب $f_{base}$ منخفض التردد.
  2. $\epsilon_{fine}$: حقل المتجهات الذي يوجه نحو متشعب $f_k$ وسيط ذي تردد قطع أعلى.
• الحقل المركب (Composite Field): التقدير النهائي للضجيج هو $\tilde{\epsilon} = (1 - \omega_k)\epsilon_{base} + \omega_k \epsilon_{fine}$.
• التوسع التصاعدي (Progressive Expansion): مع تقدم عملية إزالة الضجيج (تناقص $k$)، يتم جدولة تردد القطع $f_k$ ووزن التوجيه $\omega_k$ ليزدادا خطياً. هذا يدفع العينات المشوشة تصاعدياً من الأساس منخفض التردد عبر متشعبات تحت ترددية متوسعة حتى تصل إلى المتشعب كامل التردد.
• التقريب (Approximation): بما أن الفعل النظيف $A^0_t$ غير معروف أثناء الاستدلال، يتم تقريب المدخل المشوش المقطوع ترددياً $A^{k,f}_t$ عن طريق تطبيق المرشح منخفض التمرير مباشرة على الحالة المشوشة الحالية $A^k_t$.

المساهمات الرئيسية

1. نموذج توجيه انتشار مبتكر: يقدم البحث آلية توجيه قائمة على التردد تعمل على كبح الضجيج عالي التردد أثناء عملية إزالة الضجيج من خلال التحكم الصريح في النطاقات الترددية التي يتم عبورها أثناء التوليد.
2. التدريب والاستدلال متعدد النطاقات: يتدرب الأسلوب على نماذج من الأفعال المقطوعة ترددياً ويستخدم استراتيجية توجيه تصاعدية أثناء الاستدلال لإعادة بناء الأفعال من الهياكل منخفضة التردد إلى التفاصيل عالية التردد.
3. تقييم شامل: يتحقق المؤلفون من فعالية FGO عبر 15 مهمة تلاعب روبوتية ممتدة عبر 5 معايير (تشمل Robosuite و MimicGen و Adroit و DexArt، وإعداد xArm في العالم الحقيقي).
4. دراسات الاستئصال (Ablation Studies): يوفر البحث دراسات استئصال تفصيلية تؤكد ضرورة أخذ عينات التردد الأساسي، واستراتيجية أخذ عينات KFC، والجدولة الخطية لأوزان التوجيه.

النتائج التجريبية

• معدل النجاح: يحقق FGO باستمرار معدلات نجاح متفوقة أو مقاربة للنماذج المرجعية (DP3، DiT-Policy، و FreqPolicy). في معايير Robosuite و MimicGen، تفوق FGO على المنافسين في 3 من أصل 4 مهام أساسية وفي كلتا مهمتي MimicGen المعقدتين. وفي معايير التلاعب الماهر Adroit و DexArt، تفوق FHO على النماذج المرجعية في 6 من أصل 7 مهام.
• سلاسة الأفعال: يحسن FGO الاتساق الزمني بشكل كبير. في مهمة "Can" في Robosuite، حقق FGO أدنى قيمة لتباين الفعل الكلي (ATV)، وانخفاضاً ملحوظاً بشكل خاص في الارتجاج (JerkRMS) مقارلة بجميع النماذج المرجعية، مما يشير إلى تنفيذ أكثر سلاسة وأقل اضطراباً.
• الأداء في العالم الحقيقي: في التجارب الواقعية على ذراع xArm (مهام Cup و Mouse)، تفوق FGO باستمرار على طريقة DP3 المرجعية، مما يثبت متانته في البيئات الفيزيائية.
• التكلفة الحسابية: لا يضيف FGO وقتاً إضافياً يُذكر للتدريب. ومع ذلك، فإن زمن انتقال الاستدلال (inference latency) أعلى قليلاً من النماذج المرجعية بسبب آلية التوجيه، وهو مقايضة معروفة للخوارزميات القائمة على التوجيه.

الأهمية والادعاءات

يزعم البحث أن FGO يعالج قصوراً جوهرياً في استنساخ السلوك: وهو ميل سياسات الانتشار لوراثة وتضخيم الضجيج عالي التردد من العروض البشرية. ومن خلال توجيه عملية التوليد صراحة عبر تسلسل هرمي من المتشعبات تحت الترددية، ينجح FGO في فصل تعلم الهيكل الحركي العالمي (منخفض التردد) عن التفاصيل الدقيقة (عالية التردد).

يؤكد المؤلفون أن هذا النهج ينتج سياسات ليست فقط أكثر نجاحاً في تنفيذ المهام، بل تنتج أيضاً مسارات أفعال سلسة للغاية ومتسقة زمنياً. وخلافاً لطرق التوجيه القياسية (مثل التوجيه الخالي من التصنيف - Classifier-Free Guidance) التي تتطلب غالباً أوزان استقراء يمكن أن تزعزع استقرار التوليد، يستخدم FGO استراتيجية استيفاء بين المتشعبات الترددية، مما يحافظ على مزيج محدب مستقر لحقول المتجهات. يوضح العمل أن الاستفادة من التحيزات الاستقرائية في مجال التردد يمكن أن تعزز بشكل كبير جودة وموثوقية سياسات الرؤية والحركة في كل من المحاكاة والتطبيقات الروبوتية في العالم الحقيقي.