ملخص تقني: RoDiF – الضبط الدقيق المباشر المتين لسياسات الانتشار مع التغذية الراجعة البشرية الفاسدة

1. بيان المشكلة

برزت سياسات الانتشار (Diffusion policies) كنموذج قوي للتحكم الروبوتي، حيث توفر قدرات فائقة في التقاط التوزيعات متعددة الأنماط والتعامل مع فضاءات العمل عالية الأبعاد مقارنة بالسياسات التقليدية الغاوسية أو الحتمية. ومع ذلك، فإن الضبط الدقيق لهذه السياسات المدربة مسبقًا لمواءمتها مع تفضيلات بشرية محددة يواجه تحديين جوهريين:

1. عدم التطابق الهيكلي: على عكس النماذج اللغوية ذات الترتيب الذاتي (Autoregressive)، تعمل سياسات الانتشار عبر سلسلة إلغاء تشويش متعددة الخطوات متداخلة ضمن عملية ماركوف لاتخاذ القرار (MDP) البيئية. إن طرق تحسين التفضيلات المباشرة (DPO) الموجودة لا تأخذ في الاعتبار بطبيعتها هذه البنية الزمنية المزدوجة (خطوات إلغاء التشويش الداخلية مقابل الديناميكيات البيئية الخارجية)، مما يجعل اشتقاق هدف DPO قابل للتطبيق أمرًا غير بديهي.
2. التغذية الراجعة البشرية الفاسدة: غالبًا ما تكون التغذية الراجعة البشرية في التحكم الروبوتي عشوائية وتحتوي على تناقضات تتجاوز افتراضات الضوضاء القياسية (مثل قلب الملصقات، أو اختلاف وجهات نظر المعلقين، أو المعايير غير المستقرة). يؤدي الضبط الدقيق الساذج على مثل هذه البيانات إلى جعل النماذج تفرط في التكيف (Overfitting) مع المقارنات المتضاربة، مما يؤدي فعليًا إلى التحسين بناءً على قيود خاطئة بدلاً من القصد البشري، وهو ما يقلل من كل من المواءمة وأداء المهمة.

2. المنهجية

يعالج إطار العمل المقترح، RoDiF (الضبط الدقيق المباشر المتين)، هذه التحديات من خلال صياغة نظرية موحدة واستراتيجية تحسين قائمة على الأسس الهندسية.

2.1 صياغة MDP الموحدة

لتمكين DPO لسياسات الانتشار، قدم المؤلفون MDP موحدًا يدمج سلسلة إلغاء تشويش الانتشار مع الديناميكيات البيئية بشكل متسق.

• تعريف الحالة والعمل: تجمع الحالة الموحدة $s^+$ بين حالة البيئة الحالية $s_t$ ومتجه الضوضاء الأولي $a^K_t$. ويمثل العمل الموحد $a^+$ تسلسل خطوات إلغاء التشويش $(a^{K-1}_t, \dots, a^0_t)$.
• ديناميكيات الانتقال: تقوم دالة الانتقال بتسطيح العملية، حيث تعامل حقن الضوضاء العشوائية وانتقال البيئة كخطوة واحدة.
• تفكيك السياسة: يتم تفكيك السياسة الموحدة $\pi_\theta(a^+|s^+)$ إلى حاصل ضرب احتمالات إلغاء التشويش الشرطية عند كل خطوة $k$، مما يسمح بتطبيق حيل إعادة تمثيل DPO القياسية على عملية الانتشار دون الحاجة إلى نمذجة مكافأة صريحة.

2.2 منظور قطع الفرضيات الهندسي

يعيد RoDiF تفسير هدف DPO من خلال عدسة هندسية.

• فضاء الفرضيات: يُنظر إلى فضاء المعلمات لسياسة الانتشار كفضاء فرضيات $\Theta$.
• التفضيل كقطع (Cuts): كل زوج من التفضيلات البشرية (مسار فائز $\tau_w$ مقابل مسار خاسر $\tau_l$) يستحث قيدًا غير متساوي (قطعًا) على فضاء المعلمات. يجب أن تستوفي معلمة السياسة الصالحة شرط $\Delta Q_\theta \geq 0$ للزوج المفضل.
• مشكلة الضوضاء: في ظل وجود ملصقات فاسدة، يمكن لقرار تفضيل واحد خاطئ أن يخلق "قطعًا زائفًا" يستبعد المعلمة المثلى الحقيقية $\theta_H$ من تقاطع جميع القطوع، مما يؤدي إلى انحراف عملية التعلم بشكل لا رجعة فيه.

2.3 استراتيجية التصويت المتحفظة

لتحقيق المتانة دون افتراض توزيع ضوضاء محدد، يستخدم RoDiF استراتيجية قطع متحفظة:

• آلية التصويت: بدلًا من اشتراط استيفاء المعلمة لـ جميع قطوع التفضيل (والذي يفشل إذا كان أي ملصق فاسدًا)، تعامل الطريقة كل قطع كصوت.
• العتبة المتحفظة: يتم إدخال مستوى تحفظ $\gamma \in [0, 1]$، يمثل حدًا علويًا مقدرًا لمعدل الفساد. يتم تخفيف هدف التحسين للاحتفاظ بالمعلمات التي تستوفي $\lfloor(1-\gamma)N\rfloor$ من القطوع على الأقل.
• دالة الخسارة المتينة: يتم تعديل خسارة DPO القياسية إلى خسارة متينة $L_{RoDiF}$. يتم تليين دالة "هيفيسيد" (Heaviside) غير القابلة للتفاضل (المستخدمة لعد الأصوات) باستخدام دالة "سيجمويد" (Sigmoid) لتمكين التحسين القائم على التدرج. يسمح هذا للسياسة بتجاهل ما يصل إلى $\gamma N$ من الملصقات غير المتسقة مع الاستمرار في التقارب نحو السياسة الحقيقية المتوافقة مع البشر.

3. المساهمات الرئيسية

1. صياغة MDP الموحدة: صياغة مبتكرة تدمج خطوات إلغاء تشويش الانتشار مع الانتقالات البيئية، مما يسمح باشتقاق هدف DPO قابل للتطبيق وخالٍ من المكافأة لسياسات الانتشار.
2. خوارزمية RoDiF: خوارزمية قائمة على الأسس الهندسية تقوم بضبط سياسات الانتشار بدقة ومتانة من خلال الاستفادة من قطع الفرضيات المتحفظ. وهي تخفف من تأثير ملصقات التفضيل غير المتسقة دون الحاجة إلى معرفة مسبقة بتوزيع الضوضاء.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت أن RoDiF يتفوق بشكل كبير على أفضل الحلول المرجعية (بما في ذلك DPO، وCPO، وIPO، وSimPO القياسية) في مهام المناولة عالية الأبعاد وطويلة الأمد.

4. النتائج التجريبية

تم تقييم الطريقة على خمس مهام مناولة طويلة الأمد (Avoid, Pushing, Sorting, Aligning, Stacking) باستخدام ثلاثة هياكل انتشار مختلفة (UNet, Transformer, MLP).

• فعالية المواءمة: نجح RoDiF في توجيه السياسات المدربة مسبقًا نحو الأنماط المحددة من قبل المستخدم، حتى عندما كانت تلك الأنماط غير مهيمنة في السياسة المدربة مسبقًا (على سبيل المثال، تحقيق مواءمة نمط بنسبة >84% في مهمة "Avoid" بينما كانت النسبة المرجعية <21%).
• المتانة تجاه الضوضاء:
  • تحت ظروف فساد بنسبة 0%، أدى RoDiF أداءً مشابهًا لـ DPO القياسي.
  • تحت ظروف فساد بنسبة 20% و30%، تدهور أداء DPO القياسي والحلول المرجعية الأخرى (مثل SimPO) بشكل كبير (على سبيل المثال، انخفض معدل نجاح SimPO من 43% إلى 10% تحت ضوضاء بنسبة 20%).
  • حافظ RoDiF على أداء عالٍ (>84% معدل نجاح) عبر جميع مستويات الضوضاء، مما مكن من عزل إشارة التوجيه عن ضوضاء الملصقات المنهجية.
• استقلالية البنية: أثبتت الطريقة فعاليتها عبر بنيات انتشار متنوعة (UNet, Transformer, MLP).
• كفاءة العينات: أظهر إطار العمل كفاءة عالية في العينات، حيث حقق مواءمة قوية مع عدد ضئيل يصل إلى 10 أزواج (رابح-خاسر) في مهام محددة.

5. الأهمية والادعاءات

يزعم البحث أن RoDiF يعزز سلامة وموثوقية التعلم الروبوتي القائم على التفضيلات. ومن خلال الحد من آثار التغذية الراجعة البشرية الخاطئة أو غير المتسقة، يقلل إطار العمل من خطر التحديثات الهشة أو غير المستقرة للسياسة. ويُقدم هذا كخطوة حاسمة نحو نشر الأنظمة الروبوتية في بيئات حقيقية حساسة للسلامة حيث قد يقدم المعلقون البشريون بيانات غير مثالية. يؤكد العمل على أن المتانة هي مطلب أساسي للنشر المسؤول، حيث يقدم حلاً لا يعتمد على بيانات مثالية أو نمذجة مكافأة معقدة.