🤖 AI

Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

تقدم هذه الورقة البحثية "ضبط أهداف التفضيل" (PGT)، وهو إطار عمل لما بعد التدريب يعمل على مواءمة السياسات المشروطة بالأهداف والمجمدة مع تفضيلات المهام من خلال تحسين تضمينات أهداف كامنة مستمرة بدلاً من تحديث معاملات السياسة، مما يحقق أداءً فائقاً ومتانة أعلى مقارنة بكل من مطالبات الخبراء والضبط الدقيق الكامل على معيار Minecraft SkillForge.

المؤلفون الأصليون: Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً آلياً ماهراً للغاية ومُدرباً مسبقاً. لقد أمضى هذا الطباخ سنوات في مشاهدة ملايين فيديوهات الطبخ، ويعرف فيزياء التقطيع، والقلي، والخبز أفضل من أي شخص آخر. ومع ذلك، عندما تطلب منه "صنع سلطة"، قد يقطع الطماطم بشكل ناعم جداً أو ينسى التتبيلة، لمجرد أن تعليماتك اللفظية لم تكن المحفز المناسب لأسلوبه الخاص.

عادةً، لإصلاح ذلك، أمامك خياران سيئان:

إعادة كتابة التعليمات: تحاول تجربة مئات العبارات المختلفة ("اقطع الطماطم"، "قطع الطماطم"، "شرّح الطماطم") حتى تجد واحدة تعمل. هذا يشبه تخمين كلمة المرور الصحيحة؛ فهو أمر بطيء وغالباً ما يفشل.
إعادة تدريب الطباخ: تأخذ الطباخ مرة أخرى إلى مدرسة الطهي ليتعلم كل شيء من الصفر بناءً على ذوقك الخاص. هذا مكلف، ويستغرق وقتاً طويلاً، ويخاطر بجعل الطباخ ينسى كيفية طبخ أي شيء آخر باستثناء سلطتك المحددة (وهي مشكلة تُسمى "النسيان الكارثي").

تقدم هذه الورقة البحثية طريقة ثالثة وأكثر ذكاءً تسمى "ضبط هدف التفضيل" (Preference Goal Tuning - PGT).

الفكرة الجوهرية: استعارة "جهاز التحكم عن بعد"

بدلاً من إعادة كتابة دماغ الطباخ (السياسة/Policy)، يعامل المؤلفون تمثيل الهدف الكامن (latent goal embedding) الخاص به كأنه جهاز تحكم عن بعد مستمر.

فكر في دماغ الطباخ كشخصية في لعبة فيديو عالية الجودة، برمجتها ثابتة. لا يمكنك تغيير كود البرمجة أو الخصائص الخاصة بها. ومع ذلك، يمكنك ضبط "قرص" مخفي (الهدف الكامن) الذي يخبر الشخصية بالضبط كيف تفسر أمر "اصطياد غنم".

الطريقة القديمة (هندسة الأوامر - Prompt Engineering): تصرخ بأوامر مختلفة للشخصية على أمل أن ينجح أحدها.
الطريقة القديمة (الضبط الدقيق - Fine-tuning): تجبر الشخصية على إعادة تعلم شخصيتها بالكامل لتناسب أمرك.
طريقة PGT: تحافظ على شخصية اللاعب كما هي تماماً، ولكنك تستخدم "قرص تفضيل" لتدفع سلوكه نحو اتجاه معين. تدوّر القرص قليلاً لليسار، فيقطع الطماطم بشكل مثالي. تدوّره قليلاً لليمين، فيضيف التتبيلة.

كيف يعمل: حلقة "متذوق الطعام"

تصف الورقة عملية تشبه جلسة تذوق طعام فعالة للغاية:

الإعداد: تبدأ بتعليمات أساسية (مثل "جمع الخشب"). يحاول الروبوت القيام بالمهمة.
التجربة: يقوم الروبوت بإنشاء بضع محاولات (مسارات/trajectories). بعضها فوضوي، وبعضها جيد.
التغذية الراجعة: ينظر إنسان (أو نظام مكافأة) إلى المحاولات ويقول: "أنا أحب هذه المحاولة أكثر من تلك". لا يحتاجون لكتابة دليل مثالي؛ بل يحتاجون فقط لاختيار الفائز والخاسر.
التعديل: يستخدم النظام هذه التغذية الراجعة القائمة على "الفائز مقابل الخاسر" لتعديل القرص المخفي. يسأل النظام نفسه: "ما هو التغيير الطفيف في القرص الذي سيجعل الروبوت يقوم بفعل 'الفائز' بدلاً من فعل 'الخاسر'؟"
النتيجة: يظل دماغ الروبوت دون مساس، لكن القرص الآن مضبوط على "النقطة المثالية" التي تتوافق تماماً مع تفضيلاتك.

لماذا يعد هذا أمراً هاماً

اختبر المؤلفون هذا في لعبة Minecraft (لعبة عالم مفتوح معقدة) وعلى أذرع روبوتية. وإليك ما وجدوه، باستخدام مصطلحات بسيطة:

إنه قرص سحري: من خلال مجرد تدوير هذا القرص المخفي، حسّن النظام الأداء بنسبة 72% إلى 81% مقارنة بمجرد تجربة أوامر نصية مختلفة. لقد تفوق حتى على أفضل التعليمات التي كتبها البشر.
لا يكسر الروبوت: لأن دماغ الروبوت (السياسة) ثابت، فإنه لا ينسى كيفية القيام بالأشياء الأخرى. إذا ضبطت القرص على "جمع الخشب"، فلا يزال بإمكان الروبوت "بناء منزل" لاحقاً بمجرد تدوير القرص للعودة إلى إعداد "البناء".
يتعامل مع المفاجآت: عندما تغيرت البيئة (على سبيل المثال، بدا عالم اللعبة مختلفاً، أو كان الروبوت في غرفة جديدة)، عملت طريقة "القرص" بشكل أفضل بكثير من إعادة تدريب الروبوت. كانت أكثر متانة، مثل سائق متمرس يمكنه التعامل مع طريق جديد دون الحاجة لإعادة تعلم القيادة.
إنه رخيص: يتطلب إعادة تدريب دماغ الروبوت ملايين الدولارات من القوة الحوسبية. أما ضبط هذا "القرص" الواحد فيتطلب جزءاً ضئيلاً جداً من تلك القوة والبيانات.

الخلا الخطوط العريضة

يطلق المؤلفون على هذا اسم "ضبط هدف التفضيل" (PGT). إنها طريقة لتعليم الذكاء الاصطناعي مهارات جديدة دون كسر مهاراته القديمة. بدلاً من إجبار الذكاء الاصطناعي على حفظ قواعد جديدة، أنت ببساطة تجد "الإعداد المخفي" المثالي الذي يطلق السلوك الذي تريده، مع الحفاظ على ذكاء الذكاء الاصطعي الأساسي آمناً وسليماً.

القيود المذكورة في الورقة:

يجب أن يمتلك الروبوت بالفعل بعض القدرة على أداء المهمة. إذا لم يسبق للروبوت أن رأى غنماً، فإن تدوير القرص لن يجعله يصطاد واحدة؛ هو يحتاج فقط إلى نقطة بداية.
تحتاج إلى ضبط قرص جديد لكل مهمة على حدة (واحد للخشب، واحد للحجر، إلخ)، ولكن هذا في الواقع ميزة لأنه يحافظ على استقلالية المهام ويمنع تداخلها مع بعضها البعض.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "ضبط أهداف التفضيل: التدريب اللاحق كتحكم كامن للسياسات المجمدة" (Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies).

1. بيان المشكلة

أظهرت السياسات الموجهة بالأهداف (مثل النماذج التأسيسية للروبوتات أو الذكاء الاصطناği المادي/Embodied AI) قدرات قوية في تفسير التعليمات وتنفيذ سلوكيات متنوعة. ومع ذلك، فإن أداءها في المهام اللاحقة حساس للغاية لـ المطالبات (Prompts) أو التعليمات المحددة المستخدمة.

المعضلة:
- هندسة المطالبات (Prompt Engineering): تعتمد على البحث النصي المنفصل وغير الاشتقاقي. هي تحترم السياسة المجمدة ولكنها غالبًا ما تفشل في استحضار السلوك الأمثل بسبب قيود اللغة الطبيعية كواجهة تحكم.
- الضبط الدقيق القياسي (Standard Fine-Tuning): يقوم بتحديث معاملات السياسة لتتوافق مع المهام. ورغم فعاليته، فإنه يخاطر بـ النسيان الكارثي (Catastrophic Forgetting)، والإفراط في التخصيص (Overfitting) لتوزيعات مهام ضيقة، وتدمير قدرات التعميم الواسعة التي اكتُسبت أثناء مرحلة ما قبل التدريب.
الفجوة: هناك حاجة إلى آلية تكيف توفر قوة التحسين الخاصة بالضبط الدقيق مع الحفاظ على الاستقرار الهيكلي والقدرة على التعميم التي يتمتع بها النموذج التأسيسي المجمد.

2. المنهجية: ضبط أهداف التفضيل (PGT)

يقترح المؤلفون ضبط أهداف التفضيل (PGT)، وهو إطار عمل للتدريب اللاحق يعيد صياغة التكيف كمسألة تحكم كامن (Latent Control). بدلاً من تحديث أوزان السياسة، يقوم PGT بتحسين تضمين الهدف الكامن (Latent Goal Embedding) ( $g$ ) المستمر لتعديل سلوك السياسة المجمدة.

الصياغة الجوهرية

السياسة المجمدة: تظل معاملات السياسة ( $\theta$ ) ثابتة: $\pi(a|s, g; \theta)$ .
التحكم الكامن: يُعامل الهدف $g \in \mathbb{R}^d$ كمعامل قابل للتعلم. تُعرف السياسة "متعدد طيات سلوكي" (Behavioral Manifold) يتم فهرسته بواسطة $g$ .
الهدف: إيجاد $g^*$ الأمثل الذي يستحث توزيع مسارات يتوافق مع تفضيلات المهام، مما يقلل الانحراف عن التوزيع المستهدف المحدد بواسطة تفضيلات البشر أو المكافآت.

العملية الخوارزمية

يعمل PGT في مرحلتين، وغالبًا ما يكون ذلك بشكل تكراري:

توليد عينات التفضيل:
- البدء بمطالبة أولية يتم ترميزها إلى هدف كامن $g$ .
- جمع المسارات ( $\tau$ ) من خلال التفاعل مع البيئة باستخدام السياسة المجمدة و $g$ .
- تصنيف المسارات كـ إيجابية (مفضلة) أو سلبية (غير مفضلة). يمكن أن تأتي التصنيفات من مقيمي البشر أو إشارات المكافأة (مثل المكافأة التراكمية في Minecraft).
انتشار تفضيل السلوك:
- تحديث الهدف الكامن $g$ باستخدام هدف تعلم التفضيل (على سبيل المثال، DPO - تحسين التفضيل المباشر).
- يعمل الهدف على تعظيم احتمالية المسارات المفضلة بالنسبة لهدف مرجعي ( $g_{ref}$ ) مع كبح المسارات غير المرغوب فيها.
- دالة الخسارة: يعمل التحسين على تقليل السلب اللوغاريتمي لنسب التفضيل:
  $\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$
  حيث $\Delta$ هو الفرق في نسب الاحتمالية اللوغاريتمية بين الهدف الحالي والهدف المرجعي للمسار الفائز ( $\tau_w$ ) والمسار الخاسر ( $\tau_l$ ).

الرؤية النظرية الرئيسية

من خلال حصر التحسين في متجه كامن منخفض الأبعاد بدلاً من ملايين المعاملات، يفرض PGT انحيازًا استقرائيًا قويًا يفضل التعميم على التذكر (Memorization). فهو يعمل فعليًا على البحث عن المدخل الشرطي الأمثل دون تغيير الديناميكيات الفيزيائية الأساسية المشفرة في السياسة.

3. المساهمات الرئيسية

نموذج التحكم الكامن: يقدم نهجًا جديدًا للتدريب اللاحق حيث يتم تحقيق التكيف فقط من خلال تحسين تضمين الهدف الكامن، مع إبقاء السياسة التأسيسية مجمدة. هذا يفصل بين مواءمة المهمة والديناميكيات الفيزيائية.
تحسين التفضيل: يكيف تعلم التفضيل (تحديدًا DPO ومتغيراته) إلى فضاء الهدف الكامن، مما يسمح بمواءمة فعالة مع تفضيلات المهام باستخدام بيانات ضئيلة.
المتانة تجاه البيانات خارج التوزيع (OOD): يوضح أن عزل تكيف المهمة في الهدف الكامن يمنع النسيان الكارثي ويحافظ على التعميم خارج التوزيع (OOD)، وهو ما غالبًا ما يضعفه الضبط الدقيق القياسي.
قدرة التعلم المستمر: يوضح أن PGT يتيح تعلمًا مستمرًا قابلاً للتوسع من خلال تخزين متجه كامن مدمج لكل مهمة، مما يتجنب تداخل المهام دون الحاجة إلى آليات إعادة تشغيل (Replay) أو تنظيم معقدة.

4. النتائج التجريبية

تم تقييم إطار العمل على معيار Minecraft SkillForge (17 مهمة) باستخدام سياستين تأسيسيتين (GROOT و STEVE-1) وعلى معيار التحكم الروبوتي LIBERO-goal.

مكاسب الأداء:
- حقق PGT متوسط تحسن نسبي قدره 72.0% (لـ GROOT) و 81.6% (لـ STEVE-1) مقارنة بالسياسات المدربة مسبقًا في المهام داخل التوزيع (In-distribution).
- تفوق باستمرار على المطالبات المصاغة من قبل الخبراء ونماذج هندسة المطالبات القياسية.
التعميم خارج التوزيع (OOD):
- في إعدادات OOD (تغيير البذور، المناطق الحيوية، تكوينات الأدوات)، حسن PGT الأداء بنسبة 73.8% و 36.9% على التوالي.
- والأهم من ذلك، أن PGT تفوق على الضبط الدقيق الكامل بنسبة 13.4% في إعدادات OOD. لقد حسن الضبط الدقيق الكامل الأداء داخل التوزيع ولكنه أدى غالبًا إلى تدهور التعميم بسبب الإفراط في التخصيص.
كفاءة المعاملات:
- يحسن PGT فقط 512 معاملًا (متجه الهدف الكامن)، بينما يتضمن الضبط الدقيق الكامل حوالي 100 مليون معامل.
- تفوق على طرق الضبط الدقيق الفعال للمعاملات (PEFT) الأخرى مثل LoRA و BitFit و VeRA في سيناريوهات OOD.
التعلم المستمر:
- في اكتساب المهام المتسلسل، تجنب PGT النسيان الكارثي تمامًا، بينما عانت النماذج المرجعية مثل التعلم المستمر الساذج (NCL) و EWC من انخفاض كبير في الأداء على المهام السابقة.
صلاحية النطاقات المتقاطعة:
- أكدت التجارب على سياسة OpenVLA للتحكم الروبوتي (LIBERO-goal) أن PGT هو آلية تدريب لاحق عام قابلة للتطبيق بما يتجاوز Minecraft، مما يحسن معدلات النجاح في مجالات التحكم المستمر.

5. الأهمية والأثر

الحفاظ على القدرات التأسيسية: يوفر PGT طريقة "غير مدمرة" لتكييف النماذج الكبيرة. فهو يسمح للنموذج بتعلم مهام جديدة دون محو المعرفة التركيبية الواسعة التي اكتُسبت أثناء ما قبل التدريب.
كفاءة العينات: من خلال تحسين متجه منخفض الأبعاد، يتطلب PGT بيانات وحوسبة أقل بكثير من الضبط الدقيق الكامل، مما يجعله عمليًا للغاية للنشر في العالم الحقيقي.
التكيف القابل للتوسع: تشير القدرة على تخزين متجه كامن مدمج لكل مهمة إلى مسار قابل للتوسع لوكلاء متعدد المهام لا يعانون من التداخل أو الحاجة إلى مخازن إعادة تشغيل ضخمة.
الأمان والتحكم: يوفر إطار العمل واجهة مستمرة وقابلة للاشتقاق لتعديل السلوك، مما يسد الفجوة بين المطالبات النصية المنفصلة والتحكم المستمر المطلوب للمهام الفيزيائية المعقدة.

في الختام، يمثل ضبط أهداف التفضيل (PGT) تحولًا مهمًا في كيفية تكييف النماذج التأسيسية، حيث ينتقل من تعديل الأوزان إلى الملاحة في الفضاء الكامن، محققًا متانة وتعيمًا وكفاءة فائقة في اتخاذ القرار الموجه بالأهداف.