💬 NLP

VSPO: Vector-Steered Policy Optimization for Behavioral Control

تقدم الورقة البحثية "تحسين السياسة الموجه بالمتجهات" (Vector-Steered Policy Optimization - VSPO)، وهي طريقة مبتكرة تعدل خوارزمية (GRPO) لاستخدام متجهات التوجيه للتحكم في كثافة السلوك أثناء أخذ عينات التدحرج، مما يؤدي إلى تخفيف اختناقات المكافأة الشحيحة وتسريع تحسين السياسة بشكل مثبت لتحقيق تحكم سلوكي ودقة مهام فائقة عبر معايير استدلال متعددة.

المؤلفون الأصليون: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً، ولكنه عنيد قليلاً (وهو نموذج الذكاء الاصطنا-عي). أنت تريد منه حل مسألة رياضية بشكل صحيح (الهدف الأساسي)، ولكنك تريد أيضاً منه شرح الإجابة بطريقة محددة للغاية — رب الله معلم مدرسة ابتدائية صبور، أو أستاذ جامعي رفيع المستوى.

المشكلة هي أن هذا الطالب نادراً ما يشرح الأشياء بهذا الأسلوب المحدد من تلقاء نفسه. إذا قلت له فقط، "كن مثل الأستاذ"، فقد يرتبك أو يتجاهلك. وإذا حاولت تعليمه عبر عرض أمثلة كتبها أستاذ مشهور ("المعلم")، فقد يقوم الطالب بمجرد حفظ تلك الأمثلة دون تعلم كيفية التفكير بهذا الأسلوب فعلياً.

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى VSPO (تحسين السياسة الموجه بالمتجهات - Vector-Steered Policy Optimization) لحل هذه المشكلة. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: عقبة "المكافأة الشحيحة" (Sparse Reward)

تخيل أنك تحاول تعليم الطالب أن يكون أكثر "ثقة". تطلب منه حل 10 مسائل.

الطريقة القديمة (تشكيل المكافأة - Reward Shaping): تنتظر إجابته. إذا صادف أن بدا واثقاً، تعطيه نجمة ذهبية. وإذا بدا غير متأكد (وهذا يحدث 9 مرات من أصل 10)، لا تعطيه أي نجمة.
المشكلة: لأن الإجابات الواثقة نادرة جداً، يحصل الطالب على القليل جداً من النجوم الذهبية. إنه لا يحصل على تدريب كافٍ لتعلم النمط. الأمر يشبه محاولة تعلم التلاعب بالكرات (Juggling) عبر الانتظار حتى تسقط كرة واحدة بالصدفة في يدك مرة واحدة في الأسبوع.

2. الحل: "متجه التوجيه" (الدفعة الخفية)

اكتشف الباحثون أن "عقل" الذكاء الاصطنا-عي (مساحة التنشيط الداخلية الخاصة به) يحتوي على اتجاهات محددة، مثل طرق غير مرئية، تؤدي إلى سلوكيات معينة.

التشبيه: فكر في عقل الذكاء الاصطنا-عي كخريطة عملاقة. هناك "طريق البروفيسور" و"طريق معلم المدرسة الابتدائية".
كيف يجدون الطريق: يستخدمون "ذكاءً اصطناعياً معلماً" فائق الذكاء لكتابة نسختين من الإجابة: نسخة خبيرة جداً وأخرى بسيطة جداً. ثم يقيسون الفرق بين هاتين الإجابتين في عقل الذكاء الاصطنا-عي لإنشاء "إحداثي خريطة" (متجه التوجيه) الذي يشير مباشرة نحو "طريق البروفيسور".

3. الخدعة السحرية: "التقطير الذاتي أثناء العمل" (On-Policy Self-Distillation)

هذا هو جوهر VSPO. بدلاً من انتظار الطالب ليعثر بالصدفة على "طريق البروفيسور"، يقوم الباحثون بـ توجيه عملية تفكير الطالب بلطف أثناء حله للمسألة.

التشبيه: تخيل أن الطالب يسير في غابة ضبابية.
- الذكاء الاصطنا-عي العادي: يتجول بشكل عشوائي.
- VSPO: يعطي الباحثون الطالب بوصلة تشير قليلاً نحو "طريق البروفيسور". ويطلبون منه أن يسلك 5 مسارات مختلفة:
  1. مسار موجه بقوة نحو أسلوب البروفيسور.
  2. مسار موجه بضعف نحو ذلك الأسلوب.
  3. مسار بدون أي توجيه (طبيعي).
  4. مسار موجه نحو الأسلوب المعاكس (الابتدائي).
  5. مسار آخر بتوجيه ضعيف.
النتيجة: الآن، بدلاً من التجول في الضباب، يُنتج الطالب مجموعة كاملة من الإجابات، تتراوح من "البسيطة جداً" إلى "الخبيرة جداً". حتى لو كان الطالب يكتب عادةً إجابات بسيطة، فإن هذا التوجيه يجبره على محاولة كتابة إجابات خبيرة الآن.

4. التعلم من "ذاته الموجهة"

بمجرد أن ينتج الطالب هذه النسخ الخمس المختلفة، يتحقق النظام مما يلي:

هل كانت الإجابة رياضياً صحيحة؟
هل بدت بالأسلوب الذي أردناه؟

ثم يختار النظام أفضل نسخة "موجهة" (التي كانت صحيحة وبدت كأنها من بروفيسور) ويقول له: "هيي، تذكر كيف كنت تبدو عندما وجهناك؟ أنت قادر على ذلك! لن جعل هذا هو أسلوبك الطبيعي الجديد".

الأمر الجوهﻟي هو أن الطالب يتعلم من محاولاته الخاصة، وليس من "الذكاء الاصطنا-عي المعلم" الخارجي. هذا يشبه ممارسة الطالب لخطاب أمام المرآة، وتعديل نبرته، ثم تقرير: "حسناً، أنا أستطيع التحدث هكذا"، بدلاً من مجرد حفظ تسجيل لشخص آخر.

لماذا هذه الطريقة أفضل من الطرق القديمة؟

أفضل من مجرد الطلب (التوجيه النصي): قولك للذكاء الاصطنا-عي "كن بروفيسور" في المطالبة (Prompt) يشبه الصراخ بالتعليمات من مسافة بعيدة. أما VSPO فهو يشبه توجيه يده جسدياً أثناء الكتابة. إنه أكثر دقة ولا يتطلب الصراخ بالتعليمات في كل مرة.
أفضل من نسخ المعلم (التقطير/Distillation): نسخ عمل المعلم هو تعلم "خارج السياسة" (Off-policy) (التعلم من شخص آخر). أما VSPO فهو تعلم "داخل السياسة" (On-policy) (التعلم من محاولاتك المحسنة الخاصة). وهذا يجعل التعلم أكثر ثباتاً واستقراراً.
يحل مشكلة "السلوك النادر": من خلال إنشاء نطاق واسع من السلوكيات (من البسيط إلى الخبير) أثناء التدريب، يضمن VSPO أن يرى الذكاء الاصطنا-عي العديد من الأمثلة للأسلوب المطلوب، وليس فقط الحالات النادرة التي قد يصادفها بالصدفة.

الخلاصة

VSPO هي تقنية تدريب تستخدم "دفعة" غير مرئية (متجه التوجيه) لإجبار الذكاء الاصطنا-عي على توليد مجموعة متنوعة من الإجابات بشخصيات مختلفة (مثل: واثق، خبير، أو موجز). ثم يكافئ الذكاء الاصطنا-عي لإيجاد الإجابة الصحيحة ضمن تلك الشخصيات المحددة ويعلمه اعتماد ذلك الأسلوب بشكل دائم.

النتيجة هي ذكاء اصطنا-عي يمكنه حل المسائل الرياضية الصعبة و شرحها بالضبط بالأسلوب الذي تريده (خبير، بسيط، واثق، إلخ) دون فقدان دقته، وكل ذلك من خلال التعلم من ممارسته الخاصة بدلاً من مجرد نسخ المعلم.

ملخص تقني: تحسين السياسة الموجهة بالمتجهات (VSPO)

بيان المشكلة

غالبًا ما تتطلب النماذج اللغوية الكبيرة الحديثة (LLMs) التحسين من أجل هدف دقة أساسي مع استيعاب سلوكيات تفضيلية ثانوية في الوقت ذاته، مثل الإسهاب، أو التعبير عن الثقة، أو مستوى الخبرة، أو المتانة تجاه السياق المضلل. ومن الناحية العملية، قد تظهر النماذج الأساسية هذه السلوكيات المرغوبة نادرًا أو لا تظهرها على الإطلاق، مما يخلق عنق زجاجة في مكافأة السلوك المتناثرة (sparse behavioral reward bottleneck).

تواجه الأساليب الحالية قيودًا كبيرة في هذا الإعداد متعدد الأهداف:

تشكيل المكافأة (Reward Shaping): غالبًا ما يكون إضافة مكافآت مساعدة إلى تحسين السياسة النسبي للمجموعات (GRPO) غير فعال عندما يكون السلوك المستهدف نادرًا في العينات الناتجة (rollouts). فالمكافآت القياسية تقيم المسارات ولكنها لا تعمل على تحسين تنوع أو جودة توزيع العينات نفسها. إذا كانت مجموعة GRPO تفتقر إلى مرشحات عالية الجودة أو متنوعة سلوكيًا، فإن تطبيع الميزة النسبية يوفر إشارات تعلم ضعيفة.
تقطير أثر المعلم (Teacher-Trace Distillation - SFT): إن استخدام نموذج معلم أقوى لتوليد أو إعادة كتابة الآثار (traces) ذات السلوكيات المستهدفة يؤدي إلى عدم تطابق خارج السياسة (off-policy mismatch). يتعلم النموذج الطالب من مسارات أنتجها نموذج آخر، بدلاً من مخرجاته التي تم أخذ عينات منها، مما قد يسبب انفصالاً بين السلوك المقطر والتوزيع الذي يمكن للنموذط الوصول إليه.
التغذية الراجعة عبر الذكاء الاصطناعي عبر الإنترنت (RLAIF): الطرق التي تستخدم نماذج معلم قوية كمدونين أو كمعيدين كتابة أثناء حلقة التعزيز (RL) تكون مكلفة حاسوبيًا بسبب الاستدعاءات المتكررة لواجهة برمجة التطبيقات (API)، ولا تزال تعاني من عيوب "خارج السياسة" عند التدريب على الآثار المعاد كتابتها.

المنهجية: تحسين السياسة الموجهة بالمتجهات (VSPO)

يعالج VSPO هذه الاختناقات من خلال استخدام متجهات التوجيه (steering vectors) المرتبطة بالسلوكيات المستهدفة للتحكم في كثافة العينات المولدة. يتم تأطير الطريقة كإجراء تقطير ذاتي كامن داخل السياسة (on-policy latent self-distillation) حيث يستوعب النموذج متجه التوجيه الخاص به.

يتكون سير عمل VSPO من مرحلتين:

المرحلة 1: بناء متجه التوجيه

يتم بناء متجه توجيه لتمثيل السلوك المستهدف في مساحة التنشيط الكامنة للنموذج.

إعادة الكتابة التباينية (Contrastive Rewriting): يقوم نموذج معلم بإعادة كتابة استجابات النموذج المستهدف من النسخ الأساسية إلى متغيرات سلوكية إيجابية وسلبية (على سبيل المثال: شرح خبير مقابل شرح ابتدائي).
استخراج المتجه: يتم حساب فروق التنشيط بين هذه المتغيرات الإيجابية والسلبية على مستوى الطبقات. يتم اختيار أقوى اتجاه طبقي وتطبيعه لتشكيل متجه التوجيه $v$ . يلتقط هذا المتجه الاتجاه الكامن للسلوك المستهدف.

المرحلة 2: تحسين السياسة بالتقطير الذاتي

يتم تحسين السياسة الحالية باستخدام GRPO، ولكن مع عملية توليد عينات معدلة:

العينات الموجهة (Steered Rollouts): لكل مطالبة (prompt)، يتم أخذ عينة من مجموعة $G$ من العينات مع تغيير كثافات التوجيه $\beta \in \{\beta_1, \dots, \beta_G\}$ . يتم تطبيق هذه الكثافات عن طريق حقن متجه التوجيه في التدفق المتبقي (residual stream) أثناء فك التشفير: $\tilde{h}_t = h_t + \beta v$ .
حساب المكافأة: تتلقى كل عينة مكافأة $r = r_0 + \alpha \beta$ ، حيث $r_0$ هي مكافأة المهمة الأساسية (مثل الصحة) و $\alpha \beta$ هي مكافأة سلوكية تقريبية تتناسب طرديًا مع كثافة التوجيه.
تحديث السياسة: يتم تحديث السياسة باستخدام هدف GRPO القياسي مع الميزات النسبية للمجموعة. والأهم من ذلك، أن التحديث يتم تطبيق على السياسة غير الموجهة ( $\pi_\theta$ )، بينما تُحسب الميزة بناءً على الآثار الموجهة. يسمح هذا للنموذج بتقطير السلوكيات المفيدة من متغيراته الموجهة دون تغيير سلوك الاستدلال للسياسة بشكل دائم باستخدام متجه التوجيه.

المساهمات الرئيسية

الابتكار الخوارزمي: تقديم VSPO، وهو طريقة لتحسين السياسة متعددة الأهداف تستفيد من متجهات التوجيه للتحكم في السلوك مع الحفاظ على دقة المهمة. على عكس GRPO التقليدي أو تشكيل المكافأة، يعمل VSPO بنشاط على تحسين تنوع العينات من خلال أخذ عينات صريحة من الآثار على طول المتجه الكامن المستهدف. وعلى عكس تقطير أثر المعلم (SFT)، فإنه يتجنب التدريب على مسارات المعلم الخارجة عن السياسة؛ حيث يقتصر دور المعلم على المساعدة في بناء المتجه فقط.
الضمانات النظرية: تثبت الورقة أن VSPO يحقق تعقيد تكرار أفضل من GRPO المعتمد على تشكيل المكافأة تحت تجريد "بانديت" (bandit abstraction). وتحديدًا، عندما تكون التوزيعات المستحثة بالتوجيه متوافقة بما يكفي مع السلوك المستهدف (مما يحقق شرط " $\gamma$ -good")، فإن VSPO يرفع من عينات الأنماط السلوكية النادرة ولكن المرغوبة، مما يسرع التقارب.
التحقق التجريبي: أظهر التقييم الواسع عبر اختبارات MATH و MMLU-Pro أن VSPO يتفوق باستمرار على تشكيل المكافأة، وSFT، وSDFT، وSDPO، والأساليب الشبيهة بـ RLAIF. لقد حقق تحكمًا قويًا في أربعة سلوكيات مستهدفة (مستوى الخبرة، التعبير عن الثقة، المتانة تجاه السياق المضلل، والإسهاب) مع الحفاظ على دقة المهمة أو تحسينها.
الخصائص المواتية: يحفز VSPO منهجًا تعليميًا طبيعيًا على طول محور السلوك ويحافظ على توزيع قريب من السياسة (NLL منخفض بالنسبة للنموذج الأساسي)، مما يتجنب الانزياحات التوزيعية الشديدة التي تظهر غالبًا مع الأساليب الخارجة عن السياسة.

النتائج التجريبية

قيم المؤلفون VSPO على اثنين من الاختبارات (MMLU-Pro و MATH) مع أربعة سلوكيات مستهدفة:

مستوى الخبرة: حقق VSPO أقوى تحكم ثنائي الاتجاه (التحول بين الأساليب الخبيرة والابتدائية) مع الحفاظ على دقة عالية (على سبيل المثال، 64.3% تحكم في المستوى الخبير على MMLU-Pro مقابل 45.0% لـ SFT).
التعبير عن الثقة: نجح VSPO في توجيه الاستجابات نحو نبرة واثقة أو حذرة دون تقليل الدقة، متفوقًا على النماذج المرجعية التي غالبًا ما تضحي بالأسلوب من أجل الصحة.
المتانة تجاه السياق المضلل: في الإعدادات التي تميل فيها النماذج إلى الموافقة على الإجابات الخاطئة المحقونة، حسن VS_PO الدقة بشكل كبير (64.2% مقابل 23.6% للنموذج الأصلي) من خلال كشف المزيد من مسارات الاستدلال المستقلة أثناء عملية توليد العينات.
الاستدلال الموجز: حسن VSPO المقايضة بين الدقة والطول، محققًا دقة أعلى مع استجابات أقصر مقارنة بتشكيل مكافأة عقوبة الطول.

الأهمية والادعاءات

تدعي الورقة أن VSPO يمثل خطوة مهمة للأمام في المواءمة القابلة للتحكم متعددة الأهداف. من خلال التعامل مع التحكم السلوكي كمسألة توجيه كامنة بدلاً من مشكلة تشكيل مكافأة أو تقطير خارج السياسة، فإن VS_PO:

يخفف من عنق زجاجة المكافأة المتناثرة عن طريق توليد مرشحات متنوعة ومتوافقة سلوكيًا مباشرة من السياسة الحالية.
يقلل الاعتماد على التغذية الراجعة الخارجية المكلفة من خلال إعادة استخدام متجه توجيه واحد طوال عملية التحسين، على عكس الطرق التي تتطلب استدعاءات متكررة للمعلم.
يسمح بتحسين مستقر من خلال إبقاء عملية التدريب داخل السيطة وقريبة منها، مما يتجنب عدم التطابق التوزيعي المتأصل في تقطير أثر المعلم.

يخلص المؤلفون إلى أن VSPO يوفر إطارًا قويًا لاكتساب سلوكيات ثانوية قابلة للتحكم دون التضحية بأداء المهمة الأساسية، مما يقدم بديلًا أكثر كفاءة في العينات ومؤسسًا نظريًا من طرق التعزيز والتقطير الحالية.