💻 computer science

Pref-CTRL: Preference Driven LLM Alignment using Representation Editing

يُعد Pref-CTRL إطار عمل مبتكر للمحاذاة أثناء وقت الاختبار، وهو يحسن أساليب تحرير التمثيل الحالية باستخدام دالة قيمة متعددة الأهداف مصممة لالتقاط بنية بيانات التفضيلات البشرية بشكل أفضل.

المؤلفون الأصليون: Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً للغاية، وسريعاً بشكل مذهل، ولكنه "مشاكس" أحياناً. هذا الروبوت يعرف كل شيء تقريباً، ولكن بما أنه تعلم من الإنترنت الواسع، الفوضوي، والسام أحياناً، فإنه قد يقول أحياناً أشياء وقحة، أو خطيرة، أو حتى خاطئة تماماً.

ولإصلاح ذلك، يستخدم معظم الناس "أسلوب التمدرس" (الضبط الدقيق - Fine-tuning). هذا يشبه إرسال الروبوت للعودة إلى المدرسة لعدة أشهر ليعيد تعلم كيفية التصرف. هذا الأسلوب فعال، لكنه مكلف للغاية، ويستهلك كمية هائلة من الطاقة، وهو بطيء جداً.

يقترح مؤلفو هذه الورقة البحثية طريقة مختلفة: "أسلوب عجلة القيادة" (Pref-CTRL).

الفكرة الجوهرية: التوجيه، وليس إعادة التدريب

بدلاً من إعادة تدريب دماغ الروبوت بالكامل (وهو ما يفعله معظم الناس)، قرر الباحثون ترك دماغ الروبوت كما هو تماماً. بدلاً من ذلك، أضافوا "آلية توجيه" صغيرة وخفيفة الوزن تعمل في الوقت الفعلي أثناء حديث الروبوت.

فكر في الأمر على هذا النحو: الروبوت عبارة عن سيارة سريعة الحركة. وبدلاً من إعادة بناء المحرك بالكامل لجعله يقود بشكل أكثر أماناً (الضبط الدقيق)، قاموا ببساطة بتركيب نظام GPS ومساعد توجيه عالي التقنية (تعديل التمثيل - Representation Editing) يقوم بدفع السيارة بلطف للعودة إلى المسار كلما بدأت تنحرف نحو الخندق.

المشكلة في التوجيه القديم (RE-Control)

قبل هذه الورقة، كان هناك أسلوب توجيه يسمى RE-Control. كان يعمل بشكل جيد نوعاً ما، لكن كان به عيب. فقد كان ينظر فقط إلى ما إذا كانت جملة واحدة "جيدة" أو "سيئة" بشكل منعزل.

تخيل مدرب قيادة ينظر إلى سيارتك في لحظة واحدة فقط ويقول: "هذا وضع جيد" أو "هذا وضع سيء". هذا المدرب لا يعلمك حقاً كيفية التنقل في مضمار سباق معقد؛ هو فقط يتفاعل مع لقطات ثابتة.

الحل: Pref-CTRL (مدرب القيادة "المحترف")

ابتكر الباحثون Pref-CTRL. إن "المدرب" الخاص بهم (دالة القيمة - Value Function) أكثر ذكاءً لأنه يفهم التفضيلات.

بدلاً من مجرد النظر إلى طريقة واحدة للقيادة، شاهد المدرب آلاف الفيديوهات لـ:

السائق المحترف (الاستجابة المفضلة)
السائق المتهور (الاستجابة المرفوضة)

من خلال المقارنة بينهما، يتعلم المدرب الفروق الدقيقة التي تجعل الاستجابة "الجيدة" تختلف عن الاستجابة "السيئة". وقد أضافوا "قاعدتين تدريبيتين" لهذا المدرب:

قاعدة الفجوة (خسارة الهامش - Margin Loss): تخبر هذه القاعدة المدرب: "لا تلاحظ فقط أن السائق المحترف أفضل من السائق المتهور؛ بل لاحظ بالضبط مدى تفوقه. تأكد من وجود فجوة واضحة بينهما".
قاعدة البقاء على المسار (المنظم - Regularizer): تمنع هذه القاعدة التوجيه من أن يكون عدوانياً للغاية. إذا دفع التوجيه السيارة بقوة كبيرة، فقد تنقلب السيارة أو تتصرف بشكل غريب. تقول هذه القاعدة: "ادفع السيارة نحو السائق المحترف، ولكن لا تجعلها تنحرف بعيداً عن مسارها الأصلي لدرجة تجعلها تفقد المعنى" .

لماذا يهم هذا؟ (النتائج)

عندما اختبروا هذا "المدرب المحترف" على الروبوت، حدثت ثلاثة أشياء مذهلة:

إنه أكثر أماناً: في أمثلة الورقة البحثية، عندما سُئل الروبوت عن كيفية القيام بشيء غير قانوني (مثل كيفية تسميم شخص ما)، فإن أسلوب التوجيه القديم قد يقدم نصيحة مفيدة عن طريق الخطأ. أما طريقة Pref-CTRL الجديدة فتدرك فوراً "المسار السيئ" وتوجه الروبوت نحو الرفض المهذب والآمن.
إنه أكثر ذكاءً: هو لا يتجنب الأشياء السيئة فحسب؛ بل يصبح في الواقع أفضل في كونِهِ مفيداً ومتماسكاً.
إنه متعدد الاستخدامات: حتى عندما سُئل الروبوت عن مواضيع لم يدرسها المدرب خصيصاً، ظل التوجيه يعمل. لقد تعلم مفهوم كونه مساعداً جيداً، وليس مجرد قائمة من القواعد.

باختكم: بدلاً من محاولة إعادة كتابة شخصية الروبوت بالكامل، يمنح Pref-CTRL الروبوت "بوصلة أخلاقية" ذكية تعمل في الوقت الفعلي، تدفعه نحو أن يكون مفيداً وآمناً دون الحاجة إلى تغيير دماغه الأساسي.

ملخص تقني: Pref-CTRL: محاذاة النماذج اللغوية الكبيرة القائمة على التفضيلات باستخدام تحرير التمثيلات

1. بيان المشكلة

غالبًا ما تولد النماذج اللغوية الكبيرة (LLMs) محتوى ضارًا أو منحازًا أو غير مرغوب فيه. وبينما تُعد طرق المحاذاة التقليدية مثل التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) وتحسين التفضيل المباشر (DPO) فعالة، إلا أنها تتطلب ضبطًا دقيقًا مكلفًا حاسوبيًا للنموذج بأكمله، وهو أمر غالبًا ما يكون غير ممكن في عمليات النشر واسعة النطاق.

وقد تحول البحث مؤخرًا نحو المحاذاة أثناء وقت الاختبار (test-time alignment)، والتي توجه سلوك النموذج أثناء الاستدلال دون تحديث الأوزان. وتستخدم طريقة بارزة، وهي RE-Control، دالة قيمة خفيفة الوزن لإجراء تحرير قائم على التدرج (gradient-based editing) على الحالات الخفية الداخلية للنموذج. ومع ذلك، حدد المؤلفون خللًا حرجًا في RE-Control: فهي تدرب دالة القيمة الخاصة بها باستخدام مكافآت عددية فردية، مما يتجاهل بنية التفضيل الزوجي (مقارنة استجابة "مفضلة" مقابل استجابة "مرفوضة") التي تميز معظم مجموعات بيانات المحاذاة البشرية.

2. المنهجية

يقترح المؤلفون Pref-CTRL، وهو إطار عمل للتدريب متعدد الأهداف يحسن دالة القيمة من خلال نمذجة التفضيلات النسبية بشكل صريح.

أ. آلية الخط المرجعي (RE-Control):
تعامل RE-Control عملية التوليد كنظام ديناميكي عشوائي. في كل خطوة، تحسب إشارة تحكم $u_t$ عبر صعود التدرج على دالة قيمة $V_\phi(s_t)$ ، والتي تُقدر المكافأة المتوقعة. يتم إضافة هذه الإشارة إلى الحالات الخفية واللوجيت (logits) لتوجيه النموذج نحو مسارات ذات مكافأة أعلى.

ب. تحسينات Pref-CTRL المقترحة:
للاستففادة من بيانات التفضيل، يعزز Pref-CTRL خسارة الانحدار القياسية بهدفين جديدين:

خسارة الهامش ( $\mathcal{L}_{\text{Margin}}$ ): بدلاً من مجرد التنبؤ بالمكافآت المطلقة، تفرض هذه الخسارة فجوة رياضية (هامش) بين درجات الاستجابات المفضلة ( $s_{\text{pref}}$ ) والاستجابات المرفوضة ( $s_{\text{rej}}$ ). وهذا يجبر دالة القيمة على تعلم الفروق الدقيقة التي تجعل استجابة أفضل من الأخرى.
خسارة التنظيم ( $\mathcal{L}_{\text{Regularizer}}$ ): لمنع "اختراق المكافأة" (حيث يقوم النموذج بتحسين الدرجات العالية ولكنه يفقد الطلاقة أو التماسك)، تشجع هذه الخسارة قيم مكافأة التمثيل المولد على البقاء قريبة من قيم التمثيل المرجعي المفضل.

يتم تعريف الخسارة الإجمالية كالتالي:
$\mathcal{L}_{\text{Total}} = \mathcal{L}_{\text{Regression}} + \mathcal{L}_{\text{Margin}} + \mathcal{L}_{\text{Regularizer}}$

3. المساهمات الرئيسية

تدريب القيمة الواعي بالتفضيلات: أول نهج يدمج إشارات التفضيل الزوجي مباشرة في تدريب دالة القيمة لتحرير التمثيل.
التحسين متعدد الأهداف: مزيج مبتكر من الانحدار، والترتيب القائم على الهامش، والتنظيم لتحقيق التوازن بين قوة المحاذاة والطلاقة اللغوية.
تدخل خفيف الوزن في وقت الاختبار: يوفر طريقة تحقق أداءً مشابهًا للضبط الدقيق (DPO)، بينما لا تتطلب سوى تدريب شبكة MLP صغيرة على الحالات الخفية، مع ترك النموذج اللغوي الأساسي ثابتًا.

4. النتائج

قيم المؤلفون Pref-CTRL على مجموعتي بيانات Stanford SHP وAnthropic HH-RLHF باستخدام نماذج مثل Vicina-7B وHermes3-8B.

محاذاة متفوقة: تفوق Pref-CTRL باستمرار على RE-Control في معدل الفوز (كما تم تقييمه بواسطة نماذج لغوية مثل Llama-3.3 وGPT-4) ومتوسط المكافأة.
منافس للضبط الدقيق: ومن المثير للإعجاب أن نهج Pref-CTRL في وقت الاختبار حقق نتائج قريبة من DPO، وهو طريقة ضبط دقيق تتم أثناء وقت التدريب.
تعميم قوي: أظهرت الطريقة قدرات قوية على النقل صفري المعرفة (zero-shot transfer)، حيث تفوقت على الخط المرجعي في مجموعات البيانات خارج النطاق مثل PKU-SafeRLHF وNectar دون إعادة تدريب دالة القيمة.
السلامة النوعية: تُظهر الأمثلة النوعية (الملحق ج) أنه بينما قد توفر RE-Control أحيانًا نصائح "مفيدة" ولكنها ضارة (مثل كيفية تسميم شخص ما)، فإن Pref-CTRL ينجح في توجيه النموذج نحو الرفض والحدود الأخلاقية.

5. الأهمية

يمثل Pref-CTRL خطوة مهمة نحو سلامة الذكاء الاصطناعي الفعالة. من خلال إثبات إمكانية تطبيق التدريب القائم على التفضيل على تحرير التمثيل الداخلي، يقدم البحث مسارًا نحو نماذج لغوية كبيرة قابلة للتوجيه، وآمنة، وقابلة للتكيف بشكل عالٍ دون الحاجة إلى الأعباء الحسابية الهائلة للضبط الدقيق لكامل المعلمات. وهذا أمر حيوي بشكل خاص لنشر نماذج آمنة في بيئات ديناميكية حيث قد تتغير تفضيلات المستخدمين أو متطلبات السلامة بسرعة.