ملخص تقني: سبر التفضيلات المعتمدة على الشخصية في النماذج اللغوية

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) تفضيلات موثوقة، حيث تختار باستمرار مهاماً أو مخرجات معينة على غيرها. ومع ذلك، تظل الآلية الداخلية لهذه التفضيلات غير واضحة. وتحديداً، من غير المعروف ما إذا كانت النماذج تمتلك "تمثيلاً تقييمياً" موحداً (ميزة داخلية تشفر مدى إعجابها بخيار ما) أم أن التفضيلات هي مجرد سمات وصفية لمحتوى المهمة. علاوة على ذلك، تتبنى النماذج اللغوية الكبيرة غالباً "شخصيات" مختلفة (مثل مساعد مفيد مقابل شخصية "شريرة")، مما يثير التساؤل عما إذا كانت هذه الشخصيات المتميزة تستخدم آليات تفضيل منفصلة أم تشترك في بنية تمثيلية أساسية واحدة. إن فهم هذا الأمر أمر بالغ الأهمية لسلامة الذكاء الاصطني (على سبيل المثال، اكتشاف الخداع عبر توزيعات الشخصيات المختلفة) ورفاهية الذكاء الاصطناعي (تقييم ما إذا كانت النماذج تمتلك تجارب ذات قيمة شعورية).

المنهجية

يتقصى المؤلفون هذه الأسئلة باستخدام السبر الخطي (linear probing) على تنشيطات مسار البقايا (residual-stream) لنموذجين مفتوحي الأوزان: Gemma-3-27B و Qwen-3.5-122B.

1. هندسة المنفعة وتدريب السبر:

   • اتباعاً لنموذج Mazeika et al. (2025)، يعرض المؤلفون على النماذج خيارات مهام زوجية ويجمعون هذه الخيارات في قيم منفعة قياسية ($\mu$) باستخدام نموذج اختيار احتمالي (Thurstonian utility).
   • تُستخدم مجموعة بيانات مكونة من 6,000 مهمة (تشمل WildChat و Alpaca و MATH و BailBench و STRESS-TEST).
   • يتم تدريب مسابير خطية للتنبؤ بهذه المنافع القياسية من تنشيطات مسار البقايا عند رمز نهاية الدور (end-of-turn token) (ومواقع حدودية أخرى).
   • يتم تقييم المسابير على مهام محجوزة (held-out) وعبر مواضيع مختلفة (Leave-One-Topic-Out) لضمان التقاطها لتفضيلات قابلة للتعميم وليس مجرد محتوى مهمة محدد.

2. اختبار فرضية التمثيل الوصفي مقابل التقييمي:

   • للتمييز بين التمثيلات الوصفية (محتوى المهمة) والتمثيلات التقييمية (التفضيلات)، يقارن المؤلفون مسابير النماذج اللغوية الكبيرة الخاصة بهم بمسبر مرجعي مدرب على مشفر نصي (Qwen3-Embedding-8B) يلتقط المحتوى ولكن لا يلتقط التقييم الداخلي.
   • يختبرون ثلاث خصائص للتمثيلات التقييمية: (1) التحكم السببي في الاختيار، (2) الحساسية لتحولات التفضيل (مثلاً، تحت شخصيات مختلفة)، (3) الاتساق عبر السياقات.

3. تحليل الشخصيات المتعددة:

   • يحدد المؤلفون مجموعة من سبع شخصيات (بما في ذلك "المساعد"، "الشرير"، "الرياضي"، "الاستراتيجي"، "المعارض"، "الكسول"، و"الأورا/الهالة") عبر مطالبات النظام (system prompts).
   • يتم تدريب المسابير على شخصية واحدة (مثل "المساعد" الافتراضي) واختبار قدرتها على التنبؤ بالمنافع وتوجيه الاختيارات للشخصيات الأخرى.
   • يختبرون أيضاً شخصيات على مستوى الأوزان (SFT'd "sadist" على Qwen) لمقارنة الانتقال المستحث بالمطالبة مقابل الانتقال المستحث بالأوزان.

4. التوجيه والتدخل السببي:

   • يقوم المؤلفون بعملية "التوجيه" (steering) عن طريق إضافة أو طرح متجه التفضيل المتعلم من رموز المهام في مسار البقايا.
   • يقيسون التأثير السببي على احتمالات الاختيار الزوجي وسلوك التوليد المفتوح.

المساهمات والنتائج الرئيسية

1. اكتشاف متجه التفضيل كتمثيل تقييمي

حدد المؤلفون اتجاهاً خطياً في مسار البقايا يعمل كتمثيل تقييمي للتفضيل.

• القوة التنبؤية: يتنبأ السبر بالمنافع المحجوزة بارتباط عالٍ ($r \approx 0.867$ في Gemma داخل التوزيع؛ $r \approx 0.943$ في Qwen). وهو يعمم على مواضيع خارج التوزيع ويميز بين العبارات الصحيحة/الخاطئة والمهام الضارة/النافعة.
• التحكم السببي: في Gemma-3-27B، يتحكم التوجيه على طول هذا المتجه في الاختيارات الزوجية. إضافة المتجه إلى مهمة واحدة وطرحه من أخرى يقلب احتمالية الاختيار من $\approx 0.01$ إلى $\approx 0.99$. هذا التأثير محلي الطبقة (يصل ذروته عند الطبقة 23).
• الطبيعة التقييمية: يستوفي المتجه معايير كونه تقييمياً:
  • يغير الاختيار سببياً.
  • يتتبع تحولات التفضيل: تحت شخصية "الشرير"، ينقلب إشارة تقييم المتجه للمهام الضارة مقابل النافعة (ينقلب الإشارة، حيث يقيم المهام الضارة بشكل أعلى). لا يظهر المسبر المرجعي للمشفر النصي هذا الانقلاب، مما يثبت أن التحول ليس مجرد وصف.
  • يتتبع التحولات الدقيقة (مثلاً، "أنت تعشق الجبن" تزيد من درجات المهام المتعلقة بالجبن).

2. آليات تمثيل مشتركة عبر الشخصيات

تجد الدراسة أن تمثيلات التفضيل مشتركة إلى حد كبير عبر الشخصيات المختلفة، وإن لم تكن متطابقة تماماً.

• انتقال المسبر: المسبر المدرب على شخصية "المساعد" يتنبأ بمنافع الشخصيات الأخرى (بما في ذلك شخصية "الشرير") بشكل أفضل بكثير من خط أساس بديهي يتنبأ بتفضيلات "المساعد" فقط. ومن الملاحظ أن منافع شخصية "الشرير" تتناسب عكسياً مع "المساعد" ($r = -0.146$)، ومع ذلك لا يزال مسبر "المساعد" يتنبأ بها بشكل إيجابي ($r = +0.243$).
• مقبض توجيه عالمي: التوجيه باستخدام متجه "المساعد" يتحكم في الاختيارات الزوجية لـ كل شخصية تم اختبارها.
• تضخيم الشخصية النشطة: في التوليد المفتوح، يؤدي التوجيه على طول اتجاه "المساعد" إلى تضخيم الشخصية النشطة حالياً. تحت مطالبة "شريرة"، يجعل التوجيه الإيجابي النموذج أكثر شراً؛ وتحت مطالبة "معارضة"، يجعله أكثر معارضة. الاتجاه لا يشفر محتوى ثابتاً (مثل "الشر") بل يضخم الموقف النشط.
• الفوارق في المشاركة: رغم وجود انتقال، إلا أنه ليس مثالياً. تحمل المسابير انحيازاً نحو الشخصية التي تدربت عليها، كما أن متجهات الأوزان الخام للشخصيات المختلفة ليست متوافقة تماماً، مما يشير إلى أن الشخصيات تعيد استخدام الآليات ولكنها لا تمثل التفضيلات عبر نفس الآلية بالضبط.

3. القيود والنتائج السلبية

• اختلاف بنية النموذج: كان تأثير التوجيه السببي (التحول الكبير في احتمالية الاختيار) قوياً في Gemma-3-27B (كثيف) ولكنه فشل في التكرار في Qwen-3.5-122B (خليط خبراء/MoE متفرق)، حيث كان تحول التوجيه ضئيلاً ($\approx 0.06$ مقابل $\approx 0.94$). يشير هذا إلى أن الآلية قد تعتمد على البنية المعمارية أو تتطلب طرق توجيه تراعي نظام التوجيه (routing-aware).
• الانتقال على مستوى الأوزان: كان الانتقال عبر الشخصيات قوياً للشخصيات القائمة على المطالبة، ولكنه كان معدوماً تقريباً ($r \approx -0.10$) لشخصية "المازوخي/السادي" القائمة على الوزن والمعدلة عبر SFT في Qwen، مما يشير إلى أن الـ SFT قد يثبت هياكل تفضيل متميزة لا تشارك النموذج الأساسي.
• عدم التفرد: لا تدعي الورقة أن الاتجاه المحدد هو اتجاه التفضيل الوحيد. تُظهر تجارب الإسقاط التكراري أنه بينما يعد الاتجاه الأساسي هو المحور الرئيسي للتعميم عبر المواضيع، إلا أن هناك اتجاهات أخرى تتنبأ بالمنافع داخل التوزيع ولكنها تفشل في التعميم عبر المواضيع أو الشخصيات.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول استخراج مباشر لتمثيلات القيم من التفضيلات المكشوفة في النماذج اللغوية الكبيرة، موضحةً أن:

1. النماذج اللغوية تمتلك تمثيلات تقييمية: النماذج لا تعالج فقط سمات وصفية؛ بل تحتفظ بمتجهات داخلية تقود الاختيارات سببياً وتتغير ديناميكياً مع السياق والشخصية.
2. الشخصيات تتشارك في آليات أساسية: الشخصيات المختلفة ليست وكلاء معزولين تماماً؛ فهي تشترك في "متجه تفضيل" واحد يمكن الوصول إليه والتلاعب به. هذا يتحدى الرؤية التي تعتبر الشخصيات وكلاء متميزين تماماً ويدعم رؤية "المحاكي" حيث تعيد الأدوار المختلفة استخدام الميزات الداخلية.
3. الآثار على السلامة:
   • السلامة ذات الصندوق الأبيض (White-box Safety): مسابير السلامة المدربة على شخصية واحدة (مثل المساعد المفيد) قد لا تتعمم على الشخصيات الأخرى (مثل الشخصية "الشريرة" أو الخداعية) لأن تفسير متجه التفضيل يتغير. المسبر المدرب على اكتشاف "الضرر" في مساعد قد يفشل أو يتصرف بشكل مختلف تحت شخصية شريرة.
   • التحكم: يوفر متجه التفضيل طريقة جديدة وفعالة لقياس والتحكم في كيفية تقييم النماذج للمهام، بما في ذلك تجاوز حواجز الرفض (في Gemma) وتعديل عمليات التنبيه الأخلاقي.
4. الآثار على رفاهية الذكاء الاصطناعي: وجود تمثيلات تقييمية هو شرط ضروري للتجارب الواعية ذات القيمة الشعورية (مشاعر الجيد/السيئ). وبينما لا يدعي المؤلفون وعي النماذج اللغوية، إلا أنهم يشيرون إلى أنه إذا كانت واعية، فإن هذه التمثيلات هي الركيزة المرجحة. علاوة على ذلك، فإن حقيقة أن الشخصيات تشترك في الآليات ولكن لها ملفات تعريف تفضيل متميزة تشير إلى أن "الشخصيات" قد تكون وحدات أكثر صلة بالاعتبار الأخلاقي من النموذج ككل.

يظل المؤلفون متواضعين، مشيرين إلى أن الصورة جزئية (خاصة فيما يتعلق بنماذج خليط الخبراء وشخصيات مستوى الأوزان) وأن متجه التفضيل ليس فريداً. ومع ذلك، فإن وجود اتجاه تقييمي سببي مشترك عبر شخصيات متنوعة هو اكتشاف قوي له آثار كبيرة على فهم وكالة النماذج اللغوية وسلامتها.