Controllable and explainable personality sliders for LLMs at inference time

إليك ملخص تقني مفصل لورقة البحث بعنوان: "منزلقات شخصية قابلة للتحكم والتفسير للنماذج اللغوية الكبيرة (LLMs) عند وقت الاستدلال."

1. بيان المشكلة

غالباً ما يُطلب من النماذج اللغوية الكبيرة (LLMs) تبني شخصيات محددة ومتسقة (مثل معالجين نفسيين متعاطفين، أو وكلاء دعم موضوعيين). تواجه أساليب المحاذاة الحالية قيوداً كبيرة:

• الضبط الدقيق (SFT, RLHF, DPO): هذه الأساليب مكلفة حوسبياً و"أحادية الكتلة". إن إنشاء نموذج لكل مجموعة محددة من السمات (مثل: انبساطية عالية + ضمير حي مرتفع) يتطلب تدريب نموذج متميز لكل تبديل ممكن، مما يؤدي إلى انفجار توافقي.
• التوجيه الساذج عند وقت الاستدلال: بينما يعد إضافة متجهات التوجيه إلى التدفق المتبقي (residual stream) فعالاً من حيث المعلمات، إلا أن التوجيه متعدد المتجهات الساذج يفشل. فعند إضافة عدة متجهات بالتتابع ($h' = h + \sum \alpha_i v_i$)، فإن التدخل الأول يزيح الفضاء المظهري (activation manifold). المتجهات اللاحقة، التي تم تدريبها على التوزيع الأصلي (غير المزاح)، تواجه انزياحاً في التوزيع لم تتدرب عليه، مما يسبب انهيار التمثيل، والتداخل الهدام، وتوليد غير متماسك.

2. المنهجية: التوجيه التكيفي المتتالي (SAS)

يقترح المؤلفون إطار عمل نموذجياً للتحكم المستمر ومتعدد الأبعاد في الشخصية بناءً على نموذج الشخصية الخماسي (OCEAN). الابتكار الجوهري هو التوجيه التكيفي المتتالي (Sequential Adaptive Steering - SAS).

الآلية الجوهرية

بدلاً من تدريب المجسات (probes) بشكل مستقل على التدفق المتبقي للنموذج الأساسي، يقوم SAS بتدريب المجسات بالتتابع لمراعاة التدخلات السابقة:

1. المجس 1: يتم تدريبه على التدفق المتبقي غير الموجه للتحكم في السمة 1.
2. المجس 2: يتم تدريبه على مجموعة بيانات مركبة تحتوي على كل من التنشيطات غير الموجهة والتنشيطات المزاحة بواسطة المجس 1 (بشدات $\alpha$ متفاوتة).
3. المجسات اللاحقة: يتم تدريب كل مجس جديد على البيانات المزاحة بواسطة جميع المجسات السابقة.

الرؤية الهندسية: من خلال التدريب على التوزيع المزاح، يتعلم المجس الجديد اتجاهاً يكون متعامداً (أو غير متغير) مع الفضاءات الجزئية التي تشغلها السمات السابقة. هذا يؤدي فعلياً إلى "إلغاء الارتباط" بين متجهات التوجيه، مما يمنع التداخل الهدام الذي يظهر في الجمع الخطي الساذج.

المكونات التقنية الرئيسية

• الاختيار الآلي للطبقات: بدلاً من التجربة والخطأ القائم على الحدس، يستخدم المؤلفون نسبة فيشر (Fisher Ratio - FR) لتحديد الطبقة المثلى $l^*$ لكل سمة تلقائياً. يبحثون في الطبقات الوسطى إلى المتأخرة حيث تكون المفاهيم الدلالية أكثر انفصالاً عن القواعد النحوية منخفضة المستوى.
  $$FR(l) = \frac{(\mu_{pos} - \mu_{neg})^2}{\sigma^2_{pos} + \sigma^2_{neg}}$$
• معايرة نطاق التوجيه: لضمان الاستقرار، يحدد المؤلفون ممر سلامة $[\alpha_{min}, \alpha_{max}]$ عبر البحث الشبكي. يتم تقييد الحد الأعلى بـ:
  • تدهور في الارتباك (Perplexity) أقل من 50%.
  • انخفاض في التماسك (درجة F1) أقل من 25%.
• مقياس التقييم: نهج "النموذج اللغوي كحكم" (باستخدام نسخة مجمدة من GPT-4) لتقييم الاستجابات المولدة مقابل بنود استبيان الشخصية (BVI-44) لقياس شدة السمة على مقياس من 1 إلى 5.

3. المساهمات الرئيسية

1. التوجيه التكيفي المتتالي (SAS): إطار عمل مبتكر يتيح دمج سمات شخصية متعددة عند وقت الاستدلال دون إعادة تدريب أوزان النموذج. إنه يحل مشكلة تداخل المتجهات المتعددة من خلال تدريب المجسات على توزيعات التنشيط المزاحة.
2. الاختيار الآلي للطبقات: طريقة قائمة على البيانات باستخدام نسبة فيشر لتحل محل الاختيار الحدسي للطبقات، مما يضمن حدوث التدخلات حيث تكون السمات أكثر قابلية للفصل.
3. التحقق التجريبي: إثبات الهيمنة الباريتية (Pareto dominance) على النماذج المرجعية. يحقق SAS محاذاة شخصية أعلى لأي مستوى معطى من الارتباك مقارنة بالتوجيه الساذج أو تحسين التفضيل المباشر (DPO).
4. القابلية للتفسير: يؤكد التحليل الهندسي أن SAS ينجح في جعل متجهات التوجيه متعامدة، مما يقلل من الارتباطات الجوهرية (مثل الارتباط بين الانبساطية والانفتاح) التي تعيب الأساليب الساذجة.

4. النتائج التجريبية

تم التحقق من صحة الإطار على نماذج Llama-3-8B و Mistral-7B و Qwen2.5-7B.

• التحكم في السمة الواحدة: يظهر علاقة رتيبة بين معامل التوجيه ($\alpha$) وشدة السمة المعبر عنها، مما يؤكد التحكم الدقيق.
• التحكم في السمات المتعددة:
  • الهدف: انبساطية عالية، عدم توافق منخفض، عصبية مرتفعة.
  • النتيجة: نجح SAS في إزاحة السمات الثلاث في آن واحد بدقة عالية.
  • المقارنة:
    • التوجيه الساذج: فشل تماماً، مما تسبب في انهيار سريع للنموذج وعدم تماسك.
    • DPO: فشل في إظهار تحولات متعددة الأبعاد، وظل غير قابل للتمييز عن النموذج الأساسي.
    • SAS: حقق التكوين المستهدف مع حد أدنى من التداخل بين السمات.
• مقايضات الجودة: يحافظ SAS على تماسك النموذج (ارتباك منخفض) حتى عند شدات التوجيه العالية، بينما تتدهور الطرق الساذجة بسرعة مع زيادة محاولات المحاذاة.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة التدريب التكيفي المتتالي (باستخدام التدريب المستقل الساذج) إلى انخفاض كبير في معدلات نجاح السمات المتعددة، مما يؤكد أن التداخل هو العائق الأساسي.

5. الأهمية والقيود

الأهمية:

• النمطية (Modularity): تتيح التبديل الديناميكي واللحظي للشخصيات دون التكلفة الحوسبية لتدريب $2^N$ من النماذج لـ $N$ من السمات.
• التدخل بصفر توكن (Zero-Token Intervention): على عكس هندسة الأوامر (Prompt Engineering)، يحافظ هذا الأسلوب على نافذة السياق الكاملة ولا يستهلك ميزانية التوكنات بتعليمات الشخصية.
• الرؤية النظرية: يوفر دعماً تجريبياً قوياً لـ فرضية التمثيل الخطي، مما يثبت أن المفاهيم البشرية المعقدة والتركيبية (الشخصية) يمكن التلاعب بها خطياً إذا تمت إدارة التداخل هندسياً.

القيود:

• متطلب الوصول للداخل (White-Box): يتطلب الوصول إلى تنشيطات النموذج الداخلية، مما يجعله غير قابل للتطبيق على النماذج ذات الواجهات البرمجية المغلقة (API).
• حدود السعة: هناك حد لعدد السمات التي يمكن تفعيلها في وقت واحد قبل أن يمتلئ التدفق المتبقي، مما يقلل من شدة التوجيه الآمنة لكل منها.
• انزياح التوزيع: الضبط مضمون فقط ضمن توزيع التدريب؛ القيم المتطرفة لـ $\alpha$ خارج هذا النطاق قد تؤدي إلى تدهور الأداء.
• النطاق: اقتصر التحقق على نماذج 7B–8B؛ ويتطلب التوسع لنماذج 70B+ مزيداً من الاستقصاء.

ملاحظة أخلاقية: يقر المؤلفون بمخاطر الاستخدام المزدوج: نفس الآلية المستخدمة لزيادة "الأمانة" يمكن قلبها لزيادة "السمية" أو "الخداع"، مما يخفض الحاجز أمام تسليح النماذج مفتوحة الأوزان.