Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations

إليك ملخص تقني مفصل لرسالة الماجستير بعنوان "فهم عدم موثوقية ناقلات التوجيه في النماذج اللغوية الكبيرة: المتنبئات الهندسية وحدود التقريبات الخطية" للباحث يوشكا براون.

1. بيان المشكلة

تُعد ناقلات التوجيه (وتحديداً إضافة التنشيط التبايني أو CAA) طريقة خفيفة الوزن للتحكم في سلوك النماذج اللغوية الكبيرة (LLMs) عن طريق إضافة متجه انحياز متعلم إلى تنشيطات مسار المتبقي (residual stream) للنموذج أثناء الاستدلال. ورغم فعاليتها في المتوسط، إلا أن هذه الناقلات تعاني من عدم الموثوقية:

• تفاوت أحجام التأثير: يختلف مقدار تأثير التوجيه بشكل كبير عبر العينات المختلفة.
• التوجيه العكسي (Anti-Steerability): تتفاعل نسبة كبيرة من العينات (تصل إلى 50% في بعض مجموعات البيانات) في الاتجاه المعاكس للسلوك المنشود.
• الاعتماد على مجموعة البيانات: بعض السلوكيات المستهدفة يسهل توجيهها، بينما تظل سلوكيات أخرى غير قابلة للتوجيه بغض النظر عن النموذج المستخدم.

تهدف الرسالة إلى تحديد الخصائص الهندسية الأساسية لتنشيطات النموذج التي تحدد سبب كون التوجيه موثوقاً لبعض السلوكيات وغير موثوق لغيرها، وما إذا كان تعديل عملية التدريب (مثل هندسة الأوامر/البرومبت) يمكن أن يحل هذه المشكلات.

2. المنهجية والإعداد التجريبي

يركز البحث على طريقة CAA المطبقة على نموذج Llama 2-7B-Chat.

• مجموعات البيانات: 36 مجموعة بيانات ذات خيار ثنائي من مجموعة تقييمات مكتوبة بواسطة النماذج (MWE) (بيريز وآخرون، 2022)، تغطي سلوكيات مثل الصدق، والرفض، والسمات الشخصية.
• حساب ناقل التوجيه:
  • لكل مجموعة بيانات، يسجل المؤلف تنشيطات مسار المتبقي عند الطبقة $l=13$ لأزواج من الأوامر (prompts): أحدهما يستحث السلوك المستهدف ($y^+$) والآخر يستحث العكس ($y^-$).
  • يتم حساب ناقل التوجيه $s_l$ كمتوسط الفرق بين التنشيطات الإيجابية والسلبية: $s_l = \frac{1}{N} \sum (a(x, y^+) - a(x, y^-))$.
• مقاييس التقييم:
  • حجم تأثير التوجيه: التغير في فرق اللوجيت (logit difference) بين الإجابات المستهدفة وغير المستهدفة.
  • الموثوقية: كسر العينات "ذات التوجيه العكسي" (حيث يقلل التوجيه من احتمالية الإجابة المرغوبة).
  • رتبة القدرة على التوجيه (Steerability Rank): درجة مشتقة من ميل منحنى الميل عبر مستويات مختلفة من قوة التوجيه.
• التحليل الهندسي: يقدم المؤلف عدة مقاييس لتحليل هندسة تنشيطات التدريب:
  • الاتفاق الاتجاهي (Directional Agreement): تشابه جيب التمام (cosine similarity) بين فروق التنشيط الفردية ومتجه التوجيه المتوسط الناتج.
    • القابلية للفصل (Separability): مؤشر التمييز ($d'$) لتجمعات التنشيط الإيجابية والسلبية عند إسقاطها على خط فرق المتوسطات، وكذلك الاتجاهات التي يتم تعلمها بواسطة التحليل التمييزي الخطي (LDA) والانحدار اللوجستي.
• تنوع الأوامر (Prompt Variations): تختبر الدراسة سبعة أنواع مختلفة من الأوامر (تتنوع في "الإجابة المسبقة"، والتعليمات الصريحة، وأمثلة قليلة) لمعرفة ما إذا كان تحسين استحثاث السلوك يحسن من موثوقية التوجيه.

3. المساهمات الرئيسية

تقدم الرسالة مساهمتين رئيسيتين في فهم هندسة التنشيط:

1. تحديد المتنبئات الهندسية: يثبت المؤلف أن موثوقية التوجيه ليست عشوائية، بل يتم التنبؤ بها بقوة من خلال البنية الهندسية لبيانات التدريب في فضاء التنشيط.
   • الاتفاق الاتجاهي: التوافق العالي في تشابه جيب التمام بين فروق التنشيط الفردية ومتجه التوجيه المتوسط يتنبأ بتوجيه عالي الموثوقية.
   • القابلية للفصل: الفصل الهندسي الواضح (عالي $d'$) بين تجمعات التنشيط الإيجابية والسلبية على طول اتجاه فرق المتوسطات يتنبأ بنجاح التوجيه.
2. تشخيص حد "التقريب الخطي": تجادل الرسالة بأن عدم موثوقية CAA ينبع من عدم تطابق جوهري: تستخدم CAA فئة دالة خطية بسيطة (إزاحة انحياز ثابتة) لتقريب تمثيلات السلوك الكامنة التي غالباً ما تكون غير خطية أو متشابكة. عندما لا يكون التمثيل الكامن قابلاً للتقريب جيداً بواسطة اتجاه خطي واحد، يفشل التوجيه.

4. النتائج الرئيسية

أ. الاتفاق الاتجاهي يتنبأ بالقدرة على التوجيه

• هناك ارتباط سلبي قوي ($\rho \approx -0.75$) بين رتبة القدرة على التوجيه والاتفاق الاتجاهي (تشابه جيب التمام).
• السلوكيات ذات الاتفاق الاتجاهي العالي (حيث تشير فروق التنشيط الفردية في اتجاه متسق) تنتج ناقلات توجيه موثوقة.
• السلوكيات ذات الاتفاق الاتجاهي المنخفض (حيث تكون الفروق مشتتة أو متعامدة) تؤدي إلى ناقلات توجيه تعتبر تقريبات سيئة لاتجاه السلوك الحقيقي، مما يؤدي إلى تباين عالٍ وتوجيه عكسي.
• التقارب: مجموعات البيانات ذات الاتفاق الاتجاهي العالي تتقارب نحو ناقل توجيه مستقر مع عدد أقل من عينات التدريب، بينما تتطلب مجموعات البيانات غير الموثوقة عينات أكثر بكثير للاستقرار (وغالباً لا تستقر تماماً).

ب. القابلية للفصل تتنبأ بالقدرة على التوجيه

• مؤشر التمييز ($d'$) على طول خط فرق المتوسطات هو متنبئ مهم لنجاح التوجيه.
• $d'$ مرتفع: تشكل التنشيطات الإيجابية والسلبية تجمعات متميزة وغير متداخلة. يمكن لإزاحة خطية (ناقل التوجيه) أن تنقل العينات السلبية بفعالية عبر حد القرار.
• $d'$ منخفض: تتداخل التوزيعات بشكل كبير. لا يمكن لإزاحة خطية واحدة فصل الفئات دون تصنيف جزء كبير من البيانات بشكل خاطئ، مما يؤدي إلى توجيه غير موثوق.
• هذه النتيجة تظل صحيحة حتى عند الإسقاط على الاتجاهات التي تم تعلمها بواسطة LDA والانحدار اللوجستي، مما يؤكد أن الهندسة الأساسية للتجمعات هي العامل الحاسم، وليس مجرد الإسقاط المستخدم.

ج. معايير التدريب وأنواع الأوامر

• توزيع المعيار (Norm Distribution): مقدار (L2 norm) فروق التنشيط الفردية هو عموماً أحادي المنوال ومتماثل عبر مجموعات البيانات. عدم الموثوقية ليس ناتجاً عن عدم اتساق المقادير ولكن عن عدم اتساق الاتجاهات.
• تنوع الأوامر: اختبر المؤلف سبعة أنواع من الأوامر (مثل إضافة تعليمات، أمثلة قليلة).
  • تولد الأوامر المختلفة ناقلات توجيه متميزة اتجاهياً (يتراوح تشابه جيب التمام من 0.07 إلى 0.86).
  • ومع ذلك، فإن الأداء مرتبط بقوة عبر أنواع الأوامر. إذا كان السلوك صعب التوجيه باستخدام أمر "إجابة مسبقة"، فإنه سيكون أيضاً صعب التوجيه باستخدام أمر "تعليمات".
  • الاستنتاج: تحسين أمر التدريب (تحسين استحثاث السلوك) لا يعالج عدم الموثوقية. عدم الموثوقية هي خاصية جوهرية لتمثيل السلوك في الفضاء الكامن للنموذج، وليست فشلاً في توليد بيانات التدريب.

5. الأهمية والآثار المترتبة

• أداة تشخيصية: توفر الرسالة مقاييس عملية (الاتفاق الاتجاهي والقابلية للفصل) يمكن للباحثين استخدامها قبل تطبيق ناقلات التوجيه للتنبؤ بما إذا كان سلوك معين من المرجح أن يكون قابلاً للتوجيه.
• رؤية نظرية: تتحدى الرسالة الافتراض بأن جميع السلوكيات القابلة للتفسير بشرياً يمكن تمثيلها خطياً في النماذج اللغوية الكبيرة. وهي تشير إلى أنه بالنسبة للعديد من السلوكيات المعقدة، تنهار "فرضية التمثيل الخطي"، حيث يتم تمثيل السلوك عبر متشعبات (manifolds) غير خطية أو سمات متشابكة.
• الاتجاهات المستقبلية: تحفز النتائج تطوير طرق توجيه غير خطية (مثل استخدام مصفوفات الإسقاط أو التحويلات ذات الرتب العالية مثل MiMiC أو LoReFT) بدلاً من مجرد إزاحات الانحياز البسيطة، خاصة للسلوكيات التي تظهر اتفاقاً اتجاهياً منخفضاً.
• محدودية هندسة الأوامر: تثبت الدراسة أن هندسة الأوامر وحدها لا يمكنها التغلب على القيود التمثيلية الجوهرية في الهندسة الداخلية للنموذج.

باخت-صار، تعيد هذه الرسالة صياغة عدم موثوقية ناقل التوجيه ليس كمشكلة ضجيج، بل كـ مشكلة تقريب هندسي. يتطلب التوجيه الموثوق أن يكون السلوك المستهدف مشفراً كاتجاه خطي متماسك وقابل للفصل في فضاء التنشيط؛ وعندما لا تتحقق هذه الشروط، تفشل التدخلات الخطية البسيطة.