Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs

ملخص تقني: Steer2Adapt

Steer2Adapt: التكوين الديناميكي لمتجهات التوجيه يستحث التكيف الفعال للنماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

تواجه الطرق الحالية لتكييف النماذج اللغوية الكبيرة مع سلوكيات أو مهام محددة مقايضة بين الكفاءة والمرونة.

• ما قبل التدريب/ما بعد التدريب (Pre-training/Post-training): فعالة للغاية ولكنها مكلفة حاسوبياً وبطيئة للنشر السريع.
• التعلم داخل السياق (In-Context Learning - ICL): مرنة ولكنها هشة تجاه تغيرات المطالبات (Prompts).
• توجيه التنشيط (Activation Steering): تدخل واعد في وقت الاستدلال، لكن النماذج الحالية محدودة. توجيه متجه المهمة (Task-vector steering) يتطلب بيانات واسعة النطاق ويفتقر إلى القابلية للتفسير، بينما التوجيه المدفوع دلالياً (Semantic-driven steering) يستخدم متجهات ثابتة محددة مسبقاً غالباً ما تفتقر إلى القدرة التعبيرية اللازمة للتعامل مع المهام المعقدة ومتعددة الأوجه (مثل مهمة تتطلب قدرة عالية على الاستنتاج وقيود سلامة محددة في آن واحد).

حدد المؤلفون أن معظم طرق التوجيه تحاول إيجال "اتجاه واحد ثابت" للمهمة، وهو ما يفشل في استيعاب التحكم المنسق المطلوب للتطبيقات في العالم الحقيقي.

2. المنهجية

يقترح المؤلفون إطار عمل STEER2ADAPT، الذي ينقل النموذج من البحث عن "اتجاه" واحد إلى اكتشاف "وصفة" — وهي توليفة خطية ديناميكية من متجهات المفاهيم الدلالية الموجودة.

أ. بناء الفضاء الجزئي الدلالي المسبق (Prior Semantic Subspace Construction):
بدلاً من التعلم من الصفر، يستفيد إطار العمل من المعرفة بالمجال لبناء فضاء جزئي دلالي قابل لإعادة الاستخدام ومنخفض الأبعاد. بالنسبة لمجال معين (مثل الاستنتاج أو السلامة)، يحدد المؤلفون $k$ من الأبعاد السلوكية الرئيسية (مثل سمات الشخصية الخمس الكبرى للاستنتاج، أو العدالة/الأمانة للسلامة). باستخدام هندسة التمثيل (Representation Engineering - RepE)، يستخرجون متجهات التوجيه $\{v_1, \dots, v_k\}$ التي تمثل هذه المفاهيم. يتم بعد ذلك قصر أي تدخل توجيهي ضمن هذا الفضاء الجزئي:
$$h' = h + \sum_{i=1}^{k} \alpha_i v_i$$
حيث تمثل $\alpha$ المعاملات (أي "الوصفة") المراد تحسينها.

ب. البحث عن المتجه المركب عبر التحسين البايزي (Composed Vector Search via Bayesian Optimization):
لإيجاد المعاملات المثلى $\alpha$ باستخدام عدد قليل فقط من الأمثلة، يستخدم المؤلفون التحسين البايزي (Bayesian Optimization - BO). ولمنع المشكلة الشائعة المتمثلة في الإفراط في التخصيص (Overfitting) أو "النسيان" للسلوكيات الصحيحة، قدموا دالة هدف مراعية للاستقرار (Stability-aware objective function):
$$J(\alpha) = \sum_{x \in B_{err}} \Delta p(y|x) - \sum_{x \in B_{corr}} L_{reg}(x)$$

• كسب التكيف (Adaptation Gain): يكافئ زيادة احتمالية اللوغاريتم للإجابة الصحيحة للأمثلة التي كانت خاطئة سابقاً ($B_{err}$).
• تنظيم السلامة الهرمي ($L_{reg}$): يعاقب النموذج إذا قام بقلب تنبؤ صحيح إلى تنبؤ خاطئ (عقوبة عالية) أو إذا أدى إلى تدهور كبير في ثقة التنبؤ الصحيح (عقوبة متوسطة). يضمن هذا أن يكون التكيف "خالياً من الخسارة" فيما يتعلق بمعرفة النموذج الحالية.

3. المساهمات الرئيسية

• نموذج التوجيه التركيبي (Compositional Steering Paradigm): ينتقل من تعلم متجه خاص بالمهمة إلى طريقة منهجية لإعادة استخدام وتكوين متجهات الأساس الدلالية القابلة لإعادة الاستخدام.
• إطار عمل تكيفي خفيف الوزن: يوفر طريقة لا تتطلب تحديثات التدرج (Gradient updates) وتعمل بأقل قدر من البيانات (بضعة أمثلة) من خلال تحسين فعال للـ "الصندوق الأسود".
• هدف مراعٍ للاستقرار: هدف تحسين مبتكر يعطي الأولوية للحفاظ على استقرار النموذج ومنع التراجع في الإجابات الصحيحة.
• الفضاءات الجزئية المتخصصة في المجال: يوفر فضاءات جزئية دلالية جاهزة وقابلة لإعادة الاستخدام للاستنتاج والسلامة.

4. النتائج التجريبية

تم تقييم إطار العمل عبر 9 مهام و3 نماذج أساسية (Llama-3.1، Qwen-2.5، و Mistral-7B).

• مكاسب الأداء: حقق STEER2ADAPT متوسط تحسن في الأداء بنسبة 8.2% عبر جميع المهام. تفوق باستمرار على النماذج المعتمدة على المطالبات (Few-Shot، ICL) والنماذج المرجعية القائمة على التمثيل (CAA، REP).
• التعميم: أظهرت الطريقة تعميماً قوياً للمهام (تحسين الأداء عبر مهام مختلفة داخل نفس المجال) وتعميماً للنماذج (العمل بفعالية عبر بنيات نماذج مختلفة).
• الاستقرار والموثوقية: على عكس النماذج المرجعية التي أظهرت تبايناً عالياً وانخفاضاً كبيراً في الأداء، أظهر STEER2ADAPT توزيعات مكاسب مركزة وإيجابية، مما يشير إلى سلوك موثوق ويمكن التنبؤ به.
• الكفاءة: حقق أفضل مقايضة بين الأداء وتكلفة الاستدلال، حيث تضيف متجهات التوجيه عبئاً ضئيلاً مقارنة بالمطالبات الطويلة المطلوبة لـ ICL.
• الحفاظ اللغوي: أظهر التحليل أنه بينما زاد أداء المهام، ظلت الكفاءة اللغوية العامة (المقاسة عبر BLiMP) سليمة إلى حد كبير.

5. الأهمية

يمثل STEER2ADAPT خطوة مهمة نحو تكييف مرحلي قابل للتفسير وفعال. من خلال معاملة التكيف كـ "تكوين للمفاهيم" بدلاً من "البحث عن اتجاه"، فإنه يوفر طريقة قابلة للتوسع لتخصيص سلوك النماذج اللغوية الكبيرة لمهام العالم الحقيقي المتطورة. إن قدرته على العمل بحد أدنى من البيانات واستقراره تجعله مناسباً جداً للنشر في البيئات الديناميكية حيث يكون التحكم السريع والآمن والشفاف للنماذج أمراً ضرورياً.