ملخص تقني: هندسة الميزات لملحقات LoRA

بيان المشكلة

بينما يعد التكيف منخفض الرتبة (LoRA) الطريقة المهيمنة لضبط النماذج اللغوية الكبيرة (LLMs) بدقة، إلا أن التغييرات في التمثيل الداخلي التي يستحثها لا تزال غير مفهومة بشكل جيد. لقد تم تطبيق أدوات التفسير الآلي (mechanistic interpretability) الحالية، وتحديداً المشفرات التلقائية المتناثرة (Sparse Autoencoders - SAEs)، بنجاح على النماذج الأساسية والنسخ المعدلة عبر التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) لتفكيك تنشيطات التدفق المتبقي إلى ميزات متناثرة أحادية المعنى. ومع ذلك، تُطبق هذه الأدوات عادةً على مخرجات النموذج الكامل المعدل، مما يؤدي إلى خلط تمثيلات النموذج الأساسي مع المساهمات الخاصة بالملحق (adapter).

يخلق هذا النقص في التفاصيل فجوة حرجة: إذا كانت ملحقات LoRA تعمل في فضاءات فرعية تمثيلية لا تستطيع أدوات تفسير النموذج الأساسي "رؤيتها"، فإن عمليات تدقيق السلامة وتحليلات المحاذاة للنماذج التي تم ضبطها بدقة قد تكون ناقصة بشكل منهجي. علاوة على ذلك، فإن الأسباب الميكانيكية وراء سهولة إلغاء الضبط الدقيق للسلامة من خلال التكيف اللاحق لا تزال غير مستكشفة على مستوى الميزة.

المنهجية: إطار عمل Delta SAE

لعزل المساهمة المحددة لملحقات LoRA، قدم المؤلفون إطار عمل تنشيط دلتا (Delta Activation Framework). بدلاً من تحليل التنشيط الكامل للملحق المعدل ($h_{adapted}$)، تركز الدراسة على "دلتا التنشيط":
$$h_\Delta = h_{adapted} - h_{base} = \frac{\alpha}{\sqrt{r}} BAx$$
تمثل هذه الـ "دلتا" المساهمة الميكانيكية الصافية والدقيقة للملحق، بعيداً عن إشارة النموذج الأساسي.

يتضمن مسار التجريبي ما يلي:

1. إعداد النموذج: استخدام Gemma-2-9B كنموذج أساسي. تم تدريب أربعة ملحقات LoRA برتب $r \in \{4, 8, 16, 32\}$ على مجموعة بيانات Alpaca (10,000 عينة)، مع تثبيت جميع المعلمات الفائقة الأخرى لعزل الرتبة كمتغير.
2. استخراج دلتا: قامت خطافات التمرير الأمامي (forward hooks) بالتقاط تنشيطات التدفق المتبقي في ست طبقات مستهدفة (5، 10، 18، 22، 32، 38) لكل من النموذجين الأساسي والمعدل لحساب $h_\Delta$.
3. تدريب Delta SAE: تم تدريب SAEs مخصصة حصرياً على ناقلات $h_\Delta$ الموحدة لكل زوج من (الرتبة، الطبقة). تمت مقارنتها بـ Gemma Scope SAEs المدربة مسبقاً (المدربة على التدفق المتبقي للنموذج الأساسي).
4. التحليل الهندسي: تم استخدام ثلاثة مقاييس متكاملة لتقييم المحاذاة بين ميزات الملحق وميزات النموذج الأساسي:
   • تشابه جيب التمام (Cosine Similarity): أقصى تشابه بين اتجاهات فك ترميز delta SAE واتجاهات ميزات Gemma Scope.
   • تحليل الزاوية الرئيسية (Principal Angle Analysis): الزوايا بين الفضاءات الفرعية ذات الأبعاد 256 الأعلى لـ delta SAE و مصفوفات فك ترميز Gemma Scope.
   • محاذاة النواة المركزية (Centered Kernel Alignment - CKA): قياس التشابه التمثيلي بين مجموعات تنشيط $h_{base}$ و $h_\Delta$.

النتائج الرئيسية

1. فشل SAEs الأساسية في إعادة بناء إشارات الملحق

عند استخدام Gemma Scope (النموذج الأساسي) SAEs لإعادة بناء $h_\Delta$، تجاوز خطأ إعادة البناء النسبي 1.0 عبر جميع الطبقات والرتب. يشير هذا إلى أن خطأ التقريب في القاموس الأساسي أكبر من مقدار إشارة الملحق نفسه. كان الخطأ أكثر حدة في الطبقات المبكرة (الطبقة 5، $\epsilon \approx 2.3$) وتحسن قليلاً مع العمق، لكنه ظل مرتفعاً.

2. تفوق SAEs الخاصة بالملحق

تفوق SAEs المدربة خصيصاً على $h_\Delta$ بشكل كبير على SAEs الأساسية في البيانات غير المستخدمة في التدريب. تراوحت تحسينات إعادة البناء بين 46.3% و 86.2%، مما يثبت أن ملحقات LoRA تتعلم هياكل حقيقية وقابلة للتعميم لا تلتقطها قاموس النموذج الأساسي.

3. التباعد الهندسي

أكدت ثلاثة تحليلات مستقلة أن ميزات LoRA تشغل فضاءً فرعياً متميزاً هندسياً:

• تشابه جيب التمام: بلغ متوسط أقصى تشابه جيب تمام بين ميزات دلتا وميزات النموذج الأساسي ~0.071، وهو أعلى بقليل من القيمة المتوقعة للناقلات العشوائية في 3,584 بُعداً (~0). أظهر 0.01-0.02% فقط من ميزات دلتا محاذاة قوية (>0.7) مع ميزات النموذج الأساسي.
• الزوايا الرئيسية: بلغ متوسط الزاوية الرئيسية بين الفضاءات الفرعية ~74 درجة، مع 0% من الاتجاهات أظهرت محاذاة (<20 درجة). حوالي 66% من الفضاء الفرعي كان قريباً من التعامد (>70 درجة).
• CKA: كانت قيمة CKA بين $h_{base}$ و $h_\Delta$ في أدنى مستوياتها عند الطبقة 18 (طبقة المعالجة الدلالية)، حيث انخفضت إلى ~0.05–0.08، مما يشير إلى أقصى تباعد تمثيلي حيث تتركز المعالجة الدلالية.

4. تأثيرات الرتبة والعمق

• كثافة الميزات: زاد عدد الميزات النشطة لكل رمز (token) طردياً مع كل من عمق الطبقة ورتبة Lo. على سبيل المثال، في الطبقة 38، فعلت الرتبة 4 حوالي 30 ميزة/رمز، بينما فعلت الرتبة 32 حوالي 41 ميزة/رمز.
• الاستقرار الهندسي: رغم التغيرات في الكثافة والسعة، ظل التميز الهندسي الجوهري (المقاس بالزوايا الرئيسية وتشابه جيب التمام) ثابتاً تجاه الرتبة (rank-invariant). أنتجت جميع الرتب تمثيلات منفصلة هندسياً عن النموذج الأساسي.
• الميزات ضعيفة المحاذاة: كانت أكثر من 93% من الميزات التي يتم تنشيطها بواسطة $h_\Delta$ "ضعيفة المحاذاة" (نشطة فقط على دلتا، وليس على النموذج الأساسي)، وهي نسبة ظلت ثابتة عبر جميع الرتب والطبقات.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول تحليل ميكانيكي منهجي لهندسة ميزات LoRA. المساهمة الرئيسية هي تحديد "فجوة المراقبة" (monitoring gap): أدوات التفسير المدربة فقط على تنشيطات النموذج الأساسي ستكون عاجزة منهجياً عن رصد المساهمات التمثيلية لملحقات LoRA لأن قاموس النموذج الأساسي لا يمكنه إعادة بناء إشارة الدلتا.

يجادل المؤلفون بما يلي:

1. تدقيقات السلامة غير مكتملة: إذا قامت مؤسسة بنشر نموذج LoRA مضبوط بدقة للسلامة، فقد تفشل عمليات التدقيق القياسية القائمة على SAE في اكتشاف التمثيلات المشفرة في الملحق لأن قاموس النموذج الأساسي لا يمكنه إعادة بناء إشارة الدلتا.
2. التفسير الميكانيكي للهشاشة: يوفر التباعد الهندسي تفسيراً ميكانيكياً لسبب سهولة إلغاء الضبط الدقيق للسلامة؛ إذ قد يؤدي التكيف اللاحق ببساطة إلى نقل النموذج إلى فضاء فرعي مختلف لا تراقب فيه قيود السلامة الأصلية (المشفرة في هندسة النموذج الأساسي) بشكل فعال.
3. الحل المنهجي: يُقترح إطار عمل Delta SAE كأداة ضرورية للتدقيق على مستوى الميزات للنماذج التي تم ضبطها بدقة، مما يسمح بعزل وتحليل المساهمات الخاصة بالملحق.

تخلص الدراسة إلى أنه بينما تزيد ملحقات LoRA من القدرة التمثيلية (الكثافة) مع ارتفاع الرتب، إلا أنها تعمل بشكل أساسي في فضاء فرعي هندسي متميز، مما يستلزم مناهج تفسير جديدة للنماذج التي تم ضبطها بدقة.