ملخص تقني: تدقيق الفعالية الرتبية للتحولات في التنشيط المستحثة بالضبط (Alignment)

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) المضبوطة بالتعليمات (Instruction-tuned) ضعفًا هيكليًا حيث يتم توسط سلوكيات السلامة (وتحديدًا الرفض للطلبات الضارة) عبر فضاء فرعي منخفض الأبعاد داخل تنشيطات المجرى المتبقي (residual stream). بناءً على الملاحظة التجريبية لـ Arditi وآخرون (2024) بأن اتجاهًا واحدًا يمكن أن يتوسط الرفض، تصيغ هذه الورقة العواقب الهيكلية لهذه الظاهرة. تكمن المشكلة الجوهرية في كمّية "القابلية للفصل" (separability) في تحولات الضبط — وتحديدًا، مدى تركيز التعديل بين تنشيطات ما قبل التدريب والضبط على المدخلات ذات الصلة بالسلامة — وتحديد ما إذا كان هذا الهيكل منخفض الرتبة يعني هشاشة سلوكية أو قابلية للخداع في الضبط (التزييف/faking).

تعالج الورقة ثلاث فجوات محددة:

1. التحكم في المتغيرات المربكة (Confound Control): غالبًا ما تخلط القياسات السابقة بين تحولات الضبط وبين الآثار الناتجة عن تنسيق قالب الدردشة (chat-template).
2. المعايرة (Calibration): ليس من الواضح ما إذا كان زيادة الرتبة الفعالة لتحول الضبط (عبر التنظيم/regularization) يحسن المتانة هيكليًا أم أنه مجرد تضخيم لمقياس ما.
3. حدود التشخيص: من غير المعروف ما إذا كانت الرتبة المنخفضة هي سمة خاصة بالسلامة أم أنها خاصية عامة لما بعد التدريب، وما إذا كان هناك حد أدنى مطابق لـ "تكلفة التزييف" (أي ما إذا كانت الرتبة العالية تضمن المقاومة ضد تغيير الأنماط/mode-toggling).

المنهجية

مؤشر الفصل ($\rho_\epsilon$)

تعرّف الورقة مصفوفة تعديل الضبط $M_D$ عند طبقة معينة بأنها مجموعة فروق التنشيط بين النماذج المضبوطة (aligned) ونماذج ما قبل التدريب (pre-trained) على توزيع متعلق بالسلامة $D_s$:
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
مؤشر الفصل هو الرتبة الفعالة لهذه المصفوفة، مقسومة على أبعاد التمثيل $d$:
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
حيث $\text{rank}_\epsilon$ هو عدد القيم المفردة (singular values) المطلوبة لاستيعاب $(1-\epsilon)$ من التباين الإجمالي (مع $\epsilon=0.05$).

التفكيك رباعي المتغيرات

لعزل إشارة الضبط الحقيقية عن المتغيرات المربكة، يقوم المؤلفون بتفكيك مصفوفة التعديل إلى أربعة متغيرات:

1. $M_{naive}$: الفرق الساذج ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$)، وهو عرضة لآثار قالب التنسيق.
2. $M_{template}$: يتحكم في تنسيق قالب الدردشة عن طريق تطبيق القالب على كلا النسختين (checkpoints).
3. $M_{aligned}$: يقيس التحول داخل النموذج المضبوط نفسه.
4. $M_{DiD}$ (الفرق في الفروق): يطرح متوسط العمود الضابط من $M_{template}$ لاستعادة اتجاه الرفض داخل النموذج المضبوط.

الاختبارات التشخيصية

تستخدم الورقة ثلاثة اختبارات لتقييم الضبط:

• الاختبار 1 (الرتبة): يحسب $\rho_\epsilon$ على $M_{template}$.
• الاختبار 2 (الاستئصال السببي/Causal Ablation): يسقط المكونات الرئيسية العليا-$k$ من $M_{template}$ ويقيس التغيير في معدلات الرفض مقارنة بـ null من الرتبة-$k$ العشوائية.
• الاختبار 3 (الضبط الرئيسي): يقيس تشابه جيب التمام (cosine similarity) بين المتجه المفرد الأعلى $u_1$ واتجاه التحول المتوسط $\bar{\Delta}$.

المعايرة والتحقق

• معايرة MLP: يتم تدريب MLP مكون من 3 طبقات بقوى تنظيم ($\lambda$) متفاوتة للتلاعب بـ $\rho_\epsilon$ مع مراقبة المقايضة بين تضخم الرتبة ومتانة الاستئصال.
• تدقيق LLM: يتم تطبيق التشخيص على ثلاثة نماذج مفتوحة الأوزان: Llama-3.1-8B-Instruct، وGemma-2-9B-it، وQwen-2.5-7B-Instruct.
• الحدود النظرية: تبحث الورقة في مسار "Mirsky" لاشتقاق حد أدنى للبصمة التمثيلية لسياسة الخداع (التزييف)، واختبار فرضية الفجوة الطيفية (spectral-gap hypothesis) المطلوبة لهذا الحد.

النتائج الرئيسية

1. القياس المتحكم فيه من المتغيرات المربكة

• تركيز الرتبة: في المدخلات ذات الصلة بالسلامة، يكون تحول الضبط مركزًا للغاية. بالنسبة لـ Llama وGemma وQwen، تكون الرتبة الفعلة المركزية هي $\sim 12$–$18$من أصل$d \in {3584, 4096}$، مما يعطي$\rho_\epsilon \in {0.0029, 0.0048, 0.0044}$.
• متغير قالب التنسيق: تهيمن رتبة غير مركزة على اتجاه متوسط واحد (تحول قالب الدردشة). يؤدي طرح المتوسط (التمركز) إلى زيادة الرتبة المتبقية بمقدار 4–7 أضعاف، مما يؤكد أن الرتبة الرئيسية مدفوعة بالتنسيق بدلاً من المنطق المعقد للسلامة.
• استعادة اتجاه الرفض: في $M_{DiD}$ المتمركز، يتوافق المتجه المفرد الأعلى مع اتجاه رفض Arditi بتشابه جيب تمام عالٍ ($| \cos | \in \{0.77, 0.86, 0.50\}$ لـ Llama/Gemma/Qwen). هذا يؤكد أن "انهيار الرتبة-1" (rank-1 collapse) ينطبق على Llama وGemma ولكنه أقل هيمنة في Qwen.

2. المعايرة البنائية: المنطقة المثالية مقابل الهشاشة

• تضخم الرتبة $\neq$ المتانة: في معايرة MLP، أدت زيادة $\rho_\epsilon$ عبر تنظيم خفيف ($\lambda=5$) إلى متانة استئصال عالية (الامتثال $\ge 0.97$ حتى بعد إسقاط 62.5% من التمثيل). ومع ذلك، فإن التنظيم القوي ($\lambda=50$) عند نفس $\rho_\epsilon$ الاسمية أدى إلى هشاشة شديدة (انخفض الامتثال إلى 0.10).
• القيمة التشخيصية: يعمل $\rho_\epsilon$ كأداة تشخيص للهشاشة، ولكنه ليس هدفًا يضمن تضخيمه الميكانيكي تحقيق المتانة. النتيجة الهيكلية للرتبة المنخفضة لـ $\rho_\epsilon$ هي هشاشة الإسقاط الخطي (الخاصية 3.1) وحد إمكانية الوصول $O(\rho_\epsilon d)$ للتزييف (الخاصية 3.5).

3. حدود التشخيصات القائمة على الرتبة

• ليست خاصة بالسلامة: يعطي خط أساس باستخدام مفاهيم خطية عشوائية (LRH) قيمة $\rho_\epsilon \approx 0.008$–$0.010$، وهي أعلى بـ 2–3 أضعاف فقط من قيمة السلامة. الرتبة المنخفضة هي خاصية عامة لتحولات ما بعد التدريب؛ ولا يتم إنشاء الارتباط بسلوك السلامة إلا عبر الاستئصال السببي (الاختبار 2).
• SVD مقابل الترتيب السببي: الترتيب الخاص بالقيم المفردة حسب التباين لا يضمن الترتيب السببي. في Llama، يكون للمتجه المفرد الثاني ($u_2$) تأثير سببي شبه معدوم على الرفض رغم تصدره الثاني من حيث التباين. الاستئصال التراكمي غير رتيب (على سبيل المثال، يزداد الرفض عند $k=5$ قبل أن ينخفض)، مما يشير إلى أن طيف SVD وحده لا يمكنه التنبؤ بالهشاشة السلوكية.
• فشل فرضية الفجوة الطيفية: تحاول الورقة إثبات حد أدنى مطابق ($\Omega(\rho_\epsilon d)$) لتكلفة التزييف باستخدام حجة من نوع Mirsky تتطلب فجوة طيفية ($\kappa > 8$). تجريبيًا، تفشل هذه الفجوة ($\kappa_{emp} < 8$) في 89/90 زوجًا من مراجع الطبقات لـ Llama، و0/36 في MLP. هيكليًا، تثبت اللمة 8.1 أنه لأي $\epsilon r > 1/4$، لا يمكن تلبية شرط الفجوة، مما يجعل مسار Mirsky غير كافٍ لحد أدنى عام.

الأهمية والادعاءات

تدعي الورقة أنها توفر كمًّا مستمرًا ورسميًا للخصائص الهيكلية للضبط، متجاوزة الملاحظة الثنائية "الرتبة-1" للأعمال السابقة.

1. صياغة الهشاشة: تثبت أن الرتبة الفعالة المنخفضة ($\rho_\epsilon \ll 1$) تعني بشكل غير مشروط الضعف أمام هجمات الإسقاط الخطي (الخاصية 3.1) وتسمح بتزييف تمثيلي منخفض التكلفة (الخاصة 3.5).
2. الدقة المنهجية: تقدم تفكيكًا رباعي المتغيرات لفصل آثار قالب الدردة عن تحولات الضبط الحقيقية بدقة، وهي خطوة ضريدة للتدقيق الدقيق.
3. التشخيص مقابل التحسين: تجادل الورقة بأن $\rho_\epsilon$ هو أداة تشخيص لتحديد الهشاشة، وليس هدفًا للتحسين. تضخم الرتبة الميكانيكي لا يشتري المتانة الهيكلية.
4. المسائل المفتوحة: تحدد الورقة صراحةً الحد الأدنى المطابق للتزييف كمسألة مفتوحة. بينما تثبت الورقة إمكانية الوصول للتزييف منخفض التكلفة (الحد الأعلى)، فإنها تُظهر أن نهج الفجوة الطيفية الطبيعي لإثبات حد أدنى (أن الرتبة العالية تفرض تكلفة عالية) يفشل تجريبيًا وهيكليًا.

يؤكد المؤلفون أن عملهم يقتصر على هجمات المجرى المتبقي (الإسقاط، التوجيه) ولا يدعون معالجة الضغط العدائي التعسفي على الآلية الداخلية، أو ضبط LoRA، أو اختراقات البرومبت (jailbreaks). يمكن حساب التشخيص بواسطة مدقق أضعف من النظام الذي يتم تدقيقه، بشرط امتلاك المدقق وصولًا للبيانات البيضاء (white-box access) للنسخ المتطابقة وتوزيع سلامة ثابت.