ملخص تقني: محفزات تبديل اللغة تأخذ مساراً كامناً عبر النماذج اللغوية

بيان المشكلة

تمثل هجمات الأبواب الخلفية (Backdoor attacks) على النماذج اللغوية (LMs) تهديداً أمنياً كبيراً، حيث يقوم المهاجم بحقن محفز مخفي أثناء التدريب أو الضبط الدقيق. بينما يتصرف النموذج بشكل طبيعي مع المدخلات النظيفة، فإن وجود المحفز يتسبب في إنتاج مخرجات يختارها المهاجم. وعلى الرغم من الأبحاث المكثفة في الكشف والتخفيف، إلا أن الآليات الداخلية التي يستولي من خلالها تسلسل المحفز على حسابات النموذج لا تزال غير مفهومة بشكل جيد. غالباً ما تتعامل الطرق الحالية مع الأبواب الخلفية كمكونات غامضة، وتفشل في شرح كيفية تمثيل المحفز ومعالجته داخل بنية النموذج.

لمعالجة ذلك، احتاج المؤلفون إلى بيئة اختبار يتم فيها توصيف المحفز بالكامل ويكون فيها التأثير اللاحق قابلاً للقياس بسهولة. وقد تجنبوا التعقيدات الأخلاقية والعملية لتدريب نماذج تحتوي على محفزات ضارة (مثل اللغة السامة أو الكود غير الآمن) باستخدام Gaperon-8B، وهو نموذج لغوي تلقائي الانحدار (autoregressive) تم تدريبه مسبقاً بباب خلفي غير ضار ومحدد: محفز لاتيني مكون من 9 توكنات (tokens) يعيد توجيه المخرجات الإنجليزية إلى الفرنسية.

المنهجية

تستخدم الدراسة أدوات تحليل الدوائر السببية لرسم خريطة للحسابات الداخلية للنموذج تحت ظروف التحفيز. تعتمد المنهجية على ثلاث أدوات رئيسية:

1. رقع التنشيط (التتبع السببي - Activation Patching): يقوم المؤلفون بإجراء ثلاث تمريرات أمامية (forward passes):

   • النظيف (Clean): بادئة إنجليزية + تسلسل المحفز $\leftarrow$ لوجيتات (logits) فرنسية.
   • الفاسد (Corrupt): بادئة إنجليزية + محفز فاسد (استبدال المحفز بضوضاء أو كلمات محايدة) $\leftarrow$ لوجيتات إنجليزية.
   • المُرقّع (Patched): تمريرة "الفاسد" مع استبدال مكون معين من التنشيط بالتنشيط "النظيف".
     يتم قياس المساهمة السببية للمكون من خلال نسبة الاسترداد (percentage recovery) لفرق اللوجيت (LD) بين توكنات المؤشر الفرنسية والإنجليزية.

2. المجسات الخطية (Linear Probes): يتم تدريب مصنفات الانحدار اللوجستي في كل طبقة للتمييز بين ناقلات التيار المتبقي (residual stream vectors) للغتين الفرنسية والإنجليزية. تتتبع هذه المجسات مسار "هوية اللغة" عبر الشبكة.

3. تفكيك الرؤوس (Per-Head Decomposition): يتم تفكيك مخرجات الانتباه إلى مساهمات الرؤوس الفردية لتحديد المكونات المسؤولة عن إشارة المحفز.

يركز التحليل على المحفز الفرنسي، حيث أعطت محفزات الألمانية نتائج غير متسقة بسبب عدم كفاية بيانات التدريب المسبق للغة الألمانية. يتكون المحفز من ثلاث كلمات (إجمالي 9 توكنات). يختبر المؤلفون خصوصية التسلسل من خلال اختبار تبديل ترتيب الكلمات (word-level permutations) وتشتيت مستوى التوكن (token-level scrambling).

النتائج الرئيسية والمكتشفات

حدد المؤلفون دائرة ثلاثية المراحل تكمن وراء عملية تبديل اللغة:

المرحلة 1: تكوين المحفز (الطبقات 3–7)

• الآلية: تقوم رؤوس انتباه موزعة عبر الطبقات من 3 إلى 7 بقراءة توكنات المحفز المرتبة وتكوين تمثيل للمحفز عند آخر موضع في التسلسل ($p_{-1}$).
• التوزيع: لا يهيمن رأس واحد، حيث تبلغ المساهمة القصوى لأي رأس منفرد حوالي 3%. وتتحمل العشرة رؤوس الأولى مجتمعة حوالي 20-25% من التأثير الإجمالي.
• الخصوصية: الدائرة حساسة لـ ترتيب التوكنات داخل الكلمة، لكنها مستقلة إلى حد كبير عن ترتيب الكلمات. يؤدي تشتيت مستوى التوكن إلى إلغاء الإشارة، بينما يحافظ تبديل ترتيب الكلمات على الإشارة إلى حد كبير. يشير هذا إلى "تكوين حقيبة كلمات" (bag-of-words) على مستوى الكلمة، حيث يتم أولاً تجميع التوكنات الفرعية في تمثيلات كلمات قبل تجميعها.

المرحلة 2: الانتشار الكامن (الطبقات 8–30)

• الآلية: تستمر إشارة المحفز في التيار المتبقي عند الموضع $p_{-1}$ عبر الطبقات الوسطى والمتأخرة دون حسابات بناءة من المكونات الفردية.
• الترميز المتعامد (Orthogonal Encoding): اكتشاف حاسم هو أن الإشارة تنتشر في فضاء فرعي متعامد مع اتجاه هوية اللغة الطبيعي للنموذج.
  • المجسات اللغوية الخطية، المدربة على نصوص فرنسية طبيعية، تصنف التمثيل المُحفَّز على أنه إنجليزي (بثقة $\approx$ 0) طوال الطبقات الوسطى والمتأخرة.
  • رغم كونها غير مرئية لهذه المجسات، إلا أن الإشارة ضرورية سببياً؛ إذ يؤدي استئصال (ablation) الموضع $p_{-1}$ في أي طبقة ضمن هذا النطاق إلى تخفيف المحفز تماماً.
• الدلالة: تحمل إشارة المحفز المعلومات اللازمة لإنتاج مخرجات فرنسية، لكنها تشفرها في تمثيل لا يمكن للمصنفات اللغوية الخطية الوصول إليه.

المرحلة 3: القراءة (الطبقة 31)

• الآلية: تقوم طبقة الـ MLP في الطبقة الأخيرة (الطبقة 31) بتحويل إشارة المحفز الكامنة إلى كتلة لوجيت فرنسية.
• الهيمنة: تمثل طبقة MLP في الطبقة 31 حوالي 63% من التأثير السببي الإجمالي، مما يجعلها مكون القراءة الرئيسي.
• التقارب: في هذه المرحلة، تتقارب إشارة المحفز مع اتجاه اللغة الطبيعي ويتم معالجتها دون تمييز بواسطة نفس الـ MLP المستخدم لتوليد اللغة الطبيعية.

الاختناق المتسلسل (The Serial Bottleneck)

تتدفق الدائرة بأكملها عبر اختناق متسلسل عند موضع واحد فقط: $p_{-1}$.

• يؤدي إفساد التيار المتبقي عند الموضع $p_{-1}$ في أي طبقة (من التكوين إلى القراءة) إلى تخفيف المحفز تماماً.
• لا توجد مسارات متوازية فائضة؛ فالإشارة توجد حصرياً عند $p_{-1}$ بحلول مرحلة القراءة.

المتانة تجاه الفساد

تحقق المؤلفون من نتائجهم باستخدام طريقتين للفساد: الضوضاء الغاوسية القياسية وفساد الكلمات المحايدة (استبدال توكنات المحفز بتمثيلات كلمات إنجليزية شائعة).

• بينما أنتجت الضوضاء الغاوسية أحياناً مخرجات متدهورة (مما أدى لتضخيم تقديرات الاسترداد في الطبقات المبكرة)، إلا أن الادعاءات الهيكلية (التكوين السيني، الانتشار المتعامد، هيمنة الـ MLP، والاختناق المتسلسل) ظلت ثابتة عبر طريقتي الفساد.

الأهمية والادعاءات

يزعم البحث تقديم أول تشريح دقيق على مستوى الدائرة لعملية تبديل اللغة عبر الباب الخلفي، مما يكشف عن آلية جديدة لكيفية تهرب المحفزات من الكشف:

1. الترميز الكامن المتعامد: يعد اكتشاف أن إشارة المحفز تنتقل عبر الشبكة في فضاء فرعي متعامد مع هوية اللغة الطبيعية اكتشافاً جديداً. وهذا يعني أن الدفاعات التي تعتمد على البحث عن إشارات "شبيهة باللغة" في التمثيلات الوسيطة (على سبيل المثال، باستخدام المجسات الخطية) سوف تتجاهل هذا المحفز تماماً، حيث تكون الإشارة موجودة سببياً ولكنها غير مرئية هندسياً لمثل هذه الكواشف.
2. تشريح دوائر الأبواب الخلفية: توضح الدراسة أن سلوكيات الأبواب الخلفية المزروعة يمكن تشريحها باستخدام نفس أدوات تحليل الدائرة السببية التي طُورت للحسابات المتعلمة طبيعياً.
3. محدودية الدفاعات الحالية: تشير النتائج إلى أن الخصائص الهندسية لفضاء التمثيل التي تستغلها الأبواب الخلفية (تحديداً المسار المتعامد الالتفافي) لا يتم مراقبتها حالياً بواسطة طرق الكشف القياسية.
4. تحديات التخفيف: بينما يشير الاختناق المتسلسل عند $p_{-1}$ إلى نقطة فشل للمحفز، فإن إفساد هذا الموضع يعيق أيضاً القدرات الطبيعية للنموذج، مما يسلط الضوء على صعوبة تخفيف المحفزات دون تدهور أداء النموذج.

يخلص المؤلفون إلى أنه بينما تم تحديد الهيكل الثلاثي المراحل المحدد في نموذج بـ 8 مليارات معلمة، فإن آليات التوجيه العامة (التكوين الموزع، الانتشار الكامن، والقراءة) تميز فئة من المحفزات التي قد تعمم، وإن كانت تعيينات الطبقات وهيمنتها قد تختلف باختلاف حجم النموذج.