Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

ملخص تقني: اختبار ما إذا كانت بوادر الباب الخلفي الداخلي تسبق السلوك

بيان المشكلة
تكتفي مراقبة السلامة الحالية لنماذج الذكاء الاصطناعي عادةً بتقييم ما إذا كان النموذج المكتمل يحتوي على "باب خلفي" (backdoor) أو بتحليل ديناميكيات التدريب بشكل منعزل. ومع ذلك، لا تزال هناك فجوة زمنية حرجة: فمن غير المعروف ما إذا كان التمثيل الداخلي المرتبط بالباب الخلفي يصبح قابلاً للكشف قبل أن يظهر سلوك مخرجات النموذج تغيراً ذا دلالة إحصائية. تفشل الطرق الحالية في إثقاء مقارنة سببية زمنية بين الإشارات الداخلية والسلوك الخارجي لأنها غالباً ما تفتقر إلى حالات "العدم" المتطابقة (matched null conditions)، أو تستخدم عتبات تصنيف تعسفية، أو تفشل في ضبط معدل الخطأ للعائلة بأكملها (family-wise error rate) عبر عمليات فحص نقاط التفتيش الكثيفة. علاوة على ذلك، فإن الإشارة الداخلية القابلة للفك لا تعني بالضرورة وجود مقدمة سببية؛ فقد تكون مجرد ترميز لوجود المحفز دون أن تقود السلوك المستهدف.

المنهجية
يقترح المؤلف بروتوكولاً صارماً وقابلاً للتفنيد لاختبار ما إذا كان بوادر الباب الخلفي الداخلي تسبق المظاهر السلوكية. تستخدم التجربة نموذج GPT-2 بـ 124 مليون معلمة (parameter) تم ضبطه بدقة على مهمة تصنيف المشاعر SST-2.

1. التصميم التجريبي:

   • بروتوكول التدريب: يخضع النموذج لمرحلة "تكيف نظيف" (clean adaptation)، تليها مرحلة استمرار حيث يتم تحديث كتل Transformer 10 و11 (والطبقة النهائية لـ Layer Norm) فقط.
   • الشروط: يتم تشغيل شرطين بالتوازي:
     • شرط الباب الخلفي: يتم ربط علامة رمزية محددة (cf) بسلوك مستهدف (تحويل المراجعات السلبية إلى مشاعر إيجابية).
     • شرط العدم المتطابق: تُستخدم مدخلات، وعلامات معرضة، وإجمالي تسميات، وضوضاء في التسميات متطابقة، ولكن العلامة النشطة لا ترتبط بالسلوك المستهدف (يحدث الخطأ في التسمية على الأمثلة غير الموسومة).
   • نقاط التفتيش الكثيفة: يتم تقييم النماذج عند كل خطوة تحديث (من 0 إلى 80).

2. الكواشف المزدوجة:

   • الاختبار السلوكي: يقيس التغير المستمر في هامش لوجيت المخرجات (logit margin) -أي الفرق بين الموجب والسالب- للمدخلات ذات العلامة النشطة مقابل مدخلات العلامة الضابطة، بالنسبة لخط الأساس ما قبل الاستمرار. هذا يتجنب العتبات التعسفية.
   • الاختبار الداخلي: يقيس الانزياح في تيار المتبقي (residual stream) (بعد الكتلة 10) المسقط على اتجاه أحادي البعد ومغلق. هذا الاتجاه مستمد من "اكتشاف" استمرارية مستقلة تم تدريبها على مجموعة بيانات منفصلة لالتقاط آلية الباب الخلفي الناضجة. ومن الأهمية بمكان أن يكون هذا الاتجاه ثابتاً قبل بدء عمليات التأكيد لمنع الإفراط في التخصيص (overfitting).

3. التدخلات السببية:
   للتحقق مما إذا كان الإشارة الداخلية المبكرة هي مقدمة وليست مجرد "راكب" قابل للفك، يستخدم البروتوكول تدخلات سببية عند وقت الكشف المزعوم:

   • الاستئصال (Ablation): إزالة الإحداثي المكتسب من تنشيط العلامة النشطة.
   • الاستعادة (Restoration): إضافة سعة مطابقة لنقطة التفتيش من أمثلة مانحة مستقلة إلى التنشيط المستأصل.
   • الرقع الضابطة (Control Patching): إضافة السعة إلى مدخلات العلامة الضابطة.
     يتم اختبار هذه التدخلات على مجموعة منفصلة من المطالبات (prompts) لضمان الفصل الزمني.

4. المعايرة الإحصائية:

   • ضبط الخطأ: لمعالجة "مشكلة المقارنات المتعددة" المتأصلة في فحص 160 كاشف-نقطة تفتيش (كاشفان × 80 تحديثاً)، يستخدم البروتوكول قطع الإحصائية القصوى (maximum-statistic cutoff) المستمد من 20,000 سحب من مسارات العدم (null trajectories). هذا يضمن معدل خطأ كاذب صارم للعائلة.
   • مطابقة القدرة: يستخدم كلا الكاشفين نفس حجم العينة ($n=128$)، ونفس إحصاء المتوسط الطالب (studentized mean statistic)، ونفس القطع، مما يضمن قدرة إحصائية متساوية بين الاختبارات الداخلية والسلوكية.
   • بوابات القرار: تتطلب النتيجة الإيجابية: (1) تجاوز الاختبار الداخلي للعتبة قبل الاختبار السلوكي في عدد كبير من الدورات؛ (2) النجاح في التثبيط (الاستئصال) والإنقاذ (الاستعادة) للسلوك المستهدف عند نقطة العبور الداخلية؛ و(3) الدلالة الإحصائية عبر اختبارات قلب الإشارة الدقيقة مع تصحيح Holm.

المساهمات الرئيسية

• بروتوكول قابل للتنفيذ: يقدم البحث بروتوكولاً محدداً بالكامل وقابلاً للتفنيد لمقارنة ظهور التمثيلات الداخلية والسلوكيات تحت ظروف متطابقة.
• المقارنة الزمنية السببية: ينتقل من مجرد الارتباط إلى اشتراط أن تكون الإشارة الداخلية المبكرة ضرورية سببية (عبر الاستئصال/الاستعادة) للسلوك النهائي.
• إطار إحصائي صارم: يقدم معايرة إحصائية قصوى مشتركة للتحكم في النتائج الإيجابية الكاذبة عبر عمليات الفحص الزمني الكثيفة ويضمن مطابقة القدرة بين الاختبارات الداخلية والسلوكية.
• الفصل بين القابلية للفك والسببية: من خلال استخدام اتجاه اكتشاف مستقل وتدخلات سببية، يميز البروتوكول بين المعلومات التي هي مجرد موجودة في الأوزان والمعلومات التي تقود الباب الخلفي وظيفياً.

النتائج
ينص البحث صراحة على أنه لم يتم الإبلاغ عن أي نتائج تأكيدية فيما يتعلق بالفرضية الزمنية.

• أجرى المؤلف "اختبارات دخان" (smoke tests) واختبارات وحدة اصطناعية للتحقق من سلامة خط العمل، بما في ذلك التكيف النظيف، وتوافق اتجاه الاكتشاف، وتقييم النقاط الكثيفة، ومنطق التدخل السببي.
• أكدت هذه الاختبارات تفاصيل التنفيذ (مثل معرفات الرموز، وعدد المعلمات، وتوقيت سير العمل) ولكنها كانت غير استدلالية بشكل صريح.
• بناءً على ذلك، يظل السؤال: "هل تصبح تمثيلات الباب الخلفي الضرورية سببية قابلة للكشف قبل السلوك المتطابق؟" مفتوحاً. يوفر البحث إجراء القرار وتحليل الخطأ ولكنه لا يقدم الإجابة.

الأهمية والادعاءات
مساهمة الورقة البحثية منهجية وليست تجريبية.

• إنها تضع معياراً قابلاً للتفنيد للإجابة على ما إذا كانت المقدمات الداخلية تسبق السلوك، مما يمنع الباحثين من الخلط بين هوية الرمز، أو عتبات السلوك، أو مرونة المسبار، أو عدم تساوي ميزانيات الخطأ، وبين التحذير المبكر الحقيقي.
• تجادل الورقة بأن ادعاء "التحذير المبكر" يتطلب أربعة مكونات مترابطة: خط أساس يستبعد هوية المدخلات الثابتة، ومقارناً مستمراً للمخرجات، وفرصاً متساوية للرفض (مطابقة القدرة)، وتدخلاً يثبت الاستخدام السببي بدلاً من مجرد القابلية للفك.
• يدعم هذا العمل أجندة "التفسير التطويري" (developmental interpretability) من خلال توفير اختبار تشغيلي لمراقبة ديناميكيات التدريب بحثاً عن المقدمات ذات الصلة بالسلامة، بدلاً من مجرد تدقيق النماذج النهائية.

باخت-صار، تحدد الورقة كيفية اختبار بوادر الباب الخلفي بصرامة، لكنها لا تدعي العثور عليها، تاركة السؤال الجوهري مفتوحاً للتطبيق المستقبلي لهذا البروتوكول.