ملخص تقني: نماذج التفسير التوليفي للعب (Toy Combinatorial Interpretability Models) تكشف عن "تذاكر اليانصيب" في فضاء الميزات المبكر

بيان المشكلة

تفترض فرضية تذكرة اليانصيب (LTH) أن الشبكات العصبية الكثيفة تحتوي على شبكات فرعية متفرقة ("التذاكر الفائزة") التي، عند إعادة ضبط أوزانها إلى حالتها الأولية وإعادة تدريبها بشكل منفصل، تضاهي أداء النموذج الكامل. وبينما أثبتت الأعمال السابقة وجود هذه التذاكر وصقلت شروط اكتشافها (على سبيل المثال، إعادة الضبط إلى نقاط تدقيق لاحقة قليلاً)، يظل هناك سؤال ميكانيكي لم تتم الإجابة عليه: ما هو الكائن الداخلي الذي تحافظ عليه التذكرة الفائزة؟

تشير التفسيرات الحالية إلى أن التذكرة تحافظ على مجموعة "محظوظة" من الأوزان، أو قناع (mask) محدد، أو حوض تحسين (optimization basin) ملائم. ومع ذلك، في الشبكات العميقة القياسية، تكون التمثيلات الخفية غامضة للغاية بحيث يصعب تحديد الكائن الهيكلي الذي يقابلها القناع بدقة. يسأل هذا البحث عما إذا كانت التذكرة تحفظ هيكلًا (scaffold) في فضاء الميزات يسمح للتدريب المتفرق بإعادة بناء الحوسبة اللازمة.

المنهجية

يستقصي المؤلفون هذا السؤال باستخدام إعداد تجريبي توليفي ذي بنية جمل (clause-structured toy setting) يعتمد على كاشف للصيغة العادية المعتدلة (DNF). تم اختيار هذا الإعداد لأنه يسمح بتمثيل قابل للتفسير في فضاء الميزات مع مسافات توليفية محددة بين الميزات.

بنية النموذج وفضاء الميزات

• الإعداد: يتكون النموذج من إسقاط خطي قابل للتعلم $C_0$ يليه طبقة خفية $W_1$ وطبقة مخرجات $W_2$. تحسب الشبكة $z = W_2 \cdot \text{ReLU}(W_1 C_0 x + b_1) + b_2$.
• فضاء الميزات ($C_1$): الكائن الأساسي للتحليل هو $C_1 = W_1 C_0$. تمثل هذه المصفوفة حسابات الشبكة في فضاء الميزات، مما يفصل الميزات عن تضمين المدخلات (input embedding).
• الأكواد (Codes): تتضمن المهمة اكتشاف الأدلة الإيجابية والسلبية لجمل الـ DNF. تتعلم النماذج أنماط إشارات محلية محددة (أكواد):
  • 4P: $(+1, +1, +1, +1)$ للأدلة الإيجابية.
  • 3N1P: إشارة موجبة واحدة وثلاث إشارات سالبة للأدلة السلبية.
• المقاييس: يعرّف المؤلفون مسافات توليفية ($d_\tau$) وهوامش ($m$) لقياس مدى قرب المتجه المحلي من عائلات الأكواد المعيارية.

التصميم التجريبي

1. دورة التذكرة: يحاكي المؤلفون دورة LTH الكاملة: التدريب الكثيف $\leftarrow$ القناع (التقليم) $\leftarrow$ إعادة الضبط إلى نقطة البداية $\leftarrow$ إعادة التدريب المتفرق.
2. فضاء الميزات مقابل فضاء الأوزان: يحللون كيف يؤدي تطبيق قناع على الأوزان الأولية إلى تغيير الحالة الأولية لفضاء الميزات ($C_1$). ويوضحون أن التقليم ليس مجرد تقييد بصري للأوزان، بل يغير بشكل جوهري أنماط الصفوف في فضاء الميزات.
3. المجسات (Probes): يقدم البحث كواشف "مستوحاة من الآلية" تصنف مواقع فضاء الميزات بناءً على:
   • المسافة الاستاتيكية: القرب من عائلات الأكواد المعيارية.
   • الحركة: الحركة عبر الفروق المحدودة نحو الأكواد خلال التدريب الكثيف المبكر.
   • التوافق: تجنب الصفوف المزدحمة (التراكب/superposition).
4. المقارنات: تتم مقارنة قواعد فضاء الميزات هذه مقابل خطوط الأساس في فضاء الأوزان (مثل SNIP، GraSP، SynFlow، وEarly-Bird magnitude) والتوسعات المتفرقة العشوائية.

المساهمات الرئيسية

1. التذكرة هي هيكل في فضاء الميزات، وليست مجرد قناع

يجادل البحث بأن التذكرة الفائزة ليست مجموعة ثابتة من الأوزان، بل هي عائلة من مواقع فضاء الميزات المتوافقة.

• الاستعادة على مستوى العائلة: غالبًا ما تستعيد إعادة التدريب المتفرقة عائلة الجملة/القالب الصحيحة (مثل 4P) ولكن على صف مختلف عن النموذج الكثيف. لذلك، فإن الكائن المحفوظ هو عائلة الكود، وليس هوية الصف المجهرية.
• المواقع السابقة (Precursor Locations): تتوافق التذاكر الفائزة مع المواقع السابقة في فضاء الميزات الأولي، والتي تكون بالفعل قريبة (عند بدء التشغيل) من أكواد قنوات الميزات النهائية.

2. آلية SGD الكثيفة والتراكب (Superposition)

يعمل الـ SGD الكثيف كمُنتقي في فضاء الميزات:

• التضخيم: يدفع المواقع السابقة المختارة نحو الأكواد المعيارية الدقيقة.
• الرفض: يرفض المواقع الأخرى المحتملة، خاصة تلك الموجودة في الصفوف "المزدحمة" (الصفوف ذات الحمل العالي).
• التنافس: يشير هذا إلى أن تكوين التذكرة يتضمن حل التنافس تحت ظروف التراكب، حيث تتشارك ميزات متعددة في أبعاد تمثيلية محدودة. التذكرة هي مجموعة من المواقع التي توازن بين القرب من الأكواد النهائية وبين انخفاض التداخل بين الميزات.

3. التقليم يغير حالة الميزات الأولية

إن تطبيق قناع على الأوزان الأولية ($W_1$) يغير حالة فضاء الميزات الأولية بالكامل ($C_1$).

• تغيير الإحداثيات خارج القناع يغير نمط الصف بالكامل في $C_1$.
• وبناءً على ذلك، فإن "التهيئة المتفرقة" هي حالة جديدة لمشروع فضاء الميزات، وليست مجرد مجموعة فرعية من الحالة الأولية للنموذج الكثيف.
• التذكرة الفائزة هي عائلة من المواقع في هذه الحالة الجديدة تترك ما يكفي من درجات الحرية لتمكين الـ SGD المتفرق من إعادة بناء الأكواد المتوافقة.

4. المجسات التشخيصية تتفوق على الطرق القائمة على الأوزان

يقترح المؤلفون مجسات خفيفة الوزن تعتمد على المسافة والحركة في فضاء الميزات.

• النتائج: في الإعداد التجريبي، تتفوق هذه المجسات في فضاء الميزات بشكل متكرر على طرق اكتشاف التذاكر القائمة على الأوزان (مثل SNIP أو Magnitude) من حيث الدقة واستعادة الكود الدقيق، لا سيما في المراحل المبكرة من التدريب.
• القصور: بينما تحدد قواعد فضاء الميزات المواقع الصحيحة، تظل هناك "مشكلة ترجمة" في تنفيذ هذه المواقع باستخدام مجموعة متفرقة من إحداثيات فضاء الأوزان.

النتائج

• الحفاظ على البنية: تحافظ تذاكر OBS (Optimal Brain Surgeon) على هندسة كود النموذج الكثيف بشكل أكبر بكثير (استعادة نفس الموقع بنسبة 53-54% تقريبًا) مقارنة بالتوسعات المتفرقة العشوائية (حوالي 20%).
• قرب المواقع السابقة: في الحالة الأولية المقنعة، تضع تذاكر OBS نسبة أعلى بكثير من مواقع الكود النهائي عند مسافة 0 أو 1 من قوالبها المستهدفة مقارنة بالأقنعة العشوائية. على سبيل المثال، في حالة إعادة الضبط عند الحقبة 10، كانت 78.9% من مواقع الكود النهائي كانت ضمن مسافة عيب واحد (one defect) من أهدافها، مقارنة بـ 54.6% للتوسع المتفرق العشوائي.
• ديناميكيات التراكب: يتركز رفض الأكود المرشحة على الصفوف المحملة بكثافة، مما يؤكد أن الـ SGD الكثيف يحل التنافس بين الحوامل المرشحة.
• أداء المجسات: تؤدي التشخيصات في فضاء الميزات (المسافة الاستاتيكية + الحركة الديناميكية) في استعادة الكود الدقيق وتنافس بقوة في الدقة ضد خطوط الأساس في فضاء الأوزان، مما يؤكد فرضية أن هيكل التذكرة المبكر يظهر كـ "هندسة" في فضاء الميزات بدلاً من مجرد بروز (saliency) الأوزان الخام.

الأهمية والادعاءات

يضع هذا البحث نفسه كـ دراسة لكائن نموذجي (model-organism study) وليس كنظرية مكتملة لجميع الشبكات العصبية.

• نطاق متواضع: يذكر المؤلفون صراحة أن نتائجهم تستند إلى إعداد تجريبي (شبكات صغيرة تحسب صيغ بولية). ويستخدمون تشبيهًا لأبحاث السرطان لـ يهودا فولكمان: "إذا كنت فأرًا ولديك سرطان، فمن المحتمل أن نتمكن من علاجك". وبالمثل: "إذا كنت شبكة عصبية صغيرة تحسب صيغ بولية، فمن المحتمل أن نتمكن من فهم تذاكر اليانصيب الخاصة بك".
• الرؤية الجوهرية: المساهمة الرئيسية هي تحول في المنظور: هيكل تذكرة اليانصيب محكوم بـ هندسة خفية في فضاء الميزات وليس بهوية الشبكة الفرعية في فضاء الأوزان.
• الاتجاهات المستقبلية: يشير البحث إلى أن توسيع هذه الأفكار للنماذج الأكبر قد يتطلب قواميس ميزات تقريبية أو تفكيكات بأسلوب المشفّر التلقائي المتناثر (sparse autoencoder). كما يسلط الض الضوء على "مشكلة الترجمة" المفتوحة بين اختيار مواقع فضاء الميزات وتنفيذها باستخدام أوزان متفرقة.
• القابلية للتفسير: يشير العمل إلى مسار جديد في أبحاث التفسير حيث يصبح القياس في فضاء الميزات ممكنًا، متجاوزًا تحليل فضاء الأوزان الغامض لفهم "الهيكل" الذي يعيد التدريب المتفرق بناءه.

باخت-صار، يقدم البحث تفسيرًا ميكانيكيًا لفرضية تذكرة اليانصيب في إطار مضبوط، موضحًا أن التذاكر الفائزة تحفظ هيكلًا في فضاء الميزات من المواقع السابقة التي تكون بالفعل قريبة من الحل، وأن التدريب الكثيف يعمل على اختيار وصقل هذا الهيكل من خلال حل التنافس الناتج عن التراكب.