ملخص تقني: ما وراء محاذاة التنشيط: هندسة الحساسية العصبية

بيان المشكلة

تُعد مقاييس محاذاة التنشيط مثل تحليل التشابه التمثيلي (RSA)، وتحليل الارتباط الكنسي (CCA)، ومحاذاة النواة المركزية (CKA)، أدوات قياسية لمقارنة التمثيلات العصبية البيولوجية والاصطناعية. تقيس هذه الطرق بشكل أساسي التشابه الهندسي لأنماط التنشيط المستحثة بالمثيرات. ومع ذلك، يوجد قصور جوهري: فالاتفاق على مستوى المخرجات العالمية لا يحدد كيفية استخدام النظام للأدلة المحلية للمثير. قد تتطابق التمثيلات في فضاء التنشيط، لكنها قد تختلف بشكل كبير في حساسيتها للاضطرابات الصغيرة. علاوة على ذلك، فإن مقاييس التشابه القائمة على التنشيط ليست ثابتة تجاه التحويلات اللاحقة البسيطة (مثل ترجمات المجموعات الفرعية الثابتة متبوعة بمركزية المتوسط العالمي) التي يمكن أن تغير درجات التشابه دون تغيير عملية الترميز الأساسية. وبينما تم اقتراح منظورات تعتمد على فك التشفيد ومناهج الهندسة المحلية لمعالجة هذه المشكلة، إلا أنها غالبًا ما تفشل في تحديد كيفية تجميع المعلومات بدقة عبر المثيرات أو أي ملخصات للبيانات تكفي لتوصيف مهام التمييز.

المنهجية

يقترح المؤلفون إطار عمل يعتمد على المعلومات القابلة لفك التشفير محليًا، مع التركيز على قدرة التمثيل على التمييز بين الاضطرابات الصغيرة ضمن فضاء إحداثي محدد للمثير تحت تأثير الضجيج.

1. مهام الاضطراب المحلي وهندسة فيشر

يعامل إطار العمل التمثيل العصبي كخريطة قابلة للتفاضل $f: \mathbb{R}^d \to \mathbb{R}^m$. وتتحدد الحساسية المحلية من خلال مقياس السحب الخلفي (pullback metric) $M_f(x) = J_f(x)^\top J_f(x)$، حيث $J_f$ هي مصفوفة جاكوبي.

• تعريف المهمة: تتكون مهمة التمييز المحلية من التمييز بين مثير $s$ ومثير مضطرب $s + \eta$ في ظل وجود نشاط سكاني ضوضائي. يتحدد مربع القدرة على التمييز $d'^2$ بواسطة مقياس فيشر $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$، حيث $\Sigma$ هو متباينة الضجيج.
• ملخص مجموعة البيانات: للانتقال من الحساسية عند نقطة معينة إلى مقارنة التمثيلات، يعرّف المؤلفون عائلة مهام محلية ذات عزم ثانٍ مسقط. من خلال تثبيت عائلة من الإحداثيات (يتم تمثيلها بواسطة $\psi$) وفضاء اضطراب (يتم تعريفه بواسطة مصفوفة متعامدة $P$)، يتم حساب متوسط مقياس فيشر المحلي عبر توزيع المثير.
• المؤثر: الملخص الكامل والأدنى لمجموعة البيانات لهذه العائلة هو مؤثر فيشر المتوقع المسقط:
  $$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$$
  في حالة الضجيج المتماثل المناحي (isotropic noise)، يتقلص هذا إلى مقياس السحب الخلفي المتوقع المسقط $G_{f,\psi,P}$. هذا المؤثر يحدد بالكامل القدرة المتوقعة على التمييز لأي عائلة اضطراب ذات عزم ثانٍ محددة بواسطة $P$.

2. التفكيك: الكسب والشكل

يفكك المؤلفون مؤثر الملخص إلى:

• الكسب ($\gamma$): إجمالي الحساسية المتوقعة (أثر المصفوفة/trace).
• الشكل ($\hat{G}$): التخصيص الاتجاهي للحساسية (المؤثر المعاير بالأثر).
  يتيح ذلك مقارنة التمثيلات بناءً على إجمالي الحساسية مقابل الاتجاهات المحددة في فضاء المثير التي تضخمها أو تخمدها.

3. مقياس المقارنة: S-RAS

لمقارنة هذه الملخصات الموجبة المحددة (SPD)، يستخدم المؤلفون المقياس الريماني الثابت تقاربيًا (Affine-Invariant Riemannian Metric - AIRM) على متشعب مصفوفات SPD. يعرّفون درجة المحاذاة الريمانية الطيفية (S-RAS) كالتالي:
$$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$$
حيث $\tilde{G}$ هو رفع (lifting) لـ SPD معاير بالأثر يُستخدم للتنظيم. تُظهر التحليلات النظرية أن S-RAS يوفر حدًا ضربيًا موحدًا عبر عائلة قيم المهام المرفوعة ويحد من الانحراف في التمييز المتوقع بين تمثيلين.

المساهمات الرئيسية

1. صياغة التمييز المحلي: حدد البحث مهام اضطراب محلية ذات عزم ثانٍ، وحدد مؤثر فيشر/السحب الخلفي المتوقع المسقط كملخص كامل وأدنى لمجموعات البيانات لهذه المهام.
2. مقياس S-RAS: تم تقديم طريقة مقارنة واعية بالهندسة (S-RAS) باستخدام المسافة الطيفية اللوغاريتمية على مصفوفات SPD، مما يوفر درجة تشابه معيارية الأبعاد مع ضمانات نظرية لحدود قيمة المهمة.
3. التحقق التجريبي: تم التحقق من إطار العمل عبر أنظمة اصطناعية وبيولوجية، مما أظهر فائدته في مطابقة الطبقات، والمجسات القابلة للنقل، وتحليل التدريب القوي، والبيانات البيولوجية.

النتائج التجريبية

1. مطابقة الطبقات (الشبكات الاصطناعية)

باستخدام شبكات Tiny10-CNN مدربة بشكل مستقل، اختبر المؤلفون ما إذا كان بإمكان S-RAS استعادة مطابقة الطبقات المتوقعة.

• النتائج: حقق S-RAS مطابقة ذات معنى (دقة 85.3% عند $K=768$ مع اضطرابات عشوائية؛ و93.8% مع تحويل PCA المبيض) واقترب من أداء خطوط الأساس النشطة القوية مثل CKA الخطي (94.4%).
• المقارنة: تفوق S-RAS على ضوابط الهندسة المحلية عند كل نقطة (pointwise local geometry controls) مثل (pointwise AIRM و MSA-like baselines)، مما يشير إلى أن تجميع مؤثرات عائلة المهام المتوقعة يتفوق على متوسط انحرافات الهندسة المحلية عند كل نقطة.

2. مجسات الفئات القابلة للنقل

اختبر المؤلفون ما إذا كانت تباينات الحساسية يمكن نقلها إلى اضطرابات محدودة تعمم على الصور والنماذج غير المدرجة في التدريب.

• النتائج: أنتجت المجسات المستمدة من تباينات الحساسية الشرطية للفئة (بالمقارنة بين ResNet-18 و Small ViT) فصلًا أكبر بكثير للصور غير المدرجة (1.10) مقارنة بالضوابط ذات التباينات العشوائية (0.43)، والحساسية المجمعة (0.31)، وتبديل التسميات (0.03). يشير هذا إلى أن الطريقة تلتقط هياكل الأدلة المحلية المشتركة التي تنتقل عبر النماذج.

3. التمايز في التدريب القوي

باستخدام مجموعات ResNet-18 مدربة باستخدام ERM و PGD و TRADES و MART، بحث المؤلفون فيما إذا كان إطار العمل يمكنه التمييز بين أنظمة التدريب.

• النتائج: نجحت المجسات المشتقة من التباين في فصل النماذج القياسية عن النماذج القوية (PGD, TRades, MART) على الصور غير المدرجة. كما كشفت الطريقة عن اختلافات دقيقة بين أهداف التدريب القوي (مثل الفصل بين PGD و TRADES) وأظهرت أن المجسات حساسة لتغيرات محددة في استخدام الأدلة المحلية، وليس فقط الاختلافات في الأنظمة التدريبية.

4. التطبيق البيولوجي (مرصد ألن للدماغ)

طُبق إطار العمل على بيانات القشرة البصرية للفئراء باستخدام شبكات ثابتة بالإحداثيات $(\theta, \rho, \phi)$.

• النتائج: في مطابقة الهوية عبر المناطق، حقق ملخص Full-Fisher الواعي بالضجيج دقة Top-1 بلغت 0.458، متفوقًا بشكل ملحوظ على CKA (0.288) والهندسة الساذجة. وفي اختبار VISp-depth الأكثر صعوبة، ظل Full Fisher (0.466) منافسًا لـ CKA (0.483).
• الاستنتاج: تشير النتائج إلى أن هيكل الحساسية البيولوجية يعتمد على كل من إجمالي الحساسية الواعية بالضجيج والتخصيص الاتجاهي. إن اختيار عائلة إحداثيات المثير (مثل $\rho + \phi$ مقابل المجموعة الكاملة) له تأثير كبير على أداء المطابقة، مما يؤكد الطبيعة "النسبة للعائلة" لهذا المقياس.

الأهمية والادعاءات

يدعي البحث أن المقارنات القائمة على التنشيط تكون أكثر إفادة في وصف التنظيم المستحث بالمثير أو هيكل المخركات اللاحقة، لكنها غير كافية لتحديد ما إذا كانت التمثيلات تعتمد على نفس الأدلة المحلية للمثير. يقدم إطار العمل المقترح منظورًا تكميليًا من خلال التساؤل عما إذا كان تمثلين ما يجعلان اتجاهات المثير الصغيرة قابلة للتمييز في المتوسط.

تشمل الادعاءات الرئيسية ما يلي:

• التشابه النسبي للعائلة: يتم تعريف الاتفاق بالنسبة لعائلة اضطراب محددة؛ فقد تتفق التمثيلات تحت عائلة واحدة ولا تتفق تحت أخرى.
• المتانة تجاه التحويلات: بما أن الطريقة تعتمد على مصفوفات جاكوبي، فهي غير حساسة للإزاحات اللاحقة التي تكون ثابتة بالنسبة للمثير (مثل مركزية المتوسط العالمي)، مما يعالج أحد عيوب CKA المعروفة.
• الفائدة التجريبية: نجح إطار العمل في استعادة مطابقات الطبقات، وتوليد مجسات تشخيصية قابلة للنقل، وكشف التمايزات في التدريب القوي، وفهم الحساسية المعتمدة على العائلة في البيانات البيولوجية.

يظل المؤلفون متواضعين في طرحهم، مشيرين إلى أن إطار العمل محلي، ويعتمد على مستوى مجموعة البيانات، وعلى العزم الثاني. إنه لا يلتقط الأمثلة المشروطة بالصورة، أو التأثيرات من الرتب العليا، أو السلوك غير الخطي القوي تحت تأثير الاضطرابات المحدودة. ويخلصون إلى أن اختبارات أوسع نطاقًا مطلوبة لتحديد متى توفر هندسة الحساسية على مستوى مجموعة البيانات رؤى علمية مميزة مقارنة بالطرق الموجودة.