Is Class Signal Clustered or Routed in Task-Induced Implicit Neural Representation Weight Spaces?

ملخص تقني: هل إشارة الفئة متكتلة أم موجهة في فضاءات الأوزان للتمثيل العصبي الضمني المستحث بالمهام؟

بيان المشكلة
تقوم التمثيلات العصبية الضمنية (INRs) بتشفير الصور كمعلمات (أوزان) لشبكات عصبية، مما يحول تصنيف الصور إلى مشكلة قابلية التصنيف في فضاء الأوزان. تقترح فرضية هندسية سائدة أن التغذية الراجعة للمصنف يجب أن تنظم أوزان الصور الخاصة في تكتلات متميزة ومحاذية للفئات ضمن فضاء إحداثي مشترك (تحديداً، إحداثي متبقي بالنسبة لتهيئة مشتركة). وإذا كان هذا صحيحاً، فإن الخصائص الهندسية الخام لهذه الأوزان (مثل اتساق الجار الأقرب، والبنية الطيفية) يجب أن ترتبط مباشرة بدقة المصنف. يستقصي هذا البحث ما إذا كانت أوزان الـ INR المستحثة بالمهام "متكتلة" بطبيعتها حسب الفئة في هندستها الأصلية، أم أن القابلية للتصنيف هي بدلاً من ذلك "موجهة" عبر آلية القارئ اللاحقة.

المنهجية
يستخدم المؤلفون إطار عمل "محول الوزن الميتا" (Meta Weight Transformer - MWT)، الذي يتعلم ميتاً تهيئة SIREN مشتركة وجدول تحديث للحلقة الداخلية. في هذا النظام، يتم ضبط نماذج SIREN الخاصة بكل صورة عبر خطوات تدرج قليلة من مرساة $\theta$، مما ينتج إحداثياً متبقياً $\Delta_x = \phi_x - \theta$. ثم يقوم قارئ مدرب بتصنيف هذه الأوزان.

تدرس الدراسة فرضيتين متنافستين:

1. فرضية التكتل (Clustered Hypothesis): يتم كتابة معلومات الفئة مباشرة في الإحداثي المرتكز. لذلك، فإن التشخيصات الهندسية المعروضة (اتساق الجار الأقرب، ملخصات المكونات، الإحصاءات الطيفية) يجب أن تتبع بدقة دقة القارئ المدرب. الضغط المطلوب للتكتل الخاضع للإشراف (مثل خسارة المركز - Center Loss) يجب أن يحسن كلاً من الهندسة المحلية وأداء القارئ.
2. فرضية التوجيه (Routed Hypothesis): توجد معلومات الفئة في الأوزان ولكنها ليست مرتبة كتكتلات مترية بسيطة في الإحداثي الخام. بدلاً من ذلك، يقوم القارئ ببناء هندسة محاذية للفئة من خلال تفاعلات الرموز (tokens). تعتمد القابلية للتصنيف على قنوات محددة موجهة داخل رموز الأوزان المعززة بدلاً من البنية الهندسية العالمية.

يستخدم المؤلفون سلسلة من التشخيصات والتدخلات:

• فجوة الهندسة مقابل الدقة: يقيسون هندسة الإحداثي المعروض (مثل اتساق فئة الـ 5-NN) مقابل دقة الـ Top-1 للقارئ المدرب تحت ضغوط تدريب مختلفة (متكتلة مقابل غير متكتلة).
• تشخيصات تدفق الرموز (Token-Flow Diagnostics): يتتبعون الجيران المتسقين مع الفئة من مدخل القار actually حتى طبقات التراسمر المتتالية لتحديد مكان صيرورة البنية الفئوية قابلة للقراءة.
• التدخلات السببية: يستهدفون إحداثيات محددة داخل الرمز المعزز، وتحديداً إدخال انحياز SIREN (الرمز $b$)، لاختبار ما إذا كان يعمل كمسار قراءة سببي.
• ضوابط الاستجابة للدالة (Function-Response Controls): يقارنون بين "قارئ الوزن" وبين "قارئ استجابة الدالة" الذي يصنف بناءً على مخرجات SIREN المتفرقة دون الوصول إلى الأوزان، لاستبعاد احتمال أن القارئ يستغل فقط الدالة المتحققة بدلاً من هندسة الوزن.

النتائج الرئيسية

1. فجوة الهندسة–القابلية للتصنيف: لا تتنبأ هندسة الإحداثي الخام المعروضة بشكل موثوق بدقة القارئ المدرب. والأهم من ذلك، أن تطبيق "ضغط التكتل" (خسائر التراص الخاضعة للإشراف) يحسن اتساق الجوار المحلي (على سبيل المثال، ترتفع دقة 5-NN) ولكنه يقلل من دقة الـ Top-1 للقارئ المدرب. هذا الفصل يدحض فكرة أن التكتل الهندسي الخام هو المحرك الأساسي للقابلية للتصنيف.
2. بناء الهندسة بواسطة القارئ: الجيران المحاذية للفئة ليست موجودة عند مدخل القارئ. تظهر تشخيصات تدفق الرموز أن اتساق الجار الأقرب للفئة يرتفع بشكل ملحوظ فقط في حالات القارئ المتأخرة (مثل $h^{(9)}$)، مما يشير إلى أن القارئ يبني بنشاط تمثيلات محاذية للفئة بدلاً من وراثةها من الإحداثي المدخل.
3. مسار عمود الانحياز (The Bias-Column Route): يحدد المؤلفون إحداثي انحياز SIREN (الرمز $b$) ضمن الرمز المعزز كمسار قراءة سببي ومدمج. التدخلات التي تحيد أو تخلط إحداثي $b$ تسبب انخفاضات كبيرة في الدقة (13.5–20.3 نقطة مئوية)، بينما يكون للتدخلات المماثلة على إحداثيات الأوزان ($W$) تأثير ضئيل. مسار الانحياز يعتمد على العينة ومتميز عن الإزاحات الموضعية المتعلمة.
4. التدخلات غير الجمعية: التدخلات التي تستهدف آلية التوجيه (مثل قراءات مسار الانحياز الصريحة، أو التوجيه ذو التوافق العشوائي) غالباً ما تتفوق على خط الأساس، لكن مكاسبها لا تتجمع بشكل جمعي. هذا يشير إلى أن المكاسب تعتمد على حالة القارئ وتفاعل المسارات، بدلاً من كونها تحسينات نمطية مستقلة.
5. محدودية استجابة الدالة: القارئ الذي يستخدم استجابات دالة متفرقة فقط (بدون الوصول إلى الأوزان) يفشل في إعادة إنتاج ترتيب الباعث (emitter ranking) الذي حققه قارئ الوزن، مما يؤكد أن قارئ الوزن يعتمد على هياكل رموز أوزان محددة (مثل مسار الانحياز) بدلاً من مجرد مخرجات الدالة.

المساهمات الرئيسية

1. صياغة المتكتل مقابل الموجه: يضع البحث تمييزاً رسمياً بين القابلية للتصنيف كخاصية هندسية موروثة للأوزان مقابل خاصية مبنية من معالجة رموز القارئ.
2. فجوة الهندسة–القابلية للتصنيف: يثبت أن هيكل الإحداثي الخام المعروض (حتى لو تم إجباره على التراص) لا يفسر سلوك القارئ المدرب، مما يتحدى الافتراض بأن تعلم فضاء الأوزان يعتمد على الهندسة المترية الخام.
3. تفسير توجيه القارئ: يحدد آلية مرئية للقارئ (عمود انحياز SIREN) تعمل كمسار قصير، سببي، ومنخفض الأبعاد للإشارات الفئوية، ويتم التحقق من ذلك من خلال تدخلات مستهدفة وضوابط.

الأهمية والادعاءات
يخلص البحث إلى أنه في فضاءات أوزان SIREN العالمية المستحثة بالمهام، يتم توجيه إشارات الفئة بدلاً من تكتلها. يجادل المؤلفون بأن البنية الفئوية القابلة للاستخدام ليست خاصية جوهرية للجوارات المترية الخام أو المسابير الضحلة في الإحداثي الأصلي. بدلاً من ذلك، يبني القارء المدرب هندسة محاذية للفئة من خلال تفاعلات الرموز في المراحل المتأخرة، مستخدماً قنوات محددة مثل إدخال انحياز SIREN كمسارات قراءة سببية.

تكمن الأهمية في نقل التركيز من البحث عن التكتلات الهندسية الخام في تعلم فضاء الأوزان إلى فهم آليات القراءة. تشير النتائج إلى أن التدخلات يجب أن تستهدف مسارات التوجيه وحالات القارئ التي تجعل المعلومات الفئوية قابلة للاستخدام، بدلاً من محاولة فرض التراص الهندسي الخام في إحداثيات الأوزان. يظل المؤلفون متواضعين في طرحهم، مشيرين إلى أن ادعاءاتهم محددة بنظام MWT وفضاءات SIREN العالمية المستحثة بالمهام، ولا تنطبق بالضرورة على جميع بنيات INR أو هندسات الفضاء القسمي.