ملخص تقني: تحسين الرتبة لتمثيلات الشبكات العصبية الضمنية عالية الدقة

1. بيان المشكلة

أصبحت التمثيلات العصبية الضمنية (INRs) إطار عمل متعدد الاستخدامات لنمذجة مختلف أنماط الإشارات، بما في ذلك الأشكال، والصور، والمشاهد، والبيانات الطبية. ومع ذلك، يُعتقد على نطاق واسع أن الشبكات العصبية متعددة الطبقات (MLPs) التقليدية التي تستخدم دالات تنشيط ReLU القياسية تعاني من "انحياز طيفي" (spectral bias)، وهو قصور بنيوي جوهه يمنعها من تمثيل المحتويات عالية التردد بفعالية.

بناءً على ذلك، ركز المجال بشكل كبير على التدخلات البنيوية للتغلب على هذا الانحياز، مثل تضمينات الإحداثيات (مثل الميزات الفورية - Fourier Features) ودالات التنشيط المتخصصة (مثل SIREN وWIRE). وبينما تعمل هذه الطرق على تحسين القدرة التعبيرية، إلا أنها تفرض تحديات جديدة: فالبنى شديدة التعبير غالباً ما تفتقر إلى التنظيم الضمني، مما يؤدي إلى ظهور أنماط تذبذبية في المسائل العكسية سيئة التحديد، بينما قد تفشل البنى المنحازة للترددات المنخفضة في تمثيل التفاصيل الدقيقة.

تتحدى هذه الورقة البحثية المفهوم السائد بأن الانحياز للترددات المنخفضة هو عيب بنيوي متأصل. وبدلاً من ذلك، يجادل المؤلفون بأن هذا الانحياز هو عرض لـ تدهور الرتبة المستقرة (stable rank degradation) أثناء التدريب. ويفترضون أن عدم قدرة الـ MLPs التقليدية على ملاءمة الإشارات عالية التردد ينبع من انهيار الأبعاد الفعالة لتحديثات الأوزان، وليس من بنية الشبكة نفسها.

2. المنهجية: منظور الرتبة المستقرة

ينقل المؤلفون التركيز من التصميم البنيوي إلى ديناميكيات التحسين، باستخدام مفهوم الرتبة المستقرة (stable rank) كمعيار موحد.

2.1 الإطار النظري

تؤسس الورقة رابطاً جبرياً خطياً بين التنشيطات وتحديثات الأوزان. بالنسبة لطبقة $l$، يتم تعريف التدرج بالنسبة للأوزان كحاصل الضرب الخارجي للتدرج العلوي وتنشيطات المدخلات: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• قيد الرتبة: يكون الفضاء الصفّي لتحديث الوزن محتوى ضمن امتداد تنشيطات الدفعة ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• التدهور: في الشبكات القائمة على الإحداثيات، غالباً ما تقع تنشيطات المدخلات في فضاءات فرعية منخفضة الأبعاد. ومع انتقال الإشارات عبر الطبقات، يمكن لغير الخطية أن تزيد الرتبة محلياً، ولكن بدون تدخلات محددة، تميل الشبكة للعمل على فضاءات فرعية تتناقص أبعادها تدريجياً، مما يؤدي إلى "انهيار الرتبة".
• الرتبة المستقرة: يستخدم المؤلفون الرتبة المستقرة، $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$، لقياس الأبعاد الفعالة لهذه التحديثات. تشير الرتبة المستقرة المنخفضة إلى أن التحديث يتركز في اتجاهات مفردة قليلة، مما يحد من قدرة الشبكة على تعلم التفاصيل عالية التردد.

2.2 إعادة تفسير التدخلات الحالية

يعيد المؤلفون تفسير التعديلات البنيوية الشائعة من خلال هذا المنظور:

• على مستوى المدخلات (مثل الميزات الفورية): تعمل هذه على توسيع مصفوفة مدخلات الدفعة $H_0$، مما يزيد الحد الأعلى للرتبة المستقرة لتحديث الطبقة الأولى.
• على مستوى التنشيط (مثل SIREN وBatchNorm): تهدف هذه إلى الحفاظ على امتداد التنشيطات $H_l$ طوال الشبكة، مما يمنع تناقص الرتبة مع العمق.

2.3 الحل المقترح: مُحسن Muon

تقترح الورقة أن العلاج الأكثر مباشرة هو التدخل على مستوى المُحسن (optimizer level). حيث قدموا Muon، وهو مُحسن متعامد مصمم لفرض التماثل (isotropy) صراحة في تحديثات التدرج.

• الآلية: بالنسبة لمصفوفة تحديث الأوزان $U$، يقوم Muon برسمها لتصبح أقرب مصفوفة شبه متعامدة $Ortho(U)$ (عبر تكرار Newton-Schulz، كتقريب لـ SVD). هذا يجبر التحديث على التوزع بالتساوي عبر جميع الاتجاهات المفردة، مما يعظم الرتبة المستقرة للتحديث لتصل إلى $\min(d_l, d_{l+1})$.
• التنفيذ: يتم تطبيق Muon على مصفوفات أوزان الطبقات المخفية، بينما يتم الاحتفاظ بخوارزمية Adam القياسية للتحيزات ومعاملات المدخلات/المخرجات للحفاظ على الاستقرار والكفاءة. هذا النهج مستقل عن النموذج ويعمل على التدرجات الفعلية لكل خطوة.

3. المساهمات الرئيسية

1. الرتبة المستقرة كمعيار موحد: تقترح الورقة الرتبة المستقرة كمقياس رئيسي للقدرة التعبيرية في الـ INRs، مجادلة بأن تدهور الرتبة أثناء التدريب، وليس القيود البنيوية، هو السبب الرئيسي للانحياز للترددات المنخفضة في الـ MLPs التقليدية.
2. إطار عمل موحد: توفر إطاراً يشرح فعالية التعديلات البنيوية المتنوعة (تضمينات الإحداثيات، التنشيطات البديلة) كوسائل لزيادة أو الحفاظ على الرتبة المستقرة.
3. مُحسن Muon: يقترح المؤلفون Muon، وهو مُحسن متعامد يمنع انهيار الرتبة صراحة، مما يعمل كعلاج طبيعي لتعلم الإشارات عالية الدقة دون الحاجة لتغييرات بنيوية.
4. التحقق التجريبي: تُظهر التجارب المكثفة أن Muon يحسن الأداء بشكل كبير عبر جميع البنى المختبرة (ReLU MLPs، SIREN، FINER، إلخ) ومختلف الأنماط (الصور، الصوت، الأشكال ثلاثية الأبعاد، الأشعة المقطعية الطبية، NeRFs).

4. النتائج التجريبية

قيم المؤلفون أداء Muon مقابل Adam (وLion) عبر أربعة مجالات:

• الإفراط في ملاءمة الصور (مجموعة بيانات Kodak):

  • حسن Muon جودة PSNR لشبكات ReLU MLPs التقليدية بمقدار ~7–8 ديسيبل (من ~22.8 إلى ~30.0 ديسيبل)، مما جعلها تضاهي شبكات الميزات الفورية (FFNs) المدربة باستخدام Adam.
  • لوحظت مكاسب كبيرة (2–4 ديسيبل) أيضاً لشبكات Gaussian MLPs وSIREN وFINER.
  • أظهر تحليل الرتبة المستقرة أن Muon يحافظ على رتبة عالية في الطبقات المخفية، بينما تظهر Adam وLion انهياراً كبيراً في الرتبة.

• الإفراط في ملاءمة الصوت:

  • حقق Muon نسبة إشارة إلى ضوضاء (SNR) أعلى بكثير عبر جميع البنى. بالنسبة لـ ReLU FFN، تحسنت نسبة SNR بمقدار +12.5 ديسيبل.
  • فشلت شبكات ReLU MLPs في إعادة بناء مقاطع صوتية طويلة باستخدام Adam، لكنها نجحت مع Muon (في مقاطع أقصر)، مما يشير إلى أن الفشل كان بسبب عدم استقرار التحسين وليس بسبب حدود السعة.

• مجالات المسافة الموقعة (SDF):

  • في مجموعتي بيانات Armadillo وThai Statue، قلل Muon من مسافة Chamfer وحسن IoU، لا سيما في البنى الصغيرة (8x32).

• المسائل العكسية:

  • إعادة بناء الأشعة المقطعية (CT Reconstruction): حسن Muon قيمة PSNR بمقدار يصل إلى +7 ديسيبل لشبكات ReLU MLPs في إعادة بناء الأشعة المقطعية ذات الرؤية المتفرقة، مما قلل من العيوب في الهياكل غير المتجانسة.
  • التعزيز الفائق للصورة الواحدة (SISR): جعل Muon شبكات ReLU FFN فعالة للغاية، متفوقة على البنى ذات الانحياز القوي للترددات العالية (مثل FINER) في بعض المقاييس، ويرجع ذلك على الأرجح إلى الانحياز المفيد للترددات المنخفضة في ReLU مقترناً بالتحديثات المتعامدة.
  • حقول الإشعاع العصبية (NeRF): قلل Muon من عيوب إعادة البناء وحسن PSNR بمقدار يصل إلى +9 ديسيبل في المشاهد الاصطناعية (مثل Chair, Hotdog)، مما أدى إلى إعادة بناء أكثر دقة للمشاهد.

5. الأهمية والادعاءات

تزعم الورقة أن التحسين هو محور ثالث غير مستكشف كفاية في تصميم الـ INR، وهو مكمل للتدخلات على مستوى المدخلات والتنشيط.

• تحدي الحتمية البنيوية: تتحدى النتائج التصور بأن التغييرات البنيوية هي المحرك الأساسي لأداء الـ INR. يثبت المؤلفون أن التحسين وحده يمكن أن يؤثر بشكل كبير على دقة النموذج، مما يمكّن الـ ReLU MLPs البسيطة من تمثيل إشارات عالية التردد بدقة عالية.
• التأثيرات الإضافية: تجادل الورقة بأن التدخلات على مستوى المدخلات، والتنشيط، والتحسين تعمل على محاور متميزة ومتكاملة. ودمجها (مثل استخدام Muon مع الميزات الفورية) يعطي أكثر عمليات إعادة البناء دقة.
• الأثر العملي: باستخدام Muon، يمكن للممارسين تحقيق نتائج عالية الدقة باستخدام بنى أبسط وأكثر متانة (مثل ReLU MLPs) تكون أقل عرضة لأنماط التذبذب التي تظهر غالباً في الشبكات المتخصصة شديدة التعبير.

6. القيود

يقر المؤلفون بعدة قيود:

• الرتبة المستهدفة: يعمل إطار الرتبة المستقرة كأدا-ة تشخيصية ولكنه لا يتنبأ بالرتبة المستهدفة المثلى. في بعض المسائل العكسية سيئة التحديد، قد تعمل الرتبة المستقرة المستحثة المنخفضة كمنظم ضمني مفيد.
• التقريب: يستخدم Muon تقريب Newton-Schulz للتعامد. لم تدرس الورقة بعمق تداعيات هذا التقريب، حيث تعتبر Muon كنقطة في فضاء تصميم أوسع وليس كحل نهائي مثالي.
• تعقيد الضبط: يضيف Muon تعقيداً إضافياً في الضبط فيما يتعلق بجداول معدل التعلم (معدلات منفصلة لمعاملات Muon ومعاملات Adam المساعدة).
• فجوة القدرة التعبيرية: رغم أن Muon يقلص الفجوة، إلا أن شبكة ReLU MLP المدربة باستخدام Muon تظل أقل تعبيراً من البنى المتخصصة مثل SIREN أو FINER في جميع الإعدادات.