Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking
تؤكد هذه الدراسة التجريبية صحة آلية تنافر الميزات النظرية لتيان (2025) في شبكات الإضافة النمطية، مظهرةً أنه بينما يظل هيكل الإشارة المتوقع لتفاعلات الميزات صامدًا بقوة عبر دالات التنشيط المختلفة، فإن البصمات الطيفية الناتجة في تحديثات المعلمات تعتمد بشكل صارم على مشتق دالة التنشيط، حيث تتيح التنشيطات التربيعية حدوث قفل طيفي من الرتبة الثانية يمكن رصده أثناء عملية "الاستيعاب" (grokking)، وهو ما تفشل تنشيطات "ريلو" (ReLU) في إنتاجه.