Supernodes and Halos: Loss-Critical Hubs in LLM Feed-Forward Layers
यह शोध पत्र "सुपरनोड्स" (supernodes) की पहचान करता है—जो कि ट्रांसफॉर्मर फीड-फॉरवर्ड नेटवर्क के भीतर नुकसान-महत्वपूर्ण (loss-critical) चैनलों का एक छोटा, अत्यधिक केंद्रित सेट है—और यह प्रदर्शित करता है कि स्ट्रक्चर्ड प्रूनिंग के दौरान इन चैनलों की सुरक्षा करना पारंपरिक तरीकों की तुलना में मॉडल के प्रदर्शन में महत्वपूर्ण सुधार करता है।