🤖 machine learning
Detecting overfitting in Neural Networks during long-horizon grokking using Random Matrix Theory
यह शोध पत्र एक नवीन रैंडम मैट्रिक्स थ्योरी-आधारित विधि प्रस्तुत करता है जो वेट मैट्रिसेस (weight matrices) के भीतर "कोरिलेशन ट्रैप्स" (Correlation Traps) नामक संरचनात्मक विसंगतियों की पहचान करके डीप लर्निंग मॉडल्स में ओवरफिटिंग की शुरुआत, जिसे "एंटी-ग्रोकिंग" (anti-grokking) कहा जाता है, का पता लगाता है, जिससे प्रशिक्षण या परीक्षण डेटा तक पहुँच के बिना भी हानिकारक ओवरफिटिंग का पता लगाना सक्षम होता है।