🤖 machine learning
A Function-Centric Perspective on Flat and Sharp Minima
यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि फ्लैट मिनिमा (flat minima) स्वाभाविक रूप से बेहतर सामान्यीकरण सुनिश्चित करते हैं, और व्यापक अनुभवजन्य अध्ययनों के माध्यम से यह तर्क देता है कि शार्पनेस (sharpness) एक फलन-निर्भर (function-dependent) गुण है — जब मॉडल उचित रूप से नियमित (regularized) किए जाते हैं, तो शार्पर मिनिमा अक्सर बेहतर प्रदर्शन, मजबूती और अंशांकन (calibration) के साथ सहसंबंधित होते हैं, हालांकि कार्य-संचालित शार्पनेस और स्मृति-संचालित शार्पनेस के बीच अंतर करना एक खुला व्यावहारिक प्रश्न बना हुआ है।