Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise
यह शोध पत्र इस बात की जांच करता है कि कैसे ओवर-पैरामीटराइज्ड न्यूरल नेटवर्क शोर वाले लेबल (noisy labels) को याद करने और अंकगणितीय कार्यों पर सामान्यीकरण (generalize) करने का कार्य एक साथ करते हैं, जो यह प्रकट करता है कि यद्यपि शोर एक आंतरिक सामान्यीकरण संरचना के आउटपुट को दबा देता है, फिर भी इस संरचना को भारी लेबल शोर के तहत भी आवृत्ति-आधारित विधियों (frequency-based methods) के माध्यम से प्रभावी ढंग से पुनर्प्राप्त किया जा सकता है।