From Memorization to Parameter Interference: How Overtraining Experts Harms Model Merging
यह शोध पत्र इस धारणा को चुनौती देता है कि व्यक्तिगत प्रदर्शन के लिए विशेषज्ञ मॉडलों को अनुकूलित करना डाउनस्ट्रीम मॉडल मर्जिंग (model merging) को लाभान्वित करता है, बल्कि यह प्रदर्शित करता है कि ओवरट्रेनिंग से रटने (memorization) और नकारात्मक पैरामीटर हस्तक्षेप (negative parameter interference) की स्थिति उत्पन्न होती है जो मर्ज किए गए प्रदर्शन को कम कर देती है, एक ऐसी समस्या जिसे कार्य-निर्भर अर्ली स्टॉपिंग (task-dependent early stopping) द्वारा प्रभावी ढंग से कम किया जा सकता है।