🤖 machine learning
Curvature-Guided Mixing for MLLM Adaptation
यह शोध पत्र कर्वेचर-गाइडेड मिक्सिंग (CGM) का प्रस्ताव करता है, जो एक सैद्धांतिक रूप से आधारित ढांचा है जो अनुकूलतम पैरामीटर मिश्रण अनुपातों को विश्लेषणात्मक रूप से व्युत्पन्न करने के लिए द्वितीय-क्रम हेसियन सन्निकटन (second-order Hessian approximations) का उपयोग करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करते हुए कार्य विशिष्टता और सामान्य ज्ञान प्रतिधारण के बीच प्रभावी ढंग से संतुलन बनाता है।