Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

तकनीकी सारांश: Fora: क्षमता-संरक्षण वाले फाइन-ट्यूनिंग में वेट-स्पेस से फंक्शन-स्पेस सुरक्षा तक

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का फुल फाइन-ट्यूनिंग नए कार्यों के अनुकूल होने के लिए उच्च अभिव्यंजना (expressiveness) प्रदान करता है, लेकिन यह एक महत्वपूर्ण जोखिम भी लाता है: अनियंत्रित ग्रेडिएंट्स उन कार्यात्मक मार्गों (functional pathways) को ओवरराइट कर सकते हैं जो मॉडल के पास पहले से मौजूद क्षमताओं के रूप में विद्यमान हैं। मौजूदा समाधान—रेगुलराइजेशन (जैसे EWC, L2-SP) से लेकर डिस्टिलेशन और ग्रेडिएंट प्रोजेक्शन तक—क्षमताओं को प्रॉक्सियों (proxies) के माध्यम से सुरक्षित करते हैं। ये प्रॉक्सी पैरामीटर दूरी, महत्व दंड (importance penalties), आउटपुट मिलान, या वेट मैट्रिक्स के प्रमुख सिंगुलर दिशाओं ($V_1$ from SVD) पर आधारित होते हैं।

यह शोध पत्र तर्क देता है कि ये प्रॉक्सी इस परिचालन प्रश्न का उत्तर देने में विफल रहते हैं: वह कौन सी एक्टिवेशन दिशाएं हैं जिन पर वास्तव में वह संरक्षित क्षमता निर्भर करती है? प्री-ट्रेंड वेट मैट्रिक्स ($W_0$) के प्रमुख सिंगुलर वेक्टर्स यह सारांश देते हैं कि वेट कहाँ बड़ा है (जो सभी सीखी गई क्षमताओं का एक समुच्चय है), जो कि किसी एक विशिष्ट क्षमता (जैसे, अनुवाद शायद मध्यम सिंगुलर घटकों या डायगोनल ओरिएंटेशन पर निर्भर हो सकता है) के लिए आवश्यक विशिष्ट एक्टिवेशन पैटर्न के साथ संरेखित नहीं हो सकता है। फलस्वरूप, $V_1$ को सुरक्षित करना एक ऐसे सबस्पेस को बाधित करता है जो क्षमता के साथ मिसअलाइन (misaligned) है, जिससे उप-इष्टतम (suboptimal) संरक्षण होता है।

2. कार्यप्रणाली: Fora (फंक्शन-स्पेस ऑर्थोगोनल रेसिडुअल अडैप्टेशन)

प्रस्तावित विधि, Fora, क्षमता संरक्षण को फंक्शन-स्पेस प्रोटेक्शन के रूप में पुनर्गठित करती है। वेट मैट्रिक्स की ज्यामिति (geometry) को सुरक्षित करने के बजाय, Fora उस एक्टिवेशन सबस्पेस को सुरक्षित करती है जो स्वयं क्षमता द्वारा प्रेरित होता है।

मुख्य तंत्र (Core Mechanism):

1. फंक्शन-स्पेस प्रोजेक्शन ($P_Q$):

   • संरक्षित क्षमता से प्राप्त लेबल-मुक्त कैलिब्रेशन इनपुट्स ($D_{pres}$) का उपयोग करके, यह विधि प्रत्येक लेयर के लिए इनपुट एक्टिवेशंस एकत्र करती है।
   • यह इन एक्टिवेशंस का कोवेरिएंस (covariance) गणना करती है और शीर्ष-$k$ आइजनवेक्टर्स ($Q$) निकालती है, जो क्षमता के फंक्शनल सिग्नेचर की प्रमुख दिशाओं का प्रतिनिधित्व करते हैं।
   • एक राइट प्रोजेक्टर बनाया जाता है: $P_Q = I - QQ^\top$। यह प्रोजेक्टर क्षमता के फंक्शन दिशाओं को "पढ़ने" (कार्य करने) से अपडेट को रोकता है।

2. वेट-स्पेस प्रोजेक्शन ($P_U$):

   • प्री-ट्रेंड वेट $W_0 = U\Sigma V^\top$ के SVD से व्युत्पन्न, एक लेफ्ट प्रोजेक्टर $P_U = I - U_1U_1^\top$ बनाया जाता है ताकि मूल वेट की प्रमुख आउटपुट दिशाओं में 'राइट' (लिखने) को रोका जा सके।

3. अपडेट नियम (The Update Rule):
   पूर्ण-रैंक अपडेट $\Delta W$ को दो पूरक चैनलों में विभाजित किया जाता है:
   $$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{उच्च-क्षमता, फंक्शन-संरक्षित}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{नियंत्रित स्पेक्ट्रल चैनल}}$$

   • उच्च-क्षमता शाखा ($P_U M P_Q$): एक डेंस मैट्रिक्स $M$ जो क्षमता के इनपुट दिशाओं ($P_Q$) और वेट की प्रमुख आउटपुट दिशाओं ($P_U$) को छोड़कर सभी दिशाओं के लिए पूर्ण अभिव्यंजना शक्ति बनाए रखता है।
   • स्पेक्ट्रल चैनल ($U_2 D_\delta V_2^\top$): $W_0$ के रेसिडुअल सिंगुलर वैल्यूज से प्राप्त एक संकीर्ण, कम डिग्री-ऑफ-फ्रीडम वाला चैनल। महत्वपूर्ण रूप से, यह वही एकमात्र घटक है जिसे संरक्षित सबस्पेस ($\text{span}(Q)$) में इनपुट पर प्रतिक्रिया करने की अनुमति है। यह बाउंडेड प्लास्टिसिटी (bounded plasticity) प्रदान करता है, जिससे क्षमता को पूरी तरह से फ्रीज किए बिना कैलिब्रेटेड समायोजन संभव होता है।

4. लो-रैंक एक्सटेंशन:
   यह विधि $\frac{\alpha}{r} BA$ के रूप में डेंस मैट्रिक्स $M$ को लो-रैंक प्रोडक्ट से बदलकर पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तक विस्तारित होती है, जिसे Fora-LR कहा जाता है।

3. मुख्य योगदान

1. संरक्षण का पुनर्गठन: पेपर प्रस्तावित करता है कि क्षमता संरक्षण को वेट-व्युत्पन्न सिंगुलर दिशाओं ($V_1$) के बजाय एक्टिवेशन सबस्पेस ($Q$) को सुरक्षित करके बेहतर ढंग से प्राप्त किया जा सकता है।
2. संरचनात्मक डिजाइन (Fora): यह एक स्ट्रक्चरली कंस्ट्रेंड फुल-रैंक अपडेट पेश करता है जो सुरक्षा और प्लास्टिसिटी को अलग करता है। हाई-कैपेसिटी ब्रांच क्षमता-संवेदनशील दिशाओं को पढ़ने से संरचनात्मक रूप से वर्जित है, जबकि एक समर्पित स्पेक्ट्रल चैनल उन विशिष्ट दिशाओं पर नियंत्रित अनुकूलन प्रदान करता है।
3. मैकेनिस्टिक अंतर्दृष्टि: नियंत्रित एब्लेशन के माध्यम से, पेपर प्रदर्शित करता है कि प्रदर्शन में सुधार विशेष रूप से प्रोजेक्शन के स्रोत (क्षमता-व्युत्पन्न बनाम वेट-व्युत्पन्न) से आता है, न कि केवल प्रोजेक्शन की क्रिया से।
4. अनुभवजन्य सत्यापन: विधि को तीन सेटिंग्स में Qwen3-1.7B पर लागू किया गया, जो वेट-स्पेस प्रोजेक्शन और मानक रेगुलराइजेशन की तुलना में निरंतर श्रेष्ठता दिखाती है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-1.7B पर तीन अलग-अलग सेटिंग्स में किए गए थे:

• Trans $\to$ COGS: अनुवाद को संरक्षित करते हुए कंपोजिशनल सिमेंटिक पार्सिंग सीखना।
• Trans $\to$ GSM8K: अनुवाद को संरक्षित करते हुए ग्रेड-स्कूल मैथ सीखना।
• Math $\to$ Trans: गणितीय तर्क को संरक्षित करते हुए अनुवाद सीखना।

प्रमुख निष्कर्ष:

• श्रेष्ठ संरक्षण: क्षमता को संरक्षित करने में Fora लगातार वेट-स्पेस प्रोजेक्शन ($P_V$), रेगुलराइजेशन (EWC, L2-SP), और डिस्टिलेशन (LwF) से बेहतर प्रदर्शन करता है।
  • उदाहरण: Trans $\to$ COGS में, Fora ने अनुवाद पर्कप्लेक्सिटी (PPL) को 4.39 (4.35 बेसलाइन के करीब) पर बनाए रखा, जबकि वेट-स्पेस प्रोजेक्शन ने इसे 4.86 तक गिरा दिया (अनप्रोटेक्टेड फुल फाइन-ट्यूनिंग से भी खराब)।
  • उदाहरण: Math $\to$ Trans में, Fora ने GSM8K सटीकता को बेसलाइन के 0.86 अंक के भीतर बनाए रखा, जबकि फुल फाइन-ट्यूनिंग में 2.27 अंकों की गिरावट देखी गई।
• नए कार्य का प्रदर्शन: Fora नए कार्य पर प्रतिस्पर्धी या बेहतर प्रदर्शन प्राप्त करता है। Trans $\to$ GSM8K सेटिंग में, Fora ने सभी विधियों में उच्चतम GSM8K एक्जैक्ट मैच (46.87%) प्राप्त किया।
• एब्लेशन अंतर्दृष्टि:
  • प्रोजेक्शन स्रोत: राइट प्रोजेक्टर को $P_V$ (वेट-व्युत्पन्न) से बदलकर $P_Q$ (फंक्शन-व्युत्पन्न) करना बेहतर संरक्षण के लिए निर्णायक कारक था।
  • स्पेक्ट्रल चैनल: स्पेक्ट्रल चैनल ($\delta$) को जोड़ने से क्षमता को नुकसान पहुँचाए बिना नए-कार्य के प्रदर्शन में छोटे लेकिन निरंतर लाभ (जैसे, +0.21 GSM8K EM) मिले, जो "बाउंडेड प्लास्टिसिटी" डिजाइन को प्रमाणित करता है।
• लो-रैंक सामान्यीकरण: Fora-LR वेरिएंट ने प्रदर्शित किया कि सुरक्षा तंत्र पैरामीटर-एफिशिएंट सेटिंग्स में भी स्थानांतरित होता है, जो संरक्षण मेट्रिक्स में वेट-स्पेस लोरा वेरिएंट (OPLoRA) से बेहतर प्रदर्शन करता है।

5. महत्व और दावे

पेपर दावा करता है कि वेट-व्युत्पन्न सिंगुलर दिशाओं की तुलना में एक्टिवेशन-व्युत्पन्न फंक्शन सबस्पेस सुरक्षा के लिए अधिक विश्वसनीय लक्ष्य हैं। वेट मैट्रिक्स की ज्यामिति से सुरक्षा के लक्ष्य को हटाकर, क्षमता के वास्तविक एक्टिवेशन फुटप्रिंट की ओर शिफ्ट होकर, Forा उस मिसअलाइनमेंट से बचता है जो मौजूदा वेट-स्पेस प्रोजेक्शन विधियों को प्रभावित करता है।

लेखक इस बात पर जोर देते हैं कि यह एक स्ट्रक्चरल समाधान है: सुरक्षा पैरामीट्राइजेशन ($P_U M P_Q$) द्वारा गारंटीकृत है, न कि ऑप्टिमाइजेशन ट्रेजेक्टरी या विशिष्ट ग्रेडिएंट अवस्थाओं पर निर्भर है। हालांकि इसके लिए लेबल-मुक्त कैलिब्रेशन डेटा की आवश्यकता होती है, लेकिन इसे प्रशिक्षण के दौरान टास्क डेटा या लेबल स्टोर करने की आवश्यकता नहीं है, जो इसे रीप्ले-आधारित दृष्टिकोणों से अलग करता है। पेपर निष्कर्ष निकालता है कि फंक्शन-स्पेस प्रोटेक्शन प्लास्टिसिटी और स्थिरता के बीच संतुलन बनाने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जो नए-कार्य सीखने पर न्यूनतम ट्रेड-ऑफ के साथ मजबूत संरक्षण प्राप्त करता है।