तकनीकी सारांश: BiCo – प्रशिक्षण-मुक्त कार्य-वेक्टर हस्तांतरण के लिए द्वैत-रैखिक समन्वय संरेखण (Bilinear Coordinate Alignment)

समस्या विवरण

आधुनिक मशीन लर्निंग में प्रचलित प्रतिमान (paradigm) बड़े पैमाने के पूर्व-प्रशिक्षित (pre-trained) मॉडलों को विशिष्ट डाउनस्ट्रीम कार्यों के लिए फाइन-ट्यूनिंग के माध्यम से अनुकूलित करने का है। हालाँकि, जैसे-जैसे नए वेरिएंट्स के साथ पूर्व-प्रशिक्षित मॉडल परिवार विस्तार करते हैं (जो स्केल, प्री-ट्रेनिंग डेटा या ट्रेनिंग रेसिपी में भिन्न होते हैं), फाइन-ट्यूनिंग के माध्यम से अर्जित विशेषज्ञता मूल मॉडल के विशिष्ट पैरामीट्रिज़ेशन से जुड़ जाती है। फलस्वरूप, जब एक नया मॉडल संस्करण जारी किया जाता है, तो फाइन-ट्यून की गई विशेषज्ञता का सीधे पुन: उपयोग नहीं किया जा सकता, जिससे महंगी और बार-बार होने वाली फाइन-ट्यूनिंग प्रक्रिया की आवश्यकता होती है।

विभिन्न मॉडलों के बीच इस "कार्य-वेक्टर" (task-vector) विशेषज्ञता (जिसे पैरामीटर अंतर $\tau = \theta_{ft} - \theta_{pre}$ के रूप में परिभाषित किया गया है) को स्थानांतरित करने वाले मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं। पैरामीटर-स्पेस संरेखण (जैसे कि परमुटेशन सिमिट्री के माध्यम से री-बेसिन) पर निर्भर विधियों के लिए सख्त आर्किटेक्चरल अनुकूलता और मिलान आयामों (matching dimensions) की आवश्यकता होती है। सक्रियण (activations) या ग्रेडिएंट्स जैसे कार्य-विशिष्ट संकेतों का उपयोग करने वाली हालिया प्रशिक्षण-मुक्त विधियाँ (जैसे THESEUS, GradFix) आंशिक पत्राचार प्रदान करती हैं, लेकिन वे अभी भी लक्षित मॉडल की प्रत्यक्ष फाइन-ट्यूनिंग की तुलना में एक महत्वपूर्ण प्रदर्शन अंतराल प्रदर्शित करती हैं। मुख्य चुनौती यह है कि बिना किसी अतिरिक्त पैरामीटर अपडेट के, अलग-अलग चौड़ाई (widths), गहराई (depths) और प्री-ट्रेनिंग कॉन्फ़िगरेशन वाले मॉडलों के बीच कार्य-वेक्टर को कैसे स्थानांतरित किया जाए।

कार्यप्रणाली: BiCo

लेखक BiCo (द्वैत-रैखिक समन्वय संरेखण) प्रस्तावित करते हैं, जो एक प्रशिक्षण-मुक्त ढांचा है जो कार्य-वेक्टर हस्तांतरण को एक द्वैत-स्थान संरेखण (dual-space alignment) समस्या के रूप में पुनर्गठित करता है।

1. सैद्धांतिक अंतर्दृष्टि: कार्य-वेक्टरों का द्वैत-रैखिक निर्माण (Bilinear Formation)

लेखक एक कार्य-वेक्टर के यांत्रिक निर्माण का पुनरावलोकन करते हैं। ग्रेडिएंट डिसेंट अपडेट नियम का विश्लेषण करके, वे प्रदर्शित करते हैं कि लेयर $l$ के लिए एक कार्य-वेक्टर $\tau^{(l)}$, फाइन-ट्यूनिंग प्रक्षेपवक्र (trajectory) के दौरान इनपुट-साइड सक्रियणों ($x_t$) और आउटपुट-साइड ग्रेडिएंट्स ($g_t$) के बीच द्वैत-रैखिक (bilinear) अंतःक्रियाओं का संचय है:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
यह सूत्रीकरण (formulation) यह दर्शाता है कि एक कार्य-वेक्टर केवल एक पैरामीटर ऑफसेट नहीं है, बल्कि दो अलग-अलग समन्वय स्थानों (coordinate spaces) का एक युग्मन (coupling) है: इनपुट सक्रियण स्थान और आउटपुट ग्रेडिएंट स्थान। लेखक तर्क देते हैं कि सफल हस्तांतरण के लिए केवल सक्रियणों या केवल पैरामीटर्स को संरेखित करने के बजाय, अपडेट की अंतर्नि었던 ज्यामिति (geometry) को संरक्षित करने के लिए दोनों स्थानों को संरेखित करना आवश्यक है।

2. BiCo ढांचा

BiCo एक छोटे अंशांकन सेट (calibration set - $N$ नमूने) और फ्रीज़्ड प्री-ट्रेन्ड मॉडलों के माध्यम से एक एकल फॉरवर्ड-बैकवर्ड पास का उपयोग करके दोनों इनपुट और आउटपुट स्थानों के लिए ऑर्थोगोनल प्रोक्रस्टेस मैपिंग (orthogonal Procrustes mappings) का अनुमान लगाता है। इसमें लक्षित मॉडल के पैरामीटर्स को अपडेट नहीं किया जाता है।

• इनपुट-साइड संरेखण (Input-Side Alignment): यह विधि मानती है कि पूर्व-प्रशिक्षित सक्रियण, प्रक्षेपवक्र सक्रियणों के प्रभावी प्रॉक्सी के रूप में कार्य करते हैं। यह स्रोत पूर्व-प्रशिक्षित सक्रियणों ($\bar{X}_{A,pre}$) और लक्षित पूर्व-प्रशिक्षित सक्रियणों ($\bar{X}_{B,pre}$) के बीच क्रॉस-कोवेरिएंस (cross-covariance) की गणना करता है। संबंधात्मक ज्यामिति (जिसे सेंटर्ड कर्नल एलाइनमेंट, CKA द्वारा मापा जाता है) को संरक्षित करते हुए स्रोत इनपुट निर्देशांकों को लक्षित इनपुट स्पेस में मैप करने के लिए सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से एक ऑर्थोगोनल प्रोक्रस्टेस समाधान ($R_{in}$) प्राप्त किया जाता है।
• आउटपुट-साइड संरेखण (Output-Side Alignment): इसी तरह, विधि पूर्व-प्रशिक्षित इनिशियलाइजेशन पर लेयर आउटपुट्स के सापेक्ष ग्रेडिएंट्स ($\bar{G}_{A,pre}$ और $\bar{G}_{B,pre}$) की गणना करती है। आउटपुट ग्रेडिएंट निर्देशांकों को संरेखित करने के लिए दूसरा ऑर्थोगोनल प्रोक्रस्टेस समाधान ($R_{out}$) अनुमानित किया जाता है। यह चरण महत्वपूर्ण है क्योंकि आउटपुट आयाम अक्सर स्रोत और लक्ष्य मॉडलों के बीच भिन्न होते हैं, और "कार्य-संवेदनशील" दिशाएं विभिन्न आधारों (bases) में एनकोडेड हो सकती हैं।
• कार्य-वेक्टर हस्तांतरण (Task-Vector Transfer): स्रोत कार्य-वेक्टर $\tau_A^{(l)}$ को द्वैत-रैखिक संरचना के दोनों पक्षों पर सीखे गए मैपिंग लागू करके लक्षित-अनुकूल अपडेट $\hat{\tau}_B^{(l)}$ में परिवर्तित किया जाता है:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  अंतिम लक्षित मॉडल को $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$ के रूप में अपडेट किया जाता है।

3. संरचनात्मक विसंगतियों को संभालना (Handling Structural Mismatches)

• चौड़ाई विसंगति (Width Mismatch): प्रोक्रस्टेस सूत्रीकरण स्वाभाविक रूप से उन मामलों को संभालता है जहाँ इनपुट/आउटपुट आयाम भिन्न होते हैं (जैसे, नैरो-टू-वाइड या वाइड-टू-नैरो), क्योंकि यह इष्टतम ऑर्थोगोनल प्रोजेक्शन खोजता है।
• गहराई विसंगति (Depth Mismatch): मॉडलों के अलग-अलग लेयर्स की संख्या वाले मामलों के लिए, एक सरल डिस्क्रीट लेयर-इंडेक्स मैचिंग रणनीति का उपयोग किया जाता है, जो लक्षित लेयर $j$ को निकटतम स्रोत लेयर $i(j)$ से मैप करती है।

मुख्य योगदान

1. कार्य-वेक्टर निर्माण का पुनरावलोकन: यह पेपर स्थापित करता है कि कार्य-वेक्टर इनपुट सक्रियणों और आउटपुट ग्रेडिएंट्स के बीच द्वैत-रैखिक अंतःक्रियाओं का संचय हैं, जो एकल-स्थान या पैरामीटर-स्थान संरेखण के बजाय एक द्वैत-स्थान संरेखण दृष्टिकोण को प्रेरित करता है।
2. BiCo ढांचा: इनपुट सक्रियणों और आउटपुट ग्रेडिएंट्स पर ऑर्थोगोनल प्रोक्रस्टेस संरेखण का उपयोग करके कार्य-वेक्टरों को स्थानांतरित करने के लिए एक प्रशिक्षण-मुक्त विधि का परिचय। इसके लिए केवल एक एकल फॉरवर्ड-बैकवर्ड पास की आवश्यकता होती है और इसमें कोई पैरामीटर अपडेट या हाइपरपैरामीटर ट्यूनिंग शामिल नहीं है।
3. अनुभवजन्य सत्यापन (Empirical Validation): कंप्यूटर विज़न (8-Vision बेंचमार्क) और नेचुरल लैंग्वेज प्रोसेसिंग (GLUE suite) बेंचमार्क में व्यापक प्रयोगों से पता चलता है कि BiCo लगातार मौजूदा प्रशिक्षण-मुक्त बेसलाइन्स (जैसे THESEUS, GradFix, TransFusion) को पछाड़ता है और प्रत्यक्ष फाइन-ट्यूनिंग के साथ प्रदर्शन अंतराल को कम करता है, यहाँ तक कि अलग-अलग चौड़ाई, गहराई और प्री-ट्रेनिंग वितरण वाले मॉडलों के बीच भी।

परिणाम

• चौड़ाई स्केलिंग (Width Scaling): ViT-B/16 से एक अधिक चौड़े ViT-B/16-plus में स्थानांतरित करते समय, BiCo नैव (naive) पैडिंग और THESEUS की तुलना में काफी बेहतर प्रदर्शन करता है। केवल 100 अंशांकन नमूनों के साथ, BiCo ज़ीरो-शॉट बेसलाइन पर औसतन +18.88% की सटीकता वृद्धि प्राप्त करता है, जबकि THESEUS के लिए यह +3.81% है।
• समान आर्किटेक्चर: भले ही आर्किटेक्चर समान हों लेकिन प्री-ट्रेनिंग डेटा भिन्न हो (Datacomp-XL से LAION-2B), नैव ट्रांसफर प्रदर्शन को कम कर देता है। BiCo प्रति क्लास 5 शॉट्स के साथ ज़ीरो-शॉट बेसलाइन पर +17.81% की औसत सटीकता सुधार करता है, जो GradFix और THESEUS से काफी बेहतर है।
• गहराई और चौड़ाई स्केलिंग: गहराई और चौड़ाई दोनों विसंगतियों वाले चुनौतीपूर्ण परिदृश्यों में (ViT-B/16 से ViT-L/14), BiCo ज़ीरो-शॉट बेसलाइन में +12.89% का सुधार करता है, जो संरचनात्मक सामान्यीकरण (structural generalizability) को प्रदर्शित करता है।
• NLP सामान्यीकरण: T5 मॉडलों (T5-3B से T5-Large) पर लागू होने पर, BiCo GLUE कार्यों में लीनियर प्रोबिंग सटीकता में मजबूत सुधार दिखाता है, जो अंशांकन नमूनों की संख्या के साथ प्रभावी ढंग से स्केल करता है।
• एब्लेशन अध्ययन (Ablation Studies): विश्लेषण पुष्टि करता है कि केवल इनपुट साइड या केवल आउटपुट साइड को संरेखित करना अपर्याप्त है। दोनों का संयोजन, विशेष रूप से आउटपुट साइड के लिए ग्रेडिएंट्स का उपयोग करना, प्रदर्शन के लिए महत्वपूर्ण है। इनपुट-ओनली संरेखण गहरे लेयर्स में प्रदर्शन को ज़ीरो-शॉट बेसलाइन से भी नीचे गिरा सकता है।

महत्व और दावे

पेपर दावा करता है कि BiCo मॉडलों के पुन: फाइन-ट्यूनिंग की अक्षमता को संबोधित करता है, जिससे विविध मॉडल वेरिएंट्स के बीच कार्य-विशिष्ट विशेषज्ञता का सीधा पुन: उपयोग संभव होता है। कार्य-वेक्टरों को द्वैत-रैखिक अंतःक्रियाओं के रूप में व्याख्या करते हुए, लेखक तर्क देते हैं कि प्रभावी हस्तांतरण के लिए इनपुट सक्रियण स्थान और आउटपुट ग्रेडिएंट स्थान दोनों की ज्यामिति को संरक्षित करना आवश्यक है।

इस कार्य का महत्व इसकी क्षमता में निहित है:

• कंप्यूटेशनल ओवरहेड को कम करना: लक्षित मॉडलों के पुन: बार-बार फाइन-ट्यूनिंग की आवश्यकता को समाप्त करना, जिसके लिए केवल अंशांकन के लिए एक एकल फॉरवर्ड-बैकवर्ड पास की आवश्यकता होती है।
• स्केलेबल पुन: उपयोग को सक्षम करना: अलग-अलग चौड़ाई, गहराई और प्री-ट्रेनिंग कॉन्फ़िगरेशन वाले मॉडलों के बीच ज्ञान हस्तांतरण को सुगम बनाना, जो फाउंडेशन मॉडल परिवारों के विकसित होने के साथ महत्वपूर्ण है।
• प्रदर्शन अंतराल को पाटना: प्रशिक्षण-मुक्त हस्तांतरण और प्रत्यक्ष फाइन-ट्यूनिंग के बीच के अंतर को काफी हद तक कम करना, जो मॉडल अनुकूलन के लिए एक व्यावहारिक, प्लग-एंड-प्ले विकल्प प्रदान करता है।

लेखक अपनी सीमाओं के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि विधि यह मानती है कि आंतरिक संरचनाएं पर्याप्त रूप से संगत हैं (उदाहरण के लिए, एक ही बैकबोन फैमिली के भीतर) और प्रत्यक्ष फाइन-ट्यूनिंग के साथ एक छोटा अंतर बना रहता है, जो यह सुझाव देता है कि केवल रैखिक समन्वय संरेखण (linear coordinate alignment) सभी कार्य-विशिष्ट जानकारी को कैप्चर नहीं कर सकता है। वे यह भी नोट करते हैं कि विधि स्वाभाविक रूप से स्रोत कार्य-वेक्टर या अंशांकन डेटा में मौजूद पूर्वाग्रहों (biases) को ठीक नहीं करती है।