💻 computer science

Reliability-Weighted Spectral Allocation with Full Spectral Cores for Parameter-Efficient Visual Fine-Tuning

यह शोध पत्र एक विश्वसनीयता-भारित स्पेक्ट्रल आवंटन विधि प्रस्तावित करता है जो ग्रेडिएंट-आधारित साक्ष्य का उपयोग करके कार्य-विशिष्ट पैरामीटर गणनाओं और स्थानों को स्वचालित रूप से निर्धारित करता है, जिससे पूर्ण स्पेक्ट्रल कोर्स के साथ पैरामीटर-कुशल विजुअल फाइन-ट्यूनिंग सक्षम होती है जो बिना किसी उपयोगकर्ता-निर्दिष्ट रैंक बजट के लीनियर प्रोबिंग से बेहतर प्रदर्शन करती है।

मूल लेखक: Ba Ty Dang, Kim Huong Tran, Thi Uyen Nguyen

प्रकाशित 2026-08-13

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ba Ty Dang, Kim Huong Tran, Thi Uyen Nguyen

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है जिसने पहले से ही लाखों चीजों को पहचानने के लिए चित्रों के एक विशाल पुस्तकालय से बहुत कुछ सीख लिया है। यह दिमाग बहुत बड़ा है, अरबों सूक्ष्म कनेक्शनों से भरा हुआ है, और अपने काम में अविश्वसनीय रूप से कुशल है। लेकिन क्या होगा अगर आप इस रोबोट को एक नया, विशिष्ट कौशल सिखाना चाहते हैं—जैसे दुर्लभ फूलों को पहचानना या कुत्तों के विभिन्न प्रकारों को ढूंढना—बिना अपने पूरे दिमाग को शुरू से फिर से प्रशिक्षित किए? यह "फाइन-ट्यूनिंग" (fine-tuning) की चुनौती है।

आमतौर पर, इस विशाल दिमाग को नया करतब सिखाने के लिए, आपको इसके लगभग हर एक कनेक्शन को बदलना पड़ेगा। यह एक पूरी गगनचुंबी इमारत को फिर से पेंट करने जैसा है सिर्फ उसके सामने के दरवाजे का रंग बदलने के लिए; इसमें बहुत समय लगता है, भारी खर्च आता है, और इसमें बहुत अधिक ऊर्जा खर्च होती है। वैज्ञानिकों ने एक चतुर शॉर्टकट निकाला है जिसे "पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग" (PEFT) कहा जाता है। पूरे दिमाग को बदलने के बजाय, PEFT इस कोशिश में लगा है कि रोबोट को केवल नोट्स या स्विचों के एक छोटे, विशेष सेट के माध्यम से सिखाया जाए। इसे रोबोट को काम करते समय सुनने के लिए एक छोटा, कस्टम प्लेलिस्ट देने जैसा समझें, बजाय इसके कि उसके पूरे ऑपरेटिंग सिस्टम को ही दोबारा लिखा जाए। हालांकि, सबसे बड़ा सवाल यह है कि: आप यह कैसे जानेंगे कि कौन से छोटे नोट्स बदलने हैं? यदि आप गलत अनुमान लगाते हैं, तो रोबमाट भ्रमित हो सकता है। यह शोध पत्र ठीक इसी पहेली में गहराई तक जाता है, यह खोजने की कोशिश करता है कि उन विशिष्ट नोट्स को स्वचालित रूप से चुनने का सबसे स्मार्ट तरीका क्या है, बिना किसी इंसान द्वारा सही मात्रा का अनुमान लगाए।

"रिलायबिलिटी-वेटेड" (विश्वसनीयता-भारित) जादू का कमाल

इस शोध पत्र के लेखक, बा टाय डांग, किम ह्यूंग ट्रां, और थी उयेन एनगुयेन ने इन विशाल रोबोट दिमागों को नए कार्यों को कुशलतापूर्वक सीखने में मदद करने के लिए एक नई विधि का आविष्कार किया है। वे अपने दृष्टिकोण को "रिलायबिलिटी-वेटेड स्पेक्ट्रल एलोकेशन विद फुल स्पेक्ट्रल कोर्स" (Reliability-Weighted Spectral Allocation with Full Spectral Cores) कहते हैं। यह बोलने में थोड़ा कठिन है, तो आइए इसे एक बहुत ही व्यवस्थित लाइब्रेरियन की कहानी के माध्यम से समझते हैं।

कल्पना कीजिए कि रोबोट का दिमाग किताबों (डेटा) का एक विशाल पुस्तकालय है। जब रोबोट एक नया कार्य सीखने की कोशिश करता है, जैसे कि "फूलों-102" को पहचानना, तो वह थोड़ा भ्रमित हो जाता है। इसे ठीक करने के लिए, शोधकर्ता रोबोट को एक छोटा "कैलिब्रेशन" टेस्ट देते हैं—कुछ नमूना चित्रों का उपयोग करके एक त्वरित क्विज़। जैसे ही रोबोट यह क्विज़ देता है, शोधकर्ता देखते हैं कि उसके दिमाग के कौन से हिस्से "पसीना बहा रहे हैं" (कड़ी मेहनत कर रहे हैं) और कौन से हिस्से बस आराम कर रहे हैं।

दो भागों वाला क्विज़
यहाँ चतुराई भरा हिस्सा है: शोधकर्ता क्विज़ को दो अलग-अलग समूहों में विभाजित करते हैं। वे रोबोट को पहले आधे हिस्से के प्रश्न हल करने के लिए कहते हैं, फिर दूसरे आधे हिस्से के। वे केवल यह नहीं देख रहे हैं कि रोबोट कितनी कड़ी मेहनत कर रहा है; वे यह भी देख रहे हैं कि क्या रोबोट क्विज़ के दोनों हिस्सों के लिए अपने दिमाग के एक ही हिस्से पर कड़ी मेहनत कर रहा है।

यदि रोबोट पहले भाग में "पंखुड़ियों" के बारे में उत्साहित होता है और दूसरे भाग में भी "पंखुड़ियों" के बारे में ही उत्साहित होता है, तो यह एक विश्वसनीय (reliable) संकेत है। इसका मतलब है कि दिमाग को वास्तव में पंखुड़ियों के बारे में सीखने की आवश्यकता है। लेकिन यदि रोबोट पहले भाग में "पंखुड़ियों" के बारे में उत्साहित होता है और दूसरे भाग में "पत्तियों" के बारे में, तो यह एक भ्रमित संकेत है। शोधकर्ता इस निरंतरता को "कंसिस्टेंसी" कहते हैं। वे इस निरंतरता का उपयोग शोर (noise) को छानने के लिए करते हैं। वे केवल दिमाग के उन हिस्सों को बदलना चाहते हैं जो लगातार कह रहे हैं, "अरे, मुझे इस चीज़ में मदद चाहिए!"

"स्पेक्ट्रल कोर" प्लेलिस्ट
एक बार जब वे विश्वसनीय हिस्सों को खोज लेते हैं, तो वे केवल एक डायल नहीं घुमाते। इसके बजाय, वे एक "स्पेक्ट्रल कोर" बनाते हैं। कल्पना कीजिए कि रोबोट के कनेक्शन एक विशाल साउंडबोर्ड की तरह हैं जिसमें हजारों स्लाइडर्स हैं। पुराने तरीके केवल उन्हीं स्लाइडर्स को हिलाने की अनुमति देते थे जो पहले से ही एक सीधी रेखा में हों (डायगोनल स्केलिंग)। लेकिन यह नया तरीका कहता है, "नहीं, चलो पूरा बोर्ड अनलॉक करते हैं!"

वे स्लाइडर्स को एक-दूसरे के साथ जटिल तरीकों से बातचीत करने की अनुमति देते हैं। यह एक सरल धुन में हार्मनी, बेस लाइन्स और ड्रम्स जोड़ने जैसा है जो आपस में बात करते हैं। यह "फुल स्पेक्ट्रल कोर" मस्तिष्क के विभिन्न हिस्सों के बीच के जटिल, वास्तविक दुनिया के इंटरैक्शन को पकड़ लेता है। शोधकर्ताओं ने पाया कि यह जटिल इंटरैक्शन, साधारण सीधी-रेखा समायोजन की तुलना में रोबोट की गलतियों को सुधारने में बहुत बेहतर है।

स्वचालित बजट
रोबोटों को सिखाने में सबसे बड़ी समस्याओं में से एक यह तय करना है कि कितनी मेमोरी का उपयोग किया जाए। आमतौर पर, एक इंसान को कहना पड़ता है, "ठीक है, आप केवल 1,000 स्लाइडर बदल सकते हैं।" यदि आप बहुत कम चुनते हैं, तो रोबोट मूर्ख ही रहता है; यदि बहुत अधिक चुनते हैं, तो आप ऊर्जा बर्बाद करते हैं।

इस शोध पत्र की विधि एक स्मार्ट बजट मैनेजर की तरह है जिसे किसी इंसान द्वारा सीमा निर्धारित करने की आवश्यकता नहीं है। यह क्विज़ से मिलने वाले "साक्ष्य" (दिमाग ने कितनी ऊर्जा का उपयोग किया और वह कितना सुसंगत था) को देखता है और स्वचालित रूप से निर्णय लेता है: "ठीक है, इस फूल वाले कार्य के लिए, हमें ठीक 3,536 स्लाइडरों की आवश्यकता है। उस कुत्ते वाले कार्य के लिए, हमें 54,610 की आवश्यकता है।" यह बिना किसी के बताए कि कितना खर्च करना है, प्रत्येक विशिष्ट कार्य के लिए आवश्यक काम की सटीक मात्रा खुद तय कर लेता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इन सभी प्रकार के रोबोट दिमागों पर इस पद्धति का परीक्षण किया, पुराने स्कूल के (जैसे ResNet) से लेकर आधुनिक, फैंसी (जैसे ViT और Swin) तक। उन्होंने बनावट (textures) को पहचानने, फूलों को खोजने, पालतू जानवरों को पहचानने और यहाँ तक कि चिकित्सा छवियों को समझने जैसे कार्यों पर इसे आज़माया।

परिणामों का विवरण यहाँ दिया गया है:

यह "हेड-ओनली" दृष्टिकोण को हरा देता है: जब उन्होंने केवल रोबोट के अंतिम हिस्से (हेड) को बदला बिना दिमाग को छुए, तो रोबोट ठीक-ठाक था लेकिन बहुत अच्छा नहीं। उनके नए तरीके का उपयोग करके, रोबोट काफी स्मार्ट हो गया। उदाहरण के लिए, एक आधुनिक दिमाग (ViT-B/16) के साथ "फूलों-102" कार्य पर, रोबोट की सटीकता केवल हेड को ट्यून करने की तुलना में 4.85 प्रतिशत अंक बढ़ गई। यह एक बड़ी जीत है!
यह अत्यंत कुशल है: भले ही रोबोट स्मार्ट हो गया, लेकिन उन्हें मस्तिष्क के एक बहुत ही छोटे हिस्से को ही बदलना पड़ा। फूल वाले कार्य पर, उन्होंने केवल 3,536 विशिष्ट निर्देशांकों (coordinates) को अनुकूलित किया। यह बहुत लग सकता है, लेकिन पूरे मस्तिष्क की तुलना में, यह केवल 0.004% है। यह गिटार के एक तार को ट्यून करने जैसा है ताकि पूरा वाद्य यंत्र एकदम सही ध्वनि दे सके।
यह हर चीज़ के लिए जादुई समाधान नहीं है: शोध पत्र अपनी सीमाओं के बारे में ईमानदार है। हालांकि इसने "हेड-ओनली" पद्धति को हरा दिया, लेकिन यह हमेशा "फुल फाइन-ट्यूनिंग" पद्धति (जहाँ आप पूरे दिमाग को फिर से प्रशिक्षित करते हैं) को नहीं हरा सका। कुछ मामलों में, विशेष रूप से कुछ प्रकार के रोबोटों के लिए डिज़ाइन किए गए तरीके अभी भी थोड़े बेहतर थे। लेकिन एक सामान्य-उद्देश्य वाले उपकरण के रूप में, जो बिना किसी मानवीय अनुमान के सेटिंग्स को संभाल सके, यह एक मजबूत दावेदार था।
"मर्ज" (विलय) का तरीका: एक बार जब रोबोट नया कार्य सीख लेता है, तो शोधकर्ता परिवर्तनों को मुख्य दिमाग में "मर्ज" कर सकते हैं। इसका मतलब है कि रोबोट को काम करते समय एक अलग, भारी "लर्निंग मॉड्यूल" ले जाने की आवश्यकता नहीं है। यह किताब को सीधे शेल्फ पर एडिट करने जैसा है, बजाय इसके कि नोट्स की एक अलग नोटबुक रखी जाए। इससे रोबोट वास्तविक दुनिया में तेज़ और उपयोग में आसान हो जाता है।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि हमें विशाल AI दिमागों को नए करतब सिखाने के लिए अनुमान लगाने की आवश्यकता नहीं है। एक छोटे से क्विज़ के प्रति मस्तिष्क की प्रतिक्रिया की निरंतरता को देखकर, हम उन सटीक स्थानों को स्वचालित रूप से पा सकते हैं जिन्हें सुधारने की आवश्यकता है। और उन स्थानों को एक-दूसरे के साथ जटिल रूप से बातचीत करने की अनुमति देकर (एक "फुल स्पेक्ट्रल कोर"), हमें सरल, सीधी-रेखा सुधारों की तुलना में बहुत बेहतर परिणाम मिलते हैं।

हालांकि यह हर एक परिदृश्य के लिए सबसे अच्छा तरीका नहीं हो सकता है, लेकिन यह एक शक्तिशाली, स्वचालित तरीका प्रदान करता है जिससे सब कुछ फिर से प्रशिक्षित करने की भारी लागत के बिना AI को स्मार्ट बनाया जा सकता है। यह ऐसे AI बनाने की दिशा में एक कदम है जो नए कौशल तेजी से, सस्ते में और बिना किसी मानवीय सूक्ष्म प्रबंधन के सीख सकता है।

तकनीकी सारांश: पैरामीटर-कुशल विज़ुअल फाइन-ट्यूनिंग के लिए फुल स्पेक्ट्रल कोर्स के साथ रिलायबिलिटी-वेटेड स्पेक्ट्रल एलोकेशन

समस्या विवरण

प्री-ट्रेंड विज़ुअल मॉडल्स को अक्सर सीमित लेबल वाले डेटा के साथ डाउनस्ट्रीम कार्यों के लिए अनुकूलित किया जाता है। जबकि फुल फाइन-ट्यूनिंग उच्च प्रदर्शन प्रदान करती है, यह कम्प्यूटेशनल रूप से महंगी और अव्यावहारिक है जब एक ही बैकबोन को कई कार्यों के लिए समर्थन देना हो, क्योंकि इसके लिए प्रत्येक कार्य के लिए एक अलग पूर्ण बैकबोन को संग्रहीत करने की आवश्यकता होती है। पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) बैकबोन को फ्रीज करके और एक संक्षिप्त कार्य-विशिष्ट अवस्था (state) को सीखकर इस समस्या का समाधान करती है। हालाँकि, मौजूदा PEFT विधियाँ (जैसे एडेप्टर, LoRA, विज़ुअल प्रॉम्प्ट्स) आमतौर पर उपयोगकर्ता-निर्दिष्ट हाइपरपैरामीटर्स जैसे कि रैंक बजट, एडेप्टर विड्थ, इंसर्शन लोकेशन्स, या लेयर-वाइज एलोकेशन रूल्स पर निर्भर करती हैं।

एक निश्चित या समान रूप से वितरित अनुकूलन बजट, प्री-ट्रेंड बैकबोन में कार्य-प्रासंगिक जानकारी के विषम वितरण को समझने में विफल रहता है। विभिन्न टेन्सर्स अलग-अलग ग्रेडिएंट स्पेक्ट्रा और ट्रांसफर सेंसिटिविटी प्रदर्शित करते हैं; एक निश्चित रैंक कमजोर दिशाओं पर क्षमता बर्बाद कर सकती है या सूचनात्मक दिशाओं का कम प्रतिनिधित्व कर सकती है। इसके अलावा, कई PEFT विधियाँ परिनियोजन (deployment) के दौरान सक्रिय, विधि-विशिष्ट इन्फरेंस शाखाओं को बनाए रखती हैं, जिससे लेटेंसी और मेमोरी ट्रैफिक बढ़ जाता है। यह शोध पत्र एक ऐसी विधि की आवश्यकता पर बल देता है जो:

उपयोगकर्ता-निर्धारित बजट के बजाय कार्य साक्ष्य (task evidence) के आधार पर क्षमता आवंटित करे।
लेयर-विशिष्ट रैंक और भाग लेने वाले टेन्सर्स को स्वचालित रूप से निर्धारित करे।
परिनियोजन से पहले बीजगणितीय विलय (algebraic merging) के माध्यम से विधि-विशिष्ट शाखाओं को हटा दे।

कार्यप्रणाली

प्रस्तावित विधि, फुल स्पेक्ट्रल कोर्स के साथ रिलायबिलिटी-वेटेड स्पेक्ट्रल एलोकेशन, तीन जुड़े हुए चरणों में कार्य करती है: कैलिब्रेशन, स्पेक्ट्रल एलोकेशन, और मर्जिंग के साथ अडैप्टेशन।

1. कैलिब्रेशन और स्पेक्ट्रल एविडेंस एस्टीमेशन

विधि बैकबोन को अपडेट किए बिना कार्य-प्रासंगिक स्पेक्ट्रल दिशाओं का अनुमान लगाने के लिए एक कैलिब्रेशन डेटासेट का उपयोग करती है।

ग्रेडिएंट पूलिंग: प्रत्येक पात्र बैकबोन टेंसर $W_\ell$ (टास्क हेड्स, एम्बेडिंग्स और नॉर्मलाइजेशन लेयर्स को छोड़कर) के लिए, विधि प्रत्येक कैलिब्रेशन बैच $t$ के लिए अनफोल्डेड ग्रेडिएंट $G_{\ell,t}$ की गणना करती है।
डिटरमिनिस्टिक पार्टिशन्स: कैलिब्रेशन बैचों को दो डिटरमिनिस्टिक पार्टिशन्स ( $I_0$ और $I_1$ ) में विभाजित किया जाता है। प्रत्येक पार्टिशन के लिए औसत ग्रेडिएंट ( $G^{(0)}_\ell, G^{(1)}_\ell$ ) और पूल्ड मीन ग्रेडिएंट ( $G_\ell$ ) की गणना की जाती है।
स्पेक्ट्रल डीकंपोजिशन: पूल्ड ग्रेडिएंट पर एक कॉम्पैक्ट सिंगुलर वैल्यू डीकंपोजिशन (SVD) किया जाता है: $G_\ell = U_\ell \Sigma_\ell V^\top_\ell$ ।
रिलायबिलिटी-वेटेड स्कोरिंग: प्रत्येक स्पेक्ट्रल मोड $j$ $j$ के लिए, विधि दो पार्टिशन्स के बीच सहमति के आधार पर कंसिस्टेंसी स्कोर $q_{\ell,j}$ $q_{ℓ, j}$ की गणना करती है।
- मान लें कि $a_{\ell,j}$ और $b_{\ell,j}$ सिंगुलर वेक्टर्स पर पार्टिशन ग्रेडिएंट्स के प्रोजेक्शन हैं।
- कॉमन रिस्पॉन्स $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$ है, और विसंगति (discrepancy) $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$ है।
- वेट को $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$ के रूप में परिभाषित किया गया है, जहाँ $\hat{\nu}_\ell$ एक टेंसर-लेवल वेरिएंस पेनल्टी है।
- अंतिम मोड एविडेंस $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$ है, जो सिंगुलर एनर्जी को पार्टिशन कंसिस्टेंसी के साथ जोड़ता है।

2. मॉडल-वाइड एलोकेशन रूल

एक उपयोगकर्ता-निर्दिष्ट रैंक बजट के बजाय, विधि सभी टेन्सर्स में एविडेंस डिस्ट्रीब्यूशन से एक ग्लोबल एलोकेशन प्राप्त करती है।

इफेक्टिव सपोर्ट: विधि नॉर्मलाइज्ड एविडेंस प्रोबेबिलिटीज से शैनन इफेक्टिव सपोर्ट ( $D_1$ ) और पॉजिटिव-एविडेंस सपोर्ट साइज ( $D_0$ ) की गणना करती है।
ऑटोमैटिक रैंक डिटरमिनेशन: कुल रिटेन्ड स्पेक्ट्रल मोड्स $R$ को इन सपोर्ट्स के ज्योमेट्रिक मीन द्वारा निर्धारित किया जाता है: $R = \lceil \sqrt{D_0 D_1} \rceil$ ।
सिलेक्शन: सभी लेयर्स और टेन्सर्स में टॉप $R$ $R$ एविडेंस वैल्यूज को चुना जाता है। यह एक साथ निर्धारित करता है:
- कौन से टेन्सर्स भाग लेते हैं।
- प्रत्येक भाग लेने वाले टेंसर के लिए विशिष्ट रैंक $r_\ell$ ।
  इसमें किसी भी उपयोगकर्ता-प्रदान किए गए रैंक बजट, थ्रेशोल्ड, या लेयर लिस्ट की आवश्यकता नहीं होती है।

3. फुल स्पेक्ट्रल कोर ऑप्टिमाइजेशन और मर्जिंग

पैरामीट्राइजेशन: चयनित लेफ्ट ( $U_{\ell, S_\ell}$ ) और राइट ( $V_{\ell, S_\ell}$ ) स्पेक्ट्रल सबस्पेस के भीतर, विधि एक फुल स्पेक्ट्रल कोर $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$ को ऑप्टिमाइज़ करती है। डायगोनल स्केलिंग (जो केवल मैच किए गए पेयर्स को अपडेट करती है) के विपरीत, फुल कोर क्रॉस-मोड इंटरैक्शन ( $u_{\ell,i} v_{\ell,j}^\top$ सभी $i, j$ के लिए) को कैप्चर करता है।
ऑप्टिमाइजेशन: स्पेक्ट्रल कोर्स और टास्क हेड को स्टैंडर्ड डाउनस्ट्रीम लॉस का उपयोग करके ऑप्टिमाइज़ किया जाता है। बैकबोन और चयनित बेसिस फ्रीज रहते हैं।
अल्जेब्रिक मर्जिंग: ट्रेनिंग के बाद, सीखे गए अपडेट्स को ओरिजिनल बैकबोन टेन्सर्स में बीजगणितीय रूप से मर्ज किया जाता है: $W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$ । यह सक्रिय स्पेक्ट्रल-कोर ब्रांच को हटा देता है, जिसके परिणामस्वरूप एक स्टैंडर्ड इन्फरेंस मॉडल मिलता है जिसमें PEFT मैकेनिज्म से कोई लेटेंसी ओवरहेड नहीं होता है।

मुख्य योगदान

रिलायबिलिटी-वेटेड स्पेक्ट्रल स्कोर: एक नवीन स्कोरिंग मैकेनिज्म जो पूल्ड ग्रेडिएंट एनर्जी को दो डिटरमिनिस्टिक कैलिब्रेशन पार्टिशन्स के बीच कंसिस्टेंसी के साथ जोड़ता है, जिससे अस्थिर मोड्स का प्रभाव कम होता है।
यूज़र-फ्री मॉडल-वाइड एलोकेशन: एक ऐसा फॉर्मूलेशन जो बिना किसी उपयोगकर्ता-निर्दिष्ट रैंक बजट या मैनुअल लेयर सिलेक्शन के, रिटेन्ड मोड काउंट, पार्टिसिपेटिंग टेन्सर्स और लेयर-विशिष्ट रैंक को संयुक्त रूप से निर्धारित करता है।
फुल स्पेक्ट्रल कोर्स: एक ऑप्टिमाइजेशन स्ट्रैटेजी जो चयनित सबस्पेस के भीतर फुल मैट्रिक्स कोर्स का उपयोग करती है ताकि क्रॉस-मोड इंटरैक्शन को कैप्चर किया जा सके, जो सैद्धांतिक रूप से डायगोनल स्केलिंग से बेहतर है, और यह अल्जेब्रिक मर्जिंग को सक्षम बनाती है।
यूनिफाइड इवैल्यूएशन: इस विधि को सिंगल-लेबल क्लासिफिकेशन, मल्टीलेबल रिकग्निशन और सिमेंटिक सेगमेंटेशन के लिए कनवोल्यूशनल और ट्रांसफॉर्मर दोनों बैकबोन पर समान रूप से लागू किया गया है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन DTD, Flowers-102, Oxford-IIIT Pet, और Pascal VOC2007 पर ResNet, ViT, Swin, और MobileNet बैकबोन के साथ किया गया।

लीनियर प्रोबिंग बनाम प्रदर्शन: विधि लगातार लीनियर प्रोबिंग से बेहतर प्रदर्शन करती है। उल्लेखनीय लाभों में शामिल हैं:
- Flowers-102 (ViT-B/16): लीनियर प्रोबिंग की तुलना में Acc@1 में +4.85 प्रतिशत अंक।
- Flowers-102 (ResNet-18): +4.21 प्रतिशत अंक।
- DTD (ResNet-50): लीनियर प्रोबिंग पर +0.69 प्रतिशत अंक और फुल फाइन-ट्यूनिंग पर +1.76, जबकि केवल 150.9K पैरामीटर्स को ऑप्टिमाइज़ किया गया (23.6M फुल फाइन-ट्यूनिंग के मुकाबले)।
स्पेशलाइज्ड PEFT के साथ तुलना: विधि सभी सेटिंग्स में स्पेशलाइज्ड बेसलाइन्स (जैसे RepAdapter, SSF) या फुल फाइन-ट्यूनिंग को समान रूप से नहीं पछाड़ती है। उदाहरण के लिए, ViT-B/16 के साथ DTD पर, RepAdapter ने उच्च सटीकता प्राप्त की। लेखक नोट करते हैं कि यह विधि तब सबसे अधिक फायदेमंद होती है जब हेड-ओनली अडैप्टेशन एक महत्वपूर्ण अंतर छोड़ देता है लेकिन फुल फाइन-ट्यूनिंग बहुत महंगी होती है।
पैरामीटर एफिशिएंसी: विधि 1,165 और 54,610 स्पेक्ट्रल-कोर कोऑर्डिनेट्स के बीच ऑप्टिमाइज़ करती है, जो कुल मॉडल पैरामीटर्स का 0.004% से 0.307% है।
एब्लेशन स्टडीज:
- फुल बनाम डायगोनल: फुल स्पेक्ट्रल कोर्स ने DTD के साथ ResNet-18 पर डायगोनल स्पेक्ट्रल स्केलिंग से 1.07 प्रतिशत अंक (Acc@1) बेहतर प्रदर्शन किया, जो क्रॉस-मोड इंटरैक्शन को कैप्चर करने के महत्व की पुष्टि करता है।
- रिलायबिलिटी कंपोनेंट्स: पार्टिशन-कंसिस्टेंसी वेटिंग को हटाने से प्रदर्शन में कमी आई, जो रिलायबिलिटी स्कोर के महत्व को प्रमाणित करता है।

महत्व और दावे

शोध पत्र का दावा है कि प्रस्तावित विधि मैन्युअल PEFT कॉन्फ़िगरेशन के लिए एक सिद्धांतिक, स्वचालित विकल्प प्रदान करती है। इसका प्राथमिक महत्व निम्नलिखित है:

हाइपरपैरामीटर सर्च को समाप्त करना: यह उपयोगकर्ताओं को रैंक बजट, लेयर लिस्ट, या एलोकेशन रूल्स निर्दिष्ट करने की आवश्यकता को समाप्त करता है, जिसे सीधे कैलिब्रेशन डेटा से प्राप्त किया जाता है।
डिप्लॉयमेंट एफिशिएंसी: अपडेट्स को बीजगणितीय रूप से मर्ज करके, यह सक्रिय एडेप्टर ब्रांचों से जुड़े इन्फरेंस लेटेंसी और मेमोरी ओवरहेड को समाप्त करता है, जो अन्य PEFT विधियों की एक सामान्य कमी है।
जनरलाइजेबिलिटी: यह विविध आर्किटेक्चर (CNNs और Transformers) और कार्यों (क्लासिफिकेशन और सेगमेंटेशन) के लिए एक एकल एलोकेशन नियम प्रदान करता है।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं: चयनित सबस्पेस विशिष्ट कैलिब्रेशन बैचों पर निर्भर करते हैं, इफेक्टिव-सपोर्ट रूल एक ह्यूरिस्टिक है न कि एक सांख्यिकीय रूप से इष्टतम मानदंड, और वर्तमान में विधि को प्रत्येक कार्य के लिए एक अलग मर्ज किए गए चेकपॉइंट की आवश्यकता होती है। वे सुझाव देते कि भविष्य के कार्य को एलोकेशन स्टेबिलिटी और बड़े मॉडल्स के लिए कैलिब्रेशन-एफिशिएंट एप्रोक्सिमेशन पर ध्यान केंद्रित करना चाहिए।