💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

यह अध्ययन प्रदर्शित करता है कि डिफॉर्मेबल अटेंशन (deformable attention) पर एडेप्टर्स (adapters) और लो-रैंक अडैप्टेशन (LoRA) जैसे पैरामीटर-कुशल फाइन-ट्यूनिंग तरीकों को लागू करने से, ट्रांसफॉर्मर-आधारित मॉडल केवल 1-6% पैरामीटर्स को फाइन-ट्यून करके प्रतिस्पर्धी इंस्टेंस सेगमेंटेशन प्रदर्शन प्राप्त करने में सक्षम होते हैं, जो पारंपरिक फाइन-ट्यूनिंग की तुलना में कम्प्यूटेशनल लागत को काफी कम कर देता है।

मूल लेखक: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "ओवर-इंजीनियर्ड" शेफ

कल्पना कीजिए कि आपने एक विश्व प्रसिद्ध, मिशेलिन-स्टार शेफ को काम पर रखा है (यह लार्ज प्री-ट्रेंड मॉडल है)। इस शेफ ने दुनिया के हर व्यंजन को बनाना सीखने में सालों बिताए हैं। वे अविश्वसनीय रूप से बुद्धिमान हैं, लेकिन वे बहुत विशाल भी हैं, उन्हें बनाए रखना महंगा है, और उन्हें संभालना कठिन है।

अब, आप चाहते हैं कि यह शेफ एक विशिष्ट चीज़ में विशेषज्ञता हासिल करे: सब्जियों को एकदम सटीक आकार में काटना (यह इंस्टेंस सेगमेंटेशन कार्य है)।

पारंपरिक तरीका यह है कि आप शेफ को सब्जियों को काटने में बेहतर होने के लिए सब कुछ फिर से सीखने के लिए मजबूर करते हैं। इसे फुल फाइन-ट्यूनिंग कहा जाता है। यह शेफ के पूरे स्टाफ को निकालने और नए लोगों को काम पर रखने जैसा है, या शेफ को उनकी पूरी कुकबुक (खाना बनाने की किताब) फिर से लिखने के लिए मजबूर करने जैसा है। इसमें समय और पैसा (कंप्यूटेशनल पावर) बहुत खर्च होता है, और यह जोखिम भी रहता है कि शेफ गाजरों पर इतना ध्यान केंद्रित करने के चक्कर में स्टेक बनाना भूल सकता है (इसे "कैटास्ट्रस्ट्रोफिक फॉरगेटिंग" यानी विनाशकारी विस्मृति कहा जाता है)।

समाधान: "एफिशिएंसी हैक"

इस पेपर के लेखक पूछते हैं: क्या हमें वास्तव में पूरे शेफ को फिर से प्रशिक्षित करने की आवश्यकता है? या क्या हम उन्हें बस कुछ नए उपकरण दे सकते हैं?

इस दृष्टिकोण को पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) कहा जाता है। पूरी कुकबुक को फिर से लिखने के बजाय, हम बस शेफ को कुछ 'स्टिक नोट्स' या छोटे गैजेट्स देते हैं ताकि वे नए कार्य के अनुकूल हो सकें। पेपर में दो विशिष्ट "गैजेट्स" का परीक्षण किया गया है:

एडैप्टर्स (विशेषता वाले एप्रन - "Specialty Aprons"):
कल्पना कीजिए कि आप शेफ को एक विशेष एप्रन देते हैं जिसमें सब्जी काटने के लिए अतिरिक्त जेबें और उपकरण हैं। शेफ का दिमाग (मुख्य मॉडल) वही रहता है, लेकिन एप्रन उन्हें विशिष्ट कार्य को बेहतर ढंग से संभालने में मदद करता है। पेपर में इन "एप्रन" को खाना पकाने की प्रक्रिया के विभिन्न चरणों में रखने का परीक्षण किया गया है।
लोरा (त्वरित संदर्भ वाली चीट शीट - "Quick-Reference Cheat Sheet"):
नए उपकरण जोड़ने के बजाय, LoRA शेफ को एक छोटी, हल्की चीट शीट देता है। यह शेफ के दिमाग को नहीं बदलता; यह बस पुराने निर्देशों के ऊपर निर्देशों की एक छोटी सी परत जोड़ देता है। यह ऐसा है जैसे कहना, "हे, जब तुम गाजर देखो, तो यह विशेष ट्रिक याद रखना।" यह बहुत हल्का है और शेफ की गति को धीमा नहीं करता है।

उन्होंने क्या टेस्ट किया?

शोधकर्ताओं ने दो प्रसिद्ध "शेफ" (AI मॉडल) लिए:

SEEM: एक बहुत ही स्मार्ट, बहुमुखी प्रतिभा वाला शेफ जो टेक्स्ट और इमेज दोनों को समझ सकता है।
Mask DINO: एक शेफ जो तस्वीरों में वस्तुओं को खोजने और उनकी रूपरेखा (outline) बनाने में विशेषज्ञ है।

उन्होंने इन शेफों को चार अलग-अलग "किचन" (डेटासेट्स) पर टेस्ट किया, जिनमें कठिनाई का स्तर अलग-अलग था:

डॉल्फिन (NDD20): अपेक्षाकृत आसान। डॉल्फिन की स्पष्ट तस्वीरें।
कन्वेयर बेल्ट पर कचरा (ZeroWaste): मध्यम कठिनाई। प्लास्टिक और कार्डबोर्ड जैसी बिखरी हुई, एक-दूसरे के ऊपर रखी चीजें।
एक्स-रे कचरा (WIXray): कठिन स्तर। वस्तुओं के आर-पार देखना, बहुत अधिक ओवरलैप, छोटी वस्तुएं।
शहर की सड़कें (Cityscapes): जटिल। कारें, लोग, इमारतें, सब आपस में मिली हुई।

मुख्य निष्कर्ष (सफलता की रेसिपी)

1. आपको सब कुछ फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
पारंपरिक तरीके में शेफ के ज्ञान के 40-55% हिस्से को अपडेट करने की आवश्यकता थी। नए तरीकों (एडैप्टर्स और LoRA) को केवल 1-6% ज्ञान को अपडेट करने की आवश्यकता थी। यह समय और कंप्यूटर पावर की भारी बचत है।

2. एडैप्टर्स के लिए "गोल्डिलॉक्स" ज़ोन (सही संतुलन)।
यदि आप शेफ को बहुत अधिक विशेष एप्रन देते हैं, तो वे उलझ जाते हैं। यदि आप बहुत कम देते हैं, तो वे पर्याप्त मदद नहीं कर पाते। पेपर में पाया गया कि प्रति चरण 2 से 3 एडैप्टर्स सबसे सटीक बिंदु (sweet spot) था। इसने प्रदर्शन और दक्षता का सबसे अच्छा संतुलन प्रदान किया। चौथा एडैप्टर जोड़ने से ज्यादा मदद नहीं मिली, बल्कि इसने प्रक्रिया को धीमा कर दिया।

3. LoRA एक "स्पीड डेमन" है।
LoRA अविश्वसनीय रूप से कुशल है। यह एडैप्टर्स की तुलना में और भी कम संसाधनों का उपयोग करता है। कुछ मामलों में (जैसे सिटीस्केप्स डेटासेट में), LoRA ने एडैप्टर्स से बेहतर प्रदर्शन किया। ऐसा इसलिए है क्योंकि सिटीस्केप्स का डेटा काफी हद तक उन तस्वीरों जैसा दिखता है जिन पर शेफ को मूल रूप से प्रशिक्षित किया गया था, इसलिए काम पूरा करने के लिए एक छोटी सी "चीट शीट" ही काफी थी।

4. संदर्भ मायने रखता है।

मेसी और जटिल कार्यों के लिए (जैसे एक्स-रे): "विशेषता वाले एप्रन" (एडैप्टर्स) बेहतर काम कर गए। कार्य शेफ द्वारा पहले से जाने गए ज्ञान से इतना अलग था कि उन्हें समझने के लिए अधिक समर्पित उपकरणों की आवश्यकता थी।
परिचित कार्यों के लिए (जैसे शहर की सड़कें): "चीट शीट" (LoRA) ही पर्याप्त थी। शेफ पहले से ही अधिकांश संदर्भ जानता था, इसलिए एक छोटा सा बदलाव ही पर्याप्त था।

5. ट्रेड-ऑफ: गति बनाम शक्ति।

LoRA तेज़ है। यह शेफ को धीमा नहीं करता क्योंकि वास्तविक काम के दौरान "चीट शीट" को दिमाग में मिला (merge) दिया जाता है।
एडैप्टर्स थोड़े धीमे हैं। क्योंकि आपने प्रक्रिया में अतिरिक्त "एप्रन" (परतें) जोड़ दी हैं, इसलिए प्रत्येक व्यंजन पकाने में थोड़ा अधिक समय लगता है। हालांकि, पेपर नोट करता है कि यह देरी अक्सर नगण्य (मिलीसेकंड में) होती है।

निचोड़ (Bottom Line)

पेपर यह साबित करता है कि एक सुपर-स्मार्ट AI मॉडल को कस्टमाइज़ करने के लिए आपको बहुत अधिक खर्च करने की आवश्यकता नहीं है। एडैप्टर्स (विशेष मॉड्यूल) या LoRA (हल्के अपडेट) का उपयोग करके, आप एक सामान्य उद्देश्य वाले AI को विशिष्ट, जटिल कार्य करने के लिए सिखा सकते हैं—जैसे फोटो में हर एक वस्तु की पहचान करना—और वह भी केवल एक अंश कंप्यूटिंग पावर और मेमोरी का उपयोग करके।

यह हर काम के लिए एक नया विशेषज्ञ काम पर रखने बनाम अपने मौजूदा विशेषज्ञ को कुछ नए उपकरण देने के बीच का अंतर है। दूसरा विकल्प सस्ता है, तेज़ है, और अक्सर उतना ही प्रभावी भी है।

तकनीकी सारांश: इंस्टेंस सेगमेंटेशन कार्यों के लिए बड़े प्रीट्रेन्ड मॉडल्स का पैरामीटर-कुशल फाइन-ट्यूनिंग (Parameter-efficient fine-tuning)

समस्या विवरण
बड़े प्रीट्रेन्ड मॉडल्स के उदय ने आर्टिफिशियल इंटेलिजेंस के परिदृश्य को बदल दिया है, जो अत्याधुनिक सामान्यीकरण (generalization) क्षमताएं प्रदान करते हैं। हालांकि, इन मॉडल्स में पैरामीटर्स की विशाल संख्या के कारण अत्यधिक गणनात्मक रूप से महंगी प्रशिक्षण रणनीतियों की आवश्यकता होती है। पारंपरिक फाइन-ट्यूनिंग, जिसमें पूरे नेटवर्क या उसके महत्वपूर्ण उपसमुच्चयों को अपडेट किया जाता है, उच्च कम्प्यूटेशनल और मेमोरी लागत का कारण बनती है और 'कैटैस्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) का जोखिम पैदा करती है। जबकि पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियों ने नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में प्रभावशीलता सिद्ध की है, कंप्यूटर विजन (CV), विशेष रूप से ट्रांसफार्मर-आधारित मॉडल्स का उपयोग करने वाले जटिल कार्यों जैसे कि इंस्टेंस सेगमेंटेशन के लिए उनका अनुप्रयोग अभी भी कम खोजा गया है। मौजूदा PEFT तकनीकों में अक्सर विजन कार्यों की अनूठी चुनौतियों, जैसे कि सटीक पिक्सेल-स्तरीय भविष्यवाणियां और इंस्टेंस विभेदन (instance differentiation), के लिए अनुकूलन का अभाव होता है, और मल्टी-स्केल डीफॉर्मेबल अटेंशन मैकेनिज्म के भीतर उनकी प्रभावशीलता की भी पूरी तरह से जांच नहीं की गई है।

कार्यप्रणाली (Methodology)
यह अध्ययन दो प्राथमिक PEFT विधियों—एडेप्टर्स (Adapters) और लो-रैंक अडैप्टेशन (LoRA)—की जांच करता है, जिन्हें दो बड़े प्रीट्रेन्ड इंस्टेंस सेगमेंटेशन मॉडल्स: द सेगमेंट एवरीथिंग एवरीवेयर मॉडल (SEEM) और मास्क डिनो (Mask DINO) पर लागू किया गया है। मूल्यांकन चार बेंचमार्क डेटासेट्स के माध्यम से किया गया है जिनकी जटिलता भिन्न है: NDD20 (डॉल्फिन डिटेक्शन), ZeroWaste (अपशिष्ट वर्गीकरण), WIXray (एक्स-रे अपशिष्ट निरीक्षण), और Cityscapes (शहरी दृश्य सेगमेंटेशन)।

एडेप्टर्स (Adapters): लेखक ट्रांसफार्मर ब्लॉक्स के क्रॉस- और सेल्फ-अटेंशन लेयर्स के बाद क्रमबद्ध रूप से व्यवस्थित एडेप्टर मॉड्यूल पेश करते हैं। एडेप्टर आर्किटेक्चर में एक लीनियर डाउन-प्रोजेक्शन, एक ReLU एक्टिवेशन, एक लीनियर अप-प्रोजेक्शन और एक रेसिडुअल कनेक्शन शामिल है। अध्ययन विभिन्न रेसिडुअल कॉन्फ़िगरेशन ( $\kappa$ , $\lambda$ , और $\kappa+\lambda$ ) का अन्वेषण करता है और प्रति ब्लॉक क्रमिक एडेप्टर पुनरावृत्तियों ( $I$ ) की संख्या को भी बदलता है।
LoRA: LoRA को लो-रैंक मैट्रिसेस के साथ वेट अपडेट्स को अनुमानित करके अटेंशन लेयर्स पर लागू किया जाता है। एक प्रमुख पद्धतिगत योगदान मल्टी-स्केल डीफॉर्मेबल अटेंशन में LoRA का पहला अनुप्रयोग है। इस संदर्भ में, LoRA पारंपरिक क्वेरी और की (query and key) प्रोजेक्शन के बजाय ऑफसेट और वैल्यू प्रोजेक्शन वेट्स को एडजस्ट करता है। अध्ययन विभिन्न रैंकों ( $r$ ) और स्केलिंग फैक्टर्स ( $\alpha$ ) का मूल्यांकन करता है।
बेसलाइन्स (Baselines): प्रदर्शन की तुलना पारंपरिक फाइन-ट्यूनिंग सेटिंग्स के विरुद्ध की जाती है, जिसमें फुल-हेड ट्यूनिंग (एनकोडर + डिकोडर), डिकोडर-ओनली ट्यूनिंग, और केवल क्लास एवं मास्क एम्बेडिंग्स को ट्यून करना शामिल है।

प्रमुख योगदान

डीफॉर्मेबल अटेंशन में LoRA: यह पेपर मल्टी-स्केल डीफॉर्मेबल अटेंशन मॉड्यूल के भीतर LoRA के पहले कार्यान्वयन को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि इन विशिष्ट अटेंशन लेयर्स में लो-रैंक मैट्रिसेस को अपडेट करके पैरामीटर दक्षता प्राप्त की जा सकती है।
क्रमिक एडेप्टर एकीकरण (Sequential Adapter Integration): यह अध्ययन बड़े प्रीट्रेन्ड इंस्टेंस सेगमेंटेशन मॉडल्स के लिए क्रमबद्ध रूप से व्यवस्थित एडेप्टर मॉड्यूल के पहले कार्यान्वयन को पेश करता है, जो बॉटलनेक-आधारित एडेप्टर्स के लिए एक रैखिक रूप से स्केलेबल विकल्प प्रदान करता है।
व्यापक मूल्यांकन: यह कार्य विभिन्न मॉडल आर्किटेक्चर (SEEM और Mask DINO) और विभिन्न जटिलता वाले डेटासेट्स पर इन PEFT विधियों का विस्तृत तुलनात्मक विश्लेषण प्रदान करता है, जो PEFT प्रभावशीलता की संदर्भ-विशिष्ट प्रकृति को उजागर करता है।

परिणाम

पैरामीटर दक्षता: दोनों PEFT विधियाँ प्रशिक्षित पैरामीटर्स को काफी कम कर देती हैं। एडेप्टर्स को केवल 1–6% मॉडल पैरामीटर्स को ट्यून करने की आवश्यकता थी (SEEM के लिए 1.23–3.88%; Mask DINO के लिए 0.5–6.35%), जबकि पारंपरिक फुल-हेड फाइन-ट्यूनिंग के लिए यह 40–45% था। LoRA और भी अधिक कुशल था, जिसने लगभग 0.3–1.4% पैरामीटर्स का उपयोग किया।
प्रदर्शन:
- एडेप्टर्स: प्रत्येक ट्रांसफार्मर ब्लॉक में 2–3 एडेप्टर्स का उपयोग करने से प्रदर्शन और दक्षता के बीच एक इष्टतम संतुलन प्राप्त हुआ। एडेप्टर कॉन्फ़िगरेशन आम तौर पर प्रतिस्पर्धी परिणाम प्राप्त करते हैं, जो फुल-हेड ट्यूनिंग के काफी करीब हैं। कुछ मामलों में, जैसे कि ZeroWaste डेटासेट पर Mask DINO, 4 एडेप्टर्स ने फुल-हेड ट्यूनिंग से बेहतर प्रदर्शन किया।
- LoRA: LoRA ने मजबूत पैरामीटर दक्षता प्रदर्शित की। इसका प्रदर्शन डेटासेट और मॉडल के अनुसार भिन्न होता है। उदाहरण के लिए, LoLo ने Mask DINO के साथ Cityscapes डेटासेट पर एडेप्टर कॉन्फ़िगरेशन से बेहतर प्रदर्शन किया, जो संभवतः प्रीट्रेनिंग डेटा के साथ इसकी समानता के कारण है। हालांकि, WIXray जैसे अधिक जटिल या डोमेन-शिफ्टेड डेटासेट्स पर, एडेप्टर्स ने आमतौर पर LoRA से बेहतर प्रदर्शन किया, विशेष रूप से Mask DINO आर्किटेक्चर में।
इन्फरेंस स्पीड (Inference Speed): LoRA इन्फरेंस के दौरान नगण्य कम्प्यूटेशनल ओवरहेड डालता है क्योंकि वेट्स को बेस वेट्स के साथ मर्ज कर दिया जाता है। एडेप्टर्स अतिरिक्त लेयर्स के कारण इन्फरेंस समय में मामूली वृद्धि (प्रति एडेप्टर पुनरावृत्ति प्रति इटरेशन 1–2 मिलीसेकंड) लाते हैं, हालांकि यह मिलीसेकंड की सीमा के भीतर ही रहता है।

महत्व और निष्कर्ष
यह पेपर प्रदर्शित करता है कि PEFT तकनीकें इंस्टेंस सेगमेंटेशन के लिए स्केलेबल, कस्टमाइजेबल और कम्प्यूटेशनल रूप से कुशल ट्रांसफर लर्निंग को सक्षम बनाती हैं। यह इस बात पर जोर देता है कि एडेप्टर्स और LoRA के बीच का चुनाव संदर्भ-विशिष्ट होना चाहिए, जो डेटासेट की जटिलता, मॉडल आर्किटेक्चर और कम्प्यूटेशनल बाधाओं पर निर्भर करता है। एडेप्टर्स जटिल कार्यों या महत्वपूर्ण डोमेन शिफ्ट के लिए अधिक क्षमता प्रदान करते हैं, जबकि LoRA उन परिदृश्यों में न्यूनतम प्रदर्शन हानि के साथ बेहतर दक्षता प्रदान करता है जहाँ डाउनस्ट्रीम कार्य प्रीट्रेनिंग डेटा के साथ निकटता से मेल खाता है। यह कार्य विविध विजन अनुप्रयोगों के लिए बड़े प्रीट्रेन्ड मॉडल्स को कुशलतापूर्वक अनुकूलित करने के नए रास्ते खोलता है और आगे के अनुसंधान को सुगम बनाने के लिए ओपन-सोर्स कार्यान्वयन प्रदान करता है।

बड़ी समस्या: "ओवर-इंजीनियर्ड" शेफ

समाधान: "एफिशिएंसी हैक"

उन्होंने क्या टेस्ट किया?

मुख्य निष्कर्ष (सफलता की रेसिपी)

निचोड़ (Bottom Line)

इसी तरह के और पेपर