💬 NLP

Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer

यह शोध पत्र "टास्क प्रॉम्प्ट वेक्टर्स" (Task Prompt Vectors) प्रस्तुत करता है, जो एक ऐसी विधि है जो पूर्ण पुनरप्रशिक्षण की आवश्यकता के बिना प्रॉम्प्ट ट्यूनिंग में प्रभावी मल्टी-टास्क इनिशियलाइजेशन और ट्रांसफर को सक्षम करने के लिए कार्य-विशिष्ट अंतरों से प्राप्त सॉफ्ट-प्रॉम्प्ट्स पर अंकगणितीय संचालन का लाभ उठाती है।

मूल लेखक: Robert Belanec, Simon Ostermann, Ivan Srba, Maria Bielikova

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Robert Belanec, Simon Ostermann, Ivan Srba, Maria Bielikova

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो लिखना, सवालों के जवाब देना और समस्याओं को हल करना जानता है। हालाँकि, इस पुस्तकालय को एक नया विशिष्ट कौशल सिखाने के लिए आमतौर पर पूरी इमारत का एक विशाल, महंगा नवीनीकरण करने की आवश्यकता होती है।

प्रॉम्प्ट ट्यूनिंग (Prompt Tuning) इस पुस्तकालय को सिखाने का एक स्मार्ट और सस्ता तरीका है। पूरे पुस्तकालय को फिर से बनाने के बजाय, आप बस हर उस किताब के सामने एक छोटा, कस्टम "निर्देश कार्ड" (एक सॉफ्ट प्रॉम्प्ट) जोड़ देते हैं जिसे पुस्तकालय पढ़ता है। आप केवल इस छोटे से कार्ड को थोड़ा सा बदलते हैं ताकि पुस्तकालय को एक नया कार्य सिखाया जा सके, जैसे "कविता लिखना" या "गणित की समस्याओं को हल करना"।

वर्तमान विधियों के साथ समस्या यह है कि यदि आप चाहते हैं कि पुस्तकालय एक साथ दो काम करे (जैसे कविता लिखना और गणित हल करना), तो आपको आमतौर पर उस विशिष्ट संयोजन के लिए एक बिल्कुल नया निर्देश कार्ड शुरू से ही प्रशिक्षित करना पड़ता है। यह ऐसा है जैसे हर बार जब आप दो कौशलों को जोड़ना चाहते हैं, तो आपको एक नया मैनुअल लिखना पड़ता है।

यह शोध पत्र एक नया उपकरण पेश करता है जिसे टास्क प्रॉम्प्ट वेक्टर्स (Task Prompt Vectors) कहा जाता है। यह यहाँ कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "दिशा" की उपमा

पुस्तकालय के निर्देश कार्ड को एक दिशा में इशारा करने वाले दिशा-सूचक यंत्र (कम्पास) की सुई के रूप में सोचें।

रैंडम शुरुआत (Random Start): जब आपको पहली बार एक खाली निर्देश कार्ड मिलता है, तो सुई एक रैंडम दिशा में इशारा करती है (जैसे कम्पास पागलों की तरह घूम रहा हो)।
प्रशिक्षण (Training): जब आप कार्ड को "गणित की समस्याओं" को हल करने के लिए प्रशिक्षित करते हैं, तो आप उस सुई को धीरे से तब तक धकेलते हैं जब तक कि वह "गणित" की ओर स्थिर होकर इशारा न करने लगे।
वेक्टर (The Vector): यह शोध पत्र एक टास्क प्रॉम्प्ट वेक्टर को बस उस अंतर के रूप में परिभाषित करता है जहाँ सुई शुरू में थी (रैंडम) और जहाँ वह अंत में पहुँची (गणित)। यह अंतिम स्थिति नहीं है; यह वह गति या धक्का है जो वहाँ पहुँचने के लिए आवश्यक है।

2. "अंकगणित" का जादू

इस शोध पत्र की सबसे रोमांचक खोज यह है कि आप इन "धक्कों" के साथ गणित कर सकते हैं।

कल्पना कीजिए कि आपके पास एक "गणित का धक्का" (Math Push) और एक "कविता का धक्का" (Poem Push) है।
एक नया कार्ड शुरू से प्रशिक्षित करने के बजाय, आप बस "गणित के धक्के" और "कविता के धक्के" को आपस में जोड़ सकते हैं।
परिणाम एक ऐसा नया निर्देश कार्ड होगा जो ऐसी दिशा में इशारा करेगा जो गणित और कविता दोनों को संभाल सके।

यह केक की दो अलग-अलग रेसिपी होने जैसा है। चॉकलेट और वनीला फ्लेवर को मिलाने के लिए पूरा नया केक बनाने के बजाय, आप बस "चॉकलेट फ्लेवरिंग" और "वनीला फ्लेवरिंग" को आपस में मिला देते हैं और उन्हें एक ताज़ा बैटर में डाल देते हैं।

3. यह एक बड़ी बात क्यों है

लेखकों ने इस विचार का परीक्षण 19 विभिन्न कार्यों (जैसे वाक्यों को समझना, विषयों को वर्गीकृत करना और गणित हल करना) पर किया। उन्होंने तीन मुख्य बातें पाईं:

इससे फर्क नहीं पड़ता कि आप कहाँ से शुरू करते हैं: आमतौर पर, यदि आप एक अलग रैंडम स्थान से कम्पास शुरू करते हैं, तो यह थोड़ा अलग दिशा में इशारा कर सकता है। लेकिन शोध पत्र दिखाता है कि ये "टास्क प्रॉम्प्ट वेक्टर्स" इतने मजबूत (robust) हैं कि इससे कोई फर्क नहीं पड़ता कि आप किस रैंडम शुरुआती बिंदु का उपयोग करते हैं। "धक्का" वही रहता है। इसका मतलब है कि आप किसी दूसरे व्यक्ति द्वारा बनाए गए "गणित के धक्के" को किसी और के खाली कार्ड पर लागू कर सकते हैं, और यह अभी भी काम करेगा।
समान कार्य अच्छी तरह से मिलते हैं: यदि आप "गणित के धक्के" को "विज्ञान के धक्के" के साथ जोड़ते हैं, तो यह बहुत अच्छा काम करता है क्योंकि वे समान हैं। यदि आप "गणित के धक्के" को "कुकिंग के धक्के" के साथ जोड़ने की कोशिश करते हैं, तो यह गड़बड़ हो सकता है। शोध पत्र दिखाता है कि ये वेक्टर्स स्वाभाविक रूप से इस बात को दर्शाते हैं कि कार्य कितने समान हैं।
यह समय और पैसा बचाता है: क्योंकि आप इन पहले से बने हुए वेक्टर्स को बस "जोड़" सकते हैं, इसलिए आपको मॉडल को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह विशेष रूप से तब बहुत मददगार होता है जब आपके पास बहुत कम डेटा हो (जैसे किसी कार्य के लिए हजारों के बजाय केवल 5 उदाहरण होना)। इन "लो-रिसोर्स" स्थितियों में, इन पूर्व-मिश्रित वेक्टर्स का उपयोग करना अन्य वर्तमान विधियों की तुलना में अक्सर बेहतर काम करता है।

सारांश

यह शोध पत्र AI निर्देशों को बिल्डिंग ब्लॉक्स (बनाने वाले ब्लॉक) की तरह मानने का प्रस्ताव देता है। हर बार जब आप एक अलग कमरा चाहते हैं, तो एक नया घर बनाने के बजाय, आप विशिष्ट कमरों के लिए "ब्लूप्रिंट" (वेक्टर्स) बनाते हैं। आप फिर इन ब्लूप्रिंट्स को आपस में जोड़कर तुरंत कई कमरों वाला घर बना सकते हैं, बिना किसी नए निर्माण दल (मॉडल को फिर से प्रशिक्षित करने) को नियुक्त किए।

लेखक इसे टास्क प्रॉम्प्ट वेक्टर्स कहते हैं, और वे दिखाते हैं कि यह AI को अधिक लचीला, कुशल और एक साथ कई कार्यों के लिए संयोजित करना आसान बनाता है।

तकनीकी सारांश: टास्क प्रॉम्प्ट वेक्टर्स (Task Prompt Vectors)

समस्या विवरण

प्रॉम्प्ट ट्यूनिंग (Prompt tuning), लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधि है, जहाँ केवल निरंतर सॉफ्ट प्रॉम्प्ट वेट्स (soft prompt weights) के एक छोटे सेट को प्रशिक्षित किया जाता है जबकि प्री-ट्रेंड मॉडल फ्रीज रहता है। हालाँकि, मौजूदा सॉफ्ट प्रॉम्प्ट-आधारित विधियों में अक्सर पर्याप्त मल्टी-टास्क मोडुलैरिटी (multi-task modularity) की कमी होती है। आमतौर पर, एक नए कार्य के लिए सॉफ्ट प्रॉम्प्ट को प्रशिक्षित करने के लिए पूर्ण या आंशिक पुन: प्रशिक्षण (retraining) प्रक्रिया की आवश्यकता होती है, और कई कार्यों के प्रॉम्प्ट्स को संयोजित करने से प्रदर्शन कम हो जाता है या आगे के फाइन-ट्यूनिंग की आवश्यकता होती है। जबकि "टास्क वेक्टर्स" (फुल मॉडल वेट्स पर अंकगणितीय संचालन) ने कंप्यूटर विजन और पुराने NLP मॉडल्स में मल्टी-टास्क प्रदर्शन प्राप्त करने के लिए आशाजनक परिणाम दिखाए हैं, इस अवधारणा को प्रभावी रूप से सॉफ्ट प्रॉम्प्ट-आधारित ट्यूनिंग के क्षेत्र में विस्तारित नहीं किया गया है। इसके अलावा, मौजूदा PEFT वेट इंटरपोलेशन विधियाँ अक्सर विशिष्ट रैंडम इनिशियलाइजेशन (random initializations) पर बहुत अधिक निर्भर करती हैं, जो उनकी पुन: प्रयोज्यता (reusability) को सीमित करती हैं।

कार्यप्रणाली (Methodology)

लेखक टास्क प्रॉम्प्ट वेक्टर्स (TPVs) पेश करते हैं, जो एक नवीन अवधारणा है जो सॉफ्ट प्रॉम्प्ट स्पेस में टास्क वेक्टर अंकगणित के सिद्धांतों को अनुकूलित करती है।

परिभाषा

एक टास्क प्रॉम्प्ट वेक्टर ( $\tau_{P}^{t}$ ) को एक विशिष्ट कार्य पर फाइन-ट्यूनिंग के बाद सॉफ्ट प्रॉम्प्ट के वेट्स ( $\theta_{P_{ft}}^{t}$ ) और उसके रैंडम इनिशियलाइजेशन ( $\theta_{P_{pre}}$ ) के बीच के एलिमेंट-वाइज अंतर के रूप में परिभाषित किया गया है:
$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$
यह वेक्टर एम्बेडिंग स्पेस में एक दिशा का प्रतिनिधित्व करता है जो प्रॉम्प्ट को एक रैंडम स्टेट से टास्क-विशिष्ट सबस्पेस (task-specific subspace) की ओर ले जाता है।

अंकगणितीय संचालन (Arithmetic Operations)

मुख्य तंत्र में प्रॉम्प्ट अंकगणित (prompt arithmetics) शामिल है, विशेष रूप से विभिन्न कार्यों के ज्ञान को संयोजित करने के लिए टास्क प्रॉम्प्ट वेक्टर्स का योग:
$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$
इस संयुक्त वेक्टर को एक नए सॉफ्ट प्रॉम्प्ट इनिशियलाइजेशन ( $\theta_{P}$ ) पर एक लक्षित कार्य (target task) के लिए बिना किसी और प्रशिक्षण के लागू किया जा सकता है:
$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$
जहाँ $\lambda$ एक रीस्केलिंग फैक्टर (rescaling factor) है।

प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने T5-base, LLaMa-3.1-8B-Instruct, और DeepSeek-LLM-7B-Chat मॉडल्स का उपयोग करके 8 कार्य प्रकारों (NLI, टॉपिक क्लासिफिकेशन, सेंटीमेंट एनालिसिस और मैथ प्रॉब्लम सॉल्विंग सहित) को कवर करने वाले 19 डेटासेट्स पर TPVs का मूल्यांकन किया। मुख्य प्रयोगात्मक लक्ष्य शामिल थे:

इनिशियलाइजेशन इंडिपेंडेंस (Initialization Independence): यह परीक्षण करना कि क्या TPVs लक्षित सॉफ्ट प्रॉम्प्ट के रैंडम इनिशियलाइजेशन के बावजूद काम करते हैं।
वेक्टर समानता (Vector Similarity): संबंधित और असंबंधित कार्यों के वेक्टर्स के बीच कोसाइन समानता (cosine similarities) का विश्लेषण करना।
मल्टी-टास्क ट्रांसफर (Multi-Task Transfer): सोर्स कार्यों पर संयुक्त वेक्टर्स के प्रदर्शन और लक्षित कार्यों पर जीरो-शॉट और फ्यू-शॉट लर्निंग के लिए इनिशियलाइजेशन के रूप में उनके प्रदर्शन का मूल्यांकन करना।

मुख्य योगदान और निष्कर्ष

1. रैंडम इनिशियलाइजेशन इंडिपेंडेंस

अध्ययन यह प्रदर्शित करता है कि टास्क प्रॉम्प्ट वेक्टर्स सॉफ्ट प्रॉम्प्ट के रैंडम इनिशियलाइजेशन से काफी हद तक स्वतंत्र होते हैं। जब एक रैंडम इनिशियलाइजेशन पर प्रशिक्षित किया गया TPV, एक अलग रैंडम इनिशियलाइजेशन पर लागू किया जाता है, तो डाउनस्ट्रीम प्रदर्शन अधिकांश कार्यों के लिए मूल सेटअप के समान रहता है। यह गुण महत्वपूर्ण है क्योंकि यह TPVs को एक ही सीड (seed) की आवश्यकता के बिना विभिन्न ट्रेनिंग रन के बीच साझा करने और पुनः उपयोग करने की अनुमति देता है।

2. टास्क मोडुलैरिटी और वेक्टर अंकगणित

लेखक दिखाते हैं कि समान कार्यों (जैसे, MNLI + RTE) के टास्क प्रॉम्प्ट वेक्टर्स को जोड़ने से दोनों कार्यों पर सिंगल-टास्क प्रदर्शन बना रहता है या थोड़ा सुधर जाता है। यह सुझाव देता है कि TPVs प्रभावी रूप से टास्क-विशिष्ट ज्ञान को एक मोडुलर तरीके से एनकोड कर सकते हैं। पाया गया कि TPVs की कोसाइन समानता, कच्चे टास्क प्रॉम्प्ट्स की तुलना में ट्रांसफरेबिलिटी (transferability) का बेहतर भविष्यवक्ता है।

3. लो-रिसोर्स इनिशियलाइजेशन (Low-Resource Initialization)

जीरो-शॉट और फ्यू-शॉट सेटिंग्स (0–100 शॉट्स) में, प्री-ट्रेंड TPVs के संयोजन के साथ प्रॉम्प्ट ट्यूनिंग को इनिशियलाइज़ करना अक्सर SPoT (Soft Prompt Transfer) और ATTEMPT जैसे अत्याधुनिक बेसलाइन्स से बेहतर या उनके बराबर होता है:

TPV कॉम्बिनेशन ने SciTail और IMDB पर सिंगल-टास्क सोर्स प्रॉम्प्ट्स की तुलना में बेहतर प्रदर्शन किया।
उन्होंने AG News और Yahoo Answers पर SPoT के प्रदर्शन की बराबरी की।
उन्होंने कई परिदृश्यों में, विशेष रूप से जब प्री-ट्रेंड सोर्स प्रॉम्प्ट्स की संख्या सीमित थी, ATTEMमेंट को काफी पीछे छोड़ दिया।

4. मौजूदा विधियों के साथ तुलना

SPoT के विपरीत, जिसे सोर्स कार्यों का सेट बदलने पर सोर्स प्रॉम्प्ट को फिर से प्रशिक्षित करने की आवश्यकता होती है, और ATTEMPT के विपरीत, जो सोर्स प्रॉम्प्ट्स की गुणवत्ता और मात्रा पर बहुत अधिक निर्भर करता है, TPVs उच्च मोडुलैरिटी और सोर्स प्रॉम्प्ट इंडिपेंडेंस प्रदान करते हैं। यह एक "वेक्टर हब" बनाने की अनुमति देता है जहाँ प्री-ट्रेंड वेक्टर्स को अतिरिक्त प्रशिक्षण के बिना नए कार्यों के लिए पुनः उपयोग किया जा सकता है।

महत्व और दावे

पेपर का दावा है कि टास्क प्रॉम्प्ट वेक्टर्स मल्टी-टास्क समाधानों के लिए एक कंप्यूटेशनल रूप से प्रभावी विकल्प प्रदान करते हैं। प्री-ट्रेंड वेक्टर्स पर सरल अंकगणितीय संचालन का लाभ उठाकर, यह विधि बिना पुन: प्रशिक्षण की लागत के उच्च मल्टी-टास्क मोडुलैरिटी प्राप्त करती है।

लेखक तर्क देते हैं कि इस पद्धति की सफलता यह बताती है कि सॉफ्ट प्रॉम्प्ट्स के लिए इष्टतम सबस्पेस (optimal subspace) का आकार उत्तल (convex) हो सकता है, जिससे लीनियर एप्रोक्सिमेशन (वेक्टर एडिशन) नॉन-लीनियर स्पेस में भी प्रभावी ढंग से काम कर पाता है। इसके अलावा, रैंडम इनिशियलाइजेशन से स्वतंत्रता, टास्क वेक्टर्स के कम्युनिटी-ड्रिवन रिपॉजिटरी की क्षमता को सक्षम बनाती है।

लेखकों द्वारा नोट की गई सीमाएं:

प्रयोग मुख्य रूप से मोनोलिंगुअल (अंग्रेजी) मॉडल्स और डेटासेट्स पर किए गए थे।
अध्ययन ने T5-base को एक प्रतिनिधि मॉडल के रूप में केंद्रित किया, हालांकि परिणामों को बड़े LLaMa और DeepSeek मॉडल्स पर सत्यापित किया गया था।
सॉफ्ट प्रॉम्प्ट स्पेस के ज्यामितीय गुणों का सैद्धांतिक विश्लेषण भविष्य के कार्य के लिए छोड़ दिया गया है।
वर्तमान में विधि NLU और NLG कार्यों पर केंद्रित है लेकिन मल्टीलिंगुअल सेटिंग्स में इसका व्यापक परीक्षण नहीं किया गया है।

निष्कर्षतः, यह कार्य स्थापित करता है कि टास्क प्रॉम्प्ट वेक्टर्स का उपयोग लो-रिसोर्स सेटिंग्स में प्रॉम्प्ट ट्यूनिंग को प्रभावी ढंग से इनिशियलाइज़ करने के लिए किया जा सकता है, जो मल्टी-टास्क अडैप्टेशन के लिए एक मजबूत, मोडुलर और ट्रेनिंग-फ्री दृष्टिकोण प्रदान करता है।