Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
यह शोध पत्र GitHub से प्राप्त 57,500 अद्वितीय ट्रांजेक्शनल प्रॉम्प्ट्स के एक विशाल संग्रह का विश्लेषण करने के लिए एक संरचित ऑन्टोलॉजी प्रस्तुत करता है, जो उन्हें समृद्ध संरचित भाषाई वस्तुओं में बदलकर विभिन्न भाषाओं और डोमेन में विविध उपयोग पैटर्न को प्रकट करता है और व्यापक त्रुटि विश्लेषण के माध्यम से एनोटेशन गुणवत्ता को मान्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कोई विशिष्ट काम करना सिखाने की कोशिश कर रहे हैं, जैसे कि कविता लिखना या कंप्यूटर प्रोग्राम में बग ठीक करना। आप रोबोट को कोई औपचारिक प्रोग्रामिंग कोड नहीं देते; इसके बजाय, आप उसे साधारण अंग्रेजी में निर्देशों का एक सेट लिखते हैं। निर्देशों के इस सेट को प्रॉम्ट (prompt) कहा जाता है। प्रॉम्ट को एक शेफ के लिए रेसिपी कार्ड की तरह समझें। यदि रेसिपी अस्पष्ट है ("कुछ स्वादिष्ट बनाएं"), तो शेफ गलत अनुमान लगा सकता है। लेकिन यदि रेसिपी विस्तृत है ("दो प्याज काटें, पांच मिनट तक भूनें, नमक डालें"), तो शेफ को ठीक से पता चल जाएगा कि क्या करना है। लंबे समय तक, वैज्ञानिकों ने "शेफ" (AI मॉडल) का विस्तार से अध्ययन किया है, ताकि उसे और स्मार्ट बनाया जा सके। लेकिन उन्होंने "रेसिपी कार्ड्स" (प्रॉम्ट्स) पर बहुत कम ध्यान दिया है, उन्हें अव्यवस्थित, अनौपचारिक नोट्स मानकर, न कि अध्ययन के योग्य किसी गंभीर चीज़ के रूप में। यह शोध पत्र तर्क देता है कि ये प्रॉम्ट वास्तव में एक नया प्रकार का "भाषा" हैं जिसका उपयोग मनुष्य AI को प्रोग्राम करने के लिए करते हैं, और उन्हें किसी भी अन्य भाषा या कोड की तरह विश्लेषण किया जाना चाहिए।
इस अध्ययन के पीछे के शोधकर्ताओं ने प्रॉम्ट्स को एक वैज्ञानिक वस्तु की तरह मानने का निर्णय लिया। वे सार्वजनिक कोड रिपॉजिटरी GitHub के माध्यम से खुदाई करने निकल पड़े, जो एक विशाल पुस्तकालय की तरह है जहाँ सॉफ्टवेयर डेवलपर्स अपना काम साझा करते हैं। वे एक विशिष्ट प्रकार के प्रॉम्ट की तलाश में थे जिसे ट्रांसेक्शनल प्रॉम्ट (transactional prompt) कहा जाता है। अंतर को समझने के लिए, कल्पना करें कि आप एक दोस्त के साथ सामान्य बातचीत कर रहे हैं जहाँ आप पूछते हैं, "मौसम कैसा है?" और वह उत्तर देता है। यह एक "इंटरैक्टिव" प्रॉम्ट है। एक ट्रांसेक्शनल प्रॉम्ट अलग है; यह एक पहले से लिखे गए निर्देश की तरह है जो एक मशीन पर चिपका होता है जो हर बार बटन दबाने पर स्वचालित रूप से चलता है। इसे दोहराने योग्य, मजबूत और एक बड़े सॉफ़्टवेयर सिस्टम का हिस्सा बनने के लिए डिज़ाइन किया गया है। टीम ने इन 57,500 अद्वितीय, वास्तविक दुनिया के प्रॉम्ट्स को इकट्ठा किया ताकि वे देख सकें कि वे कैसे दिखते हैं, उनकी संरचना कैसी है, और लोग वास्तव में AI से क्या करने के लिए कह रहे हैं।
इस विशाल टेक्स्ट के ढेर को समझने के लिए, लेखकों ने एक विशेष "मानचित्र" या ऑन्टोलॉजी (ontology) बनाई। कल्पना करें कि आप यादृच्छिक वस्तुओं से भरे एक अव्यवस्थित अटारी को व्यवस्थित करने की कोशिश कर रहे हैं। बिना किसी प्रणाली के, यह केवल अराजकता है। ऑन्टोलॉजी लेबल किए गए बक्सों और टैगों का एक सेट है जो उन्हें प्रॉम्ट्स को श्रेणियों में वर्गीकृत करने की अनुमति देता है: यह किस भाषा में लिखा गया है? कार्य क्या है? क्या किसी विशिष्ट प्रारूप की आवश्यकता है? क्या प्रॉम्ट AI को यह बता रहा है कि क्या नहीं करना है? अनस्ट्रक्चर्ड टेक्स्ट को इन समृद्ध, स्ट्रक्चर्ड डेटा पॉइंट्स में बदलकर, वे गंभीर प्रश्न पूछना शुरू कर सकते थे।
उन्होंने क्या पाया? सबसे पहले, डेटा एक विशाल विविधता दिखाता है, लेकिन यह एक पैटर्न का पालन करता है जिसे जिपफ-जैसे वितरण (Zipf-like distribution) के रूप में जाना जाता है। इसे एक शहर की जनसंख्या की तरह सोचें: कुछ बड़े शहर (जैसे अंग्रेजी) में लाखों लोग होते हैं, जबकि हजारों छोटे गाँव (अन्य भाषाएं) में बहुत कम लोग होते हैं। प्रॉम्ट्स की दुनिया में, अंग्रेजी वह विशाल शहर है, जो लगभग 84.66% प्रॉम्ट्स का हिस्सा बनाती है। हालांकि, इसमें 62 अलग-अलग भाषाएं भी शामिल हैं, और यहाँ तक कि इन अंग्रेजी प्रॉम्ट्स में भी, लोग लगातार अन्य भाषाओं का उल्लेख करते हैं (जैसे कि AI को "स्पेनिश में अनुवाद करने" के लिए कहना), जो एक छिपी हुई भाषाई विविधता को दर्शाता है।
अध्ययन ने यह भी खुलासा किया कि ये प्रॉम्ट आश्चर्यजनक रूप से जटिल हैं। वे केवल सरल वाक्य नहीं हैं। औसतन, प्रत्येक प्रॉम्ट में लगभग 6.85 अलग-अलग "इंस्ट्रक्शन ब्लॉक्स" (निर्देश ब्लॉक) होते हैं। ये ब्लॉक्स रेसिपी के चरणों की तरह हैं। सबसे आम चरण "यहाँ संदर्भ है," "उत्तर को बहुत लंबा न रखें," या "परिणाम को JSON फ़ाइल के रूप में आउटपुट करें" जैसी चीजें हैं। दिलचस्प बात यह है कि लगभग 31% प्रॉम्ट्स में "नेगेटिव इंस्ट्रक्शन्स" (नकारात्मक निर्देश) शामिल हैं—AI को यह बताना कि क्या नहीं करना है, जैसे "भ्रमित न हों (hallucinate)" या "अतिरिक्त टेक्स्ट का उपयोग न करें।" यह सुझाव देता है कि डेवलपर्स लगातार AI की बहुत अधिक बातें करने या मनगढ़ंत बातें बनाने की प्रवृत्ति को नियंत्रित करने की कोशिश कर रहे हैं।
शोधकर्ताओं ने यह भी देखा कि लोग इन प्रॉम्ट्स को कैसे संरचित करते हैं। उन्होंने पाया कि सबसे आम सेटअप एक दो-भाग वाली बातचीत है: एक "सिस्टम" संदेश (जो नियम निर्धारित करता है, जैसे "आप एक सहायक सहायक हैं") और एक "यूजर" संदेश (जो विशिष्ट कार्य देता है)। यह "सिस्टम-यूजर" जोड़ी ट्रांसेक्शनल प्रॉम्ट्स के लिए मानक इकाई बन गई है, जो 64% मामलों में दिखाई देती है। ऐसा लगता है कि डेवलपर्स सिस्टम भूमिका को एक स्थिर कॉन्फ़िगरेशन लेयर के रूप में और यूजर भूमिका को डायनेमिक इनपुट के रूप में देखते हैं, बजाय इसके कि वे एक ही स्क्रिप्ट के भीतर जटिल, मल्टी-टर्न रोल-प्लेइंग गेम के लिए AI का उपयोग करें।
किए जाने वाले कार्यों के संबंध में, NLP कार्य (प्राकृतिक भाषा प्रसंस्करण, जैसे टेक्स्ट का सारांश देना या प्रश्नों के उत्तर देना) सबसे लोकप्रिय हैं, जिसमें शीर्ष चार कार्य कुल डेटा के लगभग आधे हिस्से को कवर करते हैं। हालाँकि, डेटा की "लॉन्ग टेल" (लंबी पूंछ) दिखाती है कि लोग गेम रणनीति से लेकर नीति निर्माण तक, कई तरह की अजीब और अद्भुत चीजों के लिए AI का उपयोग कर रहे हैं। डेटा यह भी बताता है कि अधिकांश प्रॉम्ट "ग्राउंडेड" (grounded) हैं, जिसका अर्थ है कि वे प्रॉम्ट में दिए गए विशिष्ट संदर्भ (जैसे दस्तावेज़ या कोड स्निपेट) पर निर्भर करते हैं, न कि केवल AI की आंतरिक स्मृति पर। लगभग 89.25% मामलों में इस तरह का ग्राउंडिंग उपयोग किया जाता है।
लेखक सावधानीपूर्वक नोट करते हैं कि उनके निष्कर्ष इंटरनेट के एक विशिष्ट हिस्से (विशिष्ट पायथन लाइब्रेरी का उपयोग करने वाले सार्वजनिक GitHub प्रोजेक्ट्स) से आते हैं, इसलिए यह अस्तित्व में मौजूद प्रत्येक प्रॉम्ट का प्रतिनिधित्व नहीं कर सकता है। उन्होंने डेटा को लेबल करने और विश्लेषण करने के लिए AI का भी उपयोग किया, जिसका अर्थ है कि कुछ त्रुटियां हो सकती हैं, हालांकि उन्होंने गुणवत्ता की जांच की और पाया कि अधिकांश श्रेणियों के लिए सटीकता काफी उच्च (अक्सर 90% से अधिक) थी।
अंततः, यह शोध पत्र हमें केवल प्रॉम्ट्स की सूची नहीं देता है; यह हमें एक टूलकिट देता है। लेखक इस डेटासेट और एक विशेष वेबसाइट को जारी करते हैं जहाँ कोई भी अपनी विशेषताओं के आधार पर इन प्रॉम्ट्स को ब्राउज़, खोज और एक्सप्लोर कर सकता है। वे आशा करते हैं कि यह वैज्ञानिकों, इंजीनियरों और भाषाविदों को यह समझने में मदद करेगा कि मनुष्य वास्तव में AI के साथ कैसे बातचीत कर रहे हैं। प्रॉम्ट्स को प्रथम श्रेणी की वैज्ञानिक वस्तुओं के रूप में मानकर, हम उन पैटर्न, "अनकहे मानदंडों" और उन रचनात्मक तरीकों को समझना शुरू कर सकते हैं जिनसे लोग इन शक्तिशाली मशीनों के व्यवहार को आकार दे रहे हैं। यह उस नई भाषा को समझने की दिशा में एक कदम है जिसे हम अपने डिजिटल साथियों से बात करने के लिए आविष्कार कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।