Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting

डेटाबेस और रोबोट की गुप्त भाषा

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत व्यवस्थित पुस्तकालय (एक डेटाबेस) है जिसमें लाखों तथ्य रखे हैं, और आपके पास एक प्रतिभाशाली, बातूनी रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो लगभग कुछ भी पढ़ और समझ सकता है। आमतौर पर, रोबोट को पुस्तकालय के तथ्यों का उपयोग करके कोई काम करने के लिए प्रेरित करने हेतु, एक इंसान को मध्यस्थ के रूप में कार्य करना पड़ता है। वे पुस्तकालय से कागज का एक टुकड़ा लेते हैं, रोबोट के लिए निर्देशों का एक विशिष्ट सेट (एक "प्रॉम्ट") लिखते हैं, उसे भेजते हैं, और उत्तर की प्रतीक्षा करते हैं। समस्या यह है कि पुस्तकालय स्वयं यह नहीं जानता कि रोबोट किन निर्देशों का पालन कर रहा है। यह एक ऐसे शेफ की तरह है जो जानता है कि फ्रिज में कौन से सामग्रियां हैं, लेकिन वह उस रेसिपी को नहीं देख सकता जिसका उपयोग रसोइया कर रहा है; शेफ खराब रेसिपी को ठीक करने में या बेहतर सामग्री का सुझाव देने में मदद नहीं कर सकता क्योंकि रेसिपी काउंटर पर रखी एक नोटबुक में छिपी हुई है।

यह शोध पत्र कंप्यूटर विज्ञान की उस दुनिया में कदम रखता है जहाँ डेटाबेस और आर्टिफिशियल इंटेलिजेंस मिलते हैं। यह एक विशिष्ट सिरदर्द से निपटता है: वर्तमान में, हम AI रोबोट को जो निर्देश देते हैं, वे अक्सर डेटाबेस के बाहर, अव्यवस्थित कोड या नोटबुक्स में संग्रहीत होते हैं। इससे डेटाबेस के लिए यह जांचना कठिन हो जाता है कि निर्देश अच्छे हैं या नहीं, उन्हें भ्रमित होने पर ठीक करना, या उन्हें चलाने के लिए सस्ता बनाना मुश्किल हो जाता है। लेखक एक क्रांतिकारी विचार प्रस्तावित करते हैं: क्या होगा यदि हम इन निर्देशों के साथ किसी अन्य डेटा की तरह व्यवहार करें, जैसे कि कोई नाम या संख्या, जिसे सीधे डेटाबेस के भीतर ही संग्रहीत किया जाए? इन निर्देशों को डेटाबेस के लिए "दृश्यमान" बनाकर, सिस्टम उन्हें स्मार्ट, तेज़ और अधिक सटीक बनाने के लिए स्वचालित रूप से फिर से लिख (rewrite) सकता है, जिससे डेटाबेस अपने स्वयं के ज्ञान का उपयोग करके रोबोट को अपना काम बेहतर ढंग से करने में मदद कर सके।

शोध का बड़ा विचार: डेटा के रूप में प्रॉम्ट्स

लेखक, डेनिस मेयर लीमा मार्टिन्स और गोटफ्रिड वोसेन, एक नया सिस्टम पेश करते हैं जिसे PromptDB कहा जाता है। इसे एक ऐसे डेटाबेस के रूप में सोचें जो न केवल तथ्यों को संग्रहीत करता है, बल्कि AI से बात करने के निर्देशों को भी संग्रहीत करता है। पारंपरिक प्रणालियों में, यदि आप चाहते हैं कि एक AI ग्राहक की शिकायत (जैसे "मेरा पैकेज कभी नहीं पहुँचा!") को वर्गीकृत करे, तो आप अपने एप्लिकेशन कोड में एक प्रॉम्ट लिखेंगे, डेटाबेस से टेक्स्ट प्राप्त करेंगे, और उसे AI को भेज देंगे। डेटाबेस केवल टेक्स्ट की एक स्ट्रिंग देखता है; वह यह नहीं जानता कि यह टेक्स्ट निर्देशों का एक सेट है जिसे निष्पादित किया जाना है।

PromptDB में, प्रॉम्ट एक प्रथम-श्रेणी का नागरिक (first-class citizen) है। यह PROMPT नामक एक विशेष डेटा प्रकार है। निर्देशों को एक नोटबुक में छिपाने के बजाय, डेटाबेस उन्हें सीधे टेबल की पंक्तियों (rows) के भीतर, उस डेटा के साथ संग्रहीत करता है जिसका वे वर्णन करते हैं। एक पंक्ति ऐसी दिख सकती है:

• टिकट आईडी: 1001
• संदेश: "पैकेज कभी नहीं पहुँचा"
• प्राथमिकता: उच्च (High)
• निर्देश: PROMPT("इस टिकट को वर्गीकृत करें: {{body}}", output: [refund, delivery, technical, other])

यहाँ, निर्देश एक संरचित ऑब्जेक्ट है। यह टेम्पलेट को जानता है ("इस टिकट को वर्गीकृत करें..."), यह जानता है कि पंक्ति के किस हिस्से को इसमें भरना है (body), और यह वैध उत्तरों को भी जानता है (output सूची)। क्योंकि डेटाबेस इस निर्देश को "देख" सकता है, इसलिए वह एक स्मार्ट संपादक की तरह कार्य कर सकता है।

जादुई संपादक: PromptOpt

असली जादू PromptOpt नामक एक घटक के साथ होता है। कल्पना कीजिए कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं। यदि छात्र एक लंबा, भटका हुआ उत्तर लिखता है, तो आप उससे कह सकते हैं, "संक्षिप्त रहें।" यदि वे आवश्यक चरणों को सूचीबद्ध करना भूल जाते हैं, तो आप कह सकते हैं, "छूटे हुए चरणों को जोड़ें।" PromptOpt AI प्रॉम्ट्स के लिए यह कार्य स्वचालित रूप से करता है।

सिस्टम AI को भेजने से पहले निर्देशों को फिर से लिखने के लिए डेटाबेस के अपने ज्ञान का उपयोग करता है। इसके पास कुछ विशेष युक्तियाँ हैं:

1. कन्स्ट्रेंट इंजेक्शन (Constraint Injection): यदि डेटाबेस जानता है कि एकमात्र वैध उत्तर "refund" या "delivery" हैं, तो PromptOpt प्रॉम्ट को फिर से लिख देता है ताकि AI को स्पष्ट रूप से बताया जा सके, "आपको इनमें से किसी एक सटीक शब्द को ही चुनना होगा।" यह AI को अजीब उत्तर जैसे "ग्राहक दुखी है" बनाने से रोकता है।
2. कॉलम प्रोजेक्शन (Column Projection): यदि एक पंक्ति में 50 कॉलम का डेटा है लेकिन AI को केवल "message" कॉलम को पढ़ने की आवश्यकता है, तो PromptOpt अन्य 49 को हटा देता है। यह पैसे बचाता है (पढ़ने के लिए कम टोकन) और भ्रम को कम करता है।
3. फ्यू-शॉट उदाहरण (Few-Shot Examples): सिस्टम डेटाबेस की अन्य पंक्तियों को देख सकता है, सही उत्तरों के अच्छे उदाहरण ढूंढ सकता है, और उन्हें प्रॉम्ट में डाल सकता है ताकि AI को दिखाया जा सके कि वास्तव में क्या करना है।

सिस्टम इन पुनर्गठनों (rewrites) को एक क्वेरी ऑप्टिमाइज़र की तरह मानता है। जिस तरह एक डेटाबेस ऑप्टिमाइज़र डेटा खोजने का सबसे तेज़ तरीका तय करता है, उसी तरह PromptOpt प्रॉम्ट लिखने का सबसे अच्छा तरीका तय करता है। यह लागत (AI को कितने शब्द पढ़ने/लिखने होंगे) और गुणवत्ता (उत्तर के सही होने की कितनी संभावना है) के बीच संतुलन बनाता है। यह निर्णय ले सकता है कि एक सरल कार्य के लिए छोटा प्रॉम्ट ठीक है, लेकिन एक कठिन कार्य के लिए, उदाहरण जोड़ने के लिए अतिरिक्त लागत उठाना सार्थक है।

उन्होंने क्या पाया

लेखकों ने तीन अलग-अलग डेटासेट्स पर PromptDB का परीक्षण किया: नकली सपोर्ट टिकट्स, एक कार मूल्यांकन डेटासेट, और एक मानक उद्योग डेटासेट जिसे TPC-H कहा जाता है। उन्होंने तीन तरीकों की तुलना की:

1. स्टैटिक (Static): पुराना तरीका, जहाँ प्रॉम्ट एक बार लिखा जाता है और कभी बदला नहीं जाता।
2. ऑल रूल्स (All Rules): एक संस्करण जो बिना सोचे-समझे हर संभव पुनर्गठन नियम को लागू करता है।
3. PromptOpt: स्मार्ट संस्करण जो प्रत्येक विशिष्ट कार्य के लिए सबसे अच्छा पुनर्गठन चुनता है।

परिणाम बताते हैं कि प्रॉम्ट को डेटा के रूप में मानना काम करता है।

• बेहतर गुणवत्ता: जब कार्य के लिए AI को विशिष्ट विकल्पों में से चुनने की आवश्यकता थी (जैसे टिकट को वर्गीकृत करना), तो डेटाबेस-निर्देशित पुनर्गठन ने AI को बहुत अधिक सटीक बनाया। "All Rules" दृष्टिकोण अक्सर सबसे अच्छे परिणाम देता था, लेकिन वह महंगा था।
• समझौता (The Trade-off): PromptOpt सिस्टम एक "स्वीट स्पॉट" खोजने में सफल रहा। इसने हमेशा सबसे महंगी, जटिल प्रॉम्ट नहीं चुनी। इसके बजाय, इसने उन सरल प्रॉम्ट्स को चुना जो काम के लिए "पर्याप्त अच्छे" थे, जिससे उच्च-गुणवत्ता वाले परिणाम प्राप्त करते हुए कंप्यूटिंग लागतों में बचत हुई। उदाहरण के लिए, कुछ परीक्षणों में, PromptOpt ने स्टैटिक पद्धति की तुलना में काफी कम इनपुट टोकन के साथ प्रतिस्पर्धी गुणवत्ता हासिल की।
• कार्य का महत्व: शोध पत्र नोट करता है कि एक ही नियम सब पर लागू नहीं होता। एक पुनर्गठन जो "सिमेंटिक फ़िल्टरिंग" (यह जाँचने के लिए कि क्या एक पंक्ति नियम से मेल खाती है) में मदद करता है, वह "वैल्यू नॉर्मलाइजेशन" (अव्यवस्थित टेक्स्ट को साफ करने) में मदद नहीं कर सकता है। सिस्टम सुझाव देता है कि भविष्य के संस्करणों को यह जानने के लिए और भी स्मार्ट होने की आवश्यकता है कि किस कार्य के लिए कौन सा नियम उपयोग करना है।

इसका क्या अर्थ है (और क्या नहीं)

शोध पत्र का तर्क है कि हमें AI निर्देशों को छिपे हुए, अपरिवर्तनीय कोड के रूप में मानना बंद कर देना चाहिए। उन्हें दृश्यमान डेटा बनाकर, हम AI इंटरैक्शन को अधिक विश्वसनीय और कुशल बनाने के लिए डेटाबेस की सुपरपावर्स—इसके बाधाओं (constraints) के ज्ञान, डेटा को फ़िल्टर करने की क्षमता और इसके अनुकूलन कौशल—का उपयोग कर सकते हैं।

हालाँकि, लेखक इस बात पर स्पष्ट हैं कि यह कोई पूर्ण, हल की गई समस्या नहीं है। वे स्वीकार करते हैं कि उनका वर्तमान सिस्टम गुणवत्ता का अनुमान लगाने के लिए पूरी तरह से सीखे गए AI मॉडल के बजाय सरल "ह्यूरिस्टिक" नियमों (शिक्षित अनुमान) का उपयोग करता है। वे सुझाव देते हैं कि जबकि प्रोटोटाइप सिमुलेशन और विशिष्ट डेटासेट्स पर अच्छी तरह से काम करता है, "क्वालिटी एस्टीमेटर" को हर संभावित कार्य को पूरी तरह से संभालने के लिए और भी स्मार्ट होने की आवश्यकता है।

संक्षेप में, PromptOpt सुझाव देता है कि एक ऐसा भविष्य जहाँ आपका डेटाबेस केवल तथ्यों का गोदाम नहीं है, बल्कि आपके AI के लिए एक सक्रिय कोच है, जो उसके निर्देशों को वास्तविक समय में फिर से लिखता है ताकि यह सुनिश्चित हो सके कि वह काम को सही ढंग से, तेज़ी से और संसाधनों को बर्बाद किए बिना पूरा करे। यह AI को एक 'ब्लैक बॉक्स' के बजाय डेटा की दुनिया का एक स्वाभाविक हिस्सा बनाने की दिशा में एक कदम है।