The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach
यह शोध पत्र एक नवीन LLM-सापेक्ष संभाव्यता लेविन-कोल्मोगोरोव जटिलता () पर आधारित एल्गोरिद्मिक म्यूचुअल इन्फॉर्मेशन को परिभाषित करके, लार्ज लैंग्वेज मॉडल्स को दिए गए प्रॉम्प्ट्स के आर्थिक मूल्य को मापने के लिए एक कुशलतापूर्वक अनुमान लगाने योग्य मीट्रिक प्रस्तावित करता है, जो यह पकड़ता है कि एक प्रॉम्प्ट लक्षित आर्टिफैक्ट उत्पन्न करने के कम्प्यूटेशनल प्रयास को कितना कम करता है या उसकी संभावना को कितना बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की आधुनिक अर्थव्यवस्था में, एक नए प्रकार की मुद्रा उभर रही है, जिसे डॉलर या टोकन में नहीं, बल्कि हमारे द्वारा पूछे गए प्रश्नों की गुणवत्ता से मापा जाता है। लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली इंजन बन गए हैं जो प्रमाण (proofs) उत्पन्न करने, कोड लिखने या नई सामग्रियों को डिजाइन करने में सक्षम हैं, फिर भी वे शून्य में काम नहीं करते हैं। उन्हें अपना काम शुरू करने के लिए एक मानवीय चिंगारी, एक प्रॉम्प्ट (prompt) की आवश्यकता होती है। वर्षों से, उद्योग ने लगभग विशेष रूप से आउटपुट पर ध्यान केंद्रित किया है: कहानी कितनी अच्छी है, कोड कितना सही है, या डिज़ाइन कितना उत्कृष्ट है। लेकिन जैसे-जैसे ये मशीनें अधिक सक्षम होती जा रही हैं, केंद्रीय आर्थिक प्रश्न बदल रहा है। यह अब केवल इस बारे में नहीं है कि मशीन क्या उत्पन्न कर सकती है, बल्कि इस बारे में है कि उस मानव इनपुट का क्या मूल्य शेष रहता है जिसने इसका मार्गदर्शन किया। यदि कोई व्यक्ति एक संकेत, एक आलोचना, या एक आंशिक समाधान प्रदान करता है, तो उस विशिष्ट इनपुट ने वास्तव में मशीन को उसके लक्ष्य तक पहुँचने में कितनी मदद की?
यह एक कठिन समस्या है क्योंकि एक छोटा, चतुर संकेत एक लंबे, अस्पष्ट निर्देश की तुलना में अधिक मूल्यवान हो सकता है, और एक गलत संकेत बिना किसी संकेत के मुकाबले अधिक नुकसानदेह हो सकता है। केवल प्रॉम्प्ट के शब्दों या वर्णों (characters) को गिनना उसके वास्तविक मूल्य को पकड़ने में विफल रहता है। इसे हल करने के लिए, शोधकर्ताओं ने एल्गोरिथमिक इंफॉर्मेशन थ्योरी (algorithmic information theory) नामक गणित के एक क्षेत्र की ओर रुख किया, जो पारंपरिक रूप से किसी वस्तु की जटिलता को यह पूछकर मापता है कि उसे वर्णित करने के लिए कितनी जानकारी की आवश्यकता है। इस अध्ययन में शोधकर्ताओं ने एक नया प्रश्न पूछा: क्या होगा यदि हम जटिलता को एक आदर्श, सैद्धांतिक कंप्यूटर के विरुद्ध नहीं, बल्कि कार्य करने वाले विशिष्ट आर्टिफिशियल इंटेलिजेंस मॉडल के विरुद्ध मापते हैं? उन्होंने महसूस किया कि मानव के योगदान को वास्तव में आंकने के लिए, हमें मशीन की अपनी "सोचने" की प्रक्रिया को ध्यान में रखना चाहिए। आधुनिक मॉडल अक्सर उत्तर देने से पहले तर्क की एक श्रृंखला (chain of reasoning) उत्पन्न करने के लिए रुकते हैं, और एक अच्छा प्रॉम्प्ट मशीन को लंबे समय तक सोचने से बचा सकता है, या उसे अधिक उत्पादक दिशा में मोड़ सकता है।
शोधकर्ताओं ने प्रॉम्प्ट को एक उपकरण के रूप में मानकर इस मूल्य को मापने का एक नया तरीका विकसित किया, जो मशीन की सफलता के लिए आवश्यक प्रयास को कम करता है। उन्होंने एक ऐसी स्थिति की कल्पना की जहाँ एक मशीन एक विशिष्ट परिणाम को पुन: बनाने का प्रयास करती है, जैसे कि एक गणितीय प्रमाण, पहले स्वयं और फिर मानव के संकेत के साथ। उन्होंने अंतर को केवल इस आधार पर नहीं मापा कि सही उत्तर मिलने की संभावना कितनी बढ़ गई, बल्कि इस आधार पर भी मापा कि कितनी "सोचने का समय" (thinking time) बचा। उनके ढांचे में, मशीन के आंतरिक तर्क के चरणों को एक यादृच्छिक पथ (random path) की तरह माना गया जिस पर उसे चलना होता है। एक मूल्यवान प्रॉम्प्ट वह है जो सही पथ को बहुत छोटा या बहुत अधिक स्पष्ट बना देता है, प्रभावी रूप से उन चरणों की संख्या को कम कर देता है जिन्हें खोजने के लिए मशीन को कदम उठाने की आवश्यकता होती है। उन्होंने इस मूल्य को एक "टोकन लागत" (token cost) के संदर्भ में परिभाषित किया, जो मशीन द्वारा किए गए गणनात्मक प्रयास (computational effort) को गिनने का एक तरीका है। यदि एक प्रॉम्प्ट मशीन के काम को दोगुना आसान बना देता है, तो वह एक निश्चित मूल्य का होता है; यदि वह काम को हज़ार गुना आसान बना देता है, तो मूल्य बहुत अधिक होता है।
अपने विचारों का परीक्षण करने के लिए, टीम ने ग्रेड-स्कूल की गणित की समस्याओं के एक मानक सेट का उपयोग करके कई प्रयोग चलाए। उन्होंने एक लार्ज लैंग्वेज मॉडल को ये समस्याएँ हल करने के लिए कहा, कभी-कभी उसे समाधान का पहला चरण संकेत के रूप में दिया और कभी-कभी उसे शून्य से शुरू करने दिया। उन्होंने पाया कि केवल मॉडल के सही उत्तर प्राप्त करने की संभावना को देखना पर्याप्त नहीं था। कई मामलों में, समाधान का सही पहला चरण शुरुआत में देने से अंतिम उत्तर शुरू में कम संभावित लगता था, क्योंकि मॉडल ने अभी तक अपनी तर्क प्रक्रिया में संलग्न नहीं किया था। हालाँकि, एक बार जब मॉडल को अपने तर्क उत्पन्न करने और सोचने की अनुमति दी गई, तो वह संकेत अविश्वसनीय रूप से मूल्यवान साबित हुआ। इसने मॉडल की सोच प्रक्रिया को इतनी प्रभावी ढंग से निर्देशित किया कि वह अपने आप की तुलना में बहुत तेज़ी से और बहुत कम प्रयास के साथ सही उत्तर तक पहुँच गया। इससे पता चला कि एक प्रॉम्प्ट का वास्तविक मूल्य अक्सर मशीन की आंतरिक तर्क प्रक्रिया को आकार देने में होता है, न कि केवल उसके द्वारा उत्पन्न तत्काल शब्दों में।
अध्ययन ने यह भी खुलासा किया कि एक प्रॉम्प्ट का मूल्य एक एकल, स्थिर संख्या नहीं है। यह मशीन द्वारा लिए गए विशिष्ट पथ पर निर्भर करता है। कभी-कभी एक संकेत मशीन को अधिकांश स्थितियों में मदद करता है, लेकिन दुर्लभ मामलों में, यह उसे गलत दिशा में भी ले जा सकता है। शोधकर्ताओं ने पाया कि "औसत" (median) परिणाम को देखकर—जो कि सबसे अच्छे या सबसे खराब मामले के बजाय एक विशिष्ट परिणाम है—वे मूल्य का एक विश्वसनीय माप प्राप्त कर सकते हैं। उन्होंने पाया कि कुछ समस्याओं के लिए, एक मानव का सही संकेत उस विशिष्ट मॉडल के लिए हानिकारक या बेकार था जिसका वे परीक्षण कर रहे थे, जो यह सुझाव देता है कि जो चीज़ किसी व्यक्ति को अच्छी लग सकती है, वह आर्टिफिशियल इंटेलिजेंस के लिए अनावश्यक या भ्रमित करने वाली हो सकती है। यह इस बात पर प्रकाश डालता है कि मानव इनपुट का मूल्य उस विशिष्ट मशीन से गहराई से जुड़ा हुआ है जिससे वह बात कर रहा है और उस तरीके से भी जिससे वह मशीन सूचना को संसाधित करती है।
अंततः, यह कार्य एक ऐसे युग में मानव के योगदान को मात्रात्मक रूप से मापने का एक कठोर तरीका प्रदान करता है जहाँ मशीनें भारी काम कर रही हैं। यह इस विचार से आगे बढ़ता है कि मशीन एकमात्र निर्माता है और यह पहचानता है कि मानव की भूमिका संभावनाओं के विशाल स्थान के माध्यम से एक कुशल पथ प्रदान करना है। मशीन के सोचने के समय और प्रयास के रूप में कितने बचत होती है, इसे मापकर, हम मानव मार्गदर्शन के वास्तविक आर्थिक मूल्य को समझना शुरू कर सकते हैं। शोधकर्ताओं ने दिखाया कि इस मूल्य की गणना और अनुमान लगाया जा सकता है, जो मानव और मशीन के बीच की साझेदारी को देखने के लिए एक नया दृष्टिकोण प्रदान करता है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस हमारे जीवन में एकीकृत हो रहा है, हमें दिए जाने वाले प्रॉम्प्ट के मूल्य को समझना यह जानने के लिए आवश्यक होगा कि वास्तविक काम कहाँ किया जा रहा है और परिणामों के लिए श्रेय किसे मिलना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।