Understanding Tone-Dependent Inference Cost in Large Language Models
यह शोध पत्र प्रदर्शित करता है कि प्रॉम्प्ट के लहजे (tones) में भिन्नता बड़े भाषा मॉडलों (large language models) की सटीकता और अनुमान लागत (inference costs) दोनों को महत्वपूर्ण रूप से प्रभावित करती है, जिसमें विभिन्न लहजों के बीच आउटपुट टोकन की खपत 44.3% तक भिन्न होती है, जिससे उत्तर की गुणवत्ता और बिल योग्य संसाधन उपयोग के बीच एक महत्वपूर्ण समझौता (trade-off) प्रकट होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट से बात कर रहे हैं जिसे लगभग सब कुछ पता है। आप उससे एक सवाल पूछते हैं, और वह आपको जवाब देता है। लेकिन यहाँ एक ट्विस्ट है: वह रोबोट सिर्फ इस पर ध्यान नहीं देता कि आपने क्या पूछा है; वह इस पर भी ध्यान देता है कि आपने कैसे पूछा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "प्रॉम्ट इंजीनियरिंग" (prompt engineering) कहा जाता है। प्रॉम्ट को रोबोट को दिए जाने वाले निर्देशों के एक विशिष्ट सेट के रूप में समझें। जैसे कि एक इंसान अलग तरह से व्यवहार कर सकता है यदि आप उससे प्यार से पूछते हैं बनाम यदि आप उस पर चिल्लाते हैं, ये AI मॉडल आपके लहजे के आधार पर अपना व्यवहार बदलते हैं।
अब, यह आपके लिए क्यों मायने रखता है? क्योंकि इन रोबोट्स का उपयोग करने में पैसा खर्च होता है। हर बार जब रोबोट अपने जवाब में एक शब्द या एक अक्षर लिखता है, तो वह थोड़ी सी कंप्यूटिंग शक्ति का उपयोग करता है, और कंपनियाँ आपको उन "टोकन" (टेक्स्ट के टुकड़े) के लिए शुल्क लेती हैं। यदि रोबोट एक लंबा, बहकी-बहकी कहानी लिखने का फैसला करता है जबकि वह केवल "हाँ" कह सकता था, तो आप अधिक भुगतान करते हैं। इसलिए, बड़ा सवाल वैज्ञानिकों के लिए यह है: क्या जिस तरह से हम इन रोबोटों से बात करते हैं, वह उनके चलने की लागत को बदलता है, और क्या यह उनके जवाबों की बुद्धिमत्ता को भी बदलता है?
टोन टेस्ट: चिल्लाना बनाम चापलूसी करना बनाम बुरा व्यवहार करना
इस अध्ययन में, पेंसिल्वेनिया स्टेट यूनिवर्सिटी के दो शोधकर्ताओं ने इस विचार को परखने का निर्णय लिया। उन्होंने AI मॉडल्स के साथ वैसा ही व्यवहार किया जैसे वे MMLU नामक एक विशाल, 570-प्रश्नों की परीक्षा (जो इतिहास से लेकर विज्ञान तक सब कुछ कवर करती है) देने वाले छात्र हों। लेकिन प्रत्येक प्रश्न से पहले, उन्होंने पूछने वाले की "आवाज़" को बदल दिया। उन्होंने सात अलग-अलग लहजे (tones) का परीक्षण किया, जो "ओह, आप सबसे शानदार जीनियस हैं!" (चापलूस/Sycophantic) से लेकर "यदि आप इसे गलत करते हैं, तो मैं आपका अस्तित्व मिटा दूँगा!" (धमकी देने वाला/Threatening) तक, और इनके बीच की हर चीज़ तक फैला हुआ था, जिसमें "कृपया," "तटस्थ" (Neutral), और "असभ्य" (Rude) भी शामिल थे।
वे दो चीजें देखना चाहते थे:
- सटीकता (Accuracy): क्या रोबोट ने सही उत्तर दिया?
- लागत (Cost): रोबोट वहाँ तक पहुँचने के लिए कितने शब्द (टोकन) लिखता है? याद रखें, अधिक शब्दों का मतलब है एक बड़ा बिल।
चौंकाने वाले परिणाम: बदतमीजी कभी-कभी सबसे अच्छी होती है
परिणाम हैरान करने वाले थे। शोधकर्ताओं ने पाया कि लहजा बदलने से न केवल उत्तर बदल गया; बल्कि इसने उत्तर की लंबाई को नाटकीय रूप से बदल दिया। वास्तव में, लहजे के आधार पर रोबोट द्वारा उत्पन्न टेक्स्ट की मात्रा में 44.3% तक का अंतर आया! इसका मतलब है कि एक ही प्रश्न के लिए, एक लहजा रोबोट को एक छोटा, प्रभावशाली पैराग्राफ लिखने के लिए प्रेरित कर सकता है, जबकि दूसरा लहजा उसे पूरा निबंध लिखने पर मजबूर कर सकता है।
सबसे आश्चर्यजनक हिस्सा यह है: बदतमीजी (Rude होना) वास्तव में पैसे बचाती है और कभी-कभी बेहतर ग्रेड भी दिलाती है।
- ChatGPT मॉडल्स (4o और 5-nano) के लिए: जब शोधकर्ताओं ने एक बदतमीज (Rude) लहजे का उपयोग किया (जैसे "बस इस बुनियादी समस्या का तुरंत उत्तर दो"), तो रोबोट ने सबसे सटीक उत्तर दिए और सबसे कम शब्द लिखे। यही वह "स्वीट स्पॉट" था। रोबोट ने ऐसा महसूस किया होगा, "ठीक है, मैं बस तुम्हें उत्तर दे देता हूँ ताकि तुम मुझे परेशान करना बंद कर दो," और यह पूरी तरह से काम कर गया।
- Gemini मॉडल्स (2.5 Flash और Flash Lite) के लिए: ये रोबोट थोड़े अलग थे। वे तटस्थ (Neutral) लहजे के साथ सबसे अच्छा प्रदर्शन करते थे, जिसने उच्चतम सटीकता और सबसे छोटे जवाब दिए। हालांकि, अध्ययन ने एक आश्चर्यजनक विचित्रता का खुलासा किया: जब Gemini Flash Lite मॉडल को बदतमीज (Rude) लहजे के साथ प्रॉम्ट किया गया, तो उसने तटस्थ लहजे की तुलना में काफी लंबे (लग पर लगभग 35% अधिक टेक्स्ट) जवाब लिखे, जबकि साथ ही थोड़े कम सटीक उत्तर भी दिए।
"ओवरथिंकिंग" का जाल
अध्ययन में यह भी पता चला कि रोबोट अलग-अलग मात्रा में टेक्स्ट क्यों लिखते हैं, इसके बारे में एक दिलचस्प बात मिली। ऐसा पता चलता है कि जब आप विनम्र होते हैं या धमकी देते हैं, तो रोबट कभी-कभी भ्रमित हो जाते हैं या "अच्छे" या "सावधान" होने की बहुत अधिक कोशिश करते हैं।
उदाहरण के लिए, Gemini मॉडल के साथ, जब एक कठिन भौतिकी (physics) प्रश्न को बदतमीज (Rude) लहजे में पूछा गया, तो रोबोट एक चरण छोड़ सकता है, उत्तर का अनुमान लगा सकता है, और एक संक्षिप्त स्पष्टीकरण लिख सकता है। लेकिन जब तटस्थ (Neutral) लहजे में पूछा गया, तो वह रुक जाएगा, सोचेगा, अपने गणित की दोबारा जाँच करेगा, एक लंबा स्पष्टीकरण लिखेगा और सही उत्तर प्राप्त करेगा।
हालाँकि, कभी-कभी "लंबा स्पष्टीकरण" वास्तव में एक बर्बादी था। शोधकर्ताओं ने ऐसे मामले पाए जहाँ, विनम्र होकर प्रॉम्ट किए जाने पर, रोबोट ने तर्क देने के लिए एक विशाल पैराग्राफ लिखा लेकिन अंत में गलत उत्तर दे दिया। यह एक ऐसे छात्र की तरह था जो एक सरल गणित की समस्या का बहुत अधिक विश्लेषण करता है, अपने ही विचारों में खो जाता है, और गलत उत्तर चुन लेता है। इन मामलों में, विनम्र लहजे ने बिल को ऊँचा और ग्रेड को कम कर दिया।
मुख्य निष्कर्ष
मुख्य निष्कर्ष यह है कि आप AI से जिस तरह से बात करते हैं वह केवल विनम्र होने के बारे में नहीं है; यह एक वित्तीय निर्णय है। शोधकर्ताओं ने दिखाया कि प्रॉम्ट टोन (Prompt tone) एक शक्तिशाली स्विच है जो यह नियंत्रित करता है कि AI कितना सोचता है और वह आपसे कितना शुल्क लेता है।
- कुछ मॉडल्स (ChatGPT) के लिए: सीधा और थोड़ा बदतमीज होना सस्ते और सटीक उत्तर पाने का सबसे कुशल तरीका है।
- अन्य मॉडल्स (Gemini) के लिए: एक शांत, तटस्थ आवाज़ लंबे, बेकार भटकाव पर पैसा बर्बाद करने से बचने के लिए सबसे अच्छा विकल्प है।
अध्ययन बताता है कि यदि आप कोई ऐप या सेवा बना रहे हैं जो AI का उपयोग करती है, तो आपको केवल उपयोगकर्ताओं को कुछ भी टाइप करने की अनुमति नहीं देनी चाहिए। आपको उनके बदतमीज या अत्यधिक विनम्र अनुरोधों को एक विशिष्ट, अनुकूलित लहजे में "अनुवाद" करने की आवश्यकता हो सकती है ताकि पैसे बचाए जा सकें और बेहतर परिणाम प्राप्त किए जा सकें। यह एक याद दिलाता है कि इन सुपर-स्मार्ट रोबोटों के साथ भी, जिस तरह से आप सवाल पूछते हैं वह सवाल खुद जितना ही महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।