💬 NLP

FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution

यह शोधपत्र FrugalPrompt को प्रस्तुत करता है, जो एक नवीन ढांचा है जो टोकन एट्रिब्यूशन विधियों द्वारा पहचाने गए सबसे महत्वपूर्ण अर्थपूर्ण टोकन को बनाए रखने के लिए प्रॉम्प्ट्स को संकुचित करके लार्ज लैंग्वेज मॉडल्स के कॉन्टेक्स्टुअल ओवरहेड और उससे जुड़ी लागतों को कम करता है, जिससे संदर्भ की विरलता (context sparsity) और कार्य संबंधी आवश्यकताओं के बीच के समझौतों का पता लगाते हुए कुशल प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Syed Rifat Raiyan, Md Farhan Ishmam, Abdullah Al Imran, Mohammad Ali Moni

प्रकाशित 2026-03-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Syed Rifat Raiyan, Md Farhan Ishmam, Abdullah Al Imran, Mohammad Ali Moni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ FRUGALPROMPT पेपर का स्पष्टीकरण दिया गया है, जिसे सरल, रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

बड़ी समस्या: "ज़्यादा समझाने वाला" AI

कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन थोड़े जुनूनी दोस्त से बात कर रहे हैं। आप उनसे पूछते हैं, "मौसम कैसा है?"

"बारिश हो रही है," कहने के बजाय, आपका दोस्त कहता है:

"सबसे पहले तो, मुझे आपको यह बताना चाहिए कि मैं एक AI हूँ, और मैं आसमान की ओर देख रहा हूँ, और आसमान वर्तमान में पानी की बूंदों से भरा हुआ है, और गुरुत्वाकर्षण के कारण, वे बूंदें नीचे गिर रही हैं, और इस घटना को आमतौर पर बारिश कहा जाता है, और बाहर काफी गीलापन है..."

Large Language Models (LLMs) अक्सर इसी तरह काम करते हैं। वे अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन उन्हें मानवीय टेक्स्ट पर प्रशिक्षित किया गया है, जो "फालतू" शब्दों (जैसे "वास्तव में," "वैसे," "द," "ए," "इज़") से भरा होता है। सबसे अच्छा उत्तर पाने के लिए, हमें आमतौर पर AI को पूरा प्रॉम्प्ट देना पड़ता है, जिसमें वह सारी अतिरिक्त बातें भी शामिल होती हैं।

लागत (The Cost):

पैसा: आपके द्वारा टाइप किया गया हर शब्द प्रोसेस करने के लिए पैसे खर्च करता है।
समय: अधिक शब्दों का मतलब है कि AI को सोचने में अधिक समय लगता है।
ऊर्जा: अतिरिक्त शब्दों को प्रोसेस करने से अधिक बिजली जलती है (और अधिक कार्बन पैदा होता है)।

समाधान: FRUGALPROMPT

इस पेपर के लेखकों ने एक सरल प्रश्न पूछा: "क्या अर्थ समझने के लिए हमें वास्तव में हर एक शब्द की आवश्यकता है?"

मानवीय बातचीत में, हम अक्सर "टेलीग्राफिक स्पीच" का उपयोग करते हैं। यदि आप कहते हैं, "फिल्म अच्छी, पसंद आई," तो आपका मस्तिष्क तुरंत पूरे वाक्य को समझ जाता है: "मुझे फिल्म पसंद आई; यह अच्छी थी।" आपको अर्थ समझने के लिए "मैं," "था," "बहुत," या "अधिक" जैसे शब्दों की आवश्यकता नहीं थी।

FRUGALPROMPT एक उपकरण है जो एक अत्यधिक कुशल संपादक (editor) की तरह कार्य करता है। यह आपके प्रॉम्प्ट को देखता है, यह पता लगाता है कि कौन से शब्द वास्तव में अर्थ का "भार" वहन करते हैं, और AI को भेजने से पहले बाकी सबको हटा देता है।

यह कैसे काम करता है: "हाइलाइटर" की उपमा

AI के इनपुट को टेक्स्ट के एक लंबे, बिखरे हुए पैराग्राफ के रूप में सोचें। FRUGALPROMPT एक विशेष "हाइलाइटर" (जिसे Token Attribution कहा जाता है) का उपयोग करके टेक्स्ट को स्कैन करता है।

स्कैनिंग: यह हर एक शब्द को देखता है और पूछता है, "इस उत्तर के लिए यह शब्द कितना महत्वपूर्ण है?"
- उच्च स्कोर: "फिल्म," "अच्छी," "गणित," "समस्या।" (इन्हें हाइलाइट किया जाता है)।
- कम स्कोर: "द," "है," "वास्तव में," "वैसे।" (इन्हें अनदेखा किया जाता है)।
फ़िल्टरिंग: यह सबसे महत्वपूर्ण शब्दों के शीर्ष 50% से 80% को रखता है।
पुनर्गठन (Reassembling): यह उन महत्वपूर्ण शब्दों को मूल क्रम में वापस जोड़ता है ताकि वाक्य अभी भी समझ में आए, बस बिना फालतू बातों के।

परिणाम:

मूल: "वह फिल्म जो हमने कल रात देखी थी वह वास्तव में काफी अच्छी थी, और मुझे वह बहुत पसंद आई।" (16 शब्द)
फ्रुगलकृत (Frugalized): "फिल्म देखी कल रात अच्छी पसंद आई।" (6 शब्द)

AI अभी भी मूल अर्थ को समझता है, लेकिन उसे 16 शब्दों के बजाय केवल 6 शब्दों को प्रोसेस करना पड़ता है। इससे पैसा, समय और ऊर्जा बचती है।

उन्होंने क्या पाया: "गोल्डिलॉक्स" ज़ोन (The Goldilocks Zone)

शोधकर्ताओं ने विभिन्न AI मॉडलों का उपयोग करके विभिन्न प्रकार के कार्यों (जैसे समाचार का सारांश देना, प्रश्नों के उत्तर देना और गणित की समस्याओं को हल करना) पर इसका परीक्षण किया। यहाँ उन्होंने क्या खोजा:

1. "आसान" कार्य (Sentiment & Summarization)

उपमा: कल्पना कीजिए कि यह तय करने के लिए कि कोई समीक्षा अच्छी है या नहीं, आप एक मूवी रिव्यू पढ़ रहे हैं।
निष्कर्ष: आप लगभग आधे शब्दों को काट सकते हैं, और AI फिर भी सही उत्तर दे देगा। यह पूरे लेख के बजाय केवल हेडलाइन पढ़ने जैसा है; आपको तुरंत सार मिल जाता है।
फैसला: पैसा बचाने के लिए बेहतरीन!

2. "कठिन" कार्य (Math & Logic)

उपमा: कल्पना कीजिए कि आप एक जटिल गणितीय समीकरण को हल करने की कोशिश कर रहे हैं जहाँ हर संख्या और चिह्न मायने रखता है।
निष्कर्ष: यदि आप यहाँ बहुत अधिक शब्द काट देते हैं, तो AI भ्रमित हो जाता है। यह किसी रेसिपी से एक महत्वपूर्ण चरण हटाने जैसा है; केक फूलेगा ही नहीं।
फैसला: सावधान रहें। इन कार्यों के लिए आपको अधिकांश संदर्भ (context) बनाए रखने की आवश्यकता है।

3. "संदूषण" का आश्चर्य (The Contamination Surprise)

उपमा: कल्पना कीजिए कि आप एक ऐसी परीक्षा दे रहे हैं जहाँ उत्तर गलती से पेपर के पीछे छपे हुए हैं।
निष्कर्ष: शोधकर्ताओं ने देखा कि कुछ आसान सवालों के लिए, भले ही उन्होंने प्रॉम्प्ट के अधिकांश हिस्से को हटा दिया था, AI फिर भी सही उत्तर दे रहा था। क्यों? क्योंकि AI ने अपने ट्रेनिंग डेटा में उस उत्तर को पहले ही देख लिया था!
सबक: यह सुझाव देता है कि कुछ AI बेंचमार्क "चीटिंग" कर रहे हैं क्योंकि AI ने तर्क को समझने के बजाय उत्तरों को रट लिया है।

यह क्यों मायने रखता है

आपके बटुए के लिए: यदि आप AI का उपयोग करने वाला कोई ऐप बना रहे हैं, तो आप FRUGALPROMPT का उपयोग करके भारी बचत कर सकते हैं। आप प्रति शब्द कम भुगतान करते हैं।
ग्रह के लिए: कम प्रोसेसिंग का मतलब है कम बिजली का उपयोग, जिसका अर्थ है छोटा कार्बन फुटप्रिंट।
गति के लिए: AI तेज़ी से उत्तर देता है क्योंकि उसे कम पढ़ना पड़ता है।

कमी (सीमाएँ)

एक अच्छे संपादक की तरह, यह उपकरण भी पूर्ण नहीं है।

यह सूक्ष्म अंतर (nuance) को मिस कर सकता है: कभी-कभी एक "छोटा" शब्द जैसे "नहीं" वास्तव में सबसे महत्वपूर्ण शब्द होता है (जैसे, "मुझे यह पसंद नहीं आया")। यदि टूल "नहीं" को हटा देता है, तो अर्थ पूरी तरह से बदल जाता है।
इसे स्मार्ट होना चाहिए: टूल को बहुत सावधान रहना होगा कि वह सुरक्षा चेतावनियों या महत्वपूर्ण निर्देशों को न हटा दे।

सारांश

FRUGALPROMPT हमें सिखाता है कि AI को एक वाक्य समझने के लिए पूरी डिक्शनरी पढ़ने की आवश्यकता नहीं है। एक सख्त संपादक की तरह काम करके जो फालतू बातों को काट देता है, हम AI को सस्ता, तेज़ और अधिक हरित (greener) बना सकते हैं—बिना काम करने की क्षमता खोए। यह एक उपन्यास पढ़ने और एक अच्छी तरह से लिखे गए ट्वीट को पढ़ने के बीच का अंतर है; कभी-कभी, कम ही वास्तव में अधिक होता है।

यहाँ शोध पत्र "FRUGALPROMPT: Token Attribution के माध्यम से Large Language Models में Contextual Overhead को कम करना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विस्तृत इनपुट संदर्भों (expansive input contexts) का लाभ उठाकर Large Language Models (LLMs) ने उल्लेखनीय प्रदर्शन हासिल किया है। हालाँकि, यह अत्यधिक विस्तार (verbosity) महत्वपूर्ण अक्षमताओं को जन्म देता है:

आर्थिक और पर्यावरणीय लागत: अनावश्यक टोकन को प्रोसेस करने से मौद्रिक लागत (API शुल्क) और कार्बन फुटप्रिंट दोनों बढ़ते हैं।
विलंबता (Latency): लंबे संदर्भों के कारण इन्फरेंस-टाइम (inference-time) विलंबता बढ़ जाती है।
अनावश्यकता (Redundancy): मानव भाषा स्वाभाविक रूप से अनावश्यक होती है (लगभग 80% सांख्यिकीय अनावश्यकता)। इनपुट का एक बड़ा हिस्सा लो-यूटिलिटी टोकन (जैसे कि फंक्शन वर्ड्स, फिलर फ्रेजेस) से बना होता है, जो स्थानीय संदर्भ स्थापित होने के बाद अर्थ में बहुत कम योगदान देते हैं।
अंतराल (The Gap): वर्तमान LLMs अक्सर हर टोकन को समान भार के साथ प्रोसेस करते हैं, जिससे वे मानवीय संज्ञानात्मक दक्षता (human cognitive efficiency) की नकल करने में विफल रहते हैं, जहाँ श्रोता संक्षिप्त, "टेलीग्राफिक" संकेतों से अर्थ का पुनर्निर्माण कर लेते हैं।

मुख्य प्रश्न: LLMs किस हद तक पूर्ण भाषाई स्पष्टता के बजाय व्यावहारिक रूप से पर्याप्त संकेतों (pragmatically sufficient cues) से अर्थ का पुनर्निर्माण कर सकते हैं, और क्या हम बिना किसी महत्वपूर्ण प्रदर्शन हानि के अनावश्यक टोकन को फ़िल्टर कर सकते हैं?

2. कार्यप्रणाली: FRUGALPROMPT

लेखक FRUGALPROMPT का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री प्रॉम्प्ट कंप्रेशन फ्रेमवर्क है जो टोकन एट्रिब्यूशन (सैलियंसी) स्कोर के आधार पर इनपुट टोकन को फ़िल्टर करता है। यह पाइपलाइन इस प्रकार कार्य करती है:

A. टोकन एट्रिब्यूशन (सैलियंसी स्कोरिंग)

रॉ अटेंशन वेट्स (जो वास्तविक टोकन महत्व के खराब प्रॉक्सी माने जाते हैं) के बजाय, यह विधि दो अत्याधुनिक टोकन एट्रिब्यूशन तकनीकों का उपयोग करती है:

GlobEnc: पूरे एनकोडर में लेयर-वाइज विश्लेषण को एग्रीगेट करने के लिए अटेंशन रोलआउट और वेक्टर नॉर्म्स का उपयोग करता है ताकि ग्लोबल टोकन एट्रिब्यूशन को मापा जा सके।
DecompX: सभी मॉडल घटकों, जिसमें नॉन-लीनियर फीड-फॉरवर्ड नेटवर्क भी शामिल हैं, को सम्मिलित करते हुए ग्लोबली डीकंपोज्ड टोकन रिप्रेजेंटेशन को प्रसारित करता है।

ये विधियाँ इनपुट सीक्वेंस $T$ में प्रत्येक टोकन $t_i$ को एक सैलियंसी स्कोर ( $s_i$ ) आवंटित करती हैं, जो किसी विशिष्ट कार्य के लिए मॉडल के आउटपुट में उसके सापेक्ष योगदान को दर्शाता है।

B. रैंकिंग और फ़िल्टरिंग

रैंकिंग: टोकनों को उनके एट्रिब्यूशन स्कोर के आधार पर मोनोटोन घटते क्रम में रैंक किया जाता है ( $s_{\pi(1)} \geq s_{\pi(2)} \dots$ )।
Top-k चयन: शीर्ष $p = \lfloor \frac{k}{100} \cdot n \rfloor$ टोकन चुने जाते हैं, जहाँ $k$ रिटेंशन प्रतिशत है (जैसे, 50%, 60%, 80%)।
पुनः क्रमबद्धता (Reordering): सिंटैक्टिक कोहेरेंस (syntactic coherence) को बनाए रखने के लिए चयनित इंडेक्स को उनके मूल टेम्पोरल ऑर्डर में पुनः इंडेक्स किया जाता है।
आउटपुट: एक "फ्यूगलइज़्ड" (frugalized) प्रॉम्प्ट जनरेट किया जाता है जिसमें केवल सबसे महत्वपूर्ण सेमेटिक टोकन होते हैं, और लो-वैल्यू डिस्कोर्स मटेरियल और फंक्शन वर्ड्स को हटा दिया जाता है।

C. सैद्धांतिक आधार (Theoretical Foundation)

यह शोध पत्र टोकन विलोपन (deletion) के कारण होने वाले प्रदर्शन ह्रास के लिए सैद्धांतिक सीमाएं स्थापित करता है:

डिलिशन इफेक्ट (Deletion Effect): इसे मूल और फ़िल्टर किए गए सीक्वेंस के बीच लॉस (loss) के अंतर के रूप में परिभाषित किया गया है।
स्थिरता (Stability): सैलियंसी अपर-बाउंड्स और बाउंडेड पेयरवाइज इंटरैक्शन के अनुमानों के तहत, लेखक सिद्ध करते हैं कि प्रदर्शन में गिरावट हटाए गए टोकन के सैलियंसी स्कोर के योग और एक पेयरवाइज इंटरैक्शन टर्म द्वारा ऊपरी-सीमा (upper-bounded) से बंधी हुई है। यह गारंटी देता है कि लो-सैलियंसी टोकन को हटाने से पूर्वानुमानित और सीमित प्रदर्शन हानि होती है।

3. मुख्य योगदान

नया फ्रेमवर्क: प्री-ट्रेंड एनकोडर सैलियंसी स्कोर के आधार पर टोकन को फ़िल्टर करने वाला एक ट्रेनिंग-फ्री, कंट्रोलेबल प्रॉम्प्ट फ्यूगललाइजेशन स्ट्रैटेजी का परिचय।
सैद्धांतिक आधार: टोकन रिटेंशन प्रतिशत और प्रदर्शन स्थिरता के बीच संबंध स्थापित करने वाले सैद्धांतिक बाउंड्स का व्युत्पत्ति, जो संदर्भ स्पर्सिटी (context sparsity) और कार्य सटीकता के बीच के ट्रेड-ऑफ को औपचारिक रूप देता है।
अनुभवजन्य सत्यापन (Empirical Validation): चार विविध NLP कार्यों (सेंटिमेंट एनालिसिस, समराइजेशन, कॉमनसेंस QA, मैथमेटिकल रीजनिंग) और कई मॉडल स्केल्स (8B से 70B पैरामीटर्स और o3-mini जैसे प्रोप्रायटरी मॉडल्स) में व्यापक मूल्यांकन।
टास्क कंटैमिनेशन (Task Contamination) में अंतर्दृष्टि: एसिमेट्रिक परफॉरमेंस पैटर्न की खोज, जो यह सुझाव देती है कि कुछ कार्य (जैसे क्लासिफिकेशन) डेटा कंटैमिनेशन (मॉडल द्वारा उत्तर याद करना) के कारण टोकन रिडक्शन से कम प्रभावित होते हैं, जबकि रीजनिंग कार्य पूर्ण संदर्भ पर अधिक निर्भर करते हैं।

4. प्रयोगात्मक परिणाम

अध्ययन ने Llama-3 (8B/70B), GPT-3.5, Gemini 2.0 Flash Thinking, और o3-mini सहित मॉडल्स का 50%, 60%, और 80% रिटेंशन स्तरों पर मूल्यांकन किया।

कार्य संवेदनशीलता (Task Sensitivity):
- क्लासिफिकेशन और QA: टोकन रिडक्शन के प्रति अत्यधिक मजबूत। 80% रिटेंशन पर, प्रदर्शन बेसलाइन के करीब रहा। 50% पर भी, सटीकता में गिरावट (5-15%) प्रबंधनीय थी।
- समराइजेशन (Summarization): मध्यम संवेदनशीलता। 50% रिटेंशन पर ROUGE-1 जैसे मेट्रिक्स में 20-25% की गिरावट आई।
- मैथमेटिकल रीजनिंग: अत्यधिक संवेदनशील। प्रदर्शन तेजी से गिरा (कम थ्रेसहोल्ड पर pass@1 15% से नीचे चला गया) क्योंकि रीजनिंग के लिए टोकन की अनुक्रमिक अखंडता (sequential integrity) और न्यूमेरिकल कनेक्टर्स की आवश्यकता होती है।
एट्रिब्यूशन मेथड का प्रदर्शन:
- क्लासिफिकेशन, QA और समराइजेशन के लिए GlobEnc ने आम तौर पर DecompX से बेहतर प्रदर्शन किया।
- DecompX ने विशेष रूप से रीजनिंग कार्यों के लिए बेहतर परिणाम दिखाए, जो संभवतः लॉजिकल चेन्स के लिए महत्वपूर्ण सबवर्ड-लेवल एक्टिवेशन और लीनियर कंपोनेंट्स को कैप्चर करने की इसकी क्षमता के कारण है।
लागत बनाम प्रदर्शन:
- छोटे मॉडल्स (जैसे Llama-3 8B) के लिए, प्रदर्शन जोखिम की तुलना में लागत बचत नगण्य थी।
- बड़े, महंगे मॉडल्स (जैसे o3-mini, Gemini) के लिए, टोकन रिडक्शन ने नॉन-रीजनिंग कार्यों में न्यूनतम प्रदर्शन गिरावट के साथ महत्वपूर्ण लागत बचत प्रदान की।
बेसलाइन तुलना:
- रैंडम फ़िल्टरिंग: रैंडम टोकन रखने से प्रदर्शन में भारी गिरावट आई, जो पुष्टि करता है कि टोकन का चयन महत्वपूर्ण है।
- बॉटम-k फ़िल्टरिंग: लो-सैलियंसी टोकन को रखने से विनाशकारी विफलता हुई, जो टॉप-k दृष्टिकोण की प्रभावकारिता को प्रमाणित करती है।
- कंटैमिनेशन हाइपोथीसिस: तथ्य कि रैंडम फ़िल्टरिंग कभी-कभी क्लासिफिकेशन/QA में उच्च प्रदर्शन बनाए रखती है, यह सुझाव देता है कि टेस्ट सेट के उत्तर मॉडल्स द्वारा याद किए गए हैं, जिससे पूर्ण संदर्भ की आवश्यकता कम हो जाती है।

5. महत्व और निहितार्थ

दक्षता (Efficiency): FRUGALPROMPT मॉडल को फिर से प्रशिक्षित किए बिना या आर्किटेक्चर में बदलाव किए बिना API लागत और कार्बन फुटप्रिंट को कम करने का एक व्यावहारिक तरीका प्रदान करता है।
संज्ञानात्मक संरेखण (Cognitive Alignment): यह कार्य मानवीय संचार दक्षता (अनुमान और संक्षिप्त संकेतों पर निर्भरता) और LLM प्रोसेसिंग के बीच के अंतर को पाटता है, यह सुझाव देता है कि LLMs प्रभावी रूप से "टेलीग्राफिक" इनपुट के साथ काम कर सकते हैं।
मूल्यांकन अखंडता (Evaluation Integrity): इसके निष्कर्ष LLM मूल्यांकन में एक महत्वपूर्ण मुद्दे को उजागर करते हैं: टास्क कंटैमिनेशन। यदि मॉडल्स केवल 50% प्रॉम्प्ट (या रैंडम टोकन) के साथ कार्यों को हल कर सकते हैं, तो यह संकेत देता है कि मॉडल वास्तविक तर्क के बजाय याद किए गए पैटर्न पर भरोसा कर रहे हैं, जो कंटैमिनेशन-मुक्त बेंचमार्क की आवश्यकता को पुख्ता करता है।
भविष्य की दिशाएं: लेखक टास्क जटिलता के आधार पर अनुकूलित (adaptive) फ्यूगलइजेशन रणनीतियों का प्रस्ताव करते हैं जो स्टेटिक $k\%$ थ्रेसहोल्ड से आगे बढ़कर, कार्य की जटिलता और मॉडल के आत्मविश्वास के आधार पर टोकन रिटेंशन को गतिशील रूप से समायोजित करती हैं।

निष्कर्ष

FRUGALPROMPT यह प्रदर्शित करता है कि LLM प्रॉम्प्ट्स में इनपुट टोकन का एक बड़ा हिस्सा अनावश्यक होता है। उन्नत टोकन एट्रिब्यूशन विधियों का लाभ उठाकर, यह फ्रेमवर्क उच्च प्रदर्शन बनाए रखते हुए (बशर्ते कार्य के लिए निरंतर अनुक्रमिक तार्किक श्रृंखला की सख्त आवश्यकता न हो, जैसे जटिल गणित) लागत और विलंबता में पर्याप्त कमी लाता है। यह कार्य इस धारणा को मौलिक रूप से चुनौती देता है कि "अधिक संदर्भ हमेशा बेहतर होता है" और एक कुशल, स्पार्स प्रॉम्प्टिंग के लिए एक सैद्धांतिक और अनुभवजन्य आधार प्रदान करता है।