Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
यह शोध पत्र प्रदर्शित करता है कि विकासवादी खोज (evolutionary search) के माध्यम से खोजे गए नियतात्मक भाषाई नियम (deterministic linguistic rules), प्रभावी और कम लागत वाले प्रॉम्प्ट सं कंप्रेसर (prompt compressors) के रूप में कार्य कर सकते हैं जो संपीड़न के दौरान मॉडल फॉरवर्ड पास की आवश्यकता के बिना LLM इन्फरेंस खर्चों को कम करते हैं, और उन्नत LM-आधारित विधियों के तुलनीय प्रदर्शन प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक अकेले प्रश्न का उत्तर देने के लिए किताबों के एक विशाल पुस्तकालय को पढ़ना सिखाने की कोशिश कर रहे हैं। वह रोबोट प्रतिभाशाली है, लेकिन उसे एक समस्या है: बहुत अधिक टेक्स्ट से वह घबरा जाता है। यदि आप उसे एक पूरा उपन्यास खिलाते हैं, तो वह धीमा हो जाता है, उसे चलाने में एक बड़ी धनराशि खर्च होती है, और कभी-कभी वह मुख्य बिंदु को भी चूक जाता है क्योंकि महत्वपूर्ण विवरण शोर में खो जाते हैं। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है, जो कई आधुनिक उपकरणों के पीछे के AI दिमाग हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने टेक्स्ट को "कंप्रेस" करने की कोशिश की है—यानी केवल ठोस तथ्यों को रखने के लिए फालतू बातों को हटा देना।
अब तक, इसे करने का मानक तरीका एक बहुत ही महंगे, धीमे संपादक को काम पर रखने जैसा रहा है जो हर एक शब्द को पढ़ता है और गणना करता है कि वह कितना महत्वपूर्ण है। यह संपादक वास्तव में बैकग्राउंड में चलने वाला एक दूसरा AI मॉडल है। यह सटीक है, लेकिन भारी, धीमा है, और इसे काम करने के लिए शक्तिशाली, महंगे कंप्यूटर चिप्स (GPUs) की आवश्यकता होती है। यह एक झाड़ी को काटने के लिए सोने की परत चढ़ी हुई स्कैल्पल (शल्य उपकरण) का उपयोग करने जैसा है।
लेकिन क्या होगा अगर आपको सोने की परत चढ़ी स्कैल्पल की आवश्यकता ही न हो? क्या होगा यदि आप कुछ स्पष्ट नियमों पर आधारित साधारण, पुराने जमाने की बागवानी कैंचियों (गार्डन शेयर्स) का उपयोग कर सकें—जैसे "संज्ञाओं को रखें, 'द' और 'एंड' को हटा दें"? यह वह बड़ा सवाल है जो यह शोध पत्र पूछता है: क्या हम सरल, नियत भाषाई नियमों (linguistic rules) का उपयोग करके टेक्स्ट को कंप्रेस कर सकते हैं—जैसे "इंजीनियर" को रखना लेकिन "द" को हटा देना—बिना किसी दूसरे AI की आवश्यकता के जो हर शब्द को स्कोर दे सके?
शोधकर्ताओं ने, जो द हांगकांग पॉलिटेकनिक यूनिवर्सिटी की एक टीम है, यह पता लगाने का निर्णय लिया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक डिजिटल "इवोल्यूशनरी सर्च" (विकासवादी खोज) स्थापित की। कल्पना कीजिए कि एक आभासी जंगल है जहाँ उन्होंने संपीड़न (compression) के नियमों के 42 अलग-अलग "बीज" बोए। ये बीज सदियों के मानव भाषाई ज्ञान पर आधारित थे: कुछ ने शब्द प्रकारों को देखा (जैसे "इंजीनियर" को रखना लेकिन "द" को छोड़ देना), कुछ ने वाक्य संरचना को देखा (मुख्य क्रिया को रखना लेकिन अतिरिक्त विवरणों को काटना), और कुछ ने कहानी के प्रवाह को देखा।
फिर, उन्होंने एक AI को "म्यूटेटर" के रूप में कार्य करने दिया। इसने उन नियम-बीजों को लिया, उन्हें आपस में मिलाया, उनमें बदलाव किया, और नए संयोजन बनाए। उन्होंने इन नए "कंप्रेसर्स" का परीक्षण यह देखकर किया कि क्या एक रोबोट टेक्स्ट को छोटा करने के बाद भी प्रश्नों के सही उत्तर दे सकता है। सबसे फिट कंप्रेसर—वे जिन्होंने सबसे अधिक महत्वपूर्ण जानकारी रखी और सबसे अधिक शब्द काटे—जीवित रहे और अगली पीढ़ी को जन्म दिया।
परिणाम? उन्होंने पाया कि पूरी तरह से इन भाषाई नियमों से बना एक कंप्रेसर कई प्रकार के लंबे दस्तावेजों के लिए भारी, महंगे AI-आधारित तरीकों के समान ही प्रदर्शन कर सकता है। सबसे अच्छी बात? एक बार जब कंप्रेसर "विकसित" हो गया, तो उसे चलाने के लिए किसी AI की आवश्यकता नहीं थी। यह एक मानक कंप्यूटर प्रोसेसर (CPU) पर पलक झपकते ही चल सकता था, जिसकी लागत लगभग कुछ भी नहीं थी। यह उस धीमे, सोने की परत चढ़ी स्कैलपेल को एक बिजली की तरह तेज, नियम-आधारित मशीन से बदलने जैसा था जो कभी थकती नहीं है।
हालाँकि, शोध पत्र ने एक सीमा भी पाई। ये नियम-आधारित कैंची तब शानदार काम करती हैं जब आपको टेक्स्ट को थोड़ा या मध्यम मात्रा में कम करने की आवश्यकता होती है (जैसे 100 पन्नों के दस्तावेज़ को 25 पन्नों में सिकोड़ना)। लेकिन यदि आप बहुत अधिक आक्रामक होने की कोशिश करते हैं और टेक्स्ट को एक बहुत छोटे हिस्से तक काट देते हैं (जैसे 10 पन्ने), तो नियम संघर्ष करने लगते हैं। वे बहुत कम बजट होने पर महंगे AI संपादक जितने चतुर नहीं हो पाते।
संक्षेप में, यह शोध पत्र सुझाव देता है कि कई वास्तविक दुनिया के कार्यों के लिए, हमें महंगे AI स्कोरिंग के साथ चीजों को बहुत जटिल बनाने की आवश्यकता नहीं है। कभी-कभी, विकास द्वारा तराशा गया नियमों का एक अच्छी तरह से डिज़ाइन किया गया सेट, AI को तेज़, सस्ता और उतना ही स्मार्ट बनाने के लिए एकदम सही, हल्का उपकरण होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।