CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression
"केववुमन" (Cavewoman) अध्ययन यह प्रकट करता है कि जबकि मॉडल के आउटपुट को कंप्रेस करना इन्फरेंस लागत को काफी कम कर सकता है, उपयोगकर्ता के इनपुट को कंप्रेस करना प्रतिगामी है, क्योंकि यह मॉडल को लंबे उत्तर उत्पन्न करने के लिए मजबूर करता है जो शुद्ध लागत को बढ़ाते हैं और सटीकता को कम करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन महंगे व्यक्तिगत सहायक (personal assistant) को काम पर रख रहे हैं ताकि वह आपकी समस्याओं को हल कर सके। आप उन्हें इस आधार पर भुगतान करते हैं कि वे कितना पढ़ते हैं (इनपुट) और कितना लिखते हैं (आउटपुट)। आमतौर पर, लिखने की लागत पढ़ने की तुलना में बहुत अधिक होती है।
"CAVEWOMAN" नामक शोध पत्र एक लोकप्रिय विचार की जांच करता है: क्या होगा यदि हम सहायक को एक आदिमानव (caveman) की तरह बोलने के लिए मजबूर करें? (जैसे, "छोटा बोल। व्याकरण छोड़। टोकन बचा।") इसका लक्ष्य बातचीत को छोटा करके पैसे बचाना है।
शोधकर्ताओं ने यह देखने के लिए एक चतुर प्रयोग किया कि क्या यह वास्तव में काम करता है। उन्होंने आठ अलग-अलग AI मॉडलों पर पांच प्रकार की पहेलियों का उपयोग करके "केवमैन स्पीक" (आदिमानव भाषा) का उपयोग करने के दो अलग-अलग तरीकों का परीक्षण किया।
यहाँ जो उन्होंने पाया है, उसे सरल भाषा में समझाया गया है:
1. "केवमैन" बोलने के दो तरीके
शोधकर्ताओं ने दो अलग-अलग चैनल (channels) का परीक्षण किया, जैसे निर्देश देने के दो अलग-अलग तरीके:
चैनल A ("टूटा हुआ प्रॉम्प्ट"): आप AI को एक ऐसा प्रश्न देते हैं जिससे उसके सभी "गोंद वाले शब्द" (जैसे "the," "is," "and," "to") हटा दिए गए हैं।
- उदाहरण: यदि आप "What is the capital of France?" के बजाय "Capital France?" टाइप करते हैं।
- परिणाम: यह एक जाल है। इसमें वास्तव में अधिक पैसा खर्च होता है। क्यों? क्योंकि जब AI को एक टूटा हुआ, भ्रमित करने वाला प्रश्न मिलता है, तो वह घबरा जाता है और समझने की कोशिश में बहुत लंबा, विस्तृत उत्तर लिखता है। चूंकि लिखना महंगा है, इसलिए अतिरिक्त लंबाई के कारण लागत बढ़ जाती है। यह एक "हार-हार" (lose-lose) स्थिति है।
चैनल B ("केवमैन का आदेश"): आप AI को पूरा, सामान्य प्रश्न देते हैं, लेकिन आप उसे बताते हैं: "मुझे एक आदिमानव की तरह उत्तर दो। कोई व्याकरण नहीं, बस मुख्य शब्द (keywords)।"
- उदाहरण: आप पूछते हैं, "What is the capital of France?" लेकिन AI जवाब देता, "Paris।"
- परिणाम: इससे पैसे बचते हैं। क्योंकि AI को संक्षिप्त उत्तर देने के लिए मजबूर किया जाता है, इसलिए वह कम शब्द लिखता है। चूंकि लिखना महंगा हिस्सा है, इसलिए यह बिल को काफी कम कर देता है (कभी-कभी आधा या दो-तिहाई तक)।
2. "घोस्ट इन द मशीन" (Ghost in the Machine) की समस्या
यहाँ सबसे आश्चर्यजनक खोज है। जब AI को केवमैन की तरह उत्तर देने के लिए मजबूर किया जाता है (चैनल B), तो वह अक्सर सही उत्तर देता है, लेकिन जो शब्द वह उपयोग करता है वे पूरी तरह से अलग होते हैं जिनसे वह सामान्य रूप से खुद को समझाता।
- उपमा (Analogy): कल्पना कीजिए कि एक शेफ है जो आमतौर पर केक के लिए एक सुंदर, 10 पन्नों की रेसिपी लिखता है। आप उसे कहते हैं, "बस सामग्री की सूची दे दो।" वह आपको एक सूची देता है जिसमें लिखा है "मैदा, चीनी, अंडे।"
- सूची सही है (आप केक बना सकते हैं)।
- लेकिन यह सूची उस सुंदर रेसिपी के समान नहीं है जो उसने तब लिखी होती जब आपने उसे संक्षिप्त रहने के लिए मजबूर नहीं किया होता।
- शोध पत्र का दावा: लगभग 52% समय, AI सही उत्तर देता है, लेकिन "केवमैन" वाला संस्करण इसके सामान्य "पूर्ण वाक्य" वाले संस्करण से इतना अलग होता है कि एक कंप्यूटर यह नहीं पहचान पाता कि वे एक ही बात कह रहे हैं।
- यह क्यों मायने रखता है: यदि आपको केवल अंतिम उत्तर (जैसे "Paris") की आवश्यकता है, तो यह मायने नहीं रखता। लेकिन यदि आपको AI के तर्क (reasoning) को पढ़ने या उसके सोचने की प्रक्रिया का रिकॉर्ड रखने की आवश्यकता है, तो "केवमैन" संस्करण का मूल स्वरूप और तर्क खो जाता है, भले ही परिणाम सही हो।
3. सभी AI एक जैसे नहीं हैं
शोधकर्ताओं ने पाया कि कुछ AI इन "केवमैन" नियमों को संभालने में बहुत बेहतर होते हैं।
- कुछ मॉडल (जैसे ओपन-सोर्स "Gemma-4") बहुत मजबूत हैं; वे संक्षिप्त होने के बावजूद अच्छे उत्तर दे सकते हैं।
- अन्य मॉडल (जैसे बहुत स्मार्ट "GPT-5.4") वास्तव में संक्षिप्त होने पर बहुत खराब प्रदर्शन करते हैं, भले ही वे सामान्य कार्यों के लिए सबसे अच्छे हों।
- सबक: आप केवल "सबसे स्मार्ट" AI नहीं चुन सकते। आपको यह परीक्षण करना होगा कि कौन सा AI आपके द्वारा उपयोग किए जाने वाले विशिष्ट "केवमैन" नियमों के तहत सबसे अच्छा काम करता है।
सारांश
- प्रश्न को न तोड़ें: यदि आप पूछे जाने वाले प्रश्न से शब्द हटा देते हैं, तो AI भ्रमित हो जाता है, अधिक लिखता है, और आप अधिक भुगतान करते हैं।
- उत्तर को तोड़ें: यदि आप AI को छोटे उत्तर देने के लिए कहते हैं, तो आप बहुत सारे पैसे बचाते हैं।
- "घोस्ट" से सावधान रहें: छोटे उत्तर सही हो सकते हैं, लेकिन वे अक्सर AI के सोचने के सामान्य तरीके से बिल्कुल अलग दिखते हैं। यदि आपको उत्तर के पीछे का "क्यों" जानने की आवश्यकता है, तो संक्षिप्त संस्करण भ्रामक हो सकता है।
शोध पत्र निष्कर्ष निकालता है कि पैसा बचाने और अच्छे परिणाम प्राप्त करने के लिए, आपको आउटपुट (उत्तर) को कंप्रेस (संक्षिप्त) करना चाहिए, न कि इनपुट (प्रश्न) को, और आपको यह जांचना चाहिए कि क्या AI अभी भी सही ढंग से "सोच" रहा है, न कि केवल यह कि क्या उसने सही संख्या प्राप्त की है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।