Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation
यह शोध पत्र इस धारणा को चुनौती देता है कि परिष्कृत प्रॉम्प्टिंग तकनीकें लार्ज लैंग्वेज मॉडल के प्रदर्शन को बढ़ाती हैं, और एक व्यापक अनुभवजन्य अध्ययन के माध्यम से यह प्रदर्शित करता है कि बेसलाइन प्रॉम्प्टिंग लगातार जटिल विधियों से बेहतर प्रदर्शन करती है, जिसमें केवल न्यूनतम विशेषज्ञ या आगमनात्मक फ्रेमिंग ही मामूली सुधार प्रदान करती है, जिससे यह सुझाव मिलता है कि क्षेत्र को प्रॉम्प्ट इंजीनियरिंग के बजाय वास्तविक मॉडल उन्नति को प्राथमिकता देनी चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। कुछ समय के लिए, सभी का मानना था कि रोबोट को एक अच्छा उत्तर देने का एकमात्र तरीका उसे निर्देशों का एक बहुत लंबा, जटिल सेट देना है। लोगों ने सोचा, "अगर मैं रोबोट को चरण-दर-चरण सोचने, एक नक्शा बनाने, या किसी विशिष्ट विशेषज्ञ होने का नाटक करने के लिए कहूँ, तो वह अधिक बुद्धिमान हो जाएगा।" यह एक छात्र को यह बताने जैसा है कि, "सिर्फ उत्तर मत दो; सही अक्षर चुनने से पहले इस बारे में पाँच-अनुच्छेद का निबंध लिखो कि तुम कैसा महसूस कर रहे हो।" यह विचार इतना लोकप्रिय हो गया कि शोधकर्ताओं ने और अधिक जटिल "प्रॉम्प्टिंग" (prompting) तरकीबें बनाना शुरू कर दिया, यह मानते हुए कि जितने विस्तृत निर्देश होंगे, रोबोट का प्रदर्शन उतना ही बेहतर होगा। लेकिन क्या होगा अगर रोबोट उस सारी अतिरिक्त बकवास से भ्रमित हो जाए? क्या होगा अगर सबसे सरल निर्देश वास्तव में सबसे अच्छा हो? यह वह बड़ा सवाल है जिसे IBM के शोधकर्ताओं की एक टीम ने जांचने का फैसला किया, जिसमें उन्होंने देखा कि लार्ज लैंग्वेज मॉडल्स (LLMs)—जो आधुनिक AI के पीछे के मस्तिष्क हैं—मल्टीपल चॉइस (बहुविकल्पीय) प्रश्नों को कैसे संभालते हैं। वे यह देखना चाहते थे कि क्या वे सभी फैंसी नई तरकीबें वास्तव में मदद कर रही थीं, या क्या वे केवल अनावश्यक रूप से चीजों को जटिल बना रही थीं।
"सिपलीसिटी पैराडॉक्स" (Simplicity Paradox) नामक यह शोध पत्र एक विशाल प्रयोग है जहाँ शोधकर्ताओं ने 10 अलग-अलग चुनौतीपूर्ण पहेलियों के विरुद्ध प्रश्न पूछने के 8 अलग-अलग तरीकों का परीक्षण किया, जिसमें AI मॉडल के 27 विभिन्न संस्करणों का उपयोग किया गया। उन्होंने एक स्पष्ट तस्वीर पाने के लिए 430,000 से अधिक मूल्यांकन चलाए। और यहाँ वह आश्चर्यजनक मोड़ है जो उन्हें मिला: जटिल तरकीबों ने आमतौर पर AI के प्रदर्शन को खराब कर दिया, या कम से कम, सीधे प्रश्न पूछने के समान ही रखा।
इसे ऐसे सोचिए: कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। "बेसलाइन" (Baseline) विधि केवल प्रश्न पढ़ने और उत्तर चुनने की है। "कॉम्प्लेक्स" (Complex) विधियाँ ऐसी हैं जैसे आपको कहा जाए कि "एक जासूस होने का नाटक करें, तीन सुराग सूचीबद्ध करें, एक आरेख बनाएं, और फिर उत्तर दें।" शोधकर्ताओं ने पाया कि अधिकांश AI मॉडल के लिए, जासूसी व्यक्तित्व और आरेख वास्तव में उनकी गति धीमी कर देते थे। वास्तव में, जब उन्होंने विधियों की निष्पक्ष तुलना की (यह सुनिश्चित करते हुए कि प्रत्येक AI ने बिल्कुल एक ही प्रश्न देखे), तो सरल, सीधा प्रॉम्प्ट तीसरा सबसे अच्छा प्रदर्शन करने वाला था। केवल दो विधियों ने इसे थोड़ा पीछे छोड़ा: AI को एक "रिलायबिलिटी इंजीनियर" (reliability engineer) के रूप में कार्य करने के लिए कहना या "इंडक्टिव रीजनिंग" (inductive reasoning) का उपयोग करने के लिए कहना। इनसे लगभग 3 प्रतिशत अंकों की मामूली बढ़त मिली। लेकिन वास्तव में फैंसी विधियाँ, जैसे कि AI को अपने स्वयं के उदाहरण बनाने या उपमा (analogy) के माध्यम से समस्या को हल करने का प्रयास करने के लिए कहना, पूरी तरह विफल रहीं। एक विधि, जिसे "सेल्फ-एनालॉजिकल" (Self-Analogical) कहा गया, इतनी खराब थी कि उसका स्कोर केवल 21.38% था, जो कि रैंडम अनुमान लगाने से मुश्किल से बेहतर है। ऐसा लगता है जैसे AI अपने ही निर्देशों में इतना उलझ गया कि वह प्रश्न का उत्तर देना ही भूल गया।
अध्ययन ने कुछ अन्य दिलचस्प विचित्रताओं का भी खुलासा किया। सबसे पहले, उन्होंने पाया कि Qwen3-30B-A3B-Thinking-2507 नामक एक छोटा AI मॉडल बहुत बड़े, अधिक शक्तिशाली मॉडलों (कुछ जो उससे 13 गुना बड़े थे) को हेड-टू-हेड रैंकिंग में हराने में सफल रहा। यह सुझाव देता है कि अधिक "मस्तिष्क शक्ति" (पैरामीटर्स) होने का मतलब हमेशा सबसे अच्छा स्कोर करना नहीं होता; कभी-कभी, एक छोटा, अच्छी तरह से ट्यून किया गया मॉडल बस अधिक तेज होता है। दूसरा, उन्होंने "सोचने के समय" (या टोकन) के बारे में देखा। उन्होंने पाया कि केवल "सोचने" वाले स्विच को चालू करना एक बहुत बड़ा गेम-चेंजर था, जिससे कुछ मॉडलों के स्कोर में 22 प्रतिशत अंक तक की वृद्धि हुई। हालाँकि, एक बार स्विच चालू हो जाने के बाद, मॉडल को अधिक सोचने का समय देने (बजट को कम से मध्यम में बढ़ाने) से सटीकता में केवल 1 से 4 अंक का मामूली इजाफा हुआ, जबकि इसमें कंप्यूटर की शक्ति का बहुत अधिक खर्च हुआ। यह एक धावक को यह समझने जैसा है कि जीतने के लिए उसे दौड़ना शुरू करने की आवश्यकता है, लेकिन उसे जरूरत से 8 गुना अधिक देर तक दौड़ने के लिए कहना उसे बहुत अधिक तेज़ नहीं बनाएगा।
अंत में, शोधकर्ताओं ने पहेलियों की कठिनाई पर भी गौर किया। उन्होंने पाया कि AI अभी भी पूर्णता से बहुत दूर है। सबसे कठिन पहेलियों पर, सर्वश्रेष्ठ मॉडल केवल 36% उत्तर सही पाते हैं, जबकि सबसे आसान पहेलियों पर वे लगभग 83% तक पहुँच जाते हैं। यह बड़ा अंतर यह दर्शाता है कि अभी भी AI के सीखने और सुधारने की बहुत गुंजाइश है, बजाय इसके कि वह केवल प्रश्न पूछने के बेहतर तरीके खोजने की कोशिश करे। पेपर इस निष्कर्ष पर पहुँचता है कि AI समुदाय चीजों को बहुत अधिक जटिल बना रहा था। जटिल निर्देश मैनुअल बनाने में अपनी सारी ऊर्जा खर्च करने के बजाय, उन्हें खुद मॉडल्स को स्मार्ट बनाने और कठिन समस्याओं से निपटने पर ध्यान केंद्रित करना चाहिए। "सिपलीसिटी पैराडॉक्स" इस वास्तविकता का बोध कराता है कि कभी-कभी, सबसे शक्तिशाली उपकरण बस एक सरल, सीधा प्रश्न होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।