Brevity Constraints Reverse Performance Hierarchies in Language Models
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स को संक्षिप्त प्रतिक्रियाएं उत्पन्न करने के लिए बाध्य करना प्रदर्शन पदानुक्रमों को उलट देता है, जिससे स्केल-निर्भर वाचालता त्रुटियों को समाप्त किया जा सकता है, और इस प्रकार गणितीय एवं वैज्ञानिक तर्क की उन श्रेष्ठ अंतर्निहित क्षमताओं को अनलॉक किया जा सकता है जिन्हें मानक मूल्यांकन प्रोटोकॉल छिपा देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "ज़रूरत से ज़्यादा सोचना" (Overthinking) सबसे बुद्धिमान छात्रों को नुकसान पहुँचाता है
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। आपके पास दो छात्र हैं:
- प्रतिभाशाली (The Prodigy): एक जीनियस जिसके पास एक विशाल मस्तिष्क है (एक बहुत बड़ा AI मॉडल) जो लगभग सब कुछ जानता है।
- बच्चा (The Kid): एक स्मार्ट, तेज़ दिमाग वाला बच्चा (एक छोटा AI मॉडल) जो बुनियादी बातें अच्छी तरह जानता है।
आमतौर पर, हम मानते हैं कि प्रतिभाशाली छात्र की ही जीत होगी। लेकिन इस शोध पत्र ने कुछ अजीब खोजा है: लगभग 8% सवालों पर, वह बच्चा वास्तव में प्रतिभाशाली छात्र को हरा देता है।
क्यों? क्योंकि प्रतिभाशाली छात्र "ज़रूरत से ज़्यादा सोचने" (Overthinking) का शिकार हो जाता है।
उपमा: ओवर-इंजीनियर बनाम प्लंबर
एक प्लंबर (छोटा मॉडल) और एक ओवर-इंजीनियर (बड़ा मॉडल) के बारे में सोचें।
- कार्य: एक टपकते हुए नल को ठीक करना।
- प्लंबर: नल को देखता है, ढीला वॉशर देखता है, उसे कसता है, और कहता है, "हो गया।" (तेज़, सटीक, कुशल)।
- ओवर-इंजीनियर: पहले पानी के दबाव के इतिहास पर 50 पन्नों का शोध पत्र लिखना शुरू करता है, पाइप का 3D ब्लूप्रिंट बनाता है, धातु पर तनाव की गणना करता है, और फिर, उस सारी गणित के बीच, गलती से रिंच (wrench) को सिंक में गिरा देता है, जिससे पाइप टूट जाता है।
प्रोdigy AI "मूर्ख" नहीं है। यह वास्तव में सरल कार्यों के लिए अपनी समझ से भी ज़्यादा स्मार्ट है। इसे विस्तार से अपने तर्क समझाने, लंबे पैराग्राफ लिखने और हर संभव कोण को तलाशने की तीव्र इच्छा होती है। ऐसा करने में, यह भ्रमित हो जाता है, गणना में गलती कर देता है, या सरल उत्तर से भटक जाता है।
शोधकर्ताओं ने क्या किया
टीम ने 31 अलग-अलग AI मॉडलों (छोटे से लेकर विशाल तक) का 1,485 विभिन्न समस्याओं (गणित, विज्ञान, पठन) पर परीक्षण किया।
- खोज: उन्होंने पाया कि 115 विशिष्ट समस्याओं पर, छोटे मॉडल बड़े मॉडलों की तुलना में काफी अधिक सटीक थे। बड़े मॉडल छोटे मॉडल्स की तुलना में 28% अधिक बार गलत उत्तर दे रहे थे।
- निदान (Diagnosis): उन्होंने महसूस किया कि विशाल मॉडल लंबे, अत्यधिक विस्तृत (verbose) उत्तर उत्पन्न कर रहे थे जो अनावश्यक बातों से भरे थे। यह "बड़बड़ाहट" त्रुटियों को जन्म दे रही थी।
- उपचार (जादुई ट्रिक): उन्होंने विशाल मॉडलों को निर्देश दिया: "इतना ज़्यादा मत बोलो। बस मुझे 50 शब्दों के भीतर उत्तर दो।"
परिणाम?
- विशाल मॉडलों का प्रदर्शन अचानक बढ़ गया।
- छोटे और बड़े मॉडलों के बीच का अंतर केवल कम नहीं हुआ; बल्कि वह उलट गया।
- अचानक, विशाल मॉडल बड़े अंतर से छोटे मॉडलों को हरा रहे थे।
यह सच है कि विशाल मॉडलों के भीतर सही उत्तर हमेशा मौजूद था, लेकिन उनकी "ज़्यादा समझाने" की आदत उसे छिपा रही थी।
ऐसा क्यों होता है? ("लंबाई का पक्षपात" वाला जाल)
शोध पत्र सुझाव देता है कि यह इन AI को प्रशिक्षित करने के तरीके का एक दुष्प्रभाव हो सकता है। जब इंसान AI को सिखाते हैं (एक प्रक्रिया जिसे RLHF कहा जाता है), तो वे अक्सर लंबे, विस्तृत उत्तरों को पुरस्कृत करते हैं क्योंकि वे देखने में अधिक मददगार और गहन लगते हैं।
- प्रशिक्षण: "अच्छा काम किया, AI! तुमने 2+2=4 क्यों है, इसके बारे में 1,000 शब्दों का निबंध लिखा। यह बहुत बढ़िया है!"
- परिणाम: AI सीख जाता है कि लंबाई = गुणवत्ता।
- समस्या: सरल गणित या विज्ञान के सवालों पर, आपको 1,000 शब्दों के निबंध की ज़रूरत नहीं होती। आपको एक संख्या की ज़रूरत होती है। AI का "प्रशिक्षण" उसे निबंध लिखने के लिए मजबूर करता है, और इस प्रक्रिया में, वह अपने ही पैरों में उलझकर गिर जाता है।
वास्तविक दुनिया का निष्कर्ष
यह बदल देता है कि हमें वास्तविक दुनिया में AI का उपयोग कैसे करना चाहिए:
- बड़ा हमेशा बेहतर नहीं होता: यदि आप किसी विशाल AI से केवल एक सरल प्रश्न पूछते हैं, तो आपको एक छोटे, सस्ते AI की तुलना में खराब उत्तर मिल सकता है।
- प्रॉम्प्ट इंजीनियरिंग महत्वपूर्ण है: हमें उपयोगकर्ताओं (और डेवलपर्स) को सही तरीके से पूछना सिखाने की आवश्यकता है। "मुझे यह समझाओ" कहने के बजाय, हमें पूछना चाहिए, "मुझे संक्षिप्त उत्तर दें।"
- पैसे बचाएं: कंपनियाँ भारी बचत कर सकती हैं। यदि एक सरल कार्य के लिए केवल एक छोटे मॉडल की आवश्यकता है, तो विशाल मॉडल के लिए भुगतान न करें। यदि कार्य के लिए विशाल मॉडल की आवश्यकता है, तो बस उसे संक्षिप्त रहने के लिए कहें, और आपको सर्वोत्तम प्रदर्शन मिलेगा।
निचोड़
यह शोध पत्र साबित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) टूटे हुए नहीं हैं; वे बस संक्षिप्त होने में खराब हैं।
उनके पास "लेटेंट कैपेबिलिटीज" (छिपी हुई क्षमताएं) हैं जो वर्तमान में उनकी बड़बड़ाने की प्रवृत्ति के कारण छिपी हुई हैं। यदि हम बस उन पर "बड़बड़ाहट रोकने" का नियम लगा दें, तो सबसे बड़े, सबसे शक्तिशाली मॉडल निर्विवाद चैंपियन बन जाते हैं, जो प्रदर्शन के पदानुक्रम को उलट देते हैं और यह सिद्ध करते हैं कि कभी-कभी, कम ही वास्तव में अधिक होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।