On the Optimal Reasoning Length for RL-Trained Language Models
यह शोध पत्र प्रदर्शित करता है कि सुदृढीकरण अधिगम (reinforcement learning) द्वारा प्रशिक्षित भाषा मॉडलों के लिए, तर्क सटीकता (reasoning accuracy) आउटपुट लंबाई के साथ एक गैर-एकदिष्ट (non-monotonic) संबंध प्रदर्शित करती है, जो एक मध्यवर्ती मान पर चरम पर पहुँचती है क्योंकि यह बढ़ते हुए सटीक केंद्रीय प्रवृत्ति (central tendency) के आसपास बढ़ते हुए प्रसार (dispersion) के कारण होता है, भले ही विचार श्रृंखलाओं (chains of thought) के लंबा होने के साथ मोड सटीकता (mode accuracy) में सुधार जारी रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बातूनी छात्र को कठिन गणित के सवाल हल करना या कंप्यूटर कोड लिखना सिखा रहे हैं। आपने पाया है कि यदि आप उस छात्र को ज़ोर से सोचने (एक प्रक्रिया जिसे "चेन-ऑफ-थॉट" कहा जाता है) की अनुमति देते हैं, तो वे कठिन समस्याओं को हल करने में बहुत बेहतर हो जाते हैं। हालाँकि, इसमें एक पेंच है: जैसे-जैसे वे अधिक बुद्धिमान होते जाते हैं, वे अधिक बातें करने लगते हैं। वे उत्तर देने के बजाय निबंध लिखने लगते हैं, जिससे समय और पैसा दोनों अधिक खर्च होते हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने छात्र को संक्षिप्त होने के लिए प्रशिक्षित करने की कोशिश की, उन्हें बहुत अधिक बोलने के लिए एक "दंड" (पेनल्टी) दिया। उन्हें उम्मीद थी कि यदि वे छात्र को थोड़ा कम बोलने के लिए मजबूर करेंगे, तो वे अभी भी बुद्धिमान रहेंगे, बस तेज़ होंगे।
बड़ी हैरानी
नोहारा और सहयोगियों के शोध पत्र से पता चला कि "छात्र कितनी बातें करता है" और "वह कितना बुद्धिमान है" के बीच का संबंध एक सीधी रेखा नहीं है। यह एक पहाड़ी की तरह है।
- बहुत छोटा: यदि आप उन्हें बहुत संक्षिप्त होने के लिए मजबूर करते हैं, तो उनके पास सोचने के लिए पर्याप्त समय नहीं होता है, और वे गलत उत्तर देते हैं।
- बिल्कुल सही: जैसे-जैसे आप उन्हें थोड़ी अधिक बात करने देते हैं, उनकी सटीकता बढ़ जाती है। एक "स्वीट स्पॉट" (इष्टतम बिंदु) है जहाँ वे सबसे सटीक होते हैं।
- बहुत लंबा: यदि आप उन्हें बहुत अधिक बोलने देते हैं, तो भले ही वे अभी भी कड़ी मेहनत से सोच रहे हों, उनकी सटीकता वास्तव में गिरने लगती है।
यह विभिन्न प्रकार के छात्रों (विभिन्न AI मॉडल) और विभिन्न विषयों (गणित और कोडिंग) में देखा गया।
"केंद्र" बनाम "भटकती भीड़"
सटीकता तब क्यों गिरती है जब वे बहुत अधिक बातें करते हैं? लेखकों ने इसे समझाने के लिए एक चतुर उपमा का उपयोग किया है। कल्पना कीजिए कि छात्र के उत्तर एक मैदान में खड़े लोगों की भीड़ की तरह हैं।
- "केंद्र" (मोड सटीकता): जैसे-जैसे छात्र अधिक लंबी बातें करता है, भीड़ का केंद्र सही उत्तर के करीब आता जाता है। वास्तव में, यदि आप छात्र को 100 उत्तर उत्पन्न करने के लिए कहें और उस उत्तर को चुनें जो सबसे अधिक बार आया हो, तो वह "सबसे सामान्य" उत्तर जैसे-जैसे छात्र अधिक बोलता है, अधिक सही होता जाता है। मूल विचार बेहतर हो रहा है।
- "प्रसार" (मोड लीकेज): हालाँकि, जैसे-जैसे छात्र अधिक लंबी बातें करता है, भीड़ के व्यक्तिगत लोग उस केंद्र से और दूर भटकने लगते हैं। वे विचलित हो जाते हैं, बड़बड़ाने लगते हैं, या अजीब रास्तों पर निकल जाते हैं।
परिणाम:
"बहुत लंबा" क्षेत्र में, भीड़ का केंद्र बिल्कुल निशाने (सही उत्तर) पर खड़ा है, लेकिन व्यक्तिगत लोग इतने दूर तक बिखरे हुए हैं कि यदि आप उनमें से किसी एक को यादृच्छिक रूप से चुनते हैं, तो आपके लक्ष्य को चूकने की संभावना अधिक है।
- छोटे उत्तर: भीड़ ने अभी तक लक्ष्य को ढूँढा भी नहीं है।
- मध्यम उत्तर: भीड़ लक्ष्य के आसपास मजबूती से केंद्रित है।
- लंबे उत्तर: भीड़ का केंद्र बिल्कुल निशाने पर है, लेकिन लोग पूरे मैदान में गोल-गोल घूम रहे हैं।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि केवल AI मॉडल को कम बोलने के लिए कहना हमेशा सही नहीं होता है, लेकिन उन्हें अनंत काल तक बोलने देना भी प्रतिकूल है। एक इष्टतम लंबाई है जहाँ मॉडल सही उत्तर खोजने के लिए पर्याप्त केंद्रित रहता है, बिना इतना विचलित हुए कि वह अपनी ही बड़बड़ाहट के कारण सटीकता खो दे। शोधकर्ता सुझाव देते हैं कि भविष्य के उपकरणों को हमारे लिए स्वचालित रूप से इस "स्वीट स्पॉट" को खोजना चाहिए, बजाय इसके कि हम सही सेटिंग्स का अनुमान लगाने की कोशिश करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।