Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions
यह शोध पत्र एक परीक्षा-शैली के मूल्यांकन ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि वर्तमान रीजनिंग मॉडल कई प्रश्नों के बीच एक साझा टेस्ट-टाइम कंप्यूट बजट को रणनीतिक रूप से आवंटित करने में विफल रहते हैं, बल्कि इसके बजाय वे लालची अनुक्रमिक सॉल्वर (greedy sequential solvers) के रूप में व्यवहार करते हैं जो प्रश्न की कठिनाई या मूल्य के बजाय प्रस्तुति क्रम को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-तकनीकी पुस्तकालय में बैठे हैं जहाँ किताबें "रीज़निंग मॉडल्स" नामक सुपर-स्मार्ट कंप्यूटरों द्वारा लिखी गई हैं। ये कंप्यूटर पहेलियाँ सुलझाने में अद्भुत हैं, लेकिन उनकी एक अजीब सी आदत है: पहेली जितनी कठिन होगी, उत्तर देने से पहले वे उतना ही अधिक "सोचेंगे"। इस सोचने की प्रक्रिया में "कंप्यूट" खर्च होता है, जो ऊर्जा की एक सीमित आपूर्ति या एक सख्त समय सीमा की तरह है। वैज्ञानिक लंबे समय से जानते हैं कि यदि आप इन कंप्यूटरों को एक कठिन समस्या पर सोचने के लिए अधिक समय देते हैं, तो वे इसमें बेहतर हो जाते हैं। लेकिन एक नया सवाल खड़ा हुआ है: क्या होगा यदि आप इन कंप्यूटरों को कई अलग-अलग पहेलियों का एक पूरा ढेर दें, लेकिन पूरे ढेर के लिए केवल एक साझा समय सीमा हो? क्या कंप्यूटर यह तय कर पाएगा कि किन पहेलियों पर अपनी ऊर्जा खर्च करना सार्थक है, या क्या वह बस उन पहेलियों को क्रम से सुलझाता जाएगा जो उनके सामने आती हैं, अपना समय बर्बाद करेगा और कठिन पहेलियों तक पहुँचने से पहले ही अपनी ऊर्जा समाप्त कर देगा? यह वह बड़ा रहस्य है जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं, क्योंकि यदि ये स्मार्ट कंप्यूटर कई कार्यों को एक साथ संभालने के दौरान अपनी ऊर्जा का प्रबंधन नहीं कर सकते, तो वे वास्तविक दुनिया की स्थितियों में विफल हो सकते हैं जहाँ उन्हें एक साथ कई काम करने पड़ते हैं।
यह शोध पत्र, जिसका शीर्षक "थिंकिंग हार्ड, नॉट स्मार्ट" है, ठीक इसी समस्या की जांच करता है। शोधकर्ताओं ने दुनिया के सबसे उन्नत रीज़निंग मॉडल्स में से कुछ के लिए एक डिजिटल "परीक्षा" आयोजित की। प्रत्येक प्रश्न के लिए अपना स्वयं का समय निर्धारित करने के बजाय, उन्होंने पूरी परीक्षा के लिए "थिंकिंग टोकन" (कंप्यूटर प्रयास की एक इकाई) का एक एकल, साझा बजट दिया। परीक्षा में विभिन्न कठिनाई स्तरों के प्रश्न शामिल थे, जिनमें से कुछ अधिक अंक वाले थे, और मॉडल्स को उच्चतम कुल स्कोर प्राप्त करने के लिए अपनी सीमित ऊर्जा को कैसे विभाजित करना है, यह समझना था। परिणाम चौंकाने वाले थे: मॉडल्स ने रणनीतिक परीक्षार्थियों की तरह व्यवहार करने में विफल रहे। एक कठिन, कम अंक वाले प्रश्न को छोड़कर बाद के आसान, उच्च अंक वाले प्रश्न के लिए ऊर्जा बचाने के बजाय, वे एक लालची छात्र की तरह व्यवहार करते रहे जो बस ऊपर से नीचे तक प्रश्नों को पढ़ता जाता है। उन्होंने पहले कुछ प्रश्नों पर बहुत अधिक प्रयास किया, और अक्सर अंत तक पहुँचने से पहले ही अपने टोकन समाप्त कर दिए, चाहे बाद के प्रश्नों के अंक कितने भी क्यों न हों।
अध्ययन में पाया गया कि ये मॉडल्स "पोजीशन-ब्लाइंड" (स्थान-अंध) रणनीतिकार हैं। वे इस बात की परवाह नहीं करते कि किसी प्रश्न को "कठिन" या "आसान" लेबल किया गया है, या वह 20 अंक का है या 5। वे मुख्य रूप से प्रश्नों के क्रम का पालन करते हैं। यदि कोई प्रश्न पहले आता है, तो वे उसमें अपनी सारी ऊर्जा झोंक देते हैं; यदि वह अंत में है, तो वे अक्सर उसे पूरी तरह से अनदेखा कर देते हैं। शोधकर्ताओं ने प्रश्नों का क्रम बदलकर और उनके अंक मान बदलकर यह परीक्षण किया, लेकिन मॉडल्स ने अनुकूलन नहीं किया। यहाँ तक कि जब शोधकर्ताओं ने मॉडल्स को "आगे की योजना बनाने" और "बुद्धिमानी से आवंटन करने" के लिए एक विशेष प्रॉम्प्ट दिया, तब भी मॉडल्स ने अपनी आदतें नहीं बदलीं; वे बस अपनी उसी बिना रणनीति वाली ऊर्जा को थोड़ा अधिक समान रूप से फैला रहे थे। यह शोध पत्र बताता है कि जबकि ये मॉडल्स एक एकल समस्या पर "कठिन रूप से सोचने" (थिंक हार्ड) में बेहतर हो रहे हैं, वे अभी तक यह नहीं सीख पाए हैं कि किन समस्याओं पर सोचना सार्थक है, यानी "स्मार्ट तरीके से सोचने" (थिंक स्मार्ट) में।
इसे और स्पष्ट करने के लिए, कल्पना कीजिए कि आपके पास 10 पाउंड की एक सख्त वजन सीमा वाला बैकपैक है, और आप 20 वस्तुओं वाले एक कबाड़ बाजार (फlea market) में हैं। कुछ वस्तुएं भारी हैं लेकिन बहुत मूल्यवान हैं (उच्च मूल्य, उच्च लागत), कुछ हल्की हैं लेकिन बहुत कम मूल्य की हैं (कम मूल्य, कम लागत), और कुछ भारी लेकिन बेकार हैं। एक समझदार खरीदार पूरी सूची को देखेगा, उन वस्तुओं को चुनेगा जो "प्रति पाउंड सबसे अच्छा मूल्य" देती हैं, और अपने बैग को अधिकतम लाभ के लिए भरेगा। लेकिन ये AI मॉडल्स एक ऐसे खरीदार की तरह व्यवहार कर रहे थे जो बस सामने आने वाली पहली वस्तु को उठा लेता है, फिर दूसरी, फिर तीसरी, जब तक कि बैकपैक उठाने लायक भारी न हो जाए। जब तक वे लाइन के अंत तक पहुँचे, उनके पास कोई जगह नहीं बची थी। शोधकर्ताओं ने पाया कि जैसे-जैसे प्रश्नों (या वस्तुओं) की संख्या 5 से बढ़कर 20 हुई, मॉडल्स पूरी सूची को कवर करने में और भी खराब होते गए। उदाहरण के लिए, 20 प्रश्नों के साथ, मॉडल्स ने केवल 4 से 8 प्रश्नों पर गंभीर काम किया, और बाकी को पूरी तरह से अनछुआ छोड़ दिया।
शोध पत्र ने यह भी देखा कि क्या मॉडल्स प्रश्नों की कठिनाई के प्रति प्रतिक्रिया दे रहे हैं। वास्तव में, वे कठिन प्रश्नों पर अधिक समय बिताते हैं, लेकिन केवल तब जब वे पहले से ही उन पर काम शुरू कर चुके होते हैं। वे किसी कठिन प्रश्न को देखकर यह नहीं कहते, "यह कठिन लग रहा है, मैं बाद के लिए ऊर्जा बचाने हेतु इसे छोड़ देता हूँ।" इसके बजाय, वे उसमें डूब जाते हैं, महसूस करते हैं कि यह कठिन है, और तब तक चलते रहते हैं जब तक उनकी ऊर्जा समाप्त नहीं हो जाती। इसे ही लेखक "रिएक्टिव" (प्रतिक्रियाशील) बनाम "प्रोस्पेक्टिव" (पूर्वानुमानित) सोच कहते हैं। वे एक बार शुरू करने के बाद समस्या को हल करने में अच्छे हैं, लेकिन यह निर्णय लेने में खराब हैं कि किन समस्याओं को शुरू करना चाहिए।
दिलचस्प बात यह है कि शोधकर्ताओं ने यह परीक्षण गणित और कोडिंग दोनों समस्याओं पर किया, और परिणाम समान थे। चाहे कार्य एक समीकरण को हल करना हो या कंप्यूटर प्रोग्राम लिखना, मॉडल्स एक निश्चित ट्रैक पर चलती ट्रेन की तरह व्यवहार करते रहे: वे एक-एक करके आगे बढ़ते रहे, जब तक कि ईंधन खत्म नहीं हो गया। वे आसान या अधिक मूल्यवान स्टॉप पर ट्रैक बदलने के लिए नहीं मुड़े। अध्ययन यह निष्कर्ष निकालता है कि कई कार्यों के बीच एक साझा बजट प्रबंधित करने की क्षमता एक अलग कौशल है जिसकी वर्तमान मॉडल्स में कमी है। वे कठिन रूप से सोचना जानते हैं, लेकिन वे अपने सोचने के तरीके को नियंत्रित करना (रैशन करना) नहीं सीख पाए हैं। यह केवल एक छोटी सी त्रुटि नहीं है; यह सुझाव देता है कि जैसे-जैसे हम इन मॉडल्स से अधिक जटिल, बहु-चरणीय कार्य करने को कहेंगे, हमें उन्हें एक नए प्रकार के "मेटाकॉग्निशन" (अधि-संज्ञान)—अपने स्वयं के सोचने के बारे में सोचने और अपने संसाधनों का प्रबंधन करने की क्षमता—को सिखाने की आवश्यकता होगी, न कि केवल सामने रखी पहेली को हल करने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।