Real-Time Progress Prediction in Reasoning Language Models
यह शोध पत्र यह प्रदर्शित करके रीजनिंग लैंग्वेज मॉडल्स में रियल-टाइम प्रोग्रेस प्रेडिक्शन की व्यवहार्यता की जांच करता है कि हिडन स्टेट्स प्रोग्रेस की जानकारी को एनकोड करते हैं और फाइन-ट्यून्ड मॉडल्स सटीक प्रोग्रेस अनुमान उत्पन्न कर सकते हैं, जिसमें बड़े मॉडल्स शेष समाधान की लंबाई में कम भिन्नता के कारण अधिक लेबल स्थिरता प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन थोड़ी बातूनी रोबोट से एक जटिल गणित की समस्या हल करने के लिए कह रहे हैं। केवल उत्तर देने के बजाय, रोबोट ज़ोर-ज़ोर से "सोचना" शुरू कर देता है, अपने विचारों की एक लंबी श्रृंखला लिखता है, और फिर अंत में कहता है, "उत्तर 2220 है।"
समस्या क्या है? जैसे-जैसे रोबोट सोचता है, इसमें 10 सेकंड या 10 मिनट लग सकते हैं। आपको पता नहीं है कि इसे कितना और समय लगेगा। यह एक ऐसी फिल्म देखने जैसा है जहाँ स्क्रीन काली है, और आप नहीं जानते कि आप कहानी के 10% पूरे कर चुके हैं या 90%। आपको बस इंतज़ार करना है और उम्मीद करनी है।
यह शोध पत्र पूछता है: क्या हम रोबोट को वास्तविक समय (real-time) में यह बताने के लिए सिखा सकते हैं कि वह कितना आगे बढ़ चुका है? जैसे वीडियो डाउनलोड होने के दौरान प्रोग्रेस बार होता है, लेकिन रोबोट की सोचने की प्रक्रिया के लिए।
शोधकर्ताओं ने इसे हल करने के लिए सरल उपमाओं का उपयोग किया है:
1. "मन-पठन" परीक्षण (Hidden States)
सबसे पहले, शोधकर्ताओं ने सोचा कि क्या रोबोट के मस्तिष्क (उसके आंतरिक "हिडन स्टेट्स") को पहले से ही पता है कि वह कितना आगे बढ़ चुका है, भले ही वह इसे ज़ोर से न बोल रहा हो।
- उपमा: कल्पना कीजिए कि रोबोट एक अंधेरी भूलभुलैया में चल रहा है। भले ही वह बाहर (exit) को देख नहीं सकता, शायद उसके कदमों (आंतरिक डेटा) की एक लय है जो हमें बताती है कि वह अंत के कितने करीब है।
- प्रयोग: उन्होंने एक साधारण "डिकोडर" (एक लीनियर प्रोब) बनाया जो रोबोट के आंतरिक विचारों को सुन सके।
- परिणाम: डिकोडर लगभग 30% बार प्रगति का अनुमान लगा सका। यह पूर्ण नहीं था, लेकिन इसने यह साबित कर दिया कि रोबोट के भीतर "मैं कितना आगे गया हूँ" का कुछ अहसास मौजूद है, भले ही वह थोड़ा धुंधला हो।
2. "प्रोग्रेस बार" प्रशिक्षण (Fine-Tuning)
चूंकि रोबोट के पास प्रगति का कुछ छिपा हुआ अहसास था, इसलिए शोधकर्ताओं ने इसे वास्तव में ज़ोर से बोलने के लिए प्रशिक्षित करने का निर्णय लिया। उन्होंने रोबोट को अपनी सोच के एक हिस्से को पूरा करने के बाद <progressbar> 45% </progressbar> जैसा एक छोटा टैग डालने के लिए सिखाया।
- उपमा: यह एक मैराथन धावक को हर मील पर रुककर यह चिल्लाने के लिए सिखाने जैसा है, "मैं 40% पर हूँ!" ताकि भीड़ को पता चल सके कि कब उत्साह बढ़ाना है।
- चुनौती: यदि आप केवल रोबोट को "45%" कहने के लिए कहते हैं, तो वह धोखाधड़ी कर सकता है। वह समझ सकता है कि यदि उसने 100वें शब्द पर "45%" कहा है, तो उसे शायद 110वें शब्द पर "50%" कहना चाहिए, जो कि केवल शब्दों को गिनने पर आधारित है, न कि वास्तव में गणित को समझने पर।
- समाधान: उन्होंने एक "मास्किंग" तकनीक का उपयोग किया। प्रशिक्षण के दौरान, वे कभी-कभी रोबोट की पिछली प्रगति रिपोर्टों को छिपा देते थे। इसने रोबोट को अपनी प्रगति का अनुमान लगाने के लिए वास्तविक गणित की समस्या को देखने के लिए मजबूर किया, न कि केवल यह गिनने के लिए कि उसने अब तक कितने शब्द टाइप किए हैं।
3. परिणाम: रोबोट कितना अच्छा था?
शोधकर्ताओं ने गणित की समस्याओं पर इसका परीक्षण किया।
- सबसे अच्छा रोबोट: बड़े मॉडल (QWEN3-4B) इसमें काफी अच्छा हो गया। उसका "प्रोग्रेस बार" औसतन केवल लगभग 16% की त्रुटि के साथ था (उदाहरण के लिए, यदि उसने 50% कहा, तो वह वास्तव में 34% से 66% के बीच काम पूरा कर चुका था)।
- तुलना: यह केवल इस आधार पर अनुमान लगाने से बेहतर था कि आमतौर पर समस्या में कितना समय लगता है।
- कमी: रोबोट को उसकी प्रगति के बारे में बात करना सिखाने से कभी-कभी गणित की समस्याओं को हल करने में उसकी क्षमता थोड़ी कम हो गई। यह एक ट्रेड-ऑफ है: एक रोबोट जो आपको बताने में बहुत अच्छा है कि वह कब समाप्त होगा, वह काम करने में थोड़ा धीमा हो सकता है।
4. "धुंधला भविष्य" की समस्या (Ambiguity)
शोधकर्ताओं ने सोचने की प्रकृति के बारे में एक दिलचस्प बात भी नोट की।
- उपमा: कल्पना कीजिए कि आप एक कहानी लिख रहे हैं। आधे रास्ते पर, आप सोच सकते हैं, "मैं लगभग समाप्त करने वाला हूँ।" लेकिन फिर, आप एक नया पात्र जोड़ने का निर्णय लेते हैं, और अचानक आपकी कहानी को दोगुना लंबा होने की आवश्यकता होती है। आपका "आधा रास्ता" गलत था क्योंकि भविष्य अनिश्चित था।
- निष्कर्ष: क्योंकि रोबोट की सोच थोड़ी रैंडम (अनिश्चित) होती है (वह उत्तर तक पहुँचने के लिए एक अलग रास्ता चुन सकता है), इसलिए "वास्तविक" प्रगति कभी-कभी धुंधली होती है। हालाँकि, बड़े, स्मार्ट रोबोट (QWEN3-4B) कम धुंधले थे। वे इस बात में अधिक सुसंगत थे कि उनके रास्ते कितने लंबे होंगे, जिससे उनके प्रोग्रेस बार अधिक विश्वसनीय बन गए।
सारांश
यह शोध पत्र दिखाता है कि हम AI मॉडल्स को सोचने के दौरान वास्तविक समय में "प्रोग्रेस बार" देने के लिए सिखा सकते हैं।
- क्या यह काम आया? हाँ, मॉडल्स ने अपनी प्रगति का उचित सटीकता के साथ अनुमान लगाना सीख लिया।
- क्या यह पूर्ण है? नहीं। कभी-कभी रोबोट गलत अनुमान लगाता है क्योंकि उत्तर तक पहुँचने का रास्ता बदल सकता है, या क्योंकि वह केवल शब्दों को गिन रहा होता है न कि सोच रहा होता है।
- यह क्यों महत्वपूर्ण है? यह मनुष्यों को यह जानने में मदद करता है कि कब इंतज़ार करना बंद करना है और कब उत्तर की अपेक्षा करनी है, जिससे सोचने के "ब्लैक बॉक्स" को ऐसी चीज़ में बदला जा सकता है जिसके अंदर हम झाँक सकें।
शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि यह तकनीक काम करती है, फिर भी यह एक अपूर्ण क्रिस्टल बॉल (भविष्य बताने वाला यंत्र) है, और सबसे अच्छे परिणाम बड़े, अधिक स्मार्ट मॉडल्स से आते हैं जो इस बात पर बदलने की संभावना कम रखते हैं कि किसी कार्य में कितना समय लगेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।