Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

कल्पना कीजिए कि आप एक बहुत कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोई पेचीदा तर्क वाला खेल। आपके पास एक बहुत ही बुद्धिमान मित्र है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो बहुत सारे तथ्यों को जानता है लेकिन कभी-कभी बहुत तेज़ी से सोचते समय अटक जाता है या कोई मूर्खतापूर्ण गलती कर देता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक बढ़ता हुआ विचार है जिसे "टेस्ट-टाइम स्केलिंग" (test-time scaling) कहा जाता है। इसे ऐसे समझें कि अपने मित्र को अधिक समय, अधिक कागज़, या सोचने के अधिक अवसर देना। केवल एक बार सवाल पूछने और उनके दिमाग में आने वाले पहले उत्तर पर निर्भर रहने के बजाय, आप उनसे ज़ोर से सोचने, एक ही समस्या को तीन अलग-अलग तरीकों से आज़माने, या अपने काम की जाँच करने के लिए कह सकते हैं। बड़ा सवाल यह है कि क्या कंप्यूटर को अधिक "सोचने का समय" देने से वह वास्तव में अधिक स्मार्ट बनता है, या वह केवल अधिक बातें करता है?

लंबे समय से, वैज्ञानिक इसे इस तरह परख रहे हैं कि वे AI मॉडल को कई उत्तर उत्पन्न करने देते हैं और सबसे अच्छे को चुनते हैं, या उन्हें समाधान खोजने के विभिन्न रास्तों के माध्यम से खोजने देते हैं। लेकिन यहाँ एक पेंच है: हर कोई थोड़े अलग नियमों के साथ खेल रहा है। कुछ शोधकर्ता AI को 100 अलग-अलग उत्तर देने देते हैं और विजेता चुनते हैं; कुछ उन्हें वाक्य के बीच में ही अपना विचार बदलने देते हैं; और अन्य उन्हें सुरागों की तलाश करने वाले जासूस की तरह खोज करने देते हैं। क्योंकि हर कोई अलग "प्लेबुक" (खेल की रणनीति) का उपयोग कर रहा है, इसलिए यह तुलना करना बहुत कठिन रहा है कि वास्तव में कौन सबसे अच्छा प्रदर्शन कर रहा है। यह एक रेस कार, एक साइकिल और एक रॉकेट शिप की तुलना केवल यह देखकर करने जैसा है कि वे कितनी दूर गए, बिना यह जाने कि उन्होंने कितना ईंधन इस्तेमाल किया या किस तरह के ट्रैक पर दौड़ लगाई। यह पेपर कहता है, "रुको, हमें इन चीजों को आपस में मिलाना बंद करना चाहिए और इन्हें ठीक से मापना शुरू करना चाहिए।"

इस पेपर के लेखक, जो केस वेस्टर्न रिजर्व यूनिवर्सिटी की एक टीम है, मूल रूप से इन सोचने वाली मशीनों को टेस्ट करने के लिए एक नया नियम पुस्तिका (rulebook) बना रहे हैं। उनका तर्क है कि "टेस्ट-टाइम स्केलिंग" केवल एक चीज़ नहीं है; यह वास्तव में तीन बहुत अलग रणनीतियाँ हैं, और हमें उन्हें अलग-अलग मानना चाहिए। पहला है "सिंगल-ट्रैक" (Single-Track) विधि, जहाँ AI एक लंबे पथ पर सोचता है, शायद खुद को सुधारते हुए, जैसे कि एक हाइकर जो उसी रास्ते पर चलता रहता है लेकिन गलत मोड़ आने पर रुककर उसे ठीक करता है। दूसरा है "लीफ-लेवल" (Leaf-Level) विधि, जहाँ AI पूरी तरह से अलग कई अंतिम उत्तर बनाता है (जैसे कि एक बेकर 100 रोटियाँ बनाता है) और फिर अंत में सबसे अच्छा चुनता है। तीसरा है "प्रिफिक्स-लेवल" (Prefix-Level) विधि, जो एक पेड़ के खोजी (tree explorer) की तरह है; AI कई अलग-अलग दिशाओं में शाखाएँ निकालता है, जाँचता है कि कौन सी शाखाएँ आशाजनक दिख रही हैं, और यात्रा पूरी होने से पहले ही मृत अंत (dead ends) को काट देता है।

पेपर यह निष्कर्ष निकालता है कि इन सभी विधियों को एक ही चीज़ मानना एक गलती है। यदि आप केवल यह कहते हैं कि "हमने अधिक कंप्यूटिंग शक्ति का उपयोग किया," तो आप यह नहीं जानते कि उस शक्ति का उपयोग कैसे किया गया था। लेखक बताते हैं कि जिस तरह से आप लागत (बजट) को गिनते हैं और जिस तरह से आप अंतिम उत्तर चुनते हैं, वह मॉडल के अपने गुणों जितना ही महत्वपूर्ण है। उदाहरण के लिए, उन्होंने पाया कि कभी-कभी, केवल इसलिए कि एक AI अधिक उत्तर उत्पन्न करता है, इसका मतलब यह नहीं है कि चुना गया अंतिम उत्तर बेहतर होगा। वास्तव में, यदि विजेता चुनने का तरीका दोषपूर्ण है, तो अधिक उत्तर जोड़ने से अंतिम परिणाम वास्तव में बदतर हो सकता है, जो कि सौ लोगों को एक फिल्म पर वोट देने के लिए कहने लेकिन एक टूटी हुई वोटिंग मशीन का उपयोग करने जैसा है जो सबसे खराब फिल्म चुन लेती है।

इस भ्रम को दूर करने के लिए, टीम ने केवल बातें नहीं कीं, बल्कि उन्होंने कठिन परिश्रम भी किया। उन्होंने 2 मिलियन से अधिक 'रीज़निंग ट्रेसेस' (reasoning traces - यानी AI द्वारा समस्याओं को हल करते समय उठाए गए हर कदम की एक विशाल लाइब्रेरी) की एक विशाल नई लाइब्रेरी बनाई, जिसमें गणित, विज्ञान और तर्क संबंधी पहेलियाँ शामिल थीं। उन्होंने इस लाइब्रेरी का उपयोग 27 अलग-अलग ओपन-सोर्स AI मॉडल्स के परीक्षण के लिए किया। उनके परिणाम बताते हैं कि जबकि AI को अधिक समय देने से वह सही उत्तर खोजने में अधिक सक्षम हो सकता है (जिसे वे "डिस्कवरी" कहते हैं), इसका मतलब यह नहीं है कि AI को ढेर में से सही उत्तर चुनना भी आता होगा (यह "सिलेक्शन" है)। उन्होंने पाया कि कुछ मॉडल्स के लिए, अधिक बार प्रयास करने से सही उत्तर खोजने की संभावना लगभग 56% से बढ़कर 82% हो गई, लेकिन उन सभी प्रयासों में से हर एक का सही होने की संभावना काफी कम हो गई। इसका मतलब है कि AI खजाना खोजने में तो बेहतर हो रहा है, लेकिन यह पहचानना कठिन होता जा रहा है कि कौन सा नक्शा असली है।

पेपर इस बात पर भी ज़ोर देता है कि हम केवल अंतिम स्कोर को देखकर काम नहीं चला सकते। यह समझने के लिए कि क्या एक AI वास्तव में स्मार्ट हो रहा है, हमें ठीक से जानना होगा कि उसका परीक्षण कैसे किया गया था: कौन से प्रॉम्प्ट्स (prompts) का उपयोग किया गया था, उसने कितनी बार प्रयास किया, अंतिम उत्तर कैसे चुना गया, और यहाँ तक कि कंप्यूटर के चलने के सूक्ष्म विवरण भी। उनका तर्क है कि इन विवरणों के बिना, विभिन्न AI मॉडल्स की तुलना करना सेब की तुलना संतरे से करने जैसा है। यह स्पष्ट ढांचा प्रदान करके कि इन "सोचने के बजट" को कैसे मापा जाए, और अपनी इस विशाल डेटासेट को सभी के उपयोग के लिए जारी करके, वे इस भ्रम को रोकने और पूरे क्षेत्र को स्पष्ट, निष्पक्ष और पुनरुत्पादक (reproducible) परिणामों के साथ आगे बढ़ने में मदद करने की आशा करते हैं। संक्षेप में, वे हमें बता रहे हैं कि वास्तव में स्मार्ट AI बनाने के लिए, हमें यह अनुमान लगाना बंद करना होगा कि वे कैसे सोचते हैं और इसे एक अंदाज़ के बजाय एक पैमाने (रूलर) से मापना शुरू करना होगा।