Rethinking Inference-Time Scaling: Efficiency Limits and Linguistic Signals

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोई ऐसी पहेली जिसे सुलझाने के लिए गहरी सोच की आवश्यकता हो। आपके पास उत्तर पाने के दो मुख्य तरीके हैं। पहला तरीका है एक सुपर-स्मार्ट जीनियस को काम पर रखना जिसने वर्षों तक उस पहेली का अध्ययन किया है; वे इसे तुरंत हल कर सकते हैं क्योंकि उनके पास वह उत्तर उनके "सिर के अंदर" है। दूसरा तरीका है एक सामान्य व्यक्ति को लेना और उन्हें बहुत सारा समय और कागज दे देना। आप उनसे कहते हैं, "अलग-अलग अनुमान लगाने की कोशिश करते रहो, उन सभी को लिखो, उन्हें जाँचो, और सही होने तक बार-बार लिखते रहो।" इस दूसरे दृष्टिकोण को इन्फरेंस-टाइम कंप्यूट (Inference-Time Compute - ITC) कहा जाता है। यह वह विचार है कि यदि आप सवाल पूछने के क्षण के दौरान पर्याप्त कंप्यूटिंग पावर और समय लगा दें, तो आप एक "कम बुद्धिमान" मॉडल को "बुद्धिमान" मॉडल की तरह बना सकते हैं।

कुछ समय के लिए, शोधकर्ताओं को उम्मीद थी कि यह "ब्रूट फोर्स" (कठोर प्रयास) वाला तरीका अत्यधिक स्मार्ट मॉडल को प्रशिक्षित करने की आवश्यकता को बदल सकता है। उन्होंने सोचा, "एक जीनियस को प्रशिक्षित क्यों करें यदि हम एक सामान्य व्यक्ति को बहुत गहराई से सोचने के लिए छोड़ सकते हैं?" लेकिन इसमें एक पेंच है: गहराई से सोचने में समय और ऊर्जा लगती है। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या सोचने की क्षमता की कोई सीमा है? क्या एक सामान्य व्यक्ति, चाहे आप उसे कितना भी समय क्यों न दे दें, कभी उस जीनियस की बराबरी कर पाएगा जो ज्ञान के साथ पैदा हुआ था? यह पेपर ठीक इसी सवाल की जांच करता है, यह देखते हुए कि क्या हम केवल "कंप्यूट" करके बेहतर तर्क (reasoning) प्राप्त कर सकते हैं, या कुछ चीजें पहले से सीखी जानी आवश्यक हैं।

---

"रीजनिंग फ्लोर" (तर्क की सीमा): क्यों अधिक सोचने की एक सीमा होती है

इस पेपर के लेखकों ने इस "अधिक सोचने" की रणनीति की सीमाओं का परीक्षण करने का लक्ष्य रखा। उन्होंने दो प्रकार के AI मॉडलों की तुलना की: जनरल-परपज मॉडल्स (वे "सामान्य लोग" जो कई चीजों में अच्छे हैं लेकिन विशेष रूप से गहरी तर्क शक्ति के लिए प्रशिक्षित नहीं हैं) और रीजनिंग-ऑप्टिमाइज्ड मॉडल्स (वे "जीनियस" जिन्हें विशेष रूप से कठिन समस्याओं को हल करने के लिए प्रशिक्षित किया गया है, अक्सर सुदृढीकरण शिक्षण या Reinforcement Learning का उपयोग करके)।

उन्होंने इन मॉडलों को कुछ सबसे कठिन गणित और विज्ञान की पहेलियों पर परखा, जैसे कि MATH 500 डेटासेट (चुनौतीपूर्ण हाई स्कूल गणित की समस्याएं) और AIME (एक प्रतिष्ठित गणित प्रतियोगिता)। उन्होंने प्रदर्शन को बढ़ाने के लिए विभिन्न "सोचने की रणनीतियों" का परीक्षण किया, जैसे कि:

• मेजोरिटी वोटिंग (Majority Voting): मॉडल को 100 अलग-अलग उत्तर उत्पन्न करने के लिए कहना और उस उत्तर को चुनना जो सबसे अधिक बार आता है।
• बेस्ट ऑफ एन (Best of N): कई उत्तर उत्पन्न करना और उनमें से सबसे अच्छे एकल उत्तर को चुनना।
• सीक्वेंशियल रिवीज़न (Sequential Revisions): एक उत्तर उत्पन्न करना, उसकी आलोचना करना, उसे फिर से लिखना, और इस चक्र को बार-बार दोहराना।
• मिक्सचर ऑफ एजेंट्स (Mixture of Agents): कई "आभासी एजेंटों" को समस्या को हल करने के लिए मिलकर काम करने के लिए कहना।

यहाँ एक बड़ी खोज हुई: एक "रीजनिंग फ्लोर" (तर्क की सीमा) है।

कल्पना कीजिए कि एक सामान्य व्यक्ति गणित की समस्या हल करने की कोशिश कर रहा है। चाहे वह कितनी भी बार प्रयास करे, कितने भी ड्राफ्ट लिखे, या अपने कितने भी दोस्तों से मदद ले, वह एक दीवार से टकरा जाता है। वह बेहतर तो हो सकता है, लेकिन वह उस जीनियस के स्तर तक कभी नहीं पहुँच सकता जिसे विशेष रूप से गणित के लिए प्रशिक्षित किया गया है। पेपर में पाया गया कि भले ही आप एक जनरल-परपज मॉडल को एक रीजनिंग-ऑप्टिमाइज्ड मॉडल की तुलना में दस गुना अधिक कंप्यूटिंग पावर (एक ऑर्डर ऑफ मैग्नीट्यूड अधिक) दे दें, फिर भी वह बराबरी नहीं कर सकता। "जीनियस" मॉडल (जैसे DeepSeek-R1) ने सोचने के तर्क को अपने भीतर आत्मसात कर लिया है, जबकि "सामान्य" मॉडल केवल अनुमान और जाँच कर रहे हैं।

लेखक सुझाव देते हैं कि रीजनिंग प्रोटोकॉल को आंतरिक रूप से आत्मसात करना (मॉडल के मस्तिष्क के भीतर सोचने के तरीके को सीखना) प्रभावी स्केलिंग के लिए एक पूर्व शर्त है। आप केवल तभी तक नए स्तर की बुद्धिमत्ता की ओर नहीं बढ़ सकते जब तक कि उसका आधार मौजूद न हो।

आश्चर्यजनक विजेता: कम ही अधिक है

जब शोधकर्ताओं ने रीजनिंग-ऑप्टिमाइज्ड मॉडल्स (जीनियस) को देखा, तो उन्हें कुछ विपरीतार्थक (counterintuitive) मिला। उन्हें उम्मीद थी कि सोचने की रणनीति जितनी जटिल होगी, परिणाम उतना ही बेहतर होगा। उन्होंने सोचा कि एक मॉडल जो अपने काम की समीक्षा करता है, अपने तर्क की जाँच करता है, और खुद से बात करता है, वह चैंपियन होगा।

लेकिन डेटा ने इसके विपरीत दिखाया। सरल मेजोरिटी वोटिंग (Simple Majority Voting) ने लगातार जटिल तरीकों को मात दी।

इसे एक कक्षा की तरह समझें। यदि आप एक बुद्धिमान छात्र को कोई समस्या हल करने के लिए कहते हैं, तो वह पहली बार में ही उसे सही कर सकता है। यदि आप उससे उसे हल करने, फिर से लिखने और फिर से लिखने के लिए कहते हैं, तो वह वास्तव में खुद पर संदेह करने लग सकता है और गलतियाँ कर सकता है। सीक्वेंशियल रिवीज़न या मिक्सचर ऑफ एजेंट्स जैसे "फैंसी" तरीके अक्सर "रीजनिंग ड्रिफ्ट" (तर्क का भटकाव) पैदा करते हैं, जहाँ मॉडल अपने अत्यधिक सोचने के कारण विचलित हो जाता है और सही रास्ते से भटक जाता है।

रीजनिंग-ऑप्टिमाइज्ड मॉडल्स के लिए, सबसे कुशल रणनीति बस कुछ उत्तर उत्पन्न करना और सबसे सामान्य उत्तर को चुनना था। यह बुद्धिमान लोगों की भीड़ से उत्तर माँगने जैसा था; बहुमत लगभग हमेशा सही होता था, और उन्हें अपने उत्तरों पर "बहस" करने या उन्हें "संशोधित" करने के लिए कहना केवल समय और ऊर्जा की बर्बादी थी।

गुप्त सुराग: गणित की जाँच किए बिना झूठ को कैसे पहचानें

इस पेपर का सबसे मनोरंजक और उपयोगी हिस्सा "भाषाई शुद्धता का संकेत" (Linguistic Signal of Correctness) की खोज है।

शोधकर्ताओं ने रीजनिंग मॉडल्स द्वारा उत्पन्न टेक्स्ट में एक अजीब पैटर्न देखा। जब मॉडल ने उत्तर सही दिया, तो प्रतिक्रिया अक्सर छोटी और सीधी थी। वह सीधे मुद्दे पर आती थी। लेकिन जब मॉडल का उत्तर गलत था, तो वह अक्सर लंबी, शब्दों से भरी और "सोचने के संकेतों" से भरी होती थी।

ये संकेत ऐसे शब्द हैं जैसे "हालांकि" (however), "वैकल्पिक रूप से" (alternatively), "शायद" (maybe), "आइए विचार करें" (let's consider), या "दूसरी ओर" (on the other hand)। पेपर इन्हें हेजिंग (hedging) और थिंकिंग टोकन्स (thinking tokens) कहता है।

एक छात्र की कल्पना करें जो परीक्षा दे रहा है:

• सही छात्र: एक स्पष्ट, संक्षिप्त समाधान लिखता है। "उत्तर 42 है। यह इस कारण है।"
• भ्रमित छात्र: एक लंबा पैराग्राफ लिखता है जो "मुझे लगता है," "शायद," "लेकिन क्या होगा अगर," और "आइए इस दूसरे तरीके को आजमाएं" जैसे शब्दों से भरा होता है। वह बहुत अधिक स्पष्टीकरण दे रहा है क्योंकि वह अनिश्चित है।

पेपर में पाया गया कि रीजनिंग-ऑप्टिमाइज्ड मॉडल्स के लिए, अत्यधिक शब्दजाल (verbosity) विफलता का संकेत है। मॉडल जितना अधिक "हेज" करता या अव्यवस्थित तरीके से "सोचता" था, उसके गलत होने की संभावना उतनी ही अधिक थी। यह एक बहुत बड़ी बात है क्योंकि इसका मतलब है कि हम गणित की जाँच किए बिना या सत्यापन के लिए अलग से कोई प्रोग्राम चलाए बिना, केवल टेक्स्ट की शैली को पढ़कर एक खराब उत्तर को पहचान सकते हैं।

लेखकों ने एक साधारण क्लासिफायर (एक छोटा कंप्यूटर प्रोग्राम) को इन भाषाई संकेतों को देखने के लिए प्रशिक्षित करके इसका परीक्षण किया। उन्होंने पाया कि केवल प्रतिक्रिया में "सोचने" वाले शब्दों की गिनती करके, वे उच्च सटीकता के साथ भविष्यवाणी कर सकते थे कि उत्तर सही है या गलत (एक मॉडल के लिए 0.7469 और दूसरे के लिए 0.8637 का F1 स्कोर)। यह एक "जीरो-कंप्यूट" सिग्नल के रूप में कार्य करता है, जिसका अर्थ है कि आप बिना किसी अतिरिक्त पैसा या समय खर्च किए तुरंत उत्तर की गुणवत्ता का निदान कर सकते हैं।

भविष्य के लिए इसका क्या अर्थ है

पेपर निष्कर्ष निकालता है कि हालांकि हम AI को अधिक समय देकर स्मार्ट बना सकते हैं, लेकिन इसकी कठोर सीमाएँ हैं।

1. आप केवल सोचने के माध्यम से प्रशिक्षण को प्रतिस्थापित नहीं कर सकते: एक सामान्य मॉडल हमेशा एक ऐसे "रीजनिंग फ्लोर" से टकराएगा जिसे वह पार नहीं कर सकता, चाहे आप उस पर कितना भी कंप्यूट लगा दें।
2. सरल अक्सर बेहतर होता है: स्मार्ट मॉडल्स के लिए, एक अच्छा उत्तर पाने का सबसे अच्छा तरीका अक्सर बस उन्हें कुछ बार पूछना और सबसे सामान्य उत्तर चुनना है, बजाय इसके कि उन्हें अंतहीन संशोधन और पुन लेखन के लिए मजबूर किया जाए।
3. शैली सच्चाई बताती है: हम मॉडल के लिखने के तरीके (छोटा और सीधा बनाम लंबा और हिचकिचाहट भरा) का उपयोग यह जाँचने के लिए कर सकते हैं कि वह सच बोल रहा है या नहीं—यह एक मुफ्त और त्वरित तरीका है।

यह शोध बताता है कि AI का भविष्य केवल मॉडल्स को बड़ा बनाने या उन्हें सोचने के लिए अधिक समय देने के बारे में नहीं है। यह ऐसे मॉडल्स बनाने के बारे में है जिनमें शुरुआत से ही सही "आंतरिक तर्क" हो, और फिर सर्वोत्तम परिणाम प्राप्त करने के लिए सरल, कुशल युक्तियों का उपयोग किया जाए। यह एक याद दिलाता है कि कभी-कभी सबसे समझदारी भरा काम यह होता है कि अधिक सोचना बंद कर दिया जाए और बस अपने अंतर्ज्ञान (gut feeling) पर भरोसा किया जाए।