🤖 machine learning

When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling

यह शोध पत्र तर्क देता है कि रीजनिंग सिस्टम में टेस्ट-टाइम स्केलिंग (test-time scaling) मौलिक "मोडल" (modal) और "सहसंबंध" (correlation) सीमाओं का सामना करती है जहाँ अत्यधिक सैंपलिंग उत्तर चयन में सुधार करने में विफल रहती है और प्रदर्शन को खराब भी कर सकती है, जो यह सुझाव देता है कि वास्तविक बाधा उत्तर उत्पन्न करने के बजाय सही उत्तरों को पहचानने में निहित है।

मूल लेखक: Yong Yi Bay, Kathleen A. Yearick

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yong Yi Bay, Kathleen A. Yearick

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत कठिन पहेली सुलझाने की कोशिश कर रहे हैं। आपके पास एक स्मार्ट सहायक (AI) है जो इसे हल करने की कोशिश कर सकता है। यह शोध पत्र तर्क देता है कि इस सहायक से बार-बार और अधिक बार कोशिश करने के लिए कहना अक्सर समय और पैसे की बर्बादी है और यह अंतिम परिणाम को और भी खराब भी कर सकता है।

यहाँ "अधिक सैंपलिंग" (more sampling) क्यों विफल हो जाती है, इसका विवरण तीन सरल उपमाओं के माध्यम through दिया गया है।

1. "भीड़भाड़ वाला कमरा" बनाम "सबसे अच्छा उत्तर" (द सिलेक्शन सीलिंग - Selection Ceiling)

कल्पना कीजिए कि आप एक कमरे में भरे लोगों से एक पहेली सुलझाने के लिए कहते हैं।

कवरेज (किसी को पता है वाला पैमाना - Coverage): यदि आप 1,000 लोगों से पूछते हैं, तो इस बात की संभावना अधिक है कि कमरे में कम से कम एक व्यक्ति को सही उत्तर पता होगा। जैसे-जैसे आप अधिक लोगों को जोड़ते हैं, "किसी को पता है" की संभावना 100% के करीब पहुँचती जाती है। इसे शोधकर्ता कवरेज (Coverage) कहते हैं। यह प्रगति जैसा दिखता है।
चयन (हम किस पर भरोसा करें? वाला पैमाना - Selection): लेकिन वास्तविक दुनिया में, आप केवल यह नहीं कह सकते कि, "ठीक है, कमरे में किसी को पता है, लेकिन मुझे नहीं पता कि वह कौन है।" आपको एक व्यक्ति को चुनना होगा जो अंतिम उत्तर देगा। आमतौर पर, आप उस व्यक्ति को चुनते हैं जिसका उत्तर सबसे लोकप्रिय है ("बहुमत का वोट")।

समस्या:
यदि पहेली पेचीदा है, तो कमरे में ऐसे लोग हो सकते हैं जो एक ही गलत उत्तर दे रहे हों क्योंकि वे सभी एक ही तरह से भ्रमित हुए थे।

यदि आप 10 लोगों से पूछते हैं, तो शायद 6 कहते हैं "नीला" (गलत) और 4 कहते हैं "लाल" (सही)। आप "नीला" चुनते हैं।
यदि आप 1,000 लोगों से पूछते हैं, तो शायद 600 कहते हैं "नीला" और 400 कहते हैं "लाल"। आप फिर भी "नीला" ही चुनते हैं।
सीलिंग (छत): आप चाहे कितने भी लोग जोड़ दें, "नीला" भीड़ बस और अधिक मुखर होती जाएगी। सही उत्तर ("लाल") कमरे में मौजूद हो सकता है, लेकिन वह सबसे सामान्य उत्तर नहीं है। शोध पत्र इसे मोडल सीलिंग (Modal Ceiling) कहता है। एक बार जब भीड़ एक गलत उत्तर पर सहमत हो जाती है, तो अधिक लोग जोड़ने से मॉडल अपनी गलती के प्रति और अधिक आश्वस्त हो जाता है।

2. "इको चैंबर" (द कोरिलेशन सीलिंग - Correlation Ceiling)

अब, कल्पना कीजिए कि आप कुछ लोगों से पूछकर एक शहर के लोगों की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।

आदर्श स्थिति: आप अलग-अलग मोहल्लों से 100 अजनबियों से पूछते हैं। आपको एक बहुत सटीक औसत प्राप्त होता है।
वास्तविकता: आप 100 लोगों से पूछते हैं, लेकिन वे सभी एक ही परिवार के हैं। वे एक ही जीन और आहार साझा करते हैं। वे सभी लगभग एक ही ऊंचाई के हैं।

शोध पत्र के शब्दों में, जब एक AI एक समस्या को 100 बार हल करने की कोशिश करता है, तो वे 100 प्रयास स्वतंत्र अनुमान नहीं होते हैं। वे एक ही परिवार के 100 सदस्यों की तरह हैं। वे सहसंबंधित (Correlated) हैं। वे एक ही तरह की गलतियाँ करने या एक ही "सोचने के जाल" में फंसने की प्रवृत्ति रखते हैं।

सीलिंग (छत):
क्योंकि वे इतने समान हैं, एक ही मॉडल से 1,000 प्रयास मांगना एक ही व्यक्ति की 1,000 प्रतियों से पूछने जैसा है। आप 1,000 नए सूचना अंश नहीं प्राप्त कर रहे हैं; आप केवल एक ही जानकारी को दोहरा रहे हैं।

शोध पत्र कहता है कि एक कोरिलेशन सीलिंग (Correlation Ceiling) है। यदि प्रयास 10% समान (सहसंबंधित) हैं, तो एक ही मॉडल से 1,000 प्रयास मांगना 10 वास्तविक स्वतंत्र प्रयासों से पूछने जितना ही उपयोगी है।
एक निश्चित बिंदु के बाद, प्रत्येक अतिरिक्त प्रयास जिसके लिए आप भुगतान करते हैं, वह केवल "शोर" (noise) है। यह पैसा खर्च करता है लेकिन कोई नया मूल्य नहीं जोड़ता।

3. "छिपा हुआ अंतर" (द आइडेंटिफिएबिलिटी गैप - Identifiability Gap)

यह सबसे महत्वपूर्ण हिस्सा है। इन दोनों के बीच एक अंतर है:

मॉडल क्या कर सकता है: यह सही उत्तर दे सकता है (वह कमरे में मौजूद है)।
मॉडल आपको क्या देगा: यह सही उत्तर नहीं चुनेगा क्योंकि गलत उत्तर अधिक लोकप्रिय है।

शोध पत्र इसे आइडेंटिफिएबिलिटी गैप (Identifiability Gap) कहता है।

जाल: हम "कवरेज" रेखा को ऊपर जाते देखते हैं (मॉडल सही उत्तर अधिक बार ढूंढ रहा है) और सोचते हैं, "बहुत बढ़िया! मॉडल स्मार्ट हो रहा है!"
वास्तविकता: "सिलेक्शन" रेखा (जो हमें वास्तव में मिलता है) एक दीवार से टकरा गई है। मॉडल सही उत्तर ढूंढने में बेहतर हो रहा है, लेकिन वह उसे सही उत्तर के रूप में पहचानने में बेहतर नहीं हो रहा है।

व्यावहारिक निष्कर्ष: "जल्दी रुकें"

शोध पत्र का निष्कर्ष है कि हम बहुत अधिक सोच रहे हैं (या बहुत अधिक सैंपलिंग कर रहे हैं)।

यह जांचने के लिए कि क्या कोई उत्तर मौजूद है: यदि आपके पास एक आदर्श "वेरिफायर" (जैसे गणितीय चेकर) है जो गलत उत्तरों के बीच सही उत्तर को पहचान सके, तो सैंपलिंग जारी रखें।
एक अंतिम उत्तर चुनने के लिए: बहुत जल्दी रुक जाएं। शोध पत्र सुझाव देता है कि अधिकांश कार्यों के लिए, आपको केवल कुछ दर्जन प्रयासों की आवश्यकता होती है। उसके बाद, आप केवल मॉडल को गलत उत्तर के प्रति अधिक आश्वस्त बनाने के लिए भुगतान कर रहे हैं।
प्रदर्शन मापने के लिए: यदि आप जानना चाहते हैं कि एक मॉडल किसी टेस्ट पर कितना अच्छा है, तो आपको प्रति प्रश्न 1,000 प्रयास करने की आवश्यकता नहीं है। क्योंकि प्रयास इतने समान (सहसंबंधित) हैं, 1,000 प्रयास शायद केवल 2 या 3 वास्तविक प्रयासों के बराबर ही गिने जाएंगे। एक ही प्रश्न पर 1,000 प्रयास करने के बजाय 1,000 अलग-अलग प्रश्नों पर परीक्षण करना बेहतर है।

संक्षेप में: बाधा अब सही उत्तर उत्पन्न करना नहीं है; बल्कि उसे पहचानना है। इस समस्या पर अधिक कंप्यूट (compute) लगाने से यह ठीक नहीं होता; यह केवल मॉडल को उसकी गलतियों के बारे में अधिक मुखर बनाता है।

तकनीकी सारांश: जब अधिक सैंपलिंग नुकसानदेह हो: टेस्ट-टाइम स्केलिंग का मोडल सीलिंग और कोरिलेशन सीलिंग

समस्या विवरण

वर्तमान रीजनिंग सिस्टम अक्सर टेस्ट-टाइम स्केलिंग का उपयोग करते हैं, विशेष रूप से पुनरावृत्त सैंपलिंग (एक ही प्रॉम्प्ट के लिए $n$ रिस्पॉन्स जेनरेट करना), ताकि प्रदर्शन में सुधार किया जा सके। सफलता का प्रचलित मीट्रिक कवरेज (pass@k) है, जिसे कम से कम एक सही उत्तर प्राप्त करने की संभावना के रूप में परिभाषित किया गया है। कवरेज कर्व्स $n$ बढ़ने के साथ लगातार ऊपर बढ़ते हैं, जो यह सुझाव देते हैं कि केवल सैंपलिंग बजट बढ़ाने से निरंतर क्षमता में वृद्धि होती है।

हालाँकि, तैनात किए गए सिस्टम को एक एकल उत्तर वापस करना होता है, जिसके पास शुद्धता को प्रमाणित करने के लिए एक परफेक्ट वेरीफायर तक पहुँच नहीं होती। इसके लिए चयन (जैसे, मेजॉरिटी वोट, सेल्फ-कंसिस्टेंसी, या रिवॉर्ड मॉडल्स) की आवश्यकता होती है। यह शोध पत्र एक महत्वपूर्ण विसंगति की पहचान करता है: जबकि अधिक सैंपलिंग के साथ कवरेज बढ़ता रहता है, चयन की सटीकता (selection accuracy) अक्सर स्थिर हो जाती है या यहाँ तक कि घट भी जाती है। मुख्य समस्या यह है कि समुदाय 'सही उत्तर उत्पन्न करने की क्षमता' और 'उसे पहचानने और चुनने की क्षमता' के बीच के अंतर को मिला देता है। शोध पत्र का तर्क है कि एक निश्चित बिंदु के बाद, अतिरिक्त सैंपलिंग केवल कंप्यूटेशनल लागत बढ़ाती है बिना अंतिम चयनित उत्तर में सुधार किए, और संभावित रूप से उसे नुकसान पहुँचा सकती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र टेस्ट-टाइम सैंपलिंग को स्वतंत्र ड्रॉ के बजाय सर्वे सांख्यिकी से क्लस्टर सैंपलिंग के दृष्टिकोण से फिर से परिभाषित करता है।

क्लस्टर सैंपलिंग फ्रेमवर्क: एक एकल प्रॉम्प्ट और उसके $n$ बार किए गए प्रयासों को एक क्लस्टर के रूप में माना जाता है। इन प्रयासों को स्वतंत्र और समान रूप से वितरित (i.i.d.) वेरिएबल्स के बजाय एक्सचेंजेबल बाइनरी वेरिएबल्स (सही/गलत) के रूप में मॉडल किया गया है।
इंट्राक्लास कोरिलेशन ( $\rho$ ): एक ही समस्या पर प्रयासों के बीच निर्भरता को इंट्राक्लास कोरिलेशन $\rho$ $ρ$ द्वारा मापा जाता है।
- बीटवीन-प्रॉब्लम कोरिलेशन ( $\rho_b$ ): यह समस्या की कठिनाई की विषमता (heterogeneity) से उत्पन्न होता है।
- विथइन-प्रॉब्लम कोरिलेशन ( $\rho_w$ ): यह मॉडल की आंतरिक स्थिति या डिकोडिंग कॉन्फ़िगरेशन से उत्पन्न होता है।
इफेक्टिव सैंपल साइज ( $n_{eff}$ ): डिज़ाइन इफेक्ट ( $deff = 1 + (n-1)\rho$ ) का उपयोग करते हुए, शोध पत्र प्रभावी स्वतंत्र नमूनों की संख्या निकालता है:
$n_{eff} = \frac{n}{1 + (n-1)\rho}$
यह मात्रा $n \to \infty$ होने पर कोरिलेशन सीलिंग $1/\rho$ पर संतृप्त (saturate) हो जाती है।
मीट्रिक्स का पृथक्करण: विश्लेषण तीन अलग-अलग उद्देश्यों को स्पष्ट रूप से अलग करता है:
- कवरेज: कम से कम एक सही उत्तर जेनरेट करने की संभावना।
- सिलेक्शन: सबसे सामान्य उत्तर (मोड) के सही होने की संभावना।
- एस्टिमेशन: बेंचमार्क मीन एक्यूरेसी का अनुमान लगाने की सटीकता।

मुख्य योगदान

1. कोरिलेशन सीलिंग (एस्टिमेशन लिमिट)

यह शोध पत्र स्थापित करता है कि बेंचमार्क एक्यूरेसी के अनुमान के लिए, प्रभावी नमूनों की संख्या $1/\rho$ से अधिक नहीं हो सकती।

मैकेनिज्म: जैसे-जैसे $n$ बढ़ता है, प्रत्येक अतिरिक्त सैंपल का सीमांत मूल्य (marginal value) द्विघात रूप से ( $O(1/n^2)$ ) घटता है।
परिणाम: विशाल बजट (जैसे, $10^4$ सैंपल्स) के बावजूद, यदि $\rho \approx 0.5$ है, तो प्रभावी जानकारी केवल $\approx 2$ स्वतंत्र सैंपल्स के बराबर होती है। यह समझाता है कि क्यों भारी सैंपलिंग प्रयासों के बावजूद बेंचमार्क एक्यूरेसी अनुमान स्थिर (plateau) हो जाते हैं।

2. मोडल सीलिंग (सिलेक्शन लिमिट)

यह शोध पत्र चयन विधियों (सेल्फ-कंसिस्टेंसी, प्लुरैलिटी वोटिंग) के लिए एक अलग सीलिंग की पहचान करता है जो कोरिलेशन सीलिंग से स्वतंत्र है।

मैकेनिज्म: चयन उत्तर वितरण के मोड ( $a^*_q$ ) की ओर अभिसरित (converge) होता है। यदि सबसे सामान्य उत्तर गलत है ( $a^*_q \neq c_q$ ), तो $n$ बढ़ाने से त्रुटि ठीक नहीं होती; यह केवल मॉडल को गलत उत्तर के प्रति अधिक आश्वस्त बनाता है।
परिणाम: सिलेक्शन एक्यूरेसी मोडल-हिट रेट ( $\pi_{mode}$ ) पर सीमित है, जो कि मॉडल के सबसे अधिक बार आने वाले उत्तर के सही होने की संभावना है।
एंटी-स्केलिंग: उन समस्याओं पर जहाँ मोड गलत है लेकिन सही उत्तर उपलब्ध है, $n$ बढ़ाने से सिलेक्शन एक्यूरेसी घटकर 0 की ओर जाती है जबकि कवरेज 1 की ओर बढ़ता है। इस घटना को एंटी-स्केलिंग कहा जाता है।

3. आइडेंटिफिएबिलिटी गैप (Identifiability Gap)

शोध पत्र आइडेंटिफिएबिलिटी गैप को उन समस्याओं के सेट के रूप में परिभाषित करता है जहाँ सही उत्तर सैंपल पूल में मौजूद है (उच्च कवरेज) लेकिन वह सबसे अधिक बार आने वाला उत्तर नहीं है (कम सिलेक्शन)।

यह गैप "सुलझाने योग्य लेकिन न चुने जाने योग्य" (solvable but unselectable) समस्याओं का प्रतिनिधित्व करता है।
शोध पत्र दिखाता है कि वास्तविक दुनिया के लॉग्स में यह गैप महत्वपूर्ण है, जहाँ कवरेज 1.00 तक पहुँच सकता है जबकि सेल्फ-कंसिस्टेंसी GSM8K के लिए 0.87 या MATH के लिए 0.45 पर स्थिर हो जाती है।

4. वास्तविक लॉग्स पर अनुभवजन्य सत्यापन (Empirical Validation)

लेखक जारी किए गए सैंपलिंग लॉग्स का उपयोग करके अपने सैद्धांतिक ढांचे को सत्यापित करते हैं:

ब्राउन एट अल. [2] (इंडिपेंडेंट ड्रॉज़): GSM8K और MATH डेटासेट का विश्लेषण किया। उच्च बीटवीन-प्रॉब्लम कोरिलेशन ( $\hat{\rho}_b \approx 0.4\text{--}0.6$ ) पाया, जो कोरिलेशन सीलिंग की पुष्टि करता है। कवरेज (1.0 तक बढ़ना) और सेल्फ-कंसिस्टेंसी (स्थिर होना) के बीच विचलन देखा।
बीचिंग एट अल. [20] (डिपेंडेंट ड्रॉज़): प्रति समस्या 256 सैंपल्स के साथ MATH-500 का विश्लेषण किया। पाया कि विथइन-प्रॉब्लम कोरिलेशन ( $\hat{\rho}_w$ ) शून्य के करीब है, लेकिन उत्तर वितरण अत्यधिक केंद्रित है (मीडियन ~13 विशिष्ट मान)। इसने पुष्टि की कि सिलेक्शन सीलिंग आंसर मोड कोलैप्स द्वारा संचालित है, न कि रन-टू-रन ड्रिफ्ट द्वारा।

परिणाम

कवरेज बनाम सिलेक्शन: कवरेज पावर-लॉ राइज (कठिनाई की विषमता के कारण) का पालन करता है और इसमें मॉडल क्षमता के अलावा कोई हार्ड सीलिंग नहीं है। सिलेक्शन, हालांकि, $\pi_{mode}$ पर एक हार्ड वॉल (hard wall) से टकराता है।
घटता प्रतिफल (Diminishing Returns): $n$ -वें सैंपल का सीमांत मूल्य तेजी से घटता है। एस्टिमेशन के लिए, बजट को $n \approx 1/\rho$ पर रोका जाना चाहिए। सिलेक्शन के लिए, बजट को अलग-अलग उत्तरों की प्रभावी संख्या तक सीमित किया जाना चाहिए।
बड़े $n$ की अक्षमता: प्रति समस्या $10^4$ बार सैंपलिंग करने से बेंचमार्क एस्टिमेशन के लिए केवल ~2 स्वतंत्र सैंपल्स की सांख्यिकीय सटीकता प्राप्त होती है।
एंटी-स्केलिंग: उन परिदृश्यों में जहाँ मॉडल का सबसे सामान्य उत्तर गलत है, $n$ बढ़ाने से चयनित आउटपुट की सटीकता सक्रिय रूप से कम हो जाती है।

महत्व और दावे

शोध पत्र का दावा है कि यह एक नए एल्गोरिदम के बजाय एक उद्धृत करने योग्य व्युत्पत्ति (citable derivation) प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में है:

बाधा को फिर से परिभाषित करना: यह टेस्ट-टाइम स्केलिंग के फोकस को "सही उत्तर जेनरेट करने" से बदलकर "एक को पहचानने" पर ले जाता है। बाधा सैंपलिंग बजट नहीं है, बल्कि वितरण के भीतर सही उत्तर की आइडेंटिफिएबिलिटी (पहचानने की क्षमता) है।
गलत व्याख्याओं को सुधारना: यह समझाता है कि क्यों "अधिक सैंपलिंग" अक्सर व्यवहार में रैखिक रूप से स्केल करने में विफल रहती है, जिसका कारण कोरिलेशन सीलिंग (एस्टिमेशन के लिए) और मोडल सीलिंग (सिलेक्शन के लिए) है।
कार्यशील मीट्रिक्स: यह सैंपलिंग रन की वास्तविक सूचना सामग्री को प्रकट करने के लिए नाममात्र गणना $n$ के साथ इफेक्टिव सैंपल साइज ( $n_{eff}$ ) रिपोर्ट करने का प्रस्ताव देता है।
बजट आवंटन: यह तर्क देता है कि कंप्यूट बजट लक्ष्य-आधारित होना चाहिए:
- एस्टिमेशन के लिए: $n \approx 1/\rho_b$ पर रुकें और शेष कंप्यूट को अधिक समस्याओं पर खर्च करें।
- सिलेक्शन के लिए: एक बार जब प्लुरैलिटी स्थिर हो जाए (अक्सर कुछ दर्जन सैंपल्स के भीतर), तो रुक जाएं और $n$ बढ़ाने के बजाय डिकोरिलेशन (जैसे, टेम्परेचर, प्रॉम्प्ट विविधता) पर ध्यान दें।
- कवरेज के लिए (वेरिफायर के साथ): सैंपलिंग अनिश्चित काल तक जारी रह सकती है क्योंकि इसमें कोई विथइन-प्रॉब्लम सीलिंग नहीं है।

शोध पत्र निष्कर्ष निकालता है कि "मोडल सीलिंग" और "कोरिलेशन सीलिंग" ऐसे मौलिक सीमाएँ हैं जो अंधाधुंध टेस्ट-टाइम स्केलिंग को अक्षम बनाती हैं। वास्तविक चुनौती अधिक नमूने जेनरेट करना नहीं है, बल्कि ऐसे सिस्टम डिजाइन करना है जो सही उत्तर को मोड एरर (modal error) से बेहतर तरीके से अलग कर सकें।