💻 computer science

BeyondBench: Contamination-Resistant Evaluation of Reasoning in Language Models

BeyondBench एक संदूषण-प्रतिरोधी (contamination-resistant) मूल्यांकन ढांचा पेश करता है जो 44 कार्यों में 101 भाषा मॉडलों की वास्तविक तर्क क्षमताओं का आकलन करने के लिए ऑन-द-फ्लाई एल्गोरिद्मिक समस्या पीढ़ी का उपयोग करता है, जो जटिल समस्या-समाधान में महत्वपूर्ण प्रदर्शन अंतराल और टूल उपयोग की महत्वपूर्ण भूमिका को प्रकट करता है।

मूल लेखक: Gaurav Srivastava, Aafiya Hussain, Zhenyu Bi, Swastik Roy, Priya Pitre, Meng Lu, Morteza Ziyadi, Xuan Wang

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gaurav Srivastava, Aafiya Hussain, Zhenyu Bi, Swastik Roy, Priya Pitre, Meng Lu, Morteza Ziyadi, Xuan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह परीक्षण करने की कोशिश कर रहे हैं कि एक छात्र गणित में कितना अच्छा है। आप उन्हें 100 समस्याओं वाला एक वर्कशीट देते हैं। यदि छात्र ने अपनी पाठ्यपुस्तक में वे सटीक 100 समस्याएँ पहले से देखी हैं, तो वे बस उत्तर याद कर सकते हैं और 100% अंक प्राप्त कर सकते हैं। लेकिन इसका मतलब यह नहीं है कि वे वास्तव में गणित में अच्छे हैं; इसका मतलब केवल यह है कि उनकी याददाश्त अच्छी है।

आज आर्टिफिशियल इंटेलिजेंस (AI) के साथ बिल्कुल यही हो रहा है। "पाठ्यपुस्तकें" (AI को प्रशिक्षित करने के लिए उपयोग किया जाने वाला इंटरनेट डेटा) इतनी विशाल हैं कि AI मॉडल्स ने संभवतः उन मानक परीक्षणों के उत्तर याद कर लिए हैं जिनका उपयोग हम उन्हें आंकने के लिए करते हैं। वे "सोच" नहीं रहे हैं; वे केवल "रट" रहे हैं।

BEYONDBENCH AI को परखने का एक नया तरीका है जो इस समस्या को ठीक करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. अनंत पुस्तकालय (याददाश्त का कोई खेल नहीं)

एक ऐसी लाइब्रेरी की कल्पना करें जहाँ किताबें एक जादुई मशीन द्वारा लिखी जाती हैं। हर बार जब आप किसी टेस्ट के लिए पूछते हैं, तो मशीन एक नई किताब तैयार करती है जो पहले कभी अस्तित्व में नहीं थी और फिर कभी अस्तित्व में नहीं होगी।

पुराना तरीका: हम स्थिर परीक्षणों (जैसे गणित की समस्याओं की एक निश्चित सूची) का उपयोग करते थे। यह हर छात्र को एक ही टेस्ट देने जैसा है। यदि टेस्ट लीक हो जाता है, तो हर कोई नकल कर सकता है।
BEYONDBENCH का तरीका: यह चलते-फिरते (on the fly) समस्याएँ बनाता है। संभावित समस्याओं की संख्या पृथ्वी पर रेत के कणों की संख्या से भी अधिक है (over $10^{15}$ संभावनाएँ)। यह सांख्यिकीय रूप से असंभव है कि AI ने आपके द्वारा दी गई विशिष्ट समस्या को याद किया हो। यह AI को पहेली को केवल याद करने के बजाय उसे वास्तव में हल करने के लिए मजबूर करता है।

2. कठिनाई के तीन स्तर (वीडियो गेम का उदाहरण)

यह पेपर इन समस्याओं को एक वीडियो गेम की तरह तीन "लेवल" में व्यवस्थित करता है:

आसान स्तर (ट्यूटोरियल): बुनियादी अंकगणित और गिनती। क्या AI संख्याओं को जोड़ सकता है या एक सूची में सबसे बड़ी संख्या ढूंढ सकता है?
मध्यम स्तर (बॉस फाइट): पैटर्न और अनुक्रम। क्या AI एक जटिल पैटर्न (जैसे फाइबोनैची अनुक्रम) में अगली संख्या का पता लगा सकता है या नंबर थ्योरी की पहेली को हल कर सकता है?
कठिन स्तर (फाइनल डंजन): ये "NP-complete" समस्याएँ हैं। इन्हें ब्रह्मांड की सबसे जटिल पहेलियों की तरह समझें, जैसे सुडोकू (Sudoku), टावर ऑफ हनोई (Tower of Hanoi) (खूँटों के बीच डिस्क को स्थानांतरित करना), या ग्राफ कलरिंग (Graph Coloring) (एक मानचित्र को इस तरह रंगना कि छूने वाले देशों का रंग एक जैसा न हो)। इनके लिए गहरे, चरण-दर-चरण तार्किक नियोजन की आवश्यकता होती है।

3. "ट्रुथ मशीन" (अनुमान लगाने की कोई गुंजाइश नहीं)

कई AI परीक्षणों में, कंप्यूटर को यह अनुमान लगाना पड़ता है कि AI का उत्तर सही है या नहीं। कभी-कभी AI एक अजीब उत्तर देता है जो शायद सही हो सकता है, और कंप्यूटर भ्रमित हो जाता है।

BEYONDBMCH एक "ट्रुथ मशीन" (गणितीय सॉल्वर) का उपयोग करता है। AI के देखने से पहले ही, कंप्यूटर सटीक सही उत्तर की गणना करता है।

यदि केवल एक ही सही उत्तर है, तो कंप्यूटर उसकी जाँच करता है।
यदि कई सही उत्तर हैं (जैसे कुछ पहेलियों में), तो कंप्यूटर उन सभी को सूचीबद्ध करता है।
यदि AI सही होता है, तो उसे क्रेडिट मिलता है। यदि वह गलत होता है, तो उसे शून्य मिलता है। कोई अनुमान नहीं, कोई अस्पष्टता नहीं।

4. परिणाम: "सोचने" का भ्रम

शोधकर्ताओं ने 101 अलग-अलग AI मॉडल का परीक्षण किया, छोटे से लेकर विशाल सुपर-कंप्यूटरों तक। यहाँ उन्हें क्या मिला:

"सोचने वाले" मॉडल "ओवरथिंकिंग" कर रहे हैं: कुछ नए AI मॉडल उत्तर देने से पहले अधिक देर तक "सोचने" (जैसे गहरी सांस लेने) के लिए डिज़ाइन किए गए हैं। पेपर में पाया गया कि इन जटिल पहेलियों के लिए, ज्यादा देर तक सोचना अक्सर उन्हें और खराब बना देता है। वे एक पहेली को सही ढंग से हल करना शुरू करते हैं, बीच में भ्रमित हो जाते हैं, और फिर अपनी गलती को "ठीक" करने की कोशिश करते हैं, जिससे स्थिति और बिगड़ जाती है। यह उस छात्र की तरह है जो गणित के सवाल का पहला कदम तो जानता है, लेकिन फिर खुद पर संदेह करने लगता है और पूरी तरह से गलत उत्तर लिख देता है।
"टूल" का उपयोग करने वाले जीतते हैं: सबसे अच्छा प्रदर्शन करने वाले वे नहीं थे जो सब कुछ अपने दिमाग में करने की कोशिश कर रहे थे। बल्कि वे थे जिन्हें पता था कि कब कैलकुलेटर या कोड लिखना है।
- उदाहरण: एक इंसान की कल्पना करें जो सुडोकू हल करने की कोशिश कर रहा है। यदि वे इसे पूरी तरह से अपने दिमाग में करने की कोशिश करते हैं, तो वे विफल हो सकते हैं। लेकिन यदि उन्हें पेंसिल और कागज (एक टूल) का उपयोग करने की अनुमति दी जाती है, तो वे इसे आसानी से हल कर सकते हैं। सबसे अच्छे AI ने महसूस किया, "मैं इन सभी संख्याओं को अपनी मेमोरी में नहीं रख सकता; मुझे इन्हें लिखना होगा।"
सीलिंग (सीमा): यहाँ तक कि सबसे स्मार्ट AI मॉडल भी कठिन पहेलियों पर एक "सीलिंग" (सीमा) से टकरा जाते हैं। वे सबसे कठिन समस्याओं को लगभग 50-60% हल कर सकते थे, लेकिन वे 100% तक नहीं पहुँच सके। यह बताता है कि वर्तमान AI में अभी भी "तर्क" (reasoning) का एक मौलिक हिस्सा गायब है जो मनुष्यों में होता है।

5. यह क्यों महत्वपूर्ण है

BEYONDBENCH साबित करता है कि कई AI मॉडल बुद्धिमत्ता का भ्रम (illusions of intelligence) हैं। वे स्मार्ट दिखते हैं क्योंकि उन्होंने ट्रेनिंग डेटा को याद कर लिया है, लेकिन जब आप उन्हें एक बिल्कुल नई, पहले कभी न देखी गई पहेली देते हैं, तो वे संघर्ष करते हैं।

पेपर निष्कर्ष निकालता है कि वास्तविक बुद्धिमान AI (Artificial General Intelligence) बनाने के लिए, हमें केवल मॉडल्स को बड़ा नहीं बनाना चाहिए। इसके बजाय, हमें हाइब्रिड सिस्टम बनाने की आवश्यकता है: ऐसे AI जो भाषा को समझ सकें और बात कर सकें, लेकिन यह भी जान सकें कि काम पूरा करने के लिए कब रुकना है और कैलकुलेटर, कोड इंटरप्रेटर या सर्च इंजन का उपयोग करना है।

संक्षेप में: BEYONDBENCH पहला ऐसा परीक्षण है जो AI मॉडल्स को उत्तर याद करके नकल करने से पकड़ लेता है। यह हमें दिखाता है कि हालांकि AI बातें करने में बेहतर हो रहा है, लेकिन यह अभी भी बिना मदद के जटिल, नई समस्याओं पर वास्तव में सोचने के लिए संघर्ष करता है।

तकनीकी सारांश: BEYONDBENCH: भाषा मॉडलों में तर्क क्षमता का संदूषण-प्रतिरोधी मूल्यांकन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन तेजी से डेटा संदूषण (data contamination) से समझौतापूर्ण होता जा रहा है। जैसे-जैसे प्रशिक्षण कॉर्पोरा वेब-स्केल तक बढ़ रहे हैं, स्थिर बेंचमार्क (जैसे GSM8K, MATH, OlympiadBench) अनिवार्य रूप से प्रशिक्षण डेटा के साथ ओवरलैप हो जाते हैं। इससे मॉडल सामान्यीकरण योग्य तर्क पैटर्न सीखने के बजाय विशिष्ट उत्तरों को "याद" करने लगते हैं, जिसके परिणामस्वरूप कृत्रिम रूप से बढ़ी हुई प्रदर्शन मेट्रिक्स प्राप्त होती हैं जो वास्तविक एल्गोरिद्मिक तर्क क्षमताओं को प्रतिबिंबित नहीं करती हैं। मौजूदा गतिशील बेंचमार्क अक्सर समाधान की विशिष्टता के संबंध में गणितीय गारंटी की कमी रखते हैं या टोकन बजट जैसी मॉडल-विशिष्ट बाधाओं को ध्यान में रखने में विफल रहते हैं।

2. कार्यप्रणाली: BEYONDBENCH फ्रेमवर्क

BEYONDBENCH एक मूल्यांकन ढांचा है जिसे एल्गोरिद्मिक समस्या जनरेशन के माध्यम से संदूषण को समाप्त करने के लिए डिज़ाइन किया गया है। स्थिर डेटासेट के बजाय, यह प्रत्येक कार्य के लिए $10^{15}$ अद्वितीय इंस्टेंस से अधिक बड़े कॉम्बिनेटोरियल स्पेस से ऑन-द-फ्लाई (on-the-fly) समस्याएं उत्पन्न करता है।

मुख्य घटक

एल्गोरिद्मिक समस्या जनरेशन:
- गतिशील जनरेशन: कार्यों को जनरेटर $G_\tau$ द्वारा परिभाषित किया जाता है जो कॉन्फ़िगर करने योग्य मापदंडों (जैसे सूची आकार, बाधा घनत्व) और रैंडम सीड्स को समस्या इंस्टेंस में मैप करते हैं।
- संदूषण प्रतिरोध: समस्या स्थान का आकार ( $|\Theta \times R| > 10^{15}$ ) किसी भी व्यवहार्य प्रशिक्षण कॉर्पस ( $|C| < 10^{12}$ ) की तुलना में कई गुना बड़ा है, जिससे सटीक इंस्टेंस टकराव की संभावना नगण्य ( $< 10^{-3}$ ) हो जाती है।
- औपचारिक सत्यापन (Formal Verification): प्रत्येक उत्पन्न समस्या को सुव्यवस्थितता (well-posedness) के लिए सत्यापित किया जाता है।
  - अद्वितीय समाधान: अंकगणित या टावर ऑफ हनोई जैसे कार्यों के लिए, सॉल्वर सत्यापित करते हैं कि एक एकल अद्वितीय समाधान मौजूद है।
  - बहु-समाधान हैंडलिंग: N-Queens या Sudoku जैसे कार्यों के लिए, फ्रेमवर्क पूर्ण वैध समाधानों के सेट को सूचीबद्ध करता है। यदि मॉडल का आउटपुट किसी भी वैध समाधान से मेल खाता है, तो उसे क्रेडिट दिया जाता है, जिससे गैर-कैनोनिकल लेकिन सही उत्तरों के लिए दंडित होने से बचाया जा सके।
टोकन-जागरूक मूल्यांकन प्रोटोकॉल:
- फ्रेमवर्क मॉडल के विशिष्ट कॉन्टेक्स्ट विंडो और आउटपुट टोकन बजट ( $C$ ) के आधार पर समस्या की कठिनाई को गतिशील रूप से स्केल करता है।
- प्रतिबंध: $T_{prompt}(n) + T_{solution}(n) + T_{buffer} \leq C$ ।
- यदि किसी समस्या की न्यूनतम समाधान लंबाई मॉडल की क्षमता से अधिक हो जाती है, तो उस समस्या को बाहर कर दिया जाता है या छोटा कर दिया जाता है, जिससे यह सुनिश्चित होता है कि मूल्यांकन आर्किटेक्चरल सीमाओं के बजाय तर्क क्षमता का परीक्षण करे।
कठिनाई पाठ्यक्रम (Difficulty Curriculum):
बेंचमार्क को तीन सूट्स में संरचित किया गया है जो 44 एल्गोरिद्मिक कार्यों और 117 विविधताओं को कवर करते हैं:
- ईजी सूट (29 कार्य): पॉलीनोमियल-टाइम हल करने योग्य समस्याएं (अंकगणित, सॉर्टिंग, बुनियादी सांख्यिकी)। जटिलता: $O(n^k)$ ।
- मीडियम सूट (5 कार्य, 49 विविधताएं): घातांकीय वृद्धि पैटर्न (फाइबोनैकी, ज्यामितीय अनुक्रम, अभाज्य संख्या सिद्धांत)। जटिलता: $O(2^n)$ से $O(n!)$ ।
- हार्ड सूट (10 कार्य, 68 विविधताएं): NP-कंप्लीट और बाधा संतुष्टि समस्याएं (टावर ऑफ हनोई, N-Queens, ग्राफ कलरिंग, बूलियन SAT, सुडोकू)। जटिलता: NP-complete।

3. प्रमुख योगदान

संदूषण-प्रतिरोधी मूल्यांकन: एक ऐसा ढांचा जो एक विशाल, गतिशील रूप से उत्पन्न समस्या स्थान के माध्यम से याद रखने पर आधारित धोखाधड़ी की गणितीय गारंटी देता है।
टोकन-जागरूक स्केलिंग: एक अभिनव मूल्यांकन प्रोटोकॉल जो मॉडल आर्किटेक्चर के अनुसार समस्या की जटिलता को अनुकूलित करता है, जिससे छोटे कॉन्टेक्स्ट विंडो वाले मॉडलों को अनुचित दंड से बचाया जा सके।
व्यापक अनुभवजन्य अध्ययन: 0.5B से 141B पैरामीटर्स वाले 101 भाषा मॉडलों (85 ओपन-सोर्स, 16 क्लोज्ड-सोर्स) का व्यवस्थित मूल्यांकन, जिसमें क्वांटाइज्ड वेरिएंट और "रीजनिंग" मॉडल भी शामिल हैं।
टूल-ऑगमेंटेड विश्लेषण: इस बात का कठोर मूल्यांकन कि कोड निष्पादन और सिम्बोलिक सॉल्वर कैसे तर्क क्षमता को प्रभावित करते हैं, जो जन्मजात तर्क और टूल-सहायता प्राप्त क्षमताओं के बीच अंतर स्पष्ट करता है।

4. मुख्य परिणाम और अंतर्दृष्टि

A. व्यवस्थित प्रदर्शन पतन (Systematic Performance Collapse)

मॉडल जटिलता बढ़ने के साथ क्रमिक गिरावट के बजाय तीव्र प्रदर्शन गिरावट (sharp performance cliffs) प्रदर्शित करते हैं।

Easy बनाम Hard: जबकि शीर्ष मॉडल Easy कार्यों पर ~90% प्राप्त करते हैं, Hard कार्यों पर प्रदर्शन तेजी से गिर जाता है। उदाहरण के लिए, GPT-5 Easy पर 97.3% से गिरकर Hard पर 71.7% हो जाता है। Llama-3.3-70B जैसे ओपन-सोर्स मॉडल 74.8% से गिरकर 27.2% पर आ जाते हैं।
थ्रेशोल्ड व्यवहार: Sudoku और N-Queens जैसे कार्य एक "फेज ट्रांजिशन" दिखाते हैं जहाँ सटीकता एक महत्वपूर्ण जटिलता थ्रेशोल्ड (लगभग $0.7 \times \log_2(\text{context\_length})$ ) तक उच्च रहती है, जिसके बाद प्रदर्शन शून्य के करीब गिर जाता है।

B. स्केलिंग और "सोचने" की सीमाएं

पैरामीटर स्केलिंग: प्रदर्शन में वृद्धि घटते प्रतिफल (diminishing returns) के साथ एक लॉगैरिद्मिक कर्व का अनुसरण करती है। 0.6B से 32B तक मॉडल का आकार बढ़ाने से महत्वपूर्ण लाभ मिलता है, लेकिन Hard कार्यों पर आगे स्केलिंग से मामूली सुधार ही मिलता है।
रीजनिंग मॉडल्स (LRMs): "सोचने" वाले मॉडल (जैसे o3, Phi-4-reasoning) एल्गोरिद्मिक कार्यों पर अपने बेस वर्जन की तुलना में नगण्य सुधार दिखाते हैं। विस्तृत केस स्टडीज से पता चलता है कि वे अक्सर एल्गोरिद्मिक ज्ञान की कमी के बजाय विस्तारित तर्क के दौरान स्टेट मैनेजमेंट त्रुटियों (जैसे 89 चरणों के बाद टावर ऑफ हनोई में डिस्क की स्थिति भूल जाना) के कारण विफल होते हैं।
मैथ फाइन-ट्यूनिंग: विशेष गणितीय फाइन-ट्यूनिंग (जैसे Qwen2.5-72B-math) अक्सर एल्गोरिद्मिक तर्क पर प्रदर्शन को कम कर देती है, जो बताता है कि समीकरण समाधान के लिए अनुकूलित करना प्रक्रियात्मक एल्गोरिद्मिक निष्पादन में हस्तांतरित नहीं होता है।

C. टूल्स की भूमिका

टूल ऑगमेंटेशन: टूल्स (कोड निष्पादन, कैलकुलेटर) तक पहुंच वाले मॉडल प्रदर्शन में भारी वृद्धि दिखाते हैं (जैसे टावर ऑफ हनोई पर +44%, सुडोकू पर +55%)।
ऑर्केस्ट्रेशन बॉटलनेक: छोटे मॉडलों के लिए प्राथमिक बाधा स्वयं तर्क नहीं बल्कि ऑर्केस्ट्रेशन (सही टूल चुनना, इनपुट फॉर्मेट करना, आउटपुट की व्याख्या करना) है। GPT-5 94% टूल ऑर्केस्ट्रेशन सफलता प्राप्त करता है, जबकि Qwen2.5-3B केवल 41% प्राप्त करता है।
निहितार्थ: शीर्ष-स्तरीय प्रोप्रायटरी मॉडल संभवतः श्रेष्ठ "शुद्ध" तर्क के माध्यम से नहीं, बल्कि बाहरी टूल्स को गणना सौंपने के लिए प्रभावी ढंग से पहचानने के माध्यम से सफल होते हैं।

D. संदूषण प्रतिरोध सत्यापन

प्रशिक्षण प्रयोग: जब मॉडलों को 66,000 BEYONDBENCH इंस्टेंस पर फाइन-ट्यून किया गया (मूल्यांकन के लिए उपयोग किए गए सीड से अलग), तो Hard Suite पर प्रदर्शन केवल ~12-15% सुधरा, जबकि स्थिर बेंचमार्क (जैसे GSM8K) टेस्ट डेटा पर प्रशिक्षित होने पर लगभग पूर्ण स्कोर दिखाते हैं। यह पुष्टि करता है कि BEYONDBENCH याद रखने के बजाय सामान्यीकरण योग्य ह्यूरिस्टिक्स सीखने के लिए मजबूर करता है।

5. महत्व और निष्कर्ष

BEYONDBENCH, स्थिर, संदूषण-प्रवण डेटासेट से हटकर गतिशील, गणितीय रूप से आधारित एल्गोरिद्मिक चुनौतियों की ओर स्थानांतरित होकर LLM तर्क के मूल्यांकन को पुनर्परिभाषित करता है।

मौलिक बाधा: यह अध्ययन प्रकट करता है कि जन्मजात एल्गोरिद्मिक तर्क वर्तमान LLMs के लिए एक मौलिक बाधा है जिसे केवल पैरामीटर्स को स्केल करने या विस्तारित "सोचने" मात्र से हल नहीं किया जा सकता है।
AGI का मार्ग: परिणाम बताते हैं कि आर्टिफिशियल जनरल इंटेलिजेंस (AGI) की ओर जाने वाला मार्ग हाइब्रिड न्यूरो-सिंबोलिक आर्किटेक्चर और एजेंटिक सिस्टम में निहित है जो भाषा की समझ को बाहरी कम्प्यूटेशनल टूल्स के साथ सहजता से एकीकृत कर सकें।
निष्पक्ष मूल्यांकन: संदूषण प्रतिरोध और टोकन-जागरूक निष्पक्षता सुनिश्चित करके, BEYONDBENCH वास्तविक तर्क क्षमताओं को मापने के लिए एक विश्वसनीय लीडरबोर्ड प्रदान करता है, जो उन मॉडलों के "तर्क के भ्रम" को उजागर करता है जो केवल अपने प्रशिक्षण डेटा को पुनः प्राप्त करते हैं।

यह फ्रेमवर्क ओपन-सोर्स है, जिससे समुदाय को नए कार्यों के साथ बेंचमार्क का विस्तार करने और मॉडलों के विकसित होने के साथ उनका मूल्यांकन जारी रखने की अनुमति मिलती है।