TCS-BENCH: Benchmarking State-of-the-Art Generative AI Theoretical Computer Science Research Ability
यह शोध पत्र TCS-Bench प्रस्तुत करता है, जो शीर्ष सैद्धांतिक कंप्यूटर विज्ञान वेन्यूज़ से समस्याओं का उपयोग करके लार्ज लैंग्वेज मॉडल्स की अनुसंधान-स्तर की प्रमेय-सिद्ध करने की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जिसके साथ मानव विशेषज्ञ निर्णयों के विरुद्ध जनरेट किए गए प्रमाणों को मान्य करने के लिए एक उच्च-सटीकता वाला सत्यापन एजेंट भी है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल शतरंज नहीं खेलते या कविताएँ नहीं लिखते, बल्कि वास्तव में ब्रह्मांड के काम करने के तरीकों के बारे में नए सत्यों को खोजने में मनुष्यों की मदद करते हैं। यह सैद्धांतिक कंप्यूटर विज्ञान (Theoretical Computer Science - TCS) का क्षेत्र है, जहाँ गणितज्ञ और कंप्यूटर वैज्ञानिक जटिल तार्किक संरचनाएँ बनाते हैं ताकि यह सिद्ध किया जा सके कि कुछ एल्गोरिदम कैसे काम करते हैं, या विशिष्ट समस्याओं को कभी हल क्यों नहीं किया जा सकता। इसे एक गगनचुंबी इमारत बनाने जैसा समझें: आप केवल ऊपरी मंजिल नहीं बना सकते; आपको परिभाषाओं की एक ठोस नींव, लेम्मा (छोटे, सिद्ध तथ्यों) का एक ढांचा, और हर बीम को अगले से जोड़ने वाले एक स्पष्ट मार्ग की आवश्यकता होती है।
लंबे समय से, हम स्मार्ट कंप्यूटर प्रोग्रामों का परीक्षण कर रहे हैं, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, उच्च-दांव वाली पहेलियों जैसे गणितीय प्रश्नों पर। ये दुनिया के "सुडोकू" या "मैथ ओलंपियाड" वाले सवालों की तरह हैं: जो अपने आप में पूर्ण हैं, जिनमें सभी नियम वहीं दिए गए हैं। लेकिन वास्तविक वैज्ञानिक अनुसंधान एक पहेली नहीं है; यह एक घने, प्राचीन जंगल की खोज करने जैसा है। आपको स्थानीय भाषा पता होनी चाहिए, यह समझना चाहिए कि एक रास्ता दूसरे तक कैसे ले जाता है, और यह याद रखना चाहिए कि आपने पहले किन पेड़ों पर चढ़ाई की है। अब तक, हमारे पास यह परीक्षण करने का कोई अच्छा तरीका नहीं था कि क्या AI वास्तविक शोध के इस जटिल, परस्पर जुड़े हुए जंगल में नेविगेट कर सकता है। यही वह अंतर है जिसे यह शोध पत्र भरने की कोशिश करता है।
यहाँ TCS-Bench आता है, एक नया "बाधा दौड़" (obstacle course) जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या AI वास्तव में शोध-स्तर का गणित कर सकता है। लेखकों ने, जो गूगल और शीर्ष विश्वविद्यालयों के शोधकर्ताओं की एक टीम है, एक चुनौती बनाई है जहाँ AI को एक लक्ष्य प्रमेय (एक बड़ा दावा जिसे सिद्ध करना है) और संदर्भ का एक "पिठ्ठू बैग" (परिभाषाएं और पिछले छोटे प्रमाण जो एक वास्तविक शोध पत्र से लिए गए हैं) दिया जाता है। AI का काम इंटरनेट पर उत्तर खोजे बिना, डॉट्स को जोड़ने वाला पूरा प्रमाण लिखना है। यह एक छात्र को पाठ्यपुस्तक का एक अध्याय देने जैसा है जिसमें अंतिम निष्कर्ष गायब है और उनसे अध्याय में दिए गए सुरागों का उपयोग करके गायब पृष्ठ लिखने के लिए कहना है।
यह शोध पत्र इस बेंचमार्क को 2020 और 2026 के बीच प्रकाशित शीर्ष स्तर के कंप्यूटर विज्ञान सम्मेलनों (FOCS, STOC, और SODA) से लिए गए 300 कार्यों के माध्यम से प्रस्तुत करता है। इसे निष्पक्ष और स्केलेबल बनाने के लिए, उन्होंने एक विशेष "रेफरी" एजेंट बनाया है—एक दूसरा AI जिसे प्रमाणों को ग्रेड करने के लिए प्रशिक्षित किया गया है। यह रेफरी इतना सक्षम है कि यह 90% से अधिक बार मानव विशेषज्ञों के निर्णयों से मेल खाता है, जिससे टीम को हर एक प्रमाण को पढ़ने के लिए मानव विशेषज्ञों की टीम की आवश्यकता के बिना सैकड़ों प्रमाणों का परीक्षण करने की अनुमति मिलती है।
जब उन्होंने परीक्षण चलाया, तो परिणाम प्रभावशाली प्रगति और स्पष्ट सीमाओं का मिश्रण थे। सबसे अच्छा प्रदर्शन करने वाले मॉडल, GPT 5.6 Pro ने 300 में से लगभग 68% समस्याओं को सही ढंग से सिद्ध किया। एक अन्य मॉडल, Gemini 3.1 DeepThink ने 52% हल किए। शोध पत्र सुझाव देता है कि जबकि ये मॉडल तार्किक तर्क करने में बहुत बेहतर हो रहे हैं, वे अभी भी सबसे जटिल, बहु-चरणीय तर्कों के साथ संघर्ष करते हैं जिनमें गहरे संदर्भ की आवश्यकता होती है। वास्तव में, जब शोधकर्ताओं ने "कोलोसियम" (Colosseum) नामक एक चतुर तकनीक का उपयोग किया—जहाँ वे दो अलग-अलग AI मॉडलों को सबसे अच्छे प्रमाण के बारे में बहस करने और विजेता चुनने देते हैं—तो उन्होंने सफलता दर को बढ़ाकर 67%.7 कर दिया, जो दर्शाता है कि दूसरा मत लेना मदद करता है, लेकिन यह कोई जादुई समाधान नहीं है।
महत्वपूर्ण रूप से, यह शोध पत्र तर्क देता है कि AI का अलग-थलग गणितीय पहेलियों पर परीक्षण करने का पुराना तरीका अब पर्याप्त नहीं है। सिर्फ इसलिए कि एक मॉडल एक कठिन पहेली को हल कर सकता है, इसका मतलब यह नहीं है कि वह वास्तविक विज्ञान कर सकता है। लेखक ने पाया कि इन AI मॉडल्स के लिए सबसे बड़ी बाधा केवल एक चतुर अंतर्दृष्टि खोजना नहीं है, बल्कि निर्भरताओं, परिभाषाओं और मध्यवर्ती परिणामों की एक लंबी श्रृंखला को बिना भटके बुनना समझना है। जबकि मॉडल मानव-स्तर के प्रदर्शन के करीब पहुँच रहे हैं, सर्वश्रेष्ठ AI (68%) और एक पूर्ण स्कोर (100%) के बीच का अंतर यह बताता है कि हम अभी भी उस स्तर से दूर हैं जहाँ AI सबसे चुनौतीपूर्ण सैद्धांतिक कार्यों में मानव शोधकर्ताओं की पूरी तरह से जगह ले सके। शोध पत्र निष्कर्ष निकालता है कि TCS-Bench इस प्रगति को ट्रैक करने के लिए एक महत्वपूर्ण नया उपकरण है, जो यह मापने का एक तरीका प्रदान करता है कि AI वास्तव में एक छात्र की तरह रटने के बजाय एक वैज्ञानिक की तरह कैसे "सोच" सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।