FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
यह शोध पत्र FormalTCS का परिचय देता है, जो 2025-2026 के अग्रिम TCS अनुसंधान का उपयोग करने वाला एक विशेषज्ञ-सत्यापित बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स एंड-टू-एंड स्वचालित अनुसंधान में काफी संघर्ष करते हैं, जिसका मुख्य कारण ऑटोफॉर्मलाइजेशन और नवीन, उच्च-गुणवत्ता वाले गणितीय दावों को उत्पन्न करने की क्षमता में गंभीर सीमाएं हैं।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सैद्धांतिक कंप्यूटर विज्ञान (Theoretical computer science) इस बात का अध्ययन है कि सूचना को कैसे संसाधित किया जाता है और गणना (computation) की मौलिक सीमाएँ क्या हैं। यह आधुनिक तकनीक का आधार है, जो उन गणितीय नियमों को निर्धारित करता है जिनसे यह तय होता है कि कौन सी समस्याएँ मशीनों द्वारा हल की जा सकती हैं और उन्हें कितनी कुशलता से हल किया जा सकता है। दशकों से, यह क्षेत्र मानव गणितज्ञों पर निर्भर रहा है ताकि वे सटीक परिभाषाएँ गढ़ सकें, तार्किक तर्क प्रस्तुत कर सकें और यह सिद्ध कर सकें कि उनके निष्कर्ष अटूट हैं। हाल ही में, एक नए प्रकार के उपकरण का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो जटिल विषयों को पढ़, लिख और उन पर तर्क कर सकती हैं। जैसे-जैसे ये प्रणालियाँ अधिक शक्तिशाली होती गई हैं, शोधकर्ताओं ने यह पूछना शुरू कर दिया है कि क्या वे केवल प्रश्नों के उत्तर देने या टेक्स्ट का सारांश बनाने से कहीं अधिक कर सकती हैं। क्या वे वास्तव में अपने आप वैज्ञानिक अनुसंधान कर सकती हैं, और गणना के बारे में नए सत्यों की खोज कर सकती हैं और उन्हें मानव विशेषज्ञों की तरह ही कठोरता के साथ सिद्ध कर सकती हैं?
हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने FORMALTOS नामक एक नया परीक्षण स्थल बनाकर इस प्रश्न का उत्तर देने का प्रयास किया। वे साधारण क्विज़ या पाठ्यपुस्तक के अभ्यासों से आगे बढ़कर यह देखना चाहते थे कि क्या ये कृत्रिम बुद्धिमत्ता प्रणालियाँ अत्याधुनिक अनुसंधान की कठिन और जटिल वास्तविकता को संभाल सकती हैं। ऐसा करने के लिए, उन्होंने एल्गोरिदम, जटिलता (complexity) और मशीन लर्निंग थ्योरी जैसे विषयों को कवर करते हुए, प्रतिष्ठित सम्मेलनों से 175 वास्तविक शोध समस्याएँ एकत्र कीं। ये मनगढ़ंत समस्याएँ नहीं थीं; ये 2025 और 2026 में स्वीकृत शोध पत्रों से प्राप्त वास्तविक मुख्य खोजें थीं। इसके बाद शोधकर्ताओं ने इन खोजों को एक ऐसे प्रारूप में अनुवादित करने के लिए मानव विशेषज्ञों के साथ मिलकर काम किया जिसे एक कंप्यूटर सत्यापित कर सके, जिससे कृत्रिम बुद्धिमत्ता को मापने के लिए एक कठोर मानक तैयार हुआ।
इस प्रयोग के परिणामों ने एक स्पष्ट अंतर प्रकट किया कि ये मॉडल क्या समझ सकते हैं और वे वास्तव में क्या कर सकते हैं। जब शोधकर्ताओं ने मॉडलों से एक शोध निष्कर्ष का उच्च-स्तरीय सारांश पढ़ने और उसके पीछे के तर्क को सरल भाषा में समझाने के लिए कहा, तो मॉडलों ने काफी अच्छा प्रदर्शन किया। वे बड़े चित्र (big picture) को समझने में सक्षम थे और एक प्रमाण (proof) की रणनीति का उचित सटीकता के साथ वर्णन कर सकते थे। हालाँकि, जैसे ही कार्य उन विचारों को एक औपचारिक, गणितीय भाषा में अनुवादित करने में बदल गया जिसे एक कंप्यूटर द्वारा जांचा जा सके, मॉडलों के सामने एक बड़ी बाधा आ गई। इस प्रक्रिया को 'ऑटोफॉर्मलाइजेशन' (autoformalization) कहा जाता है, जो वह चरण है जहाँ एक मानव शोधकर्ता एक अस्पष्ट विचार को नियमों और परिभाषाओं के एक सटीक सेट में बदल देता है। इस महत्वपूर्ण चरण में, सर्वश्रेष्ठ कृत्रिम बुद्धिमत्ता मॉडल केवल 11.5 प्रतिशत समय ही सफल हो सके। इसके विपरीत, जब शोधकर्ताओं ने मॉडलों को सटीक गणितीय परिभाषाएँ दीं, तो मॉडल लगभग 28.6 प्रतिशत समय अंतिम प्रमाण बनाने में सक्षम रहे।
यह अंतर यह सुझाव देता है कि इस क्षेत्र में कृत्रिम बुद्धिमत्ता के लिए प्राथमिक बाधा एक बार मार्ग बन जाने के बाद तार्किक पथ का अनुसरण करने की क्षमता नहीं है, बल्कि स्वयं उस मार्ग का निर्माण करने की क्षमता है। मॉडल किसी समस्या के प्राकृतिक भाषा विवरण को विशिष्ट, अस्पष्ट न रहने वाली उन परिभाषाओं में बदलने में संघर्ष करते हैं जो समाधान को सत्यापित करने के लिए एक कंप्यूटर द्वारा आवश्यक होती हैं। यह ऐसा ही है जैसे मॉडल एक मानचित्र को पढ़ सकते हैं और गंतव्य को समझ सकते हैं, लेकिन वे स्वयं मानचित्र नहीं बना सकते। इसके अलावा, जब शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जिसने मॉडलों को शून्य से अपने नए शोध विचार उत्पन्न करने की अनुमति दी, तो परिणाम और भी अधिक स्पष्ट थे। सिस्टम द्वारा उत्पन्न 64 नए दावों में से, केवल छह को मानव विशेषज्ञों द्वारा इतना नवीन और मूल्यवान माना गया कि वे शोध के योग्य हों। शेष या तो मौजूदा कार्यों के बहुत समान थे, उनमें वास्तविक महत्व की कमी थी, या उन्हें सिद्ध नहीं किया जा सका।
अध्ययन यह निष्कर्ष निकालता है कि जबकि ये कृत्रिम बुद्धिमत्ता प्रणालियाँ सैद्धांतिक कंप्यूटर विज्ञान को समझने और चर्चा करने में बेहतर हो रही हैं, वे अभी भी स्वतंत्र अनुसंधान करने में सक्षम होने से बहुत दूर हैं। उनमें यह "स्वाद" या अंतर्ज्ञान (intuition) की कमी है जो यह पहचानने के लिए आवश्यक है कि कौन से नए विचार वास्तव में अन्वेषण के योग्य हैं, और वे विचारों को सटीक गणितीय नियमों में अनुवादित करने में संघर्ष करती हैं। इस क्षेत्र में पूर्णतः स्वायत्त वैज्ञानिक खोज का मार्ग दो अलग-अलग समस्याओं को हल करने की मांग करता है: विचारों को कठोर गणितीय भाषा में अनुवादित करने की क्षमता में सुधार करना, और यह समझने की गहरी समझ विकसित करना कि एक शोध विचार को क्या मूल्यवान बनाता है। जब तक ये बाधाएं दूर नहीं हो जातीं, इस क्षेत्र में कृत्रिम बुद्धिमत्ता की भूमिका एक स्वतंत्र शोधकर्ता के बजाय एक शक्तिशाली सहायक की बनी रहेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।