LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory
यह शोध पत्र 39 लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए 75 स्नातक-स्तरीय क्वांटम फील्ड थ्योरी समस्याओं के एक बेंचमार्क, QFT-Bench को प्रस्तुत करता है और यह प्रकट करता है कि जहाँ फ्रंटियर मॉडल्स 95% से अधिक सटीकता प्राप्त करते हैं, वहीं गणना संबंधी त्रुटियों, निर्देश पालन और तर्क की अविश्वसनीयता (reasoning unfaithfulness) के संबंध में महत्वपूर्ण अंतराल बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
ब्रह्मांड अपने सबसे सूक्ष्म स्तर पर नन्हे, ठोस गोलों का संग्रह नहीं है, बल्कि क्षेत्रों (fields) का एक जटिल ताना-बाना है जो समस्त अंतरिक्ष और समय में फैला हुआ है। इलेक्ट्रॉन या क्वार्क जैसे कण कैसे परस्पर क्रिया करते हैं, इसे समझने के लिए भौतिक विज्ञानी 'क्वांटम फील्ड थ्योरी' नामक एक ढांचे का उपयोग करते हैं। यह वह गणितीय भाषा है जो 'स्टैंडर्ड मॉडल' का वर्णन करती है, जो प्रकृति के मौलिक निर्माण खंडों का हमारा वर्तमान सबसे सटीक मानचित्र है। हालाँकि, इस भाषा के साथ काम करना अत्यंत कठिन है। इसके लिए तर्क की लंबी कड़ियों के बीच से गुजरना पड़ता है जहाँ गणना में एक छोटी सी गलती भी अंतिम परिणाम को पूरी तरह से बदल सकती है। दशकों से, इन समस्याओं को हल करना अत्यधिक प्रशिक्षित मानव विशेषज्ञों का अनन्य क्षेत्र रहा है, जो इस खेल के जटिल नियमों में महारत हासिल करने के लिए वर्षों बिताते हैं।
हाल ही में, एक नए प्रकार के उपकरण का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है, जो पढ़ने, लिखने और तर्क करने में सक्षम हैं। इन्होंने पहले ही दिखा दिया है कि वे जटिल गणितीय समस्याओं को हल कर सकते हैं और कंप्यूटर कोड लिख सकते हैं, जो अक्सर मानव विशेषज्ञों की गति और सटीकता की बराबरी करता है। यह एक दिलचस्प प्रश्न उठाता है: क्या ये मॉडल सैद्धांतिक भौतिकी के लिए आवश्यक गहरे, अमूर्त तर्क (abstract reasoning) को भी कर सकते हैं? क्या वे क्वांटम फील्ड थ्योरी के खतरनाक जलों में सफलतापूर्वक नेविगेट कर सकते हैं, या वे केवल समझ के आभास की नकल कर रहे हैं बिना उसके वास्तविक सार के?
इसका उत्तर खोजने के लिए, यूरोप और एशिया के विभिन्न संस्थानों के शोधकर्ताओं ने विशेष रूप से इसी उद्देश्य के लिए बनाया गया एक नया परीक्षण तैयार किया। उन्होंने पचहत्तर चुनौतीपूर्ण समस्याओं का एक संग्रह बनाया, जो उन्नत स्नातक स्तर के पाठ्यक्रम से लेकर प्रारंभिक चरण के अनुसंधान विषयों तक विस्तृत है। ये प्रश्न क्षेत्र के मुख्य क्षेत्रों को कवर करते हैं, जैसे प्रकाश और पदार्थ का व्यवहार से लेकर उन विलक्षण सिद्धांतों तक जो सभी बलों को एकीकृत करने का प्रयास करते हैं। महत्वपूर्ण बात यह है कि इस परीक्षण के प्रत्येक प्रश्न का एक एकल, सही उत्तर है जिसे गणितीय सटीकता के साथ जांचा जा सकता है। शोधकर्ताओं ने इन समस्याओं को हल करने के लिए उन पर तैंतीस अलग-अलग कृत्रिम बुद्धिमत्ता मॉडल्स को काम पर लगाया। इन मॉडल्स में प्रमुख प्रौद्योगिकी कंपनियों के सबसे शक्तिशाली सिस्टम के साथ-साथ अनुसंधान समुदाय द्वारा विकसित कई ओपन-सोर्स विकल्प भी शामिल थे।
परिणाम उल्लेखनीय क्षमता और निरंतर सीमाओं के एक परिदृश्य को प्रकट करते हैं। सबसे मजबूत मॉडल्स, जो वर्तमान में अस्तित्व में मौजूद सबसे उन्नत सिस्टम हैं, उन्होंने आश्चर्यजनक स्तर का कौशल दिखाया। उन्होंने अधिकांश समस्याओं को सही ढंग से हल किया, जिसमें शीर्ष प्रदर्शन करने वाले मॉडल्स ने नब्बे प्रतिशत से अधिक सटीकता दर प्राप्त की। यह सुझाव देता है कि इन प्रणालियों ने वास्तव में क्वांटम फील्ड थ्योरी के जटिल नियमों को समझना सीख लिया है और वे उस कठिन व्युत्पत्ति (derivation) का कार्य कर सकते हैं जिसके लिए कभी वर्षों के मानव अध्ययन की आवश्यकता होती थी। हालाँकि, सर्वश्रेष्ठ और अन्य मॉडल्स के बीच का अंतर काफी बड़ा है। पुराने मॉडल्स, और कई ओपन-सोर्स सिस्टम, काफी संघर्ष करते दिखे, जो अक्सर बुनियादी भौतिक अवधारणाओं के स्तर पर विफल हो जाते थे या व्युत्पत्ति के विवरणों में खो जाते थे।
लेकिन सही उत्तर प्राप्त करना केवल आधी कहानी है। शोधकर्ताओं ने यह भी बारीकी से देखा कि मॉडल अपने निष्कर्षों तक कैसे पहुँचते हैं, और उनके द्वारा प्रदान किए गए चरण-दर-चरण तर्क की जाँच की। उन्होंने एक सूक्ष्म लेकिन महत्वपूर्ण दोष पाया: भले ही किसी मॉडल ने सही अंतिम उत्तर दिया हो, लेकिन उस तक पहुँचने के लिए उसने जो मार्ग वर्णित किया था, वह कभी-कभी गलत था। कुछ मामलों में, मॉडल ने मध्यवर्ती चरण में गलती की, फिर भी किसी तरह सही परिणाम तक पहुँच गया, मानो उसने इसे ताज़ा गणना करने के बजाय अपने प्रशिक्षण डेटा से याद कर लिया हो। यह "अविश्वसनीयता" (unfaithfulness) दर्शाती है कि मॉडल का स्पष्टीकरण वास्तव में उसके द्वारा दिए गए उत्तर का समर्थन नहीं करता है। हालांकि सबसे सक्षम मॉडल्स में इस व्यवहार की सबसे कम मात्रा देखी गई, फिर भी यह मौजूद था, जो इंगित करता है कि ये प्रणालियाँ अभी भी पूर्णतः विश्वसनीय नहीं हैं।
अध्ययन ने उन विशिष्ट तरीकों पर भी प्रकाश डाला जिनसे ये मॉडल विफल होते हैं। कभी-कभी वे खेल के नियमों को भ्रमित कर देते हैं, जैसे किसी मानक सूत्र को लागू करना जबकि समस्या के लिए एक विशिष्ट, असामान्य भिन्नता की आवश्यकता थी। अन्य समय में, उन्होंने केवल अंकगणितीय त्रुटियां कीं या प्रॉम्प्ट (निर्देश) में दिए गए विशिष्ट निर्देशों का पालन करने में विफल रहे। ये त्रुटियां बताती हैं कि हालांकि मॉडल्स ने विषय के सामान्य स्वरूप को सीख लिया है, लेकिन उन्होंने छोटी लेकिन घातक गलतियों से बचने के लिए आवश्यक कठोर अनुशासन में महारत हासिल नहीं की है। शोध पुष्टि करता है कि कृत्रिम बुद्धिमत्ता उन समस्याओं को हल करना शुरू कर रही है जो कभी सैद्धांतिक भौतिकविदों का अनन्य क्षेत्र थीं, लेकिन यह भी दिखाता है कि हम अभी उस बिंदु पर नहीं हैं जहाँ इन उपकरणों पर पूरी तरह से स्वतंत्र रूप से भरोसा किया जा सके। उस कृत्रिम बुद्धिमत्ता की ओर यात्रा जारी है जो वास्तव में नई भौतिकी की खोज कर सके, लेकिन इन प्रणालियों को वैज्ञानिक खोज में सच्चा भागीदार मानने से पहले अभी भी स्पष्ट अंतराल को पाटना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।