PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?
यह शोध पत्र PhysElite को प्रस्तुत करता है, जो 11,586 ओलंपियाड-स्तर की भौतिकी की समस्याओं और उनके चरण-दर-चरण समाधानों वाला एक बड़े पैमाने का द्विभाषी बहु-मोडल बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान में सबसे उन्नत बहु-मोडल लार्ज लैंग्वेज मॉडल्स भी इन जटिल तर्क कार्यों पर केवल 33.7% सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भौतिकी हमेशा से मानवीय बुद्धिमत्ता की एक कठिन परीक्षा रही है, एक ऐसा विषय जहाँ दुनिया को समझने के लिए केवल तथ्यों को रटने से अधिक की आवश्यकता होती है। इसके लिए एक जटिल स्थिति को देखने, जिसे अक्सर एक चित्र या आरेख (डायग्राम) के रूप में दर्शाया जाता है, और उसमें काम कर रहे अदृश्य बलों को मानसिक रूप से सुलझाने की क्षमता की आवश्यकता होती है। किसी समस्या को हल करने के लिए, व्यक्ति को प्रकृति के सही नियमों को पहचानना चाहिए, उन्हें चरण-दर-चरण लागू करना चाहिए, और तर्क की एक ऐसी तार्किक श्रृंखला बुननी चाहिए जो एक सटीक उत्तर तक ले जाए। दशकों तक, इस तरह की गहरी, बहु-चरणीय सोच को एक विशिष्ट मानवीय शक्ति माना जाता था, एक ऐसा क्षेत्र जिसे मशीनें आसानी से पार नहीं कर सकती थीं। आज, आर्टिफिशियल इंटेलिजेंस ने अविश्वसनीय प्रगति की है, जिसमें कंप्यूटर आश्चर्यजनक सटीकता के साथ टेक्स्ट पढ़ने और छवियों को पहचानने में सक्षम हैं। फिर भी, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या ये मशीनें वास्तव में उस प्रकार की कठिन, वास्तविक दुनिया की भौतिकी समस्याओं को हल करने के लिए तर्क कर सकती हैं जो दुनिया के सर्वश्रेष्ठ हाई स्कूल छात्रों को चुनौती देती हैं?
शोधकर्ताओं की एक टीम ने अब इसका उत्तर खोजने के लिए एक नया, विशाल परीक्षण मैदान तैयार किया है। उन्होंने ग्यारह हजार से अधिक भौतिकी की समस्याओं का एक संग्रह बनाया है, जो चीन के शीर्ष प्रदर्शन करने वाले छात्रों की दैनिक प्रशिक्षण सामग्री से ली गई हैं। ये बहुविकल्पीय उत्तरों वाली सरल प्रश्न नहीं हैं; ये खुले अंत वाली चुनौतियाँ हैं जिनमें समाधान निकालने के लिए हल करने वाले को शून्य से समाधान व्युत्पन्न (derive) करने की आवश्यकता होती है। महत्वपूर्ण रूप से, शोधकर्ताओं ने न केवल प्रश्न एकत्र किए; उन्होंने उन विस्तृत, चरण-दर-चरण समाधानों को भी एकत्र किया जिनका उपयोग विशेषज्ञ उन्हें हल करने के लिए करते हैं, साथ ही वे आरेख भी जो भौतिक सेटअप को दर्शाते हैं। यह नया डेटासेट, जिसमें अंग्रेजी और चीनी दोनों भाषाएँ शामिल हैं, ग्रहों की गति और बिजली के प्रवाह से लेकर प्रकाश के व्यवहार और परमाणु जगत के रहस्यों तक सब कुछ कवर करता है। प्रत्येक समस्या को उसके दृश्य आरेख और उसके पूर्ण तार्किक व्युत्पत्ति के साथ जोड़कर, टीम ने एक ऐसा बेंचमार्क बनाया है जो विशेषज्ञ-स्तरीय भौतिकी तर्क की वास्तविक जटिलता को दर्शाता है।
जब शोधकर्ताओं ने अठारह सबसे उन्नत आर्टिफिशियल इंटेलिजेंस मॉडलों को परीक्षण के लिए रखा, तो परिणाम निराशाजनक थे। यहाँ तक कि सबसे मजबूत मॉडल भी, जिन्हें विशाल मात्रा में डेटा पर प्रशिक्षित किया गया था और जो जटिल तर्क कार्यों को करने में सक्षम थे, वे अत्यधिक संघर्ष करते दिखे। सबसे अच्छा प्रदर्शन करने वाला मॉडल केवल लगभग एक-तिहाई मामलों में ही अंतिम उत्तर सही पाने में सफल रहा। इसका अर्थ यह है कि प्रस्तुत की गई प्रत्येक तीन कठिन भौतिकी समस्याओं में से, वर्तमान में उपलब्ध सबसे शक्तिशाली आर्टिफिशियल इंटेलिजेंस दो में गलत हो जाता है। इन मशीनों और मानव विशेषज्ञों के बीच का अंतर बहुत बड़ा है; अध्ययन के लिए आधार (baseline) के रूप में उपयोग किए गए मानव छात्रों ने लगभग आधे प्रश्नों को सही ढंग से हल किया, जो कृत्रिम प्रणालियों की तुलना में एक महत्वपूर्ण बढ़त है। शोधकर्ताओं ने पाया कि यह कठिनाई किसी विशिष्ट प्रकार की समस्या तक सीमित नहीं थी; मॉडल यांत्रिकी (mechanics), ऊष्मागतिकी (thermodynamics) और प्रकाशिकी (optics) सभी में लड़खड़ा गए, हालांकि वे प्रकाश और ज्यामितीय तर्क से जुड़ी समस्याओं के साथ अधिक संघर्ष करते दिखे।
अध्ययन केवल सही उत्तरों को गिनने से कहीं आगे गया। शोधकर्ताओं ने मशीनों की वास्तविक विचार प्रक्रिया की जांच की, उनके समाधानों को चरण-दर-चरण विभाजित किया ताकि यह देखा जा सके कि वे वास्तव में कहाँ गलत हुए। उन्होंने पाया कि त्रुटियाँ शायद ही कभी सरल गणना संबंधी गलतियाँ थीं। इसके बजाय, मॉडल अक्सर तर्क की श्रृंखला की शुरुआत में ही विफल हो जाते थे। वे आरेख की गलत व्याख्या करते थे, भौतिक सेटअप को गलत समझते थे, या स्थिति पर लागू होने वाले गलत भौतिक नियम का प्रयोग करते थे। एक बार जब प्रारंभिक सेटअप दोषपूर्ण हो जाता था, तो शेष समाधान, चाहे वह गणितीय रूप से कितना भी परिष्कृत क्यों न हो, गलत निष्कर्ष की ओर ले जाता था। कई मामलों में, मॉडल एक विश्वसनीय दिखने वाला व्युत्पन्न (derivation) उत्पन्न कर सकते थे जो सही सामान्य पथ का अनुसरण करता था लेकिन एक मौलिक गलतफहमी के भार के नीचे ढह जाता था। यह सुझाव देता है कि जबकि ये सिस्टम पैटर्न मिलान और टेक्स्ट उत्पन्न करने में उत्कृष्ट हैं, उनमें अभी भी भौतिक वास्तविकता की वह गहरी, सहज समझ की कमी है जो एक मनुष्य को किसी समस्या की कल्पना करने और यह जानने की अनुमति देती है कि कौन से सिद्धांत लागू होते हैं।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या मॉडलों को अतिरिक्त सहायता देने से उनके प्रदर्शन में सुधार होगा। उन्होंने कुछ मॉडलों को अतिरिक्त आरेख प्रदान किए जो समाधान के मध्यवर्ती चरणों को दिखाते थे, इस उम्मीद में कि यह दृश्य मार्गदर्शन अंतर को पाट देगा। हालांकि इससे थोड़ा सुधार हुआ, लेकिन सुधार मामूली था, और कुछ मामलों में, अतिरिक्त टेक्स्ट संकेत जोड़ने से मॉडलों का प्रदर्शन वास्तव में खराब हो गया। यह इंगित करता है कि मुख्य मुद्दा जानकारी की कमी नहीं है, बल्कि उस जानकारी को सही ढंग से संसाधित करने में एक मौलिक कठिनाई है। मॉडल केवल डेटा की कमी से जूझ नहीं रहे हैं; वे दृश्य और पाठ्य संकेतों को एक सुसंगत भौतिक मॉडल में संश्लेषित करने के लिए संघर्ष कर रहे हैं। अध्ययन निष्कर्ष निकालता है कि आर्टिफिशियल इंटेलिजेंस में तीव्र प्रगति के बावजूद, ये सिस्टम अभी भी प्रामाणिक, उच्च-स्तरीय भौतिकी समस्याओं को हल करने के लिए आवश्यक कठोर, बहु-चरणीय तर्क में महारत हासिल करने से बहुत दूर हैं। आगे का मार्ग ऐसे नए तरीकों की मांग करता है जो मशीनों को केवल उत्तर देना ही नहीं, बल्कि वास्तव में उस भौतिक दुनिया को समझना सिखाए जिसका वर्णन करने के लिए उन्हें पूछा गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।