PHYSICS: Benchmarking Foundation Models on University-Level Physics Problem Solving
यह शोध पत्र PHYSICS को प्रस्तुत करता है, जो 1,297 विशेषज्ञ-एनोटेटेड विश्वविद्यालय-स्तरीय भौतिकी समस्याओं का एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि विभिन्न अनुकूलन रणनीतियों के बावजूद, o3-mini जैसे सबसे उन्नत फाउंडेशन मॉडल भी उच्च-स्तरीय वैज्ञानिक तर्क करने में संघर्ष करते हैं और केवल 59.9% सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अविश्वसनीय रूप से बुद्धिमान, सुपर-फास्ट रोबोटों का एक बेड़ा बनाया है। इन रोबोटों ने लाइब्रेरी की लगभग हर किताब पढ़ ली है और वे एक मानव कैलकुलेटर से भी तेज़ जटिल गणितीय पहेलियों को हल कर सकते हैं। आप जानना चाहते हैं: क्या ये रोबोट वास्तव में एक वास्तविक भौतिक विज्ञानी (physicist) की तरह सोच सकते हैं?
शोधकर्ताओं ने यह जानने के लिए PHYSICS बेंचमार्क बनाया कि क्या ऐसा संभव है। उन्होंने केवल रोबोट्स को सरल पहेलियाँ हल करने के लिए नहीं कहा; उन्होंने उन्हें भौतिकी में "पीएच.डी.-स्तर की फाइनल परीक्षा" दी।
यहाँ उनके प्रयोग की कहानी है, जिसे सरल रूप में समझाया गया है:
1. परीक्षा: "अल्टीमेट फिजिक्स टेस्ट"
शोधकर्ताओं ने PHYSICS नामक एक नया टेस्ट बनाया। इसे एक विशाल, डिजिटल प्रश्न बैंक के रूप में समझें जिसमें 1,297 कठिन प्रश्न शामिल हैं।
- प्रश्न कहाँ से आए? ये शोधकर्ताओं द्वारा बनाए नहीं गए थे। इन्हें वास्तविक, कठिन क्वालिफाइंग परीक्षाओं से लिया गया था जिन्हें वास्तविक भौतिकी पीएचडी छात्रों को पेशेवर वैज्ञानिक बनने के लिए पास करना होता है।
- टेस्ट में क्या है? यह भौतिकी के छह बड़े क्षेत्रों को कवर करता है: चीजें कैसे चलती हैं (मैकेनिक्स), परमाणु कैसे व्यवहार करते हैं (क्वांटम), ऊष्मा और ऊर्जा (ऊष्मागतिकी/thermodynamics), बिजली और चुंबकत्व, प्रकाश (ऑप्टिक्स), और परमाणु भौतिकी।
- ट्विस्ट: स्कूल के टेस्ट के विपरीत जहाँ आप सिर्फ "A, B, C, या D" चुनते हैं, ये प्रश्न खुले-अंत वाले (open-ended) हैं। रोबोट को पूरा समाधान लिखना होगा, अपना काम दिखाना होगा, ठीक वैसे ही जैसे एक मानव छात्र करता है।
2. ग्रेडिंग मशीन: "रोबोट टीचर"
आप बिना हर पन्ने को पढ़े एक रोबोट के गणित के होमवर्क को कैसे ग्रेड करेंगे? टीम ने एक सुपर-स्ट्रिक्ट ऑटोमेटेड ग्रेडिंग सिस्टम बनाया।
- यह SymPy नामक एक डिजिटल टूल (एक गणित-चेकर रोबोट की तरह) का उपयोग करता है ताकि यह सत्यापित किया जा सके कि रोबोट का उत्तर गणितीय रूप से सही है, भले ही रोबोट ने उसे थोड़े अलग तरीके से लिखा हो।
- यदि गणित बहुत अजीब है जिसे रोबोट चेक नहीं कर सकता, तो यह एक "बैकअप टीचर" (एक अधिक उन्नत AI) को बुलाता है जो तर्क को पढ़ता है और निर्णय लेता है कि क्या वह समझ में आता है।
3. परिणाम: "रोबोटों की दीवार से टक्कर हुई"
शोधकर्ताओं ने आज उपलब्ध 33 सबसे स्मार्ट AI मॉडल का परीक्षण किया, जिनमें o3-mini, GPT-4o, और DeepSeek-R1 जैसे "चैंपियंस" भी शामिल हैं।
स्कोरबोर्ड:
- सबसे अच्छा रोबोट: सबसे स्मार्ट मॉडल, o3-mini ने भी केवल लगभग 60% प्रश्नों को सही हल किया।
- औसत रोबोट: अधिकांश अन्य शीर्ष मॉडलों ने 30% से 40% के आसपास स्कोर किया।
- मानव बेंचमार्क: शोधकर्ताओं ने नोट किया कि एक मानव विशेषज्ञ, पर्याप्त समय मिलने पर, आमतौर पर 70% से 80% के बीच स्कोर करेगा।
बड़ी सीख: यहाँ तक कि सबसे उन्नत AI भी अभी भी एक मानव भौतिक विज्ञानी के स्तर तक पहुँचने के लिए संघर्ष कर रहा है। वे एक ऐसे छात्र की तरह हैं जिसने पाठ्यपुस्तक रट ली है लेकिन जब कठिन, वास्तविक दुनिया के परिदृश्य में नियमों को लागू करने के लिए पूछा जाता है, तो वे अटक जाते हैं।
4. वे क्यों असफल हुए? ("गलतियों का हॉल")
शोधकर्ताओं ने बारीकी से देखा कि रोबोट उत्तर गलत क्यों कर रहे थे। उन्होंने पांच मुख्य "बुरी आदतें" पाईं:
- नियम बनाना: कभी-कभी, रोबोट उन तथ्यों को गढ़ देते थे जो प्रश्न में नहीं थे। यह एक छात्र के अनुमान लगाने जैसा है जो शिक्षक के मन को पढ़ने की कोशिश करता है और अतिरिक्त नियम जोड़ देता है जो मौजूद ही नहीं हैं।
- चित्र को अनदेखा करना: कई भौतिकी के प्रश्न चित्रों के साथ आते हैं। रोबोट अक्सर चित्र को गलत पढ़ लेते थे, यह सोचकर कि तार एक तरफ से जुड़ा है जबकि वह वास्तव में दूसरी तरफ से जुड़ा था।
- "ओवर-थिंकर" का जाल: कुछ रोबोट इतना अधिक सोचने और इतना अधिक लिखने की कोशिश करते थे कि वे जगह खत्म कर देते या अपने ही लंबे स्पष्टीकरणों में उलझ जाते। वे अपने ही तर्क में खो जाते थे।
- गणित की चूक: भले ही तर्क एकदम सही हो, वे जटिल समीकरणों में साधारण गणना संबंधी गलतियाँ कर देते थे, जैसे कोई इंसान लंबे गणित के सवाल में टाइपो (typo) कर देता है।
- लक्ष्य को समझना न पाना: कभी-कभी, वे बस यह समझने में विफल रहते थे कि प्रश्न वास्तव में क्या पूछ रहा है, और पूरी तरह से अलग प्रश्न का उत्तर दे देते थे।
5. क्या उन्होंने मदद करने की कोशिश की? ("चीट शीट" प्रयोग)
शोधकर्ताओं ने रोबोट्स की मदद करने के लिए कुछ तरकीबें आजमाईं:
- स्व-चिंतन (Self-Reflection): उन्होंने रोबोट्स को कहा, "हे, अपना काम सबमिट करने से पहले खुद की जांच करें।" इससे थोड़ा फायदा हुआ, जिससे उत्तर थोड़े अधिक सुसंगत हो गए।
- "गूगल" ट्रिक (RAG): उन्होंने रोबोट्स को काम करते समय ऑनलाइन जानकारी खोजने की अनुमति दी। इससे भी स्कोर में सुधार हुआ, जिससे साबित हुआ कि रोबोट्स को कभी-कभी बस किसी विशिष्ट सूत्र या तथ्य के त्वरित रिमाइंडर की आवश्यकता होती है।
हालाँकि, इन सहायकों के साथ भी, रोबोट मानव विशेषज्ञों के अंतर को पूरी तरह से पाटने में सफल नहीं हुए।
निचोड़
PHYSICS बेंचमार्क हमें दिखाता है कि हालांकि AI गणित और पढ़ने में अद्भुत है, गहन, जटिल वैज्ञानिक समस्याओं को हल करना अभी भी एक बड़ी चुनौती है। रोबोट बहुत तेज़ कैलकुलेटर की तरह हैं जो कभी-कभी भूल जाते हैं कि वे गणित क्यों कर रहे हैं। उन्हें एक वास्तविक भौतिक विज्ञानी के स्तर पर लाने के लिए, हमें उन्हें अधिक गहराई से सोचने, आरेख (diagrams) को बेहतर ढंग से पढ़ने और तथ्य गढ़ना बंद करने के लिए प्रशिक्षित करने की आवश्यकता है।
यह केवल भौतिकी के बारे में नहीं है; यह एक चेतावनी है कि AI को वास्तव में वैज्ञानिकों की मदद करने के लिए, इसे एक मशीन की तरह "कैलकुलेट" करने के बजाय एक मानव विशेषज्ञ की तरह "सोचने" में बहुत बेहतर होना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।