Testing the capability and performance of Claude Sonnet 4 on the GRE physics test
यह शोध पत्र प्रदर्शित करता है कि क्लॉड सोनेट 4 (Claude Sonnet 4) ने 70 प्रश्नों वाले GRE भौतिकी अभ्यास परीक्षा में 990 का पूर्ण स्केल्ड स्कोर प्राप्त किया, जो लेखकों के 90% सटीकता के उनके परिकल्पना को महत्वपूर्ण रूप से पीछे छोड़ते हुए मॉडल की जटिल वैज्ञानिक समस्या-समाधान की मजबूत क्षमताओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
तकनीकी सारांश: GRE भौतिकी परीक्षा पर क्लॉड सोनेट 4 (Claude Sonnet 4) का बेंचमार्किंग
समस्या विवरण
जैसे-जैसे आर्टिफिशियल इंटेलिजेंस (AI) का K–12 और उच्च शिक्षा में एकीकरण बढ़ रहा है, जटिल वैज्ञानिक समस्याओं को हल करने और आलोचनात्मक सोच प्रदर्शित करने में लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमताओं का बेंचमार्किंग करने की आवश्यकता है। जबकि पिछले शोध संकेत देते हैं कि सामान्य प्रयोजन वाले AI अक्सर उच्च-स्तरीय विश्वविद्यालय भौतिकी समस्याओं (ऑप्टिक्स और थर्मोडायनामिक्स जैसे क्षेत्रों में केवल 35–39% सटीकता प्राप्त करते हुए) में संघर्ष करते हैं, उन्नत प्रसंस्करण क्षमताओं के साथ सुदृढ़ किए गए नए विशिष्ट मॉडल बेहतर क्षमता का सुझाव देते हैं। यह अध्ययन यह निर्धारित करने के लिए क्लॉड सोनेट 4 (Claude Sonnet 4), जो एंथ्रोपिक (Anthropic) द्वारा विकसित एक LLM है, का मूल्यांकन एक मानकीकृत, स्नातक-स्तरीय भौतिकी मूल्यांकन के विरुद्ध करने का प्रयास करता है कि क्या यह जटिल समस्या-समाधान कार्यों पर 90% सटीकता दर को पार कर सकता है।
कार्यप्रणाली
शोधकर्ताओं ने एजुकेशनल टेस्टिंग सर्विस (ETS) द्वारा प्रदान की गई एक सार्वजनिक रूप से उपलब्ध 70-प्रश्नों की GRE भौतिकी अभ्यास परीक्षा (फॉर्म GR1775) का उपयोग किया। अध्ययन ने निम्नलिखित प्रोटोकॉल का उपयोग किया:
- मॉडल: क्लॉड सोनेट 4, जिसे उस समय एंथ्रोपिक का सबसे उन्नत मुफ्त मॉडल के रूप में पहचाना गया था।
- इनपुट: प्रत्येक 70 प्रश्नों को बिना किसी अतिरिक्त टेक्स्ट या संदर्भ के, एक स्क्रीनशॉट के रूप में मॉडल को व्यक्तिगत रूप से प्रस्तुत किया गया था।
- स्कोरिंग प्रोटोकॉल: प्रतिक्रियाओं की तुलना आधिकारिक ETS उत्तर कुंजी से की गई। संदेश सीमाओं के कारण, सभी प्रश्नों को संसाधित करने के लिए कई चैट सत्र शुरू किए गए। यदि मॉडल ने पहले प्रयास में गलत उत्तर दिया लेकिन दूसरे प्रयास में सही उत्तर दिया, तो आंशिक क्रेडिट दिया गया; अन्यथा, प्रश्नों को पूरी तरह से गलत माना गया।
- विश्लेषण: सही प्रतिक्रियाओं की कुल संख्या को गिना गया और एक स्केल्ड स्कोर में परिवर्तित किया गया। अध्ययन ने विशिष्ट विषय क्षेत्रों (क्लासिकल मैकेनिक्स, इलेक्ट्रोमैग्नेटिज्म, क्वांटम मैकेनिक्स, एटॉमिक फिजिक्स, आदि) में प्रदर्शन का विश्लेषण किया और विशिष्ट प्रश्नों के लिए मानव परीक्षार्थियों के औसत सटीकता के विरुद्ध मॉडल के प्रदर्शन की तुलना की।
मुख्य परिणाम
अध्ययन ने निम्नलिखित मात्रात्मक और गुणात्मक निष्कर्ष दिए:
- समग्र प्रदर्शन: क्लॉड सोनेट 4 ने 70 में से 65 प्रश्नों का सही उत्तर दिया, जिससे लगभग 93% की सटीकता दर प्राप्त हुई। यह एक स्केल्ड स्कोर 990 के अनुरूप है, जो GRE भौतिकी परीक्षण पर अधिकतम संभव स्कोर है।
- विषय क्षेत्र विभाजन:
- क्वांटम मैकेनिक्स और एटॉमिक फिजिक्स: मॉडल ने 100% सटीकता (16/16 प्रश्न) प्राप्त की।
- इलेक्ट्रोमैग्नेटिज्म: मॉडल ने 13 में से 12.5 अंक प्राप्त किए।
- क्लासिकल मैकेनिक्स: यह मॉडल का सबसे कमजोर क्षेत्र था, जिसमें 14 में से 12.5 का स्कोर (89% सटीकता) रहा।
- मानव प्रदर्शन के साथ सहसंबंध: मॉडल के प्रदर्शन और मानव परीक्षार्थियों की औसत सटीकता के बीच कोई सहसंबंध नहीं पाया गया। उन 17 प्रश्नों के लिए जहाँ मानव सटीकता 20–30% के बीच थी, मॉडल ने एक एकल समस्या पर केवल 0.5 अंक खोया।
- त्रुटि विश्लेषण: जब त्रुटियां हुईं, तो उन्हें गलत संश्लेषण (synthesis) के कारण माना गया, जैसे कि अनुपातों की गलत गणना करना या समस्या विवरण के भीतर विशिष्ट विवरणों का गलत विश्लेषण करना, न कि वैचारिक समझ की कमी के कारण। मॉडल ने अपने चुने हुए उत्तरों के लिए लगातार गहन स्पष्टीकरण प्रदान किए, जिससे विशिष्ट तर्क त्रुटियों की पहचान करना सुलभ हुआ।
महत्व और दावे
पेपर का दावा है कि परिणाम इस परिकल्पना का समर्थन करते हैं कि उपभोक्ता-ग्रेड LLMs उन्नत वैज्ञानिक डोमेन में उच्च दक्षता के साथ प्रश्नों को हल और समझा सकते हैं। लेखक निष्कर्ष निकालते हैं:
- उच्च-स्तरीय क्षमता: LLMs स्नातक-स्तरीय भौतिकी परीक्षाओं पर अधिकतम स्कोर प्राप्त करने में सक्षम हैं, जो वैज्ञानिक अध्ययन और शिक्षा के लिए परिवर्तनकारी क्षमता का सुझाव देते हैं।
- शैक्षिक उपयोगिता: ये मॉडल मानवीय त्रुटि के बिना जटिल प्रश्नों पर काम करने के लिए शक्तिशाली उपकरण के रूप में कार्य करते हैं, बशर्ते कि दार्शनिक अवधारणाओं या अनसुलझे ब्रह्मांडीय प्रश्नों के संबंध में उनकी सीमाओं को स्वीकार किया जाए।
- भविwi दिशा: निरंतर मशीन लर्निंग और उपयोगकर्ता प्रशिक्षण के माध्यम से, लेखक सुझाव देते हैं कि मॉडल अंततः 100% सटीकता तक पहुँच सकते हैं। वे यह भी नोट करते हैं कि प्रदर्शन मॉडल संस्करणों (जैसे, ओपस बनाम सोनेट) के आधार पर भिन्न हो सकता है और सशुल्क सदस्यताएँ उपयोग आवंटन और मॉडल गुणवत्ता में और अधिक लाभ प्रदान कर सकती हैं।
अध्ययन इस बात पर जोर देता है कि जहाँ AI महत्वपूर्ण क्षमता प्रदर्शित करता है, वहीं यह विवरण-उन्मुख संश्लेषण (detail-oriented synthesis) में सीमाओं के अधीन है और अभी तक इसमें पूर्ण जेनेरेटिव क्षमताएं (जैसे इमेज या वीडियो जनरेशन) नहीं हैं जो चैटजीपीटी (ChatGPT) जैसे अन्य प्रतिस्पर्धी मॉडलों में पाई जाती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।