Assessing AI in Introductory Physics Problem Solving
यह अध्ययन हैलिडे और रेस्निकक के प्रारंभिक भौतिकी के प्रश्नों पर OpenAI के o4-mini मॉडल का मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि यह उच्च समग्र सटीकता (~90%) प्राप्त करता है, लेकिन इसका प्रदर्शन समस्या की मोडैलिटी (केवल टेक्स्ट-आधारित कार्यों पर 96% से घटकर टेक्स्ट-इमेज कार्यों पर 79% होना) और कठिनाई में वृद्धि से काफी बाधित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका होमवर्क हेल्पर केवल एक सर्च इंजन नहीं है जो उत्तर ढूँढता है, बल्कि एक ऐसा मस्तिष्क है जो वास्तव में आपके लिए पहेली को सुलझाने की कोशिश करता है। यह आर्टिफिशियल इंटेलिजेंस, या AI का क्षेत्र है, विशेष रूप से एक प्रकार जिसे 'लार्ज लैंग्वेज मॉडल्स' कहा जाता है। इन मॉडल्स को सुपर-एडवांस्ड डिजिटल तोतों के रूप में सोचें जिन्होंने इंटरनेट पर मौजूद लगभग हर किताब को पढ़ा है। वे मानव बातचीत की नकल करने और टेक्स्ट में पैटर्न पहचानने में अविश्वसनीय रूप से अच्छे हैं, जैसे कि कोई जासूस जिसने अब तक लिखे गए हर रहस्य उपन्यास को याद कर लिया हो। लेकिन इसमें एक पेच है: हालाँकि वे एक प्रोफेसर की तरह बात कर सकते हैं, लेकिन वे कभी-कभी दुनिया को उस तरह से "देखने" में संघर्ष करते हैं जैसे इंसान करते हैं। वे गिरते हुए सेब के विवरण को पूरी तरह से पढ़ सकते हैं, लेकिन यदि आप उन्हें गिरते हुए सेब की एक तस्वीर दिखाएं और उनसे उसकी गति की गणना करने को कहें, तो वे भ्रमित हो सकते हैं। विज्ञान शिक्षा के लिए यह एक बड़ी बात है क्योंकि भौतिकी केवल शब्दों के बारे में नहीं है; यह इस बारे में है कि ब्रह्मांड कैसे काम करता है, जो अक्सर आरेख (डायग्राम), ग्राफ और जटिल समस्याओं के माध्यम से समझा जाता है। जैसे-जैसे ये AI उपकरण अधिक स्मार्ट होते जा रहे हैं, शिक्षक और छात्र पूछ रहे हैं: क्या एक रोबोट वास्तव में मेरा भौतिकी का होमवर्क कर सकता है, या क्या वह केवल तब तक अनुमान लगाएगा जब तक कि वह भाग्यशाली न हो जाए?
हाल ही में एक अध्ययन में, शोधकर्ताओं ने एक अत्याधुनिक AI मॉडल, जिसे "o4-mini" कहा जाता है, को यह देखने के लिए टेस्ट किया कि क्या यह हॉलिडे और रेस्निक की मानक स्नातक पाठ्यपुस्तक फंडामेंटल्स ऑफ फिजिक्स में पाए जाने वाले क्लासिक भौतिकी के सवालों को संभाल सकता है। उन्होंने AI के साथ एक अंतिम परीक्षा देने वाले छात्र की तरह व्यवहार किया, उसे आसान से लेकर कठिन तक के 1,203 अलग-अलग सवाल दिए। परिणाम "वाह" और "ओह" का मिश्रण थे। जब समस्याएँ केवल टेक्स्ट के रूप में थीं, तो AI एक सितारा था, जिसने लगभग 96% को सही ढंग से हल किया। यह एक शानदार ट्यूटर की तरह था जो अवधारणाओं को पूरी तरह से समझा सकता था यदि आप बस शब्दों में पूछें। हालाँकि, जिस क्षण समस्याओं में चित्र शामिल हुए—जैसे कि पुली के डायग्राम, गति के ग्राफ, या सर्किट के रेखाचित्र—AI का प्रदर्शन काफी गिरकर लगभग 79% पर आ गया। यह ऐसा है जैसे रोबोट अचानक नक्शा पढ़ना भूल गया हो जब उसे निर्देशों की सूची के बजाय एक तस्वीर दी गई हो।
अध्ययन में यह भी पता चला कि AI का आत्मविश्वास और सटीकता कठिन होने के साथ स्थिर नहीं रही। जब सवाल "आसान" थे, तो मॉडल एक चैंपियन था। लेकिन जैसे ही कठिनाई "मध्यम" और फिर "कठिन" स्तर पर पहुँची, इसकी सफलता दर धीरे-धीरे कम होती गई, जो सबसे कठिन चुनौतियों पर 84% तक गिर गई। दिलचस्प बात यह है कि AI ने हार नहीं मानी; इसने वास्तव में अधिक प्रयास किया। एक कठिन समस्या का सामना करने पर, मॉडल ने लंबे, अधिक विस्तृत उत्तर तैयार किए, जिसमें अधिक "टोकन" (जो उसके विचारों के डिजिटल बिल्डिंग ब्लॉक्स की तरह हैं) का उपयोग किया गया ताकि वह चीजों को समझ सके। फिर भी, इस अतिरिक्त प्रयास के बावजूद, जटिल चीजों पर इससे अधिक गलतियाँ हुईं। शोधकर्ताओं ने पाया कि AI विभिन्न विषयों में आश्चर्यजनक रूप से सुसंगत था, चाहे वह गुरुत्वाकर्षण, बिजली या क्वांटम मैकेनिक्स से संबंधित हो; कठिनाई स्तर और चित्रों की उपस्थिति के अलावा इसका कोई विशिष्ट "कमजोर विषय" नहीं था।
अंततः, यह पेपर सुझाव देता है कि जबकि AI मानक भौतिकी समस्याओं को हल करने के लिए एक शक्तिशाली उपकरण बनता जा रहा है, यह अभी तक एक पूर्ण, सर्वज्ञ ट्यूटर नहीं है। यह टेक्स्ट-आधारित तर्क में उत्कृष्ट है लेकिन जब इसे टेक्स्ट के साथ विजुअल जानकारी को समन्वित करने की आवश्यकता होती है, तो यह लड़खड़ा जाता है, और इसकी सटीकता जटिलता बढ़ने के साथ डगमगा जाती है। लेखक निष्कर्ष निकालते हैं कि फिलहाल के लिए, AI एक सहायक उपकरण है जो बुनियादी बातों और मध्यम स्तर को संभाल सकता है, लेकिन इसे अभी भी मानवीय मार्गदर्शन की आवश्यकता है, विशेष रूप से जब समस्याएँ कठिन हों या उनमें चित्र शामिल हों। यह एक आशाजनक कदम है, लेकिन रोबोट को वास्तव में कक्षा में मानव भौतिक विज्ञानी की जगह लेने से पहले अभी बहुत कुछ सीखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।