Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions
यह अध्ययन प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स छात्रों की लिखित भौतिकी व्याख्याओं के मूल्यांकन को प्रभावी ढंग से और सटीक रूप से स्केल कर सकते हैं, जो उन गहरे भ्रांतियों को उजागर करते हैं जिन्हें पारंपरिक बहुविकल्पीय प्रारूप पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो 1,000 से अधिक छात्रों वाली एक विशाल भौतिकी (physics) कक्षा की ग्रेडिंग कर रहे हैं। आप न केवल यह जानना चाहते हैं कि क्या उन्होंने सही उत्तर दिया, बल्कि यह भी कि वे उस तरह से क्यों सोचते हैं। पारंपरिक रूप से, आपको उन्हें बहुविकल्पीय (multiple-choice) परीक्षा देनी होगी क्योंकि 1,000 कॉपियों को जल्दी से ग्रेड करने का यही एकमात्र तरीका है। लेकिन बहुविकल्पीय परीक्षण एक बंद दरवाजे की तरह हैं: वे आपको बताते हैं कि क्या छात्र सही चाबी चुन सकता है, लेकिन वे यह नहीं दिखाते कि छात्र उस दरवाजे को खोलने की कोशिश कैसे कर रहा है। हो सकता है कि वे अनुमान लगाकर सही चाबी चुन लें, या वे किसी पूरी तरह से गलत तरीके का उपयोग कर रहे हों जो संयोग से सही दरवाजे तक ले जाता है।
यह शोध पत्र एक नए प्रकार के "डिजिटल सहायक" का उपयोग करके उस दरवाजे को खोलने की कोशिश के बारे में है जिसे एक लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, विशेष रूप से GPT-4o नामक एक AI संस्करण।
प्रयोग: दरवाजे को खिड़की में बदलना
शोधकर्ताओं ने एक मानक भौतिकी परीक्षण लिया जिसे "एनर्जी एंड मोमेंटम कॉन्सेप्चुअल सर्वे" (EMCS) कहा जाता है। आमतौर पर, यह टेस्ट बहुविकल्पीय होता है। इस अध्ययन के लिए, उन्होंने तीन विशिष्ट प्रश्नों को लिया जिन्हें छात्र ऐतिहासिक रूप से कठिन पाते हैं और उन्हें निबंधात्मक प्रश्नों (essay questions) में बदल दिया।
"A, B, C, या D" चुनने के बजाय, छात्रों को एक विशिष्ट रेसिपी का उपयोग करके अपने उत्तर लिखने थे:
- दावा (Claim): आपका उत्तर क्या है?
- साक्ष्य (Evidence): आपके पास कौन से तथ्य हैं?
- तर्क (Reasoning): वे तथ्य आपके उत्तर को कैसे सिद्ध करते हैं?
यह केवल छात्र से यह कहने जैसा नहीं है कि "कार तेज है," बल्कि यह पूछने जैसा है कि, "कार तेज है क्योंकि इंजन शक्तिशाली है (साक्ष्य) और शक्ति गति पैदा करती है (तर्क)।"
परीक्षण: मानव बनाम मशीन
शोधकर्ता यह देखना चाहते थे कि क्या AI इन निबंधों को एक मानव शिक्षक की तरह ग्रेड कर सकता है।
- मानव ग्रेडर: एक वास्तविक भौतिकी विशेषज्ञ ने 231 निबंधों के एक यादृच्छिक नमूने (random sample) को पढ़ा।
- AI ग्रेडर: LLM ने सभी 1,131 निबंधों को पढ़ा।
परिणाम: AI और मानव लगभग पूरी तरह से सहमत थे। वे केवल इस बात पर असहमत हुए कि कोई छात्र "सही" था या "गलत" (0% से 3% के बीच)। यह ऐसा ही है जैसे आपने दो अलग-अलग शेफ से सूप चखने और उसकी नमकीन होने की दर बताने के लिए कहा हो; वे लगभग एक ही स्कोर देंगे। शोधकर्ताओं ने निष्कर्ष निकाला कि AI एक विश्वसनीय "डिजिटल ग्रेडर" है जो एक बड़ी कक्षा के कार्यभार को बिना थके संभाल सकता है।
बड़ी खोज: छिपे हुए सुराग ढूंढना
यहीं पर यह शोध पत्र वास्तव में दिलचस्प हो जाता है। शोधकर्ताओं ने AI को वह करने के लिए कहा जो एक बहुविकल्पीय परीक्षण नहीं कर सकता: गलतियों को वर्गीकृत करना।
जब कोई छात्र बहुविकल्पीय प्रश्न का गलत उत्तर देता है, तो वह बस एक गलत विकल्प (डिस्ट्रैक्टर) चुन लेता है। टेस्ट डिजाइनर यह मान लेते हैं कि गलत विकल्प एक विशिष्ट गलतफहमी का प्रतिनिधित्व करता है। लेकिन AI ने, निबंधों को पढ़कर, पाया कि छात्र ऐसी गलतियाँ कर रहे थे जिनके बारे में टेस्ट डिजाइनरों ने कभी सोचा भी नहीं था।
उपमा (Analogy):
कल्पना कीजिए कि एक जासूस चोर की तलाश कर रहा है।
- बहुविकल्पीय परीक्षण तीन संदिग्धों की एक लाइनअप की तरह है। जासूस उनमें से एक को चुनता है, लेकिन शायद असली चोर उस लाइनअप में था ही नहीं।
- AI विश्लेषण चोर की डायरी पढ़ने जैसा है। डायरी से पता चलता है कि चोर किसी पूरी तरह से अलग अपराध के बारे में सोच रहा था, या किसी ऐसे उपकरण का उपयोग कर रहा था जिसके बारे में जासूस को पता ही नहीं था।
पेपर के वास्तविक उदाहरण:
- प्रश्न 5: बहुविकल्पीय विकल्पों ने सुझाव दिया कि छात्र "मोमेंटम" या "न्यूटन के नियमों" के बारे में भ्रमित थे। हालांकि, AI ने पाया कि कई छात्र टकराव के प्रकार (इलास्टिक बनाम इनइलास्टिक) के बारे में भ्रमित थे, जिसके बारे में टेस्ट ने कभी पूछा ही नहीं था। वे "बाउंसिंग" और "स्टिकिंग" जैसी अवधारणाओं को इस तरह से मिला रहे थे जिसे बहुविकल्पीय विकल्प कैप्चर नहीं कर सकते थे।
- प्रश्न 16 और 23: AI ने उन छात्रों को पाया जिन्होंने सही अंतिम उत्तर तो प्राप्त किया लेकिन वहां तक पहुँचने के लिए पूरी तरह से गलत तर्क का उपयोग किया। एक बहुविकल्पीय परीक्षण में, ये छात्र "सही" स्कोर प्राप्त करेंगे। हालाँकि, AI ने पकड़ा कि उनका तर्क त्रुटिपूर्ण था (जैसे गलत भौतिक सिद्धांत का उपयोग करना) और इसे "गलत अनुप्रयोग" (misapplication) के रूप में चिह्नित किया।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र दो मुख्य दावे करता है:
- विश्वसनीयता: AI निबंधों को एक मानव शिक्षक की तरह ही सटीक रूप से ग्रेड कर सकता है, जिससे बड़ी कक्षाओं के लिए लिखित स्पष्टीकरण को ग्रेड करना संभव हो जाता है बिना स्टाफ को थकाए।
- गहराई: AI उन "छिपी हुई" गलतफहमियों को उजागर कर सकता है जिन्हें बहुविकल्पीय परीक्षण मिस कर देते हैं। यह एक सूक्ष्मदर्शी (microscope) की तरह कार्य करता है, जो शिक्षकों को भौतिकी के बारे में छात्रों के सोचने के विशिष्ट और जटिल तरीकों को दिखाता है, न कि केवल एक साधारण "सही/गलत" स्कोर।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि उन्होंने केवल तीन प्रश्नों और छात्रों के एक विशिष्ट समूह का परीक्षण किया है। वे यह दावा नहीं कर रहे हैं कि यह अभी सभी शैक्षिक समस्याओं को हल कर देता है, लेकिन उन्होंने यह सिद्ध कर दिया है कि "डिजिटल सहायक" उन चीजों को देख सकता है जिन्हें "बहुविकल्पीय दरवाजा" छिपाए रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।