EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions
यह शोध पत्र EDU-CIRCUIT-HW प्रस्तुत करता है, जो 1,300 से अधिक प्रामाणिक विश्वविद्यालय-स्तरीय STEM हस्तलिखित समाधानों का एक डेटासेट है, ताकि जटिल हस्तलिखित तर्क को पहचानने में वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में महत्वपूर्ण विश्वसनीयता अंतराल को उजागर किया जा सके और यह प्रदर्शित किया जा सके कि न्यूनतम मानवीय हस्तक्षेप के साथ पहचाने गए त्रुटि पैटर्नों का लाभ उठाना स्वचालित ग्रेडिंग की मजबूती को प्रभावी ढंग से बढ़ा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जिसके पास ग्रेड करने के लिए होमवर्क का पहाड़ है। हर रात, आप एक जादुई रोबोटिक सहायक के सपने देखते हैं जो आपके छात्रों की बिखरी हुई लिखावट को पढ़ सके, उनके जटिल गणित और सर्किट आरेख (circuit diagrams) को समझ सके, और उन्हें तुरंत सही ग्रेड दे सके।
यह शोध पत्र उस रोबोट को बनाने के बारे में है, लेकिन एक बहुत ही महत्वपूर्ण मोड़ के साथ: रोबोट वर्तमान में मतिभ्रम (hallucinating) का शिकार है, और हमें इसे यह सिखाना है कि भ्रमित होने पर अपनी गलती कैसे स्वीकार की जाए।
यहाँ इस शोध पत्र की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "स्मार्ट" रोबोट वास्तव में एक "भटका हुआ" रोबोट है
शोधकर्ताओं ने विश्वविद्यालय स्तर के इंजीनियरिंग होमवर्क को पढ़ने के लिए दुनिया के सबसे उन्नत AI (मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स) का उपयोग करने का प्रयास किया। ये मॉडल एक अत्यंत बुद्धिमान छात्र की तरह हैं जो एक किताब पढ़ सकते हैं और उसका सटीक सारांश दे सकते हैं।
लेकिन जब आप उन्हें हाथ से बना हुआ एक सर्किट आरेख, एक टेढ़ी-मेढ़ी समीकरण, और कुछ बिखरे हुए नोट्स वाला कागज देते हैं, तो वे उलझ जाते हैं।
- उपमा: कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान अनुवादक से दादाजी द्वारा लिखे गए हाथ से लिखे पत्र का अनुवाद करने के लिए कह रहे हैं। दादाजी ने "I love you" लिखा है लेकिन 'L' एक '7' जैसा दिखता है। AI इसे "I 7ve you" के रूप में पढ़ सकता है।
- पेंच: एक साधारण परीक्षण में, AI अभी भी सही ग्रेड का अनुमान लगा सकता है क्योंकि "7" ने अंतिम उत्तर को नहीं बदला। लेकिन वास्तविक दुनिया में, वह "7" एक काम करने वाले सर्किट और एक फटने वाले फ्यूज के बीच का अंतर हो सकता है। AI भाग्यवश सही "ग्रेड" प्राप्त कर रहा था, लेकिन वह "पढ़ने" वाले हिस्से में विफल हो रहा था।
2. समाधान: "EDU-CIRCUIT-HW" डेटासेट
रोबोटों का ठीक से परीक्षण करने के लिए, शोधकर्ताओं को केवल साफ, टाइप किए गए गणितीय प्रश्नों का उपयोग नहीं करना था। उन्हें वास्तविक चीज़ की आवश्यकता थी।
- उन्होंने क्या किया: उन्होंने एक वास्तविक विश्वविद्यालय के सर्किट विश्लेषण क्लास से 1,300 से अधिक वास्तविक होमवर्क असाइनमेंट एकत्र किए। वे आदर्श नहीं थे; वे बिखरे हुए थे, उनमें कटे हुए नंबर, अजीब आरेख और भ्रमित करने वाले नोट्स थे।
- "गोल्ड स्टैंडर्ड": उन्होंने विशेषज्ञों को काम पर रखा जिन्होंने हर एक असाइनमेंट को सावधानीपूर्वक शुद्ध, साफ टेक्स्ट में फिर से लिखा। यह पढ़ने के परीक्षण के लिए "उत्तर कुंजी" (Answer Key) बन गया।
3. खोज: "अदृश्य" त्रुटियां
जब उन्होंने इस डेटासेट के विरुद्ध AI रोबोटों का परीक्षण किया, तो उन्हें कुछ चौंकाने वाला पता चला।
- भ्रम: AI रोबोट लगभग 80% ग्रेड सही प्राप्त कर रहे थे। ऐसा लग रहा था कि वे बहुत अच्छा काम कर रहे हैं!
- वास्तविकता: जब शोधकर्ताओं ने यह देखा कि AI टेक्स्ट को कैसे पढ़ रहा है, तो उन्हें सैकड़ों छिपी हुई गलतियाँ मिलीं। AI एक रेसिस्टर (resistor) मान को गलत पढ़ रहा था, "प्लस" के निशान को "माइनस" समझ रहा था, या सर्किट लूप की गलत व्याख्या कर रहा था।
- रूपक: यह एक कार के सड़क पर चलने जैसा है। GPS (AI) कहता है "बड़े लाल खलिहान पर बाएं मुड़ें।" कार बाएं मुड़ती है। लेकिन GPS ने वास्तव में एक नीला खलिहान और एक हरा खलिहान देखा था। वह मंजिल तक तो पहुँच गया, लेकिन वह दृश्यों को लेकर भ्रमित (hallucinating) था। यदि सड़क की स्थितियां बदल जाती हैं (एक कठिन परीक्षा), तो कार दुर्घटनाग्रस्त हो जाएगी क्योंकि उसे वास्तव में पता ही नहीं है कि वह क्या देख रहा है।
उन्होंने इन त्रुटियों को चार श्रेणियों में विभाजित किया:
- टाइपो (Typos): "6" को "b" के रूप में पढ़ना।
- संरचना (Structure): भिन्न (fraction) या फॉर्मूला लेआउट को बिगाड़ देना।
- ड्राइंग (Drawing): हाथ से बने सर्किट को गलत समझना (जैसे, यह सोचना कि दो तार जुड़े हुए हैं जबकि वे नहीं हैं)।
- तर्क (Logic): तर्क के चरण को छोड़ देना या संचालन के क्रम (order of operations) को मिला देना।
4. समाधान: "ह्यूमन-इन-द-लूप" सुरक्षा जाल
शोधकर्ताओं ने महसूस किया कि वे केवल अंधे होकर AI पर भरोसा नहीं कर सकते। लेकिन वे सब कुछ ग्रेड करने के लिए मनुष्यों को भी काम पर नहीं रखना चाहते थे (इससे तो AI का उद्देश्य ही खत्म हो जाएगा)।
इसलिए, उन्होंने एक हाइब्रिड सिस्टम बनाया, जिसे वे "रीग्रेडिंग मॉड्यूल" कहते हैं।
- यह कैसे काम करता है:
- AI होमवर्क पढ़ता है और एक ग्रेड देता है।
- एक दूसरा "AI डिटेक्टिव" (जासूस) रीडिंग की जांच करता है और पूछता है: "रुको, क्या यह समझ में आ रहा है? क्या AI ने किसी प्रतीक को गलत पढ़ा है?"
- यदि डिटेक्टिव को कोई संभावित त्रुटि मिलती है, तो वह होमवर्क को फ्लैग (चिह्नित) कर देता है।
- जादू: यदि फ्लैग "हाई कॉन्फिडेंस" (उच्च विश्वास) है, तो AI इसे स्वयं ठीक कर लेता है। यदि फ्लैग "लो कॉन्फिडेंस" (कम विश्वास) है (यानी यह बहुत अधिक बिखरा हुआ है कि बताया न जा सके), तो यह उस विशिष्ट होमवर्क को एक मानव शिक्षक के पास भेज देता है।
- परिणाम: इस सिस्टम ने केवल 3.3% होमवर्क को मनुष्यों के पास भेजा। बाकी होमवर्क AI द्वारा ग्रेड किए गए, लेकिन डिटेक्टिव के सुरक्षा जाल के साथ।
- निष्कर्ष: ग्रेडिंग की सटीकता बढ़कर एक मानव विशेषज्ञ के स्तर तक पहुँच गई, लेकिन इसमें मानव कार्य 97% कम लगा।
मुख्य निष्कर्ष
यह शोध पत्र हमें सिखाता है कि शिक्षा या चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में, हम केवल अंतिम स्कोर को देखकर संतुष्ट नहीं हो सकते। हमें "सोचने की प्रक्रिया" (पढ़ने) की जांच करनी होगी।
यदि आप छात्रों को ग्रेड करने के लिए AI का उपयोग करना चाहते हैं, तो आप केवल यह नहीं कह सकते कि "यह रहा होमवर्क, ग्रेड दो।" आपको एक ऐसे सिस्टम की आवश्यकता है जो:
- जानता हो कि वह गलत हो सकता है।
- जिसके पास अपनी गलतियों को पहचानने का तरीका हो।
- जिसे पता हो कि बैकअप के लिए मानव को कब बुलाना है।
शोधकर्ताओं ने केवल एक बेहतर रोबोट नहीं बनाया; उन्होंने रोबोट के लिए एक सुरक्षा हार्नेस (safety harness) बनाया, यह सुनिश्चित करते हुए कि जब इसका वास्तविक दुनिया में उपयोग किया जाए, तो यह किसी छात्र को इसलिए फेल न कर दे क्योंकि इसने "प्लस" के निशान को "माइनस" समझ लिया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।