Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory
यह शोध पत्र LLM-आधारित स्वचालित लघु उत्तर ग्रेडिंग का मूल्यांकन करने के लिए एक आइटम रिस्पांस थ्योरी (IRT) ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि समान समग्र स्कोर वाले मॉडल प्रतिक्रिया की कठिनाई बढ़ने के साथ विशिष्ट मजबूती प्रोफाइल प्रदर्शित करते हैं और उन विशिष्ट भाषाई एवं अर्थ संबंधी विशेषताओं की पहचान करता है जो ग्रेडिंग त्रुटियों के साथ सह-संबंधित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप लघु निबंधों (short essays) के ढेर को ग्रेड करने वाले एक शिक्षक हैं। कुछ उत्तर स्पष्ट हैं: "आकाश नीला है" स्पष्ट रूप से सही है। अन्य कठिन हैं: एक छात्र एक ऐसा वाक्य लिखता है जो आधा सही और आधा गलत है, और जिसमें भ्रमित करने वाले शब्दों का उपयोग किया गया है।
लंबे समय तक, जब शोधकर्ताओं ने एआई (लार्ज लैंग्वेज मॉडल्स या LLMs) का परीक्षण यह देखने के लिए किया कि क्या वे इन निबंधों को स्वचालित रूप से ग्रेड कर सकते हैं, तो उन्होंने केवल अंतिम ग्रेड को देखा। उन्होंने पूछा, "क्या एआई कुल मिलाकर 80% सही था?" यह ऐसा ही है जैसे यह कहना कि एक बास्केटबॉल खिलाड़ी "अच्छा" है क्योंकि उसने अपने 80% शॉट सही लगाए, बिना यह ध्यान दिए कि उसने सभी आसान ले-अप्स (layups) तो बना लिए लेकिन हर एक कठिन थ्री-पॉइंटर मिस कर दिया।
यह पेपर तर्क देता है कि यह "औसत स्कोर" वाला दृष्टिकोण बहुत सारे महत्वपूर्ण विवरणों को छिपा देता है। इसके बजाय, लेखक मनोविज्ञान के एक उपकरण का उपयोग करते हैं जिसे आइटम रिस्पॉन्स थ्योरी (IRT) कहा जाता है। IRT को एक विशेष सूक्ष्मदर्शी (microscope) के रूप में सोचें जो आपको एक साथ दो चीजें देखने की अनुमति देता है:
- ग्रेडर कितना कुशल है (एआई)।
- विशिष्ट प्रश्न कितना कठिन है (छात्र का उत्तर)।
यहाँ उनके निष्कर्षों का विवरण दिया गया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. "कठिनाई वक्र" (Difficulty Curve) परीक्षण
शोधकर्ताओं ने 17 अलग-अलग एआई मॉडलों का विज्ञान के दो सेटों पर परीक्षण किया। उन्होंने केवल कुल सही उत्तरों को नहीं गिना; उन्होंने छात्र के उत्तरों को "आसान" से "कठिन" के क्रम में व्यवस्थित किया, जो इस आधार पर था कि वे कितने पेचीदा थे।
निष्कर्ष: भले ही दो एआई मॉडलों का कुल स्कोर समान हो, वे कठिन होने पर बहुत अलग व्यवहार करते हैं।
- उपमा: कल्पना कीजिए कि दो धावक हैं। धावक A और धावक B दोनों एक 5-मील की दौड़ को एक ही कुल समय में पूरा करते हैं। लेकिन, धावक A समतल जमीन पर तेज दौड़ता है और पहाड़ियों पर आकर बहुत धीमा हो जाता है। धावक B पूरे समय एक स्थिर गति बनाए रखता है।
- परिणाम: कुछ एआई धावक A की तरह हैं। वे आसान उत्तरों को ग्रेड करने में बेहतरीन हैं लेकिन जब छात्र का उत्तर भ्रमित करने वाला या अस्पष्ट होता है, तो वे पूरी तरह से बिखर जाते हैं। अन्य एआई धावक B की तरह हैं; वे आसान कार्यों में बिल्कुल सबसे तेज नहीं हो सकते हैं, लेकिन जब उत्तर कठिन हो जाते हैं, तब भी वे स्थिर और विश्वसनीय रहते हैं।
2. "सुरक्षित मध्य" (Safe Middle) का जाल
जब एआई मॉडलों का सामना बहुत कठिन उत्तरों से हुआ, तो उन्होंने केवल रैंडम अनुमान लगाना शुरू नहीं किया। उन्होंने एक विशिष्ट बुरी आदत विकसित की।
निष्कर्ष: जब कोई उत्तर समझने में कठिन होता, तो एआई एक "मध्यम-स्तर" के लेबल की ओर झुकने लगा जिसे partially_correct_incomplete (आंशिक रूप से सही_अपूर्ण) कहा जाता है।
- उपमा: एक अदालत में न्यायाधीश की कल्पना करें। जब सबूत भ्रमित करने वाले हों और वकील का तर्क अव्यवset हो, तो "दोषी" या "निर्दोष" कहने के बजाय, न्यायाधीश कहता रहता है, "खैर, यह कुछ हद तक दोनों है, चलो इसे 'शायद दोषी' कहते हैं।"
- परिणाम: एआई स्पष्ट अंतर बनाना बंद कर देता है। वह सभी भ्रमित करने वाले उत्तरों को इसी एक "सुरक्षित" मध्य श्रेणी में समाहित कर देता है। वह बहुत अधिक आशावादी हो जाता है, यह सोचते हुए कि एक अव्यवस्थित उत्तर "आंशिक रूप से सही" है, जबकि वह वास्तव में गलत या अप्रासंगिक हो सकता है।
3. कुछ उत्तर इतने कठिन क्यों हैं?
लेखकों ने यह भी देखा कि एआई के लिए किसी उत्तर को ग्रेड करना क्यों कठिन है। उन्होंने छात्र की प्रतिक्रियाओं के शब्दों और अर्थों का विश्लेषण किया।
निष्कर्ष: कठिन उत्तरों में आमतौर पर तीन विशिष्ट लक्षण होते हैं:
- वे "पाठ्यपुस्तक" के उत्तर से मेल नहीं खाते: उनका अर्थ सही संदर्भ उत्तर से बहुत दूर होता है।
- उनमें विरोधाभास होते हैं: छात्र ऐसी बातें कहता है जो एक-दूसरे के विरुद्ध या तथ्यों के विरुद्ध होती हैं।
- वे "विलगित" (isolated) होते हैं: भाषा की दुनिया में, ये उत्तर द्वीपों की तरह हैं। वे अन्य सामान्य उत्तरों के समान नहीं दिखते। वे इस तरह से अद्वितीय या अजीब हैं जो एआई को भ्रमित कर देते हैं।
मुख्य निष्कर्ष (The Big Takeaway)
यह पेपर निष्कर्ष निकालता है कि हमें केवल यह नहीं पूछना चाहिए कि "कौन सा एआई सबसे अच्छा ग्रेडर है?" हमें यह पूछना चाहिए कि "कौन सा एआई तब भी शांत और सटीक रहता है जब उत्तर उलझ जाते हैं?"
इस नए "सूक्ष्मदर्शी" (IRT) का उपयोग करके, हम देख सकते हैं कि कुछ एआई नाजुक हैं—वे दबाव में टूट जाते हैं—जबकि अन्य मजबूत हैं। यह हमें समझने में मदद करता है कि ग्रेडिंग केवल सही संख्या प्राप्त करने के बारे में नहीं है; यह इस बारे में है कि एआई कहाँ और क्यों विफल हो सकता है, विशेष रूप से उन पेचीदा, वास्तविक दुनिया के उत्तरों के मामले में जो छात्र वास्तव में लिखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।