Toward LLM-Supported Automated Assessment of Critical Thinking Subskills
यह शोध पत्र छात्रों के तर्कपूर्ण निबंधों में आलोचनात्मक सोच के उप-कौशलों का स्वचालित रूप से मूल्यांकन करने के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के उपयोग की व्यवहार्यता की जांच करता है, जिसमें यह पाया गया है कि Llama 3.1 8B का सुपरवाइज्ड फाइन-ट्यूनिंग सबसे अच्छे परिणाम देता है, विशेष रूप से स्पष्ट दक्षता अंतर और संतुलित डेटा वाले उप-कौशलों के लिए, जबकि सूक्ष्म बारीकियों का पता लगाने और असंतुलित लेबल को संभालने में चुनौतियों को भी रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो मिडिल और हाई स्कूल के छात्रों द्वारा लिखे गए 500 निबंधों को ग्रेड करने की कोशिश कर रहे हैं। आपका लक्ष्य केवल उनकी व्याकरण या वर्तनी (spelling) की जांच करना नहीं है; आप यह देखना चाहते हैं कि क्या वे तार्किक रूप से सोच (critical thinking) रहे हैं। क्या वे तथ्य और फर्जी खबर के बीच अंतर कर सकते हैं? क्या वे एक कमजोर तर्क को पहचान सकते हैं? क्या वे अपने विचारों के लिए एक मजबूत मामला बना सकते हैं?
यह एक कठिन काम है। यह एक सामग्री सूची (ingredients list) को देखकर ही सूप की गुणवत्ता का आकलन करने जैसा है। इसमें बहुत समय लगता है, और अलग-अलग शिक्षक भी इस बात पर असहमत हो सकते हैं कि कोई विशेष निबंध "अच्छा" है या "बहुत अच्छा"।
यह शोध पत्र AI (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या LLMs) को वह शिक्षक बनने के लिए सिखाने के बारे में है। शोधकर्ता यह जानना चाहते थे: क्या एक कंप्यूटर इन निबंधों को पढ़ सकता है और हमें ठीक उसी तरह बता सकता है कि छात्र कितनी अच्छी तरह सोच रहा है, जैसे कि एक मानव विशेषज्ञ करेगा?
यहाँ उनके प्रयोग की कहानी है, जिसे सरल भागों में विभाजित किया गया है।
1. चुनौती: "क्रिटिकल थिंकिंग" को परिभाषित करना
सबसे पहले, टीम को यह तय करना था कि कागज पर "क्रिटिकल थिंकिंग" वास्तव में कैसी दिखती है। वे केवल यह नहीं कह सकते थे कि "यह निबंध स्मार्ट है।" उन्हें इसे विशिष्ट उप-कौशल (subskills) में तोड़ना था, जैसे कि एक जटिल रेसिपी को चरणों में तोड़ना:
- सामग्री मिलाना: क्या छात्र ने एक से अधिक स्रोतों का उपयोग किया?
- सूप चखना: क्या उन्होंने जांचा कि साक्ष्य (evidence) मजबूत थे या कमजोर?
- विपक्षी तर्क देना (Devil's Advocate): क्या उन्होंने तर्क के दूसरे पक्ष को संबोधित किया?
- जहर से बचना: क्या उन्होंने तार्किक जाल (fallacies) से परहेज किया?
उन्होंने पाँच स्तरों वाला एक रूब्रिक (स्कोरिंग गाइड) बनाया, जो "लागू नहीं" (छात्र ने प्रयास भी नहीं किया) से लेकर "निपुणता" (छात्र क्रिटिकल थिंकिंग का उस्ताद है) तक जाता है।
2. मानव प्रशिक्षण शिविर
AI को सिखाने से पहले, शोधकर्ताओं को "गोल्ड स्टैंडर्ड" उत्तरों की आवश्यकता थी। उन्होंने मानव विशेषज्ञों (ग्रेजुएट छात्रों) को किराए पर लिया ताकि वे नए रूब्रिक का उपयोग करके 500 निबंधों को पढ़ सकें और उन्हें स्कोर दे सकें।
- परिणाम: यह कठिन काम था! यहाँ तक कि इंसान भी हमेशा पूरी तरह से सहमत नहीं थे। कभी-कभी, एक शिक्षक को लगता था कि निबंध "अच्छा" है, और दूसरे को लगता था कि वह "ठीक-ठाक" है। इसने साबित कर दिया कि क्रिटिकल थिंकिंग को मापना मुश्किल है, यहाँ तक कि लोगों के लिए भी।
3. AI मुकाबला: रोबोट को सिखाने के तीन तरीके
शोधकर्ताओं ने AI को इन निबंधों को ग्रेड करने के लिए सिखाने के तीन अलग-अलग तरीके आजमाए:
विधि A: "ज़ीरो-शॉट" (तत्काल विशेषज्ञ)
उन्होंने बस AI को रूब्रिक दिया और कहा, "यह एक निबंध है, इसे ग्रेड करो।" यह किसी अजनबी से बिना किसी प्रशिक्षण के पेंटिंग को जज करने के लिए कहने जैसा है।- परिणाम: AI ठीक-ठाक था, लेकिन वह बारीकियों को मिस कर गया। यह एक पर्यटक की तरह था जो खेल के नियमों का अनुमान लगाने की कोशिश कर रहा हो।
विधि B: "फ्यू-शॉट" (उदाहरण से सीखने वाला)
उन्होंने AI को रूब्रिक के साथ-साथ पहले से ग्रेड किए गए निबंधों के कुछ उदाहरण भी दिए। "देखो, इस निबंध को 'अच्छा' इसलिए मिला क्योंकि इसने X किया। इस एक को 'बुरा' मिला क्योंकि इसने Y किया।"- परिणाम: बेहतर! AI ने उदाहरणों से सीखा, लेकिन उसे अभी भी सबसे कठिन हिस्सों के साथ संघर्ष करना पड़ा।
विधि C: "फाइन-ट्यूनिंग" (इंटर्नशिप)
यह सबसे बड़ा तरीका था। उन्होंने एक ओपन-सोर्स AI मॉडल (Llama 3.1) लिया और उसे उन 500 निबंधों पर "प्रशिक्षित" किया जिन्हें इंसानों ने पहले ही ग्रेड किया था। यह AI को एक इंटर्नशिप देने जैसा था जहाँ उसने सैकड़ों निबंध पढ़े और सीखा कि मानव शिक्षकों के सोचने का तरीका वास्तव में क्या था।- परिणाम: यही विजेता था। फाइन-ट्यून किया गया AI सबसे सटीक "शिक्षक" बन गया, जो मानव सहमति के स्तरों से बेहतर मेल खाता था।
4. उन्होंने क्या सीखा? (अच्छी बातें, बुरी बातें और पेचीदा बातें)
अच्छी खबर:
AI स्पष्ट पैटर्न पहचानने में बहुत अच्छा हो गया। यदि किसी निबंध में बहुत सारे तथ्य थे और स्रोतों का उल्लेख किया गया था, तो AI जानता था कि यह एक मजबूत निबंध है। यह उन कौशलों के लिए विशेष रूप से अच्छा था जहाँ "अच्छे" और "बुरे" निबंध के बीच का अंतर स्पष्ट था (जैसे यह पहचानना कि क्या छात्र ने कोई भी स्रोत उपयोग किया है या नहीं)।
बुरी खबर:
AI को सूक्ष्म अंतर (subtle differences) के मामले में संघर्ष करना पड़ा।
- "ग्रे एरिया" की समस्या: यदि कोई निबंध लगभग पूर्ण था लेकिन उसमें एक छोटी सी तार्किक खामी थी, तो AI कभी-कभी इसे मिस कर देता था।
- "इम्बैलेंस्ड" (असंतुलित) समस्या: अध्ययन में अधिकांश छात्र "औसत" (स्तर 2 या 3) थे। बहुत कम "मास्टर" (स्तर 4) थे। चूंकि AI ने बहुत कम "मास्टर्स" देखे थे, इसलिए जब इसका सामना किसी मास्टर से हुआ, तो यह भ्रमित हो गया। यह एक ऐसे डॉक्टर की तरह है जिसने केवल स्वस्थ लोगों को देखा है; जब कोई मरीज दुर्लभ बीमारी के साथ आता है, तो डॉक्टर निदान करने में चूक सकता है।
"जनरलाइजेशन" (सामान्यीकरण) की समस्या:
जब उन्होंने AI को एक नया कौशल सिखाने की कोशिश की जो उसने पहले कभी नहीं देखा था (जैसे "तार्किक त्रुटियाँ" या Logical Fallacies) बिना किसी उदाहरण के, तो वह विफल रहा। उसे उस विशिष्ट कौशल को समझने के लिए उदाहरणों की आवश्यकता थी। आप केवल AI को एक सामान्य नियम पुस्तिका नहीं दे सकते; उसे वह विशिष्ट खेल देखना होगा जो खेला जा रहा है।
5. बड़ी तस्वीर: यह क्यों मायने रखता है
दुनिया AI-जनित सामग्री, फर्जी खबरों और भ्रमित करने वाले तर्कों से भरी हुई है। इस अराजकता के बीच नेविगेट करने के लिए हमें क्रिटिकल थिंकिंग करने वाले लोगों की आवश्यकता है।
- वादा: यदि हम क्रिटिकल थिंकिंग को ग्रेड करने वाले AI उपकरण बना सकते हैं, तो शिक्षक हजारों निबंधों पर तुरंत फीडबैक दे सकते हैं। इसका मतलब है कि छात्रों को अपना ग्रेड मिलने के हफ्तों इंतजार करने के बजाय, लिखते समय ही तुरंत मदद मिल सकती है।
- वास्तविकता की जाँच: AI अभी मानव शिक्षकों का विकल्प नहीं है। यह एक शक्तिशाली सहायक है। यह तब सबसे अच्छा काम करता है जब कौशल स्पष्ट हों और उसे प्रशिक्षित करने के लिए पर्याप्त डेटा हो। सबसे जटिल और सूक्ष्म सोच के लिए, हमें अभी भी मानवीय आँखों की आवश्यकता है जो दोबारा जांच कर सकें।
संक्षेप में: शोधकर्ताओं ने एक रोबोट को "क्रिटिकल थिंकिंग" पर निबंध ग्रेड करना सिखाया। रोबोट ने वास्तविक उदाहरणों पर अभ्यास करके सबसे अच्छा सीखा (फाइन-ट्यूनिंग)। यह काफी अच्छा हो रहा है, लेकिन जब सवाल बहुत पेचीदा होते हैं, तो इसे अभी भी हाथ पकड़कर चलाने के लिए एक मानव शिक्षक की आवश्यकता होती है। यह उनके सोचने के कौशल के लिए एक व्यक्तिगत कोच प्रदान करने वाले भविष्य की ओर पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।