Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक नया गणित का टेस्ट लिखने की कोशिश कर रहे हैं। आपको इसे वास्तविक छात्रों को देने से पहले यह जानना होगा: क्या यह प्रश्न बहुत कठिन है? क्या वह वाला बहुत आसान है? आमतौर पर, यह जानने का एकमात्र तरीका यह है कि इसे बच्चों के एक बड़े समूह को दिया जाए, उनके पेपर जाँचे जाएँ, और आंकड़ों का विश्लेषण किया जाए। यह धीमा, महंगा और बहुत अधिक मेहनत वाला काम है।

यहाँ प्रवेश होता है "सिम्युलेटेड स्टूडेंट" (अनुकरित छात्र) का। वैज्ञानिक आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग इन छात्रों की भूमिका निभाने के लिए करने की कोशिश कर रहे हैं। विचार यह है कि एक सुपर-स्मार्ट कंप्यूटर से टेस्ट लेने, उत्तर जेनरेट करने और फिर उन उत्तरों का उपयोग यह पता लगाने के लिए करना है कि प्रश्न कितने कठिन हैं। यह समय और पैसा बचाने के लिए एक शॉर्टकट जैसा लगता है। लेकिन यहाँ एक पेंच है: ये AI छात्र बहुत ज्यादा परफेक्ट हैं। वे ऐसे क्लास की तरह हैं जहाँ हर एक छात्र एक जीनियस है जो कभी गलती नहीं करता और हर सवाल का जवाब बिल्कुल एक ही तरीके से देता है। यदि आप परफेक्ट जीनियसों की एक क्लास के आधार पर टेस्ट को ग्रेड करने की कोशिश करते हैं, तो आपको लगेगा कि हर प्रश्न आसान है, और आप उन छात्रों को मिस कर देंगे जो वास्तव में संघर्ष कर रहे हैं। AI बहुत अधिक एकसमान और सटीक है, जिससे वह एक वास्तविक, अव्यवस्थित कक्षा का वास्तविक प्रतिनिधि नहीं बन पाता।

यहीं से वेंजी झो (Wenjie Zhou) और उनके सहयोगियों का एक नया अध्ययन आता है। उन्होंने एक सरल प्रश्न पूछा: क्या हम AI को एक "खराब" छात्र बनना सिखा सकते हैं? केवल एक रैंडम बुरा छात्र नहीं, बल्कि एक विशिष्ट, यथार्थवादी कौशल मिश्रण वाला छात्र—जैसे कोई जो भिन्नों (fractions) को जोड़ने में बहुत अच्छा है लेकिन उन्हें सरल बनाने में बहुत खराब है? उन्होंने कॉग्निटिव डायग्नोस्टिक प्रोफाइलिंग (CDP) नामक एक विधि विकसित की। केवल AI को "टेस्ट देने" के लिए कहने के बजाय, वे उसे एक विस्तृत "कैरेक्टर शीट" देते हैं जो यह बताती है कि AI छात्र के पास कौन से कौशल हैं जिनमें उसने महारत हासिल कर ली है और किन कौशलों की उसमें कमी है। इन विशिष्ट प्रोफाइलों को AI में फीड करके, वे एक सिम्युलेटेड क्लास बनाने में सफल रहे जो वास्तव में एक वास्तविक क्लास की तरह दिखती और व्यवहार करती है, जिसमें जीनियस, औसत छात्र और विशिष्ट अवधारणाओं के साथ संघर्ष करने वाले छात्रों का मिश्रण होता है।

"परफेक्ट" AI छात्रों के साथ समस्या

शोधकर्ताओं ने सबसे पहले यह परीक्षण किया कि क्या होता है जब आप बस एक लार्ज लैंग्वेज मॉडल (LLM)—जिस तरह का AI चैटबॉट्स को शक्ति देता है—को टेस्ट देने के लिए कहते हैं। उन्होंने एक क्लासिक डेटासेट का उपयोग किया: 536 वास्तविक मिडिल-स्कूल के छात्र जिन्होंने भिन्नों के घटाव (fraction subtraction) पर 15 प्रश्नों का एक टेस्ट दिया था। यह टेस्ट पांच विशिष्ट कौशलों की जांच करने के लिए बनाया गया था, जैसे "पूर्ण संख्या से उधार लेना" या "पूर्ण संख्याओं को भिन्नों में बदलना।"

जब AI ने बिना किसी विशेष निर्देश के (नो-प्रोफाइल बेसलाइन) टेस्ट दिया, तो इसने एक सुपरह्यूमन की तरह व्यवहार किया। इसने लगभग सब कुछ सही किया। परिणाम उबाऊ रूप से एकसमान थे। AI छात्र स्कोर रेंज के शीर्ष पर क्लस्टर हो गए, और टेस्ट अविश्वसनीय रूप से आसान लग रहा था। शोधकर्ताओं ने पाया कि AI के उत्तर वास्तविक मानव डेटा से बिल्कुल मेल नहीं खाते थे। AI बहुत बुद्धिमान और बहुत सुसंगत था, जिससे एक "हाइपर-एक्यूरेसी का अभिशाप" पैदा हुआ, जहाँ वह एक वास्तविक कक्षा की विविधता को दिखाने में विफल रहा। यह मौसम की भविष्यवाणी करने के लिए केवल धूप वाले दिनों को देखने जैसा था; आप बारिश, तूफान और बादलों को मिस कर जाते हैं।

समाधान: AI को एक "कैरेक्टर शीट" देना

इसे ठीक करने के लिए, टीम ने कॉग्निटिव डायग्नोस्टिक प्रोफाइलिंग (CDP) पेश किया। इसे AI को टेस्ट शुरू करने से पहले एक विस्तृत जीवनी देने के रूप la समझें।

1. ब्लूप्रिंट: सबसे पहले, उन्होंने टेस्ट को इसके पांच मुख्य कौशलों (एट्रीब्यूट्स) में विभाजित किया।
2. प्रोफाइल: केवल "छात्र बनो" कहने के बजाय, उन्होंने प्रत्येक सिम्युलेटेड छात्र के लिए एक "प्रोफाइल" बनाया। यह प्रोफाइल बाइनरी स्विच की एक सूची थी: "कौशल A कर सकता है? हाँ। कौशल B कर सकता है? नहीं।"
3. अनुवाद: उन्होंने इन स्विचों को प्राकृतिक भाषा में बदल दिया। उदाहरण के लिए, एक प्रोफाइल पढ़ सकती है: "आप एक ऐसे छात्र हैं जो भिन्नों को सरल बनाने में बहुत अच्छे हैं लेकिन पूर्ण संख्याओं से उधार लेने में संघर्ष करते हैं। आप बुनियादी बातें समझते हैं लेकिन जब संख्याएँ जटिल हो जाती हैं तो भ्रमित हो जाते हैं।"
4. सिमुलेशन: उन्होंने इस विवरण को टेस्ट के सवालों के साथ AI को फीड किया। इसके बाद AI ने उसी छात्र की तरह सवालों के जवाब दिए जैसा कि वह किरदार निभा रहा था।

उन्होंने प्रोफाइल बनाने के दो तरीके टेस्ट किए। पहले तरीके में (अनइंफॉर्मेटिव CDP), उन्होंने AI छात्रों को कौशल बेतरतीब ढंग से सौंपे, जिससे क्षमताओं का एक विस्तृत मिश्रण बना। दूसरे तरीके में (इंफॉर्मेटिव CDP), उन्होंने वास्तविक मानव छात्रों के डेटा का उपयोग यह तय करने के लिए किया कि कितने "जीनियस", "औसत" और "संघर्ष करने वाले" छात्र बनाए जाएं, जो वास्तविक कक्षा में कौशल के वास्तविक वितरण की नकल करते हैं।

परिणाम: "परफेक्ट" से "वास्तविक" तक

परिणाम गेम-चेंजर थे। जब AI छात्रों को ये कैरेक्टर शीट्स दी गईं, तो सिमुलेशन अचानक यथार्थवादी हो गया।

• वितरण (Distribution): "नो-प्रोफाइल" संस्करण में, AI छात्र शीर्ष पर एक साथ गुच्छे में थे। प्रोफाइल्स के साथ, स्कोर फैल गए। "इंफॉर्मेटिव CDP" पद्धति ने एक बेल कर्व (bell curve) बनाया जो वास्तविक मानव छात्रों के लगभग समान था। AI की क्षमता वितरण और वास्तविक मनुष्यों के वितरण के बीच का ओवरलैप 0.36 के निम्न स्तर से बढ़कर 0.83 के उच्च स्तर तक पहुँच गया (जहाँ 1.0 का अर्थ है कि वे समान हैं)।
• प्रोफाइल: शोधकर्ताओं ने जाँच की कि क्या AI वास्तव में उस किरदार की तरह व्यवहार कर रहा था जिसे वह निभा रहा था। यदि प्रोफाइल ने कहा "उधार लेने में बुरा है," तो क्या AI ने उन सवालों को गलत किया? हाँ। AI के प्रदर्शन और उस विशिष्ट कौशल प्रोफाइल के लिए अपेक्षित मानव प्रदर्शन के बीच सहसंबंध (correlation) अविश्वसनीय रूप से उच्च था, जो 0.92 से 0.98 के बीच था। इसका मतलब है कि AI केवल अनुमान नहीं लगा रहा था; वह वास्तव में उस विशिष्ट ताकत और कमजोरी वाले छात्र की संज्ञानात्मक स्थिति का अनुकरण कर रहा था।
• टेस्ट की कठिनाई: सबसे महत्वपूर्ण हिस्सा यह है। लक्ष्य यह देखना था कि क्या AI यह पता लगाने में मदद कर सकता है कि टेस्ट के प्रश्न कितने कठिन हैं। बिना प्रोफाइल के, AI को लगा कि प्रश्न बहुत आसान थे (कठिनाई अनुमान में त्रुटि बहुत बड़ी थी, "रूट-मीन-स्क्वायर एरर" 6 से अधिक था)। प्रोफाइल्स के साथ, AI के अनुमान बहुत सटीक हो गए। सबसे बेहतर प्रदर्शन करने वाले मॉडल (Gemini 3.0 Flash "थिंकिंग" मोड के साथ) के लिए, त्रुटि 6.31 से घटकर केवल 0.90 रह गई। AI हर सवाल को बहुत आसान समझने से बदलकर, सटीक रूप से भविष्यवाणी करने लगा कि कौन से सवाल कठिन और कौन से आसान हैं, जो वास्तविक मानव डेटा से लगभग पूरी तरह मेल खाता था।

यह क्यों मायने रखता है

यह अध्ययन बताता है कि हमें यह जानने के लिए कि टेस्ट अच्छा है या नहीं, एक हजार वास्तविक छात्रों के टेस्ट देने का इंतज़ार करने की ज़रूरत नहीं है। इस "प्रोफाइल-आधारित" दृष्टिकोण का उपयोग करके, हम यथार्थवादी सिम्युलेटेड डेटा जेनरेट कर सकते हैं जो शिक्षकों को बहुत तेज़ी से और सस्ते में टेस्ट को कैलिब्रेट करने में मदद करता है। मुख्य बात यह है कि AI को बताया जाना चाहिए कि वह कौन होने का नाटक कर रहा है। बिना किसी विशिष्ट संज्ञानात्मक प्रोफाइल के, AI एक परफेक्ट, अवास्तविक रोबोट बन जाता है। प्रोफाइल के साथ, वह एक विविध, त्रुटिपूर्ण और यथार्थवादी छात्र बन जाता है।

शोधकर्ताओं ने पाया कि यह तरीका उन मॉडल्स के साथ सबसे अच्छा काम करता है जिनमें "रीज़निंग" (तर्क करने) की क्षमता होती है (जैसे कुछ AI मॉडल्स में "थिंकिंग" मोड), जो कौशल प्रोफाइल्स के जटिल तर्क का पालन करने में बेहतर होते हैं। हालाँकि, उन्होंने यह भी नोट किया कि यह एक सिमुलेशन है। जबकि AI के उत्तर मानव छात्रों के गणित से मेल खाते थे, हम यह नहीं जानते कि क्या AI वास्तव में उसी तरह "सोच" रहा है जैसे एक इंसान सोचता है या वह केवल सही शब्दों की भविष्यवाणी कर रहा है। लेकिन बेहतर टेस्ट डिजाइन करने के उद्देश्य से, यह सिमुलेशन एक शक्तिशाली उपकरण है जो हमें एक ऐसे भविष्य के करीब लाता है जहाँ टेस्ट डेवलपमेंट तेज़, सस्ता और अधिक समावेशी है।