INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators
यह शोध पत्र INSIDE को प्रस्तुत करता है, जो एक छात्र मॉडलिंग फ्रेमवर्क है जो लार्ज लैंग्वेज मॉडल्स को ब्लूम्स टैक्सोनॉमी (Bloom's Taxonomy) पर आधारित छात्र कार्यों और उनके अंतर्निहित आंतरिक तर्क उत्पन्न करने के लिए फाइन-ट्यून करता है, जिससे मौजूदा प्रॉम्प्टिंग विधियों की तुलना में सिमुलेशन फिडेलिटी (simulation fidelity) और रीजनिंग अलाइनमेंट में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक छात्र बनना सिखाने की कोशिश कर रहे हैं। आप उसे बच्चों के कोड टाइप करने, अटकने, मदद मांगने और फिर से प्रयास करने के हजारों उदाहरण दिखाते हैं। आज के अधिकांश रोबोट उत्कृष्ट अभिनेताओं की तरह हैं जो स्क्रिप्ट को पूरी तरह से याद कर सकते हैं; वे ठीक वही कोड टाइप कर सकते हैं जो एक मानव छात्र टाइप करेगा। लेकिन वे यह समझने में बहुत खराब हैं कि मानव ने वह क्यों टाइप किया। वे नहीं जानते कि छात्र भ्रमित है, निराश है, अनुमान लगा रहा है, या उसे कोई "समझ आने वाली बात" (लाइटबल्ब मोमेंट) सूझी है। वे केवल अंतिम प्रदर्शन को देखते हैं, न कि छात्र के दिमाग में चल रहे उस उलझे हुए आंतरिक संवाद को। यह शोध पत्र, जिसका शीर्षक "INSIDE the Student's Mind" है, आर्टिफिशियल इंटेलिजेंस और शिक्षा के क्षेत्र से आता है। यह एक विशिष्ट समस्या का समाधान करता है: यह कैसे बनाया जाए कि AI सिम्युलेटर केवल यह नकल न करें कि छात्र क्या करते हैं, बल्कि वे उनकी तरह सोचें भी। लेखक इस विचार पर आधारित हैं कि सीखने को वास्तव में समझने के लिए, हमें दृश्य क्रियाओं के पीछे के अदृश्य तर्क को मॉडल करने की आवश्यकता है, ठीक वैसे ही जैसे एक जासूस यह पता लगाने की कोशिश करता है कि संदिग्ध ने क्या किया, बल्कि यह भी कि जब उसने वह किया तो वह क्या सोच रहा था।
शोधकर्ता एक नया ढांचा पेश करते हैं जिसे INSIDE (इंटरनल स्टूडेंट डायलॉग) कहा जाता है। इसे AI रोबोट को एक "गुप्त आवाज" या "विचार बुलबुला" (थॉट बबल) देने के रूप में समझें। केवल AI से "कोड की अगली पंक्ति लिखने" के लिए पूछने के बजाय, वे उससे पहले अपने आंतरिक विचारों को फुसफुसाने और फिर कोड लिखने के लिए कहते हैं। AI को यह सिखाने के लिए, टीम ने एक चतुर तरकीब का उपयोग किया: उन्होंने कंप्यूटर साइंस की एक कक्षा से वास्तविक डेटा लिया जहाँ छात्रों ने कोड जमा किया, एक AI ट्यूटर से फीडबैक प्राप्त किया, और फिर से प्रयास किया। चूंकि किसी ने छात्रों के वास्तविक विचारों को रिकॉर्ड नहीं किया था, इसलिए शोधकर्ताओं ने एक अत्यंत बुद्धिमान "शिक्षक" AI का उपयोग किया जो कोड परिवर्तनों और फीडबैक को देख सके, और फिर यह पुनर्निर्मित (रिकंस्ट्रक्ट) कर सके कि छात्र उस क्षण वास्तव में क्या सोच रहा होगा। उन्होंने एक ऐसा डेटासेट बनाया जहाँ प्रत्येक कोड सबमिशन को एक काल्पनिक लेकिन यथार्थवादी "सोच-विचार" (थिंक-अलाउड) की कहानी के साथ जोड़ा गया है।
जब उन्होंने इस नए "विचार + क्रिया" डेटा का उपयोग करके अपने AI मॉडल को प्रशिक्षित किया, तो कुछ दिलचस्प हुआ। पेपर बताता है कि ये मॉडल, जिन्हें वे INSIDE कहते हैं, वास्तविक छात्रों की नकल करने में उन मॉडलों की तुलना में बहुत बेहतर थे जो केवल कोड को देखते थे। वास्तव में, INSIDE मॉडल वास्तविक छात्रों के कोडिंग पैटर्न (जैसे कि उन्होंने कितनी लाइनें लिखीं या उन्होंने कितनी बार गलतियाँ कीं) से पिछले तरीकों की तुलना में बेहतर ढंग से मेल खाते थे। लेकिन असली जादू उनके "विचारों" में था। शोधकर्ताओं ने मापा कि AI का आंतरिक तर्क वास्तविक छात्र द्वारा किए गए कोड परिवर्तनों से कितनी अच्छी तरह मेल खाता है। उन्होंने पाया कि INSIDE मॉडलों ने 57.9% तक का रीजनिंग अलाइनमेंट (तर्क संरेखण) प्राप्त किया, जो उनके द्वारा परीक्षण किए गए सभी मॉडलों में सबसे अधिक स्कोर था।
पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि केवल AI को "अधिक कठिन" सोचने या "तार्किक रूप से" सोचने के लिए कहना पर्याप्त है। वे दिखाते हैं कि यदि आप एक मानक AI को कार्य करने से पहले तर्क करने के लिए कहते हैं, तो वह अक्सर पूर्ण, तार्किक विचार उत्पन्न करता है जो पूर्ण कोड की ओर ले जाते हैं—जो कि बिल्कुल वह नहीं है जो वास्तविक छात्र करते हैं। वास्तविक छात्र अक्सर भ्रमित, अधूरे या थोड़े गलत विचारों के साथ होते हैं जो बग वाले कोड की ओर ले जाते हैं। पेपर सुझाव देता है कि एक वास्तव में यथार्थवादी छात्र सिम्युलेटर बनाने के लिए, AI को अनिश्चित होने, गलतियाँ करने और कभी-कभी फीडबैक को गलत समझने की अनुमति दी जानी चाहिए, ठीक एक इंसान की तरह। परिणाम बताते हैं कि AI को पहले इस "उलझे हुए" आंतरिक संवाद को उत्पन्न करने के लिए मजबूर करके, यह छात्र के सीखने की बहुत अधिक सटीक तस्वीर बनाता है, जो वास्तविक मनुष्यों की सहायता के बिना AI ट्यूटर्स का परीक्षण करने और उन्हें बेहतर बनाने का एक नया तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।