Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान ढूँढने के बजाय, आप लोगों के भावनाओं के बारे में बात करने के तरीके में सुराग खोज रहे हैं। शिक्षा की दुनिया में, शोधकर्ता अक्सर छात्रों से उनके अपने शब्दों में अपने विचार लिखने के लिए कहते हैं—जैसे, "यदि गणित एक भोजन होता, तो वह क्या होता?" ये खुले अंत वाले उत्तर यह समझने के लिए सोने की खान हैं कि बच्चे स्कूल के बारे में कैसा महसूस करते हैं, लेकिन इन्हें एक-एक करके पढ़ना एक दुःस्वप्न है। मानव विशेषज्ञों के लिए हजारों कहानियों को पढ़ना और उन्हें "खुश," "हताश," या "भ्रमित" जैसी श्रेणियों में छाँटना बहुत लंबा समय लेता है। यहीं पर आर्टिफिशियल इंटेलिजेंस (AI) की भूमिका आती है। विशेष रूप से, लार्ज लैंग्वेज मॉडल्स (LLMs) ऐसे सुपर-स्मार्ट रोबोट की तरह हैं जो मानवीय भाषा को पढ़ और समझ सकते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या हम इन रोबोटों को विशेषज्ञ मानव जासूसों की तरह कार्य करने के लिए प्रशिक्षित कर सकते हैं? और यदि हम ऐसा करते हैं, तो क्या हम उन्हें अपने स्वयं के कंप्यूटरों पर चला सकते हैं ताकि छात्र के रहस्यों को सुरक्षित रखा जा सके, बजाय इसके कि निजी डेटा को बड़ी टेक कंपनियों के पास भेजा जाए?

यह अध्ययन ठीक इसी सवाल की गहराई में जाता है। शोधकर्ताओं ने गणित के रूपकों (metaphors) के बारे में 2,265 वास्तविक छात्र प्रतिक्रियाओं का एक संग्रह लिया और दो छोटे, ओपन-सोर्स AI मॉडल्स को उन्हें ठीक वैसे ही कोड करने के लिए प्रशिक्षित किया जैसे एक मानव विशेषज्ञ करता है। उन्होंने एक विशेष प्रशिक्षण तकनीक का उपयोग किया जिसे "फाइन-ट्यूनिंग" (fine-tuning) कहा जाता है, जो कि रोबोट को मानव विशेषज्ञों की 'उत्तर कुंजियों' (answer keys) का उपयोग करके एक क्रैश कोर्स देने जैसा है। परिणाम आश्चर्यजनक थे: इस प्रशिक्षण के बाद, छोटे, सस्ते AI मॉडल्स काम करने में इतने अच्छे हो गए कि वे अक्सर उन विशाल, महंगे, "ब्लैक-बॉक्स" AI मॉडल्स को भी मात दे देते हैं जिन्हें कंपनियाँ आमतौर पर बेचती हैं। यह अध्ययन सुझाव देता है कि सही प्रशिक्षण के साथ, हम अपने स्वयं के क्लासरूम में शक्तिशाली, निजी और सटीक AI टूल्स रख सकते हैं ताकि यह समझने में मदद मिल सके कि छात्र गणित के बारे में कैसा महसूस करते हैं, बिना अपने डेटा को कहीं और भेजे।

जासूस की दुविधा: पंक्तियों के बीच पढ़ना

छात्र के रूपक को एक गुप्त कोड के रूप में सोचें। जब एक छात्र कहता है, "गणित एक कुत्ते की तरह है क्योंकि वह एक वफादार दोस्त है," तो वे केवल पालतू जानवरों के बारे में बात नहीं कर रहे हैं; वे हमें बता रहे हैं कि वे गणित के साथ सुरक्षित और खुश महसूस करते हैं। लेकिन यदि वे कहते हैं, "गणित एक मच्छर की तरह है क्योंकि वह मुझे अकेला नहीं छोड़ता," तो वे कह रहे हैं कि गणित कष्टप्रद और अपरिहार्य है। ये सरल शब्दों में लिपटी हुई जटिल भावनाएँ हैं।

द दशकों से, शोधकर्ता इन संदेशों को डिकोड करने के लिए मानव विशेषज्ञों पर निर्भर रहे हैं। यह एक टीम के अनुवादकों द्वारा किताबों के पुस्तकालय को हाथ से अनुवाद करने की कोशिश करने जैसा है। यह धीमा, महंगा और बड़े पैमाने पर करना कठिन है। यदि आपके पास 100 छात्र हैं, तो एक इंसान यह कर सकता है। यदि आपके पास 100,000 हैं, तो इंसान थक जाते हैं, और प्रक्रिया रुक जाती है।

यहाँ लार्ज लैंग्वेज मॉडल (LLM) आता है। आप एक LLM को एक ऐसे रोबोट के रूप में देख सकते हैं जिसने इंटरनेट पर लगभग सब कुछ पढ़ा है। यह वाक्य में अगले शब्द का अनुमान लगाने और संदर्भ को समझने में अविश्वसनीय रूप से अच्छा है। लेकिन, एक स्मार्ट छात्र की तरह जिसने आपके द्वारा पढ़ाए जा रहे विशिष्ट विषय की कक्षा नहीं ली है, एक सामान्य रोबोट शायद ठीक से नहीं जान पाएगा कि आप इन रूपकों को कैसे छाँटना चाहते हैं। वह "खुश" का अनुमान लगा सकता है जब आप "तटस्थ" (neutral) चाहते थे, या वह "चुनौतीपूर्ण" और "खतरनाक" के बीच के सूक्ष्म अंतर को चूक सकता है।

इसके अलावा, एक गोपनीयता की समस्या है। अधिकांश सुपर-पावरफुल रोबोट (जैसे कि बड़ी टेक कंपनियों के) उनके सर्वर पर रहते हैं। उनका उपयोग करने के लिए, आपको अपने छात्रों के निजी लेखन को उनके पास भेजना होगा। स्कूलों के लिए, यह एक अजनबी को रहस्यों से भरी डायरी सौंपने जैसा है। शोधकर्ता जानना चाहते थे कि क्या वे एक ऐसा रोबोट बना सकते हैं जो उनके अपने कंप्यूटर पर रहता है, जिसे विशेष रूप से काम के लिए प्रशिक्षित किया गया है, और जो रहस्यों को सुरक्षित रखता है।

प्रयोग: रोबोट को नियम सिखाना

शोधकर्ताओं ने एक दौड़ आयोजित की। एक तरफ, उनके पास "बिग टेक" के चैंपियन थे: दो शक्तिशाली, प्रोप्राइटरी मॉडल्स (GPT-4o mini और GPT-5 mini) जिनका उपयोग "जैसा है वैसा ही" (as is) किया गया था। उन्हें नियमों का एक सेट (कोडबुक) दिया गया और रूपकों को छाँटने के लिए कहा गया। उन्हें कोई विशेष प्रशिक्षण नहीं दिया गया; उन्हें बस निर्देशों से समझना था।

दूसरी ओर, उनके पास दो "ओपन-वेट" (Open-Weight) मॉडल्स (DeepSeek-R1 1.5B और Mistral 7B) थे। ये छोटे, कम महंगे मॉडल्स हैं जिन्हें कोई भी अपने सर्वर पर डाउनलोड और चला सकता है। शोधकर्ताओं ने इन मॉडल्स को लिया और उन्हें LoRA-आधारित सुपरवइज्ड फाइन-ट्यूनिंग का उपयोग करके एक "क्रैश कोर्स" दिया।

कल्पना कीजिए कि आप एक कुत्ते को गेंद लाना सिखा रहे हैं। "प्रॉम्प्ट-ओनली" (prompt-only) विधि केवल कुत्ते को बार-बार यह कहने जैसी है, "जाओ गेंद लेकर आओ!" "फाइन-ट्यूनिंग" विधि उस कुत्ते को ट्रेनिंग कैंप ले जाने जैसी है जहाँ आप उसे दिखाते हैं कि ठीक कैसे गेंद पकड़नी है, वापस लाना है, और अपने हाथ में छोड़ना है, जिसमें एक हजार उदाहरण होते हैं कि एक इंसान इसे पूरी तरह से कैसे करता है। शोधकर्ताओं ने ओपन-वेट मॉडल्स को छात्र के रूपनों के 2,265 उदाहरण दिए जिन्हें पहले ही मानव विशेषज्ञों द्वारा सही ढंग से छाँटा जा चुका था। मॉडल्स ने मानव विशेषज्ञों के निर्णयों की नकल करना सीखा।

कार्य के दो भाग थे:

1. वेलेंस-इंटेंसिटी कोडिंग (Valence-Intensity Coding): भावना कितनी तीव्र है? क्या यह बहुत नकारात्मक (1) है, तटस्थ (3) है, या बहुत सकारात्मक (5) है?
2. थीमैटिक कोडिंग (Thematic Coding): कहानी क्या है? क्या गणित एक "उपकरण" है, एक "खतरा" है, एक "यात्रा" है, या एक "उबाऊ काम" है?

परिणाम: अंडरडॉग्स की जीत

दौड़ के परिणाम स्पष्ट और रोमांचक थे। प्रशिक्षण से पहले, छोटे ओपन-वेट मॉडल्स इस काम में बहुत खराब थे। वे बेतरतीब ढंग से अनुमान लगा रहे थे। लेकिन "क्रैश कोर्स" (फाइन-ट्यूनिंग) के बाद, वे पूरी तरह बदल गए।

प्रदर्शन की छलांग:
फाइन-ट्यून्ड मॉडल्स केवल थोड़े बेहतर नहीं हुए; वे बहुत बेहतर हो गए।

• "भोजन" के रूपकों के लिए, DeepSeek मॉडल की सटीकता 0.369 से बढ़कर 0.787 हो गई।
• भोजन के रूपकों पर Mistral मॉडल की सटीकता 0.207 से बढ़कर 0.778 हो गई।
• "जानवर" के रूपकों पर, Mistral मॉडल 0.267 से सुधरकर 0.766 हो गया।

AI की दुनिया में, ये संख्याएँ बहुत बड़ी हैं। इसका मतलब है कि प्रशिक्षित रोबोट अब मानव विशेषज्ञों के साथ लगभग उतनी ही बार सहमत हो रहे थे जितनी बार दो मानव विशेषज्ञ आपस में सहमत होते हैं।

दिग्गजों को हराना:
यहाँ एक मोड़ है: प्रशिक्षित, छोटे मॉडल्स ने कई श्रेणियों में बड़े, महंगे, "प्रॉम्प्ट-ओनली" मॉडल्स को पीछे छोड़ दिया।

• फाइन-ट्यून्ड Mistral 7B मॉडल ने भोजन और जानवर दोनों के रूपकों के लिए लगभग हर मीट्रिक पर GPT-4o mini और GPT-5 mini दोनों को पछाड़ दिया।
• एकमात्र समय जब बड़े मॉडल्स जीते, वह बहुत दुर्लभ, विशिष्ट विषयों पर था जहाँ छोटे मॉडल्स अभी भी थोड़ा संघर्ष कर रहे थे, लेकिन फिर भी, अंतर बहुत कम था।

"स्थिरता" (Stability) परीक्षण:
AI की सबसे बड़ी समस्याओं में से एक यह है कि यदि आप इससे एक ही प्रश्न दो बार पूछते हैं, तो यह आपको दो अलग उत्तर दे सकता है। यह विज्ञान के लिए बुरा है। शोधकर्ताओं ने इसे तीन बार मॉडल चलाकर परखा।

• अप्रशिक्षित DeepSeek मॉडल बहुत अस्थिर था, जिसका स्थिरता स्कोर केवल 0.592 था।
• लेकिन प्रशिक्षण के बाद, इसकी स्थिरता आसमान छूकर 0.992 हो गई।
• फाइन-ट्यून्ड Mistral मॉडल एकदम सटीक था, जिसने 1.000 का स्कोर किया।
• यहाँ तक कि बड़े कमर्शियल मॉडल्स भी प्रशिक्षित ओपन मॉडल्स जितने स्थिर नहीं थे (GPT-5 mini का थीमैटिक स्थिरता स्कोर 0.644 था)।

यह सुझाव देता है कि मॉडल को विशिष्ट उदाहरणों पर प्रशिक्षित करने से वह न केवल स्मार्ट बल्कि अधिक सुसंगत और विश्वसनीय भी बन जाता है।

भविष्य के लिए इसका क्या अर्थ है

अध्ययन सुझाव देता है कि हमें छात्र की भावनाओं का विश्लेषण करने के लिए विशाल, महंगे और गोपनीयता-जोखिम वाले AI सिस्टम पर निर्भर रहने की आवश्यकता नहीं है। छोटे, ओपन मॉडल्स को लेकर और उन्हें मानव उदाहरणों के साथ प्रशिक्षित करके, हम ऐसे टूल्स बना सकते हैं जो हैं:

1. सटीक: वे मानव विशेषज्ञों के बराबर हैं।
2. निजी: वे स्कूल के अपने कंप्यूटर पर चल सकते हैं, जिससे छात्र का डेटा सुरक्षित रहता है।
3. स्केलेबल: वे सेकंडों में हजारों प्रतिक्रियाओं को संभाल सकते हैं।

हालाँकि, शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह हर चीज़ के लिए जादू की छड़ी नहीं है। मॉडल्स अभी भी बहुत दुर्लभ विषयों (जैसे गणित पर विशिष्ट सामाजिक विचारों) के साथ थोड़ा संघर्ष करते हैं, जो बताता है कि यदि कोई विषय बहुत असामान्य है, तो रोबोट को सीखने के लिए और अधिक उदाहरणों की आवश्यकता हो सकती है। साथ भी, इस अध्ययन ने केवल 6वीं से 8वीं कक्षा के छात्रों के भोजन और जानवरों के बारे में बात करने पर ध्यान केंद्रित किया है, इसलिए हमें अभी तक यह नहीं पता कि क्या यह हाई स्कूल के छात्रों के बीजगणित (algebra) या कॉलेज के छात्रों के कैलकुलस के बारे में बात करने पर काम करेगा।

लेकिन मुख्य निष्कर्ष एक आशावादी है: हम अपने स्वयं के "डिटेक्टिव रोबोट" बना सकते हैं जो स्मार्ट, सुरक्षित और अपने छात्रों के शब्दों में छिपी भावनाओं को समझने के लिए तैयार हैं। शैक्षिक मापन का भविष्य क्लाउड में नहीं, बल्कि सीधे स्कूल के सर्वर पर हो सकता है, जिसे उन्हीं विशेषज्ञों द्वारा प्रशिक्षित किया गया है जो छात्रों को सबसे अच्छी तरह जानते हैं।