Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization
यह शोधपत्र सीधे बहुविकल्पीय प्रारूप बनाने और प्रश्न की कठिनाई को सटीक रूप से नियंत्रित करने में मौजूदा दृष्टिकोणों की सीमाओं को दूर करने के लिए डायरेक्ट प्रिफरेंस ऑप्टिमाइज़ेशन के साथ प्रशिक्षित एक लार्ज लैंग्वेज मॉडल का लाभ उठाकर कठिनाई-नियंत्रणीय बहुविकल्पीय पठन बोध प्रश्न उत्पन्न करने के लिए एक नवीन विधि प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो 30 अलग-अलग छात्रों को अंग्रेजी सीखने में मदद करने की कोशिश कर रहे हैं। कुछ शुरुआती स्तर के छात्र हैं जिन्हें सरल कहानियों की आवश्यकता है, जबकि कुछ उन्नत शिक्षार्थी हैं जो जटिल उपन्यासों के लिए तैयार हैं। वास्तविक दुनिया में, प्रत्येक छात्र के लिए एकदम सही रीडिंग टेस्ट बनाना एक बुरा सपना है। प्रश्न लिखने में घंटों लग जाते हैं, और आपको यह अनुमान लगाना पड़ता है कि वे बहुत आसान या बहुत कठिन हैं।
यह शोध पत्र एक सुपर-स्मार्ट रोबोट टीचर बनाने के बारे में है जो किसी भी छात्र के लिए, बिल्कुल सही कठिनाई स्तर पर, तुरंत एक आदर्श रीडिंग टेस्ट लिख सके।
इसे कैसे बनाया गया, इसकी कहानी यहाँ सरल रूप में दी गई है:
1. समस्या: "एक ही आकार सबके लिए" वाला रोबोट
इस अध्ययन से पहले, रोबोट (AI) रीडिंग प्रश्न तो लिख सकते थे, लेकिन उनमें दो बड़ी कमियां थीं:
- वे "बहुविकल्पीय" (Multiple Choice) प्रश्न नहीं बना सकते थे: वे ज्यादातर ऐसे प्रश्न लिखते थे जहाँ आपको टेक्स्ट में एक विशिष्ट वाक्य ढूँढना होता था। लेकिन वास्तविक स्कूलों में, हम लगभग हमेशा बहुविकल्पीय प्रश्नों (A, B, C, D) का उपयोग करते हैं। पुराने रोबोट इसे अच्छी तरह से नहीं कर पाते थे।
- वे कठिनाई का अनुमान लगाने में खराब थे: यदि आप किसी रोबोट से कहते, "एक आसान प्रश्न लिखें," तो वह कुछ ऐसा लिख सकता था जो वास्तव में कठिन हो। यह वैसा ही था जैसे किसी शेफ से "एक तीखा व्यंजन बनाने" के लिए कहना, और उसने गलती से ऐसा बना दिया जिसका स्वाद अग्निशमन यंत्र (fire extinguisher) जैसा हो। उनके पास यह गारंटी देने का कोई तरीका नहीं था कि कठिनाई सही है।
2. समाधान: "स्वाद-परीक्षण" प्रशिक्षण (The "Taste-Test" Training)
शोधकर्ताओं ने Llama 3.1 नामक एक शक्तिशाली AI का उपयोग किया (इसे एक बहुत ही प्रतिभाशाली लेकिन अप्रशिक्षित प्रशिक्षु शेफ के रूप में सोचें)। इसे कठिनाई को नियंत्रित करना सिखाने के लिए, उन्होंने डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) नामक एक विशेष प्रशिक्षण पद्धति का उपयोग किया।
यहाँ उपमा (analogy) दी गई है:
- पुराना तरीका (Supervised Learning): आप प्रशिक्षु को एक रेसिपी बुक दिखाते हैं और कहते हैं, "इसे कॉपी करो।" वह शब्दों को रट लेता है लेकिन वह वास्तव में यह नहीं समझ पाता कि कोई व्यंजन तीखा या मीठा क्यों है।
- नया तरीका (DPO): आप एक सख्त खाद्य समीक्षक (food critic) की तरह व्यवहार करते हैं। आप प्रशिक्षु से दो व्यंजन बनाने के लिए कहते हैं:
- एक व्यंजन जो बिल्कुल सही तीखेपन के स्तर का हो।
- एक व्यंजन जो बहुत ज्यादा तीखा या बहुत फीका हो।
फिर आप कहते हैं, "मुझे पहला वाला पसंद है, मुझे दूसरा वाला पसंद नहीं है।"
प्रशिक्षु दोनों की तुलना करके सीखता है। वे केवल याद नहीं करते; वे "परफेक्ट कठिनाई" के एहसास को सीखते हैं।
ऐसा बार-बार करने से, रोबोट आपसे मांगी गई कठिनाई को ठीक से एडजस्ट करना सीख जाता है।
3. गुप्त सामग्री: "आभासी छात्रों" की सेना
आप कैसे जानते हैं कि एक प्रश्न वास्तव में आसान है या कठिन? आप हर बार वास्तविक छात्रों से नहीं पूछ सकते (इसमें बहुत समय लगता है)।
इसलिए, शोधकर्ताओं ने 77 "आभासी छात्रों" (Virtual Students) की एक सेना बनाई (कंप्यूटर प्रोग्राम जो उत्तर देने में कुशल हैं)।
- कुछ आभासी छात्र जीनियस हैं (वे सब कुछ सही करते हैं)।
- कुछ संघर्ष कर रहे हैं (वे केवल 30% सही करते हैं)।
- कुछ औसत हैं।
जब रोबोट एक नया प्रश्न लिखता है, तो वह इसे इस सेना के माध्यम से चलाता है।
- यदि जीनियस इसे सही पाते हैं लेकिन संघर्ष कर रहे छात्र इसे गलत पाते हैं, तो यह एक मध्यम-कठिनाई वाला प्रश्न है।
- यदि जीनियस भी इसे गलत पाते हैं, तो यह बेहद कठिन है।
- यदि संघर्ष कर रहे छात्र भी इसे सही पाते हैं, तो यह बेहद आसान है।
यह डेटा रोबोट को बताता है कि प्रश्न वास्तव में कितना "तीखा" है, जिससे उसे अपना प्रशिक्षण बारीक रूप से (fine-tune) करने में मदद मिलती है।
4. परिणाम: एक मास्टर शेफ
शोधकर्ताओं ने अपने नए रोबोट का परीक्षण पुराने वाले के विरुद्ध किया।
- सटीकता (Accuracy): जब उन्होंने "लेवल 2" का प्रश्न मांगा, तो पुराने रोबोट ने उन्हें "लेवल 5" या "लेवल 0" वाला प्रश्न दिया। नए रोबोट (DPO प्रशिक्षण के साथ) ने उन्हें लगभग सटीक "लेवल 2" का प्रश्न दिया।
- गुणवत्ता (Quality): उन्हें डर था कि प्रश्नों को कठिन बनाने से वे अजीब या अर्थहीन हो सकते हैं। लेकिन परीक्षणों ने दिखाया कि नए रोबोट के प्रश्न पुराने वाले की तरह ही प्रवाहपूर्ण और प्रासंगिक थे।
- "फ्यू-शॉट" (Few-Shot) टेस्ट: उन्होंने यह देखने की कोशिश की कि क्या वे केवल उसे कुछ उदाहरण दिखाकर (जैसे उसे एक आसान प्रश्न दिखाना और कहना "यह करो") काम सिखा सकते हैं। वह विफल रहा। रोबोट केवल उदाहरणों को देखकर अवधारणा नहीं सीख सका; उसे कठिनाई को वास्तव में समझने के लिए गहरे "स्वाद-परीक्षण" प्रशिक्षण (DPO) की आवश्यकता थी।
निचोड़ (The Bottom Line)
यह शोध पत्र AI को स्कूल टेस्ट लिखने के लिए सिखाने का एक नया तरीका पेश करता है। केवल पैटर्न को रटने के बजाय, AI एक मास्टर शेफ की तरह अपनी रेसिपी को एडजस्ट करने की तरह अपने आउटपुट को कैलिब्रेट (calibrate) करना सीखता है।
अब, एक शिक्षक द्वारा पूरी रात टेस्ट लिखने के बजाय, वे बस AI को बता सकते हैं: "इस कहानी के बारे में एक बहुविकल्पीय प्रश्न लिखें जो उस छात्र के लिए एकदम सही हो जो अगली कक्षा के लिए 60% तैयार है।" और AI इसे तुरंत, सटीकता के साथ, और बिना किसी परेशानी के कर देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।