Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories
यह शोध पत्र Routiium और EduRouter को प्रस्तुत करता है, जो इंजीनियरिंग लैब्स के लिए एक नीति-शासित (policy-governed) LLM रूटिंग सिस्टम है, जो मॉडल चयन को गतिशील रूप से प्रबंधित करके, बजट लागू करके और छात्रों के इरादों (intents) का मिलान करके, निर्देशात्मक चुनौती और लागत के बीच संतुलन बनाता है, जिससे सिम्युलेटेड और लाइव मूल्यांकन में सीखने के संरेखण (learning alignment) में महत्वपूर्ण सुधार होता है और टोकन खर्च कम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक व्यावहारिक इलेक्ट्रॉनिक्स लैब चला रहे हैं। आपके पास 30 छात्र हैं, जिनमें से प्रत्येक वास्तविक, महंगे उपकरणों के साथ काम कर रहा है। आप उन्हें मदद करने के लिए एक AI ट्यूटर का उपयोग करना चाहते हैं, लेकिन आप एक पेचीदा समस्या का सामना कर रहे हैं: आप उन्हें उत्तर दिए बिना कैसे सिखा सकते हैं?
यदि AI बहुत अधिक मददगार है, तो छात्र सोचना बंद कर देते हैं और बस समाधान की नकल करने लगते हैं। यदि यह बहुत सख्त है, तो वे निराश हो जाते हैं और हार मान लेते हैं। इसके अलावा, शक्तिशाली AI मॉडल चलाने में पैसा खर्च होता है, और आप अपने बजट को हर छोटी बात पर खत्म नहीं करना चाहते।
यह पेपर इंजीनियरिंग लैब में AI ट्यूटर्स के लिए एक "ट्रैफिक पुलिस" (traffic cop) सिस्टम पेश करता है। यह एक स्मार्ट मध्यस्थ है जो यह तय करता है कि कब मदद करनी है, कैसे मदद करनी है, और किस AI मस्तिष्क का उपयोग करना है, और साथ ही एक विस्तृत लॉग भी रखता है ताकि शिक्षक देख सके कि वास्तव में क्या हुआ।
यहाँ बताया गया है कि यह सिस्टम कैसे काम करता है, जिसे सरल भागों में विभाजित किया गया है:
1. दो मुख्य पात्र
यह सिस्टम दो उपकरणों से बना है जो एक साथ काम करते हैं:
- रूटियम (Routiium - द गेटकीपर): इसे AI के एक सुरक्षित प्रवेश द्वार के रूप में सोचें। यह केवल किसी को अंदर नहीं आने देता; यह आपकी आईडी की जांच करता है, आपके प्रश्नों पर विशिष्ट नियम लागू करता है (जैसे कि "पहले इसके बारे में सोचें" वाला नोट जोड़ना), और हर बातचीत की रसीद रखता है। यह सस्ते, स्थानीय मॉडलों से लेकर महंगे, सुपर-स्मार्ट मॉडलों तक विभिन्न AI मॉडलों से जुड़ता है।
- एडुरouter (EduRouter - द स्मार्ट डिस्पैचर): यह वह दिमाग है जो तय करता है कि किस प्रश्न का उत्तर देने के लिए किस AI मॉडल का उपयोग किया जाना चाहिए। यह उस "सामान्य प्रश्नों की लाइब्रेरी" को देखता है जिसे शिक्षक ने पहले से तैयार किया है। यदि कोई छात्र कुछ परिचित पूछता है, तो एडुरrouter लाइब्रेरी की जांच करता है कि उस विशिष्ट प्रश्न के लिए क्या नियम हैं।
2. "सामान्य प्रश्नों की लाइब्रेरी"
लैब शुरू होने से पहले, शिक्षक एक "चीट शीट" (जिसे क्वेश्चन लाइब्रेरी कहा जाता है) बनाते हैं। वे उन प्रश्नों को लेते हैं जो छात्र आमतौर पर पूछते हैं (जैसे "मैं वोल्टेज कैसे मापूँ?" या "मेरा सर्किट क्यों भिनभिना रहा है?") और उन्हें टैग करते हैं।
- उदाहरण: यदि कोई छात्र पूछता है, "मैं ऑसिलोस्कोप कैसे सेट करूँ?", तो लाइब्रेरी कहती है: "सस्ते स्थानीय AI का उपयोग करें, एक बुनियादी संकेत दें, और अधिक शुल्क न लें।"
- उदाहरण: यदि कोई छात्र कहता, "बस मेरे लिए यह पूरा सवाल हल कर दो," तो लाइब्रेरी कहती है: "रुकिए! इसके लिए शिक्षण सहायक (TA) की मंजूरी की आवश्यकता है, और हमें बजट की जांच करनी पड़ सकती है।"
3. मदद के तीन स्तर
यह सिस्टम मदद को चार सीढ़ियों (L0 से L3) वाली एक सीढ़ी की तरह मानता है:
- L0 (सत्यापन/Validation): "क्या आपका तार जुड़ा हुआ है?" (किसी मंजूरी की आवश्यकता नहीं)।
- L1 (निर्देशित संकेत/Guided Hint): "जांचें कि क्या आपका प्रतिरोधक (resistor) सही जगह पर है।" (केवल एक इशारा)।
- L2 (हल किया गया उदाहरण/Worked Example): "शुरुआत करने के लिए यहाँ एक आंशिक समाधान दिया गया है।" (बजट जांच की आवश्यकता है)।
- L3 (पूर्ण समाधान/Complete Solution): "यहाँ पूरा उत्तर दिया गया है।" (इसके लिए पहले शिक्षक का "हाँ" कहना आवश्यक है)।
4. वास्तविक जीवन में यह कैसे काम करता है
कल्पना कीजिए कि एलेक्स एक सर्किट के साथ संघर्ष कर रहा है।
- पूछना: एलेक्स टाइप करता है, "मेरा सर्किट काम नहीं कर रहा है, मदद करो!"
- मैचिंग: एडुरrouter लाइब्रेरी की जांच करता है। वह देखता है कि यह एक सामान्य "ट्रबलशूटिंग" (खराबी सुधारने) वाला प्रश्न है।
- निर्णय: लाइब्रेरी कहती है, "इस प्रश्न के लिए, एक संकेत (L1) दें और स्थानीय AI का उपयोग करें।"
- कार्रवाई: रूटियम प्रश्न को स्थानीय AI को भेजता है, एक प्रॉम्प्ट जोड़ता है जिसमें लिखा होता है "उत्तर न दें, बस एक मार्गदर्शक प्रश्न पूछें," और जवाब एलेक्स को वापस भेज देता है।
- लागत: क्योंकि इसने स्थानीय AI का उपयोग किया, इसलिए इसमें लगभग कुछ भी खर्च नहीं हुआ।
लेकिन अगर एलेक्स पूरा उत्तर मांगता है?
यदि एलेक्स पूछता है, "बस मुझे समाधान दे दो," और नीति कहती है कि "L3 के लिए मंजूरी चाहिए," तो सिस्टम रुक जाता है। यह अनुरोध को एक "वेटिंग रूम" में डाल देता है और शिक्षक को अलर्ट करता है। शिक्षक "अनुमोदन (Approve)" पर क्लिक करता है, और तभी महंगा, स्मार्ट AI उत्तर देता है।
5. उन्होंने क्या परीक्षण किया?
शोधकर्ताओं ने यह परीक्षण नहीं किया कि छात्र बेहतर सीखते हैं या नहीं (यह एक अलग अध्ययन है)। इसके बजाय, उन्होंने यह परीक्षण किया कि क्या सिस्टम नियमों का पालन करता है और पैसे बचाता है।
उन्होंने दो प्रकार के परीक्षण किए:
- सिमुलेशन (Simulation): उन्होंने हजारों प्रश्न पूछने वाले 30 छात्रों की एक नकली क्लास बनाई। उन्होंने पाया कि जब "शासित" (governed) नियम चालू थे, तो AI शिक्षक के संकेतों का पालन करने में बहुत बेहतर था (98% सटीकता), जबकि बिना नियमों के यह 90% था। इसने छात्रों को पूर्ण उत्तर देने से पहले अधिक समय तक "उत्पादक संघर्ष" (struggle productively) करने के लिए मजबूर किया (1.5 टर्न के बजाय लगभग 3.5 टर्न)।
- रीप्ले (Replay): उन्होंने 100 वास्तविक प्रश्नों को सिस्टम के माध्यम से चलाया।
- बचाया गया पैसा: सिस्टम ने 75% प्रश्नों को सस्ते स्थानीय AI पर भेजा। इसने लागत को 66% कम कर दिया (बैच के लिए 0.087 कर दिया)।
- सटीकता: जब प्रश्न लाइब्रेरी से मेल खाता था, तो सिस्टम ने 100% बार सटीक रूप से रूटिंग की।
6. निचोड़ (Bottom Line)
यह पेपर एक ऐसा सिस्टम प्रस्तुत करता है जो शिक्षकों को नियंत्रण देता है।
- पहले: शिक्षकों के पास इस पर बहुत कम नियंत्रण था कि AI कब उत्तर दे या इसमें कितना खर्च हो।
- अब: शिक्षक एक बजट निर्धारित कर सकते हैं, यह तय कर सकते हैं कि कब पूर्ण समाधान की अनुमति दी जाए, और AI द्वारा लिए गए प्रत्येक निर्णय का लॉग देख सकते हैं।
महत्वपूर्ण नोट: पेपर बहुत स्पष्ट है कि यह एक सिस्टम टूल है। यह सिद्ध करता है कि "ट्रैफिक पुलिस" काम करती है, पैसे बचाती है, और नियमों का पालन करती है। यह दावा नहीं करता कि यह सिस्टम छात्रों को स्मार्ट बनाता है या उनके टेस्ट स्कोर में सुधार करता है। वह भविष्य के शोध के लिए अगला कदम है।
संक्षेप में, यह लैब में AI का उपयोग करने का एक तरीका है जो शिक्षक के नियमों का सम्मान करता है, बजट की रक्षा करता है, और छात्रों को केवल उत्तरों की नकल करने से रोकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।