AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study
AiDER एक ऑडिट करने योग्य ढांचा है जो प्राकृतिक-भाषा आवश्यकताओं के विरुद्ध दस्तावेजों का मूल्यांकन करने के लिए नियमों को निष्पादन योग्य कोड में संकलित करता है ताकि छोटे भाषा मॉडलों के माध्यम से साक्ष्य निष्कर्षण को सीमित किया जा सके, जिससे नियत और निरीक्षण योग्य निर्णय सुनिश्चित होते हैं और यह प्रदर्शित होता है कि सत्यापन-संचालित नियम मरम्मत शैक्षिक संदर्भों में 2B-4B पैरामीटर वाले मॉडलों में सटीकता को महत्वपूर्ण रूप से बढ़ाती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को छात्र का होमवर्क ग्रेड करने के लिए सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे करने के दो मुख्य तरीके हैं। पहला तरीका यह है कि एक विशाल, सुपर-स्मार्ट "दिमाग" (जिसे लार्ज लैंग्वेज मॉडल कहा जाता है) को असाइनमेंट पढ़ने दें और बस अपनी अंतरात्मा या अंदाज़े के आधार पर ग्रेड का अनुमान लगाने दें। यह तेज़ है, लेकिन यह एक 'ब्लैक बॉक्स' की तरह है; यदि यह गलत होता है, तो आपको पता भी नहीं चलेगा कि क्यों, और आप इसके काम की जाँच भी नहीं कर सकते। दूसरा तरीका एक सख्त नियम पुस्तिका का उपयोग करना है। आप सटीक निर्देश लिखते हैं जैसे "यदि छात्र 'गुरुत्वाकर्षण' का उल्लेख करता है, तो 5 अंक दें।" यह पारदर्शी है और इसकी जाँच करना आसान है, लेकिन हर चीज़ के लिए नियम लिखना कठिन है, खासकर जब निर्देश अव्यवस्थित, मानवीय भाषा में लिखे गए हों।
यह शोध पत्र इन दोनों दुनियाओं के मिलन बिंदु पर स्थित है। यह पूछता है: क्या हम एक स्मार्ट AI के लचीलेपन को एक सख्त नियम पुस्तिका की ईमानदारी के साथ जोड़ सकते हैं? शोधकर्ता "ऑडिटेबल एआई" (auditable AI) के क्षेत्र में काम कर रहे हैं, जो इस बारे में है कि कैसे AI के निर्णयों को समझाया और जांचा जा सके, न कि उन्हें केवल जादू मानकर स्वीकार कर लिया जाए। वे विशेष रूप से "स्मॉल लैंग्वेज मॉडल्स" (SLMs) का उपयोग करने में रुचि रखते हैं—ऐसे AI दिमाग जो छोटे, सस्ते हैं और बिना किसी विशाल क्लाउड सर्वर की आवश्यकता के एक एकल कंप्यूटर पर चल सकते हैं। बड़ा सवाल यह है: क्या एक छोटा, सरल AI इतना स्मार्ट हो सकता है कि वह इंसान के अस्पष्ट निर्देशों को एक सख्त नियम पुस्तिका में बदल सके जिसे एक कंप्यूटर पूरी तरह से पालन कर सके?
लेखक एक नया सिस्टम पेश करते हैं जिसे AiDER (Auditing and Document Evaluation via Rule Compilation and Small Language Models) कहा जाता है। AiDER को एक चतुर अनुवादक और एक सख्त रेफरी के रूप में समझें जो मिलकर काम कर रहे हैं। AI को ग्रेड का अनुमान लगाने देने के बजाय, AiDER AI को दो अलग-अलग काम करने के लिए मजबूर करता है। पहले, AI एक अनुवादक के रूप में कार्य करता है: यह एक प्राकृतिक भाषा की आवश्यकता (जैसे, "छात्रों को पता होना चाहिए कि उन्हें कैसे ग्रेड किया जाएगा") को लेता है और उसे एक सख्त, निष्पादन योग्य कोड नियम में बदलने की कोशिश करता है। दूसरा, एक अलग, नियत (deterministic) कंप्यूटर प्रोग्राम रेफरी के रूप में कार्य करता है: यह दस्तावेज़ को देखता है, उस विशिष्ट साक्ष्य को खोजता है जिसकी नियम ने मांग की थी, और जाँचता है कि क्या नियम पूरा हुआ है। AI वास्तव में ग्रेड तय नहीं करता है; वह केवल नियम बनाता है और सुराग ढूंढता है।
इसका परीक्षण करने के लिए, शोधकर्ताओं ने चार अलग-अलग छोटे AI मॉडलों का उपयोग किया (जिनका आकार 2 बिलियन से 4 बिलियन पैरामीटर के बीच था) और 200 वास्तविक दुनिया के शिक्षण दस्तावेज़ों, जैसे कि पाठ्यक्रम (syllabi) और ग्रेडिंग रूब्रिक्स का एक सेट लिया। उन्होंने AI द्वारा नियम लिखने के तीन अलग-अलग तरीके आजमाए:
- मानव-लिखित नियम: "गोल्ड स्टैंडर्ड" जहाँ एक इंसान ने सख्त कोड लिखा।
- प्रत्यक्ष संकलन (Direct compilation): AI ने एक ही बार में कोड लिखने की कोशिश की।
- वैलिडेशन-लूप रिपेयर: यदि AI ने एक टूटा हुआ नियम लिखा, तो सिस्टम ने उसे "Error!" बताया और AI को इसे ठीक करने के लिए पाँच बार तक फिर से प्रयास करने दिया।
परिणाम "बड़ी खुशखबरी" और "सतर्क आशावाद" का मिश्रण थे। अध्ययन में पाया गया कि जब AI ने सफलतापूर्वक एक वैध नियम लिखा, तो सबसे छोटे मॉडल भी निर्णय लेने के लिए सही साक्ष्य खोजने में आश्चर्यजनक रूप से अच्छे थे। हालाँकि, AI अक्सर पहली बार में एक परफेक्ट नियम लिखने में संघर्ष करता है। यहीं पर "रिपेयर लूप" चमक उठा। AI को अपनी गलतियों को सुधारने की अनुमति देकर, इस सिस्टम ने यह सफलता दर काफी बढ़ा दी कि नियम कितनी बार सही ढंग से काम करते हैं।
दिलचस्प बात यह है कि पेपर सुझाव देता है कि एक बार जब सख्त नियम (द "स्कैफोल्ड") स्थापित हो जाता है, तो AI को साक्ष्य खोजने के लिए बहुत अधिक अतिरिक्त मदद की आवश्यकता नहीं होती है। वास्तव में, AI से बहुत अधिक अतिरिक्त निर्देश जोड़ने से कभी-कभी चीजें खराब हो जाती हैं, खासकर छोटे मॉडलों के लिए। अध्ययन निष्कर्ष निकालता है कि प्रक्रिया का सबसे महत्वपूर्ण हिस्सा नियम को सही बनाना है। यदि नियम स्पष्ट है, तो एक छोटा, सरल AI भी सबूत खोजने का भारी काम कर सकता है।
अंततः, यह पेपर सुझाव देता है कि शैक्षिक सामग्री की जाँच जैसे कार्यों के लिए, हमें केवल एक AI से दस्तावेज़ का "निर्णय" करने के लिए नहीं कहना चाहिए। इसके बजाय, हमें मानव आवश्यकताओं को सख्त, जांच योग्य नियमों में बदलने के लिए AI का उपयोग करना चाहिए, और फिर तथ्यों को सत्यापित करने के लिए एक कंप्यूटर को छोड़ देना चाहिए। यह दृष्टिकोण पूरे प्रक्रिया को पारदर्शी बनाता है: यदि कोई निर्णय गलत है, तो आप इसे देख सकते हैं कि क्या नियम खराब तरीके से लिखा गया था, या क्या AI ने साक्ष्य का कोई हिस्सा मिस कर दिया, बजाय इसके कि किसी रहस्यमय "ब्लैक बॉक्स" के फैसले को दोष दिया जाए। हालांकि यह अध्ययन एक विशिष्ट पाठ्यक्रम और दस्तावेजों के एक छोटे सेट तक सीमित था, यह शिक्षा में AI को अधिक विश्वसनीय, निष्पक्ष और समझने में आसान बनाने के लिए एक आशाजनक ब्लूप्रिंट प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।