DAR: Deontic Reasoning with Agentic Harnesses
यह शोध पत्र डियोन्टिक एजेंटिक रीजनिंग (DAR) प्रस्तुत करता है, जो एक एजेंटिक फ्रेमवर्क है जो लार्ज लैंग्वेज मॉडल्स को जटिल डियोन्टिक रीजनिंग कार्यों पर प्रदर्शन सुधारने के लिए मांग पर कानूनों (statutes) के साथ इंटरैक्ट करने में सक्षम बनाता है, हालांकि यह उल्लेख करता है कि ये लाभ समान नहीं हैं और कमजोर मॉडल्स में संख्यात्मक प्रदर्शन में गिरावट और अधिक टोकन खपत का कारण बन सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास एकमात्र सुराग एक विशाल, 1,000 पन्नों की नियम पुस्तिका है जो घनी कानूनी भाषा में लिखी गई है। आपका काम उस विशिष्ट नियम को खोजना है जो किसी व्यक्ति की विशिष्ट स्थिति पर लागू होता है और परिणाम की गणना करना है।
यह शोधपत्र यह परीक्षण करने के बारे में है कि विभिन्न "जासूसों" (AI मॉडल) को यह देखने के लिए कि वे इन रहस्यों को कितनी अच्छी तरह से हल करते हैं, जब उन्हें एक विशेष टूलसेट (उपकरणों का सेट) इस्तेमाल करने की अनुमति दी जाती है बनाम जब उन्हें एक ही बार में पूरी किताब थमा दी जाती है।
रहस्य सुलझाने के दो तरीके
शोधकर्ताओं ने दो अलग-अलग दृष्टिकोणों की तुलना की:
- "बड़ा ढेर" वाला दृष्टिकोण (प्रत्यक्ष तर्क - Direct Reasoning): कल्पना कीजिए कि जासूस को एक ही बार में पूरी 1,000 पन्नों की किताब, केस के तथ्य और प्रश्न थमा दिया जाता है। जासूस को इसे अपने दिमाग में पढ़ना होगा, सही पन्ना ढूंढना होगा, और तुरंत उत्तर लिखना होगा।
- "खोज और खुदाई" वाला दृष्टिकोण (डियॉन्टिक एजेंटिक रीजनिंग या DAR): जासूस को पूरी किताब देने के बजाय, आप किताब को एक कमरे में शेल्फ पर रख देते हैं और उन्हें उपकरणों का एक सेट देते हैं (जैसे कि एक आवर्धक लेंस, एक सर्च इंजन और एक कैलकुलेटर)। जासूस को शेल्फ के पास जाना होगा, उन उपकरणों का उपयोग करके वह विशिष्ट पन्ना ढूंढना होगा जिसकी उसे आवश्यकता है, उसे पढ़ना होगा, और फिर वापस आकर उत्तर लिखना होगा। वे ऐसा जितनी बार चाहें उतनी बार कर सकते हैं।
बड़ी खोज: यह इस पर निर्भर करता है कि आप किससे पूछ रहे हैं
शोधकर्ताओं ने दो प्रकार के जासूसों के साथ इसका परीक्षण किया: सुपर-जीनियस (शीर्ष स्तर के, महंगे AI मॉडल) और शिक्षु/अपेंटिस (छोटे, ओपन-सोर्स AI मॉडल)।
1. सुपर-जीनियस फलते-फूलते रहे
जब सुपर-जीनीस को "खोज और खुदाई" वाले टूल्स का उपयोग करने की अनुमति दी गई, तो वे पहेलियों को सुलझाने में बहुत बेहतर हो गए।
- क्यों? वे इतने स्मार्ट हैं कि वे जानते हैं कि क्या खोजना है। वे कह सकते थे, "मुझे टैक्स कटौती वाले सेक्शन को खोजने की जरूरत है,"
grepटूल का उपयोग करके सीधे वहां जा सकते हैं, और बाकी किताब को अनदेखा कर सकते हैं। - परिणाम: उनकी सटीकता काफी बढ़ गई (कभी-कभी 15-30%)। उन्होंने सही नियमों को खोजने और उत्तर की सही गणना करने के लिए उपकरणों का कुशलतापूर्वक उपयोग किया।
2. शिक्षु संघर्ष करते रहे (और प्रदर्शन गिर गया)
जब शिक्षुओं को वही उपकरण दिए गए, तो वे वास्तव में तब से खराब प्रदर्शन करने लगे जब उन्हें केवल पूरी किताब थमा दी गई थी।
- क्यों? वे स्वतंत्रता से भ्रमित हो गए। एक सुराग मिलने के बाद रुकने के बजाय, वे खुदाई करते रहे, अप्रासंगिक पन्ने पढ़ते रहे, और लूप (चक्रव्यूह) में फंस गए। उन्होंने बहुत अधिक समय और कंप्यूटर "ऊर्जा" खर्च करके आत्मविश्वास के साथ लंबे, गलत उत्तर लिखे।
- परिणाम: उनकी सटीकता नाटकीय रूप से गिर गई (कभी-कभी लगभग शून्य तक)। उन्होंने एक खराब उत्तर पाने के लिए 4 गुना अधिक कंप्यूटर संसाधनों का उपभोग किया।
"कॉन्फिडेंस एम्प्लीफायर" (आत्मविश्वास बढ़ाने वाला) रूपक
पेपर सुझाव देता है कि कमजोर मॉडलों के लिए, टूल्स एक कॉन्फिडेंस एम्प्लीफायर की तरह काम करते थे।
- कल्पना कीजिए कि एक छात्र गणित के सवाल का जवाब नहीं जानता। यदि उसे बस उत्तर लिखना है, तो वह शायद अनुमान लगाएगा और आगे बढ़ जाएगा।
- लेकिन यदि आप उसे एक कैलकुलेटर और एक पाठ्यपुस्तक देते हैं और कहते हैं, "जाओ उत्तर ढूंढो," तो वह शायद पागलों की तरह पन्ने पलटने लगेगा, यादृच्छिक गणनाएं करने लगेगा, और खुद को विश्वास दिलाने लगेगा कि वह सही है, भले ही वह गलत हो। टूल्स ने उन्हें यह महसूस कराया कि वे कड़ी मेहनत कर रहे हैं, लेकिन वे वास्तव में केवल गोल-गोल घूम रहे थे।
गलत होने की लागत
पेपर एक प्रमुख लागत मुद्दे को उजागर करता है।
- सुपर-जीनियस कुशल थे। उन्होंने सही उत्तर पाने के लिए उपकरणों का कुशलतापूर्वक उपयोग किया।
- शिक्षु अपव्ययी थे। उन्होंने टूल्स का उपयोग टेक्स्ट की विशाल मात्रा उत्पन्न करने के लिए किया, जिससे बिना सटीकता सुधारे कंप्यूटर संसाधनों (टोकेन्स) को जला दिया गया। कुछ मामलों में, वे अपना विचार पूरा करने से पहले ही समय समाप्त होने की कगार पर पहुँच गए।
निचोड़
पेपर निष्कर्ष निकालता है कि किसी AI को नियम खोजने के लिए "टूलबॉक्स" देना सभी के लिए जादू की छड़ी नहीं है।
- यदि AI पहले से ही बहुत स्मार्ट है, तो टूलबॉक्स उसे चमकने में मदद करता है।
- यदि AI अभी भी सीख रहा है, तो टूलबॉक्स वास्तव में उसे अति-आत्मविश्वासी, अपव्ययी और कम सटीक बना सकता है।
शोधकर्ता चेतावनी देते हैं कि हमें यह नहीं मानना चाहिए कि किसी AI को जटिल कार्यों जैसे टैक्स कानून या आव्रजन (इमिग्रेशन) नियमों के लिए अधिक उपकरण देने से वह अपने आप बेहतर हो जाता है। कमजोर मॉडलों के लिए, यह केवल उन्हें अधिक महंगा और आत्मविश्वासी गलतियों के प्रति अधिक संवेदनशील बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।