Policy-as-logic for robust reasoning over rules
यह शोध पत्र एक हाइब्रिड प्रतीकात्मक दृष्टिकोण प्रस्तुत करता है जो लिखित नीतियों के अनुपालन को सुनिश्चित करने के लिए तार्किक तर्क हेतु 'आंसर सेट सॉल्वर' के साथ तथ्य निष्कर्षण के लिए भाषा मॉडलों को जोड़ता है, जिससे मौजूदा विधियों की तुलना में काफी कम टोकन उपयोग के साथ बेहतर सटीकता, व्याख्यात्मकता और सुदृढ़ता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े भुलक्कड़ रोबोट को एक नियम पुस्तिका (rulebook) का पालन करना सिखाने की कोशिश कर रहे हैं। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, जो प्रकार का एक आर्टिफिशियल इंटेलिजेंस है जो कहानियों, चुटकुलों और मानवीय बातचीत को समझने में अद्भुत है। यह एक हज़ार पन्नों का उपन्यास पढ़ सकता है और आपको बता सकता है कि उसके पात्र कैसा महसूस कर रहे थे। हालाँकि, जब आप इस रोबोट से सख्त गणित करने या "यदि-तो" (if-then) के कठोर नियमों का पालन करने के लिए कहते हैं—जैसे टैक्स की गणना करना या यह तय करना कि सूटकेस बहुत भारी है या नहीं—तो यह कभी-कभी भ्रमित हो जाता है। यह किसी मज़ेदार शब्द से विचलित हो सकता है, या यदि आप नियमों का क्रम बदल देते हैं, तो यह पूरी तरह से अलग उत्तर दे सकता है। यह एयरलाइंस, टैक्स ऑफिस या अस्पतालों जैसे वास्तविक दुनिया के कामों के लिए एक समस्या है, जहाँ निर्णय सटीक, निष्पक्ष और सुसंगत होने चाहिए, चाहे आप सवाल कैसे भी पूछें।
इसे ठीक करने के लिए, वैज्ञानिक सोचने के दो अलग-अलग प्रकारों को मिला रहे हैं। एक है AI का "रचनात्मक" मस्तिष्क, जो मानवीय भाषा को पढ़ने में माहिर है। दूसरा है एक "तार्किक" मस्तिष्क, जो एक सख्त कंप्यूटर प्रोग्राम है, जो एक अत्यंत सटीक कैलकुलेटर या एक ऐसे जज की तरह काम करता है जो कभी थकता नहीं या भावुक नहीं होता। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या हम रचनात्मक AI को नियम और अव्यव्यled (messy) सवाल पढ़ने दे सकते हैं, लेकिन फिर वास्तविक निर्णय लेने का काम सख्त तार्किक मस्तिष्क को सौंप सकते हैं? यह शोध पत्र इसी विचार की जांच करता है, यह परीक्षण करता है कि क्या एक रचनात्मक पाठक और एक सख्त तर्क मशीन के बीच काम को बांटने से एक स्मार्ट, अधिक विश्वसनीय निर्णय लेने वाला बनता है।
"अनुवादक और न्यायाधीश" दृष्टिकोण (The "Translator and the Judge" Approach)
इस शोध पत्र के पीछे के शोधकर्ताओं, राहुल नायर, बास्टियन लिपका और एलिजाबेथ डेली ने नीति नियमों को संभालने का एक चतुर नया तरीका प्रस्तावित किया है, जिसे वे पॉलिसी-एज़-लॉजिक (Policy-as-Logic) कहते हैं। इसे एक दो-सदस्यीय टीम के रूप में सोचें: एक अनुवादक (Translator) और एक न्यायाधीश (Judge)।
पुराने तरीके में (जिसे वे "पॉलिसी-एज़-प्रॉम्प्ट" कहते हैं), आप बस पूरे नियम संग्रह और उपयोगकर्ता के प्रश्न को एक साथ AI के दिमाग में डाल देंगे और उम्मीद करेंगे कि वह इसे समझ ले। यह एक प्रतिभाशाली लेकिन विचलित छात्र को एक उपन्यास पढ़ते समय एक जटिल गणित की समस्या हल करने के लिए कहने जैसा है। कभी-कभी वे इसे सही करते हैं, लेकिन यदि आप प्रश्न की शब्दावली में थोड़ा सा बदलाव करते हैं, तो वे भ्रमित हो सकते हैं और गलत उत्तर दे सकते हैं।
नया "पॉलिसी-एज़-लॉजिक" तरीका काम को विभाजित करता है:
- अनुवादक (The AI): सबसे पहले, AI उपयोगकर्ता के अव्यवस्थित, प्राकृतिक भाषा वाले प्रश्न को पढ़ता है (जैसे "मेरे पास एक 20 किलो का बैग है और मैं इकोनॉमी में उड़ रहा हूँ")। वह अभी समस्या को हल करने की कोशिश नहीं करता है। इसके बजाय, वह एक अनुवादक के रूप में कार्य करता है, जो उस वाक्य को तथ्यों की एक व्यवस्थित सूची में बदल देता है, जैसे कि एक JSON फ़ाइल। यह अनावश्यक बातों को हटाकर महत्वपूर्ण संख्याओं और श्रेणियों को निकाल लेता है।
- न्यायाधीश (The Logic Solver): एक बार जब तथ्य निकाल लिए जाते हैं, तो उन्हें एक सख्त लॉजिक इंजन (विशेष रूप से एक 'आंसर सेट सॉल्वर') को सौंप दिया जाता है। यह इंजन भावनाओं या शब्दों के खेल की परवाह नहीं करता; यह केवल ठोस तथ्यों और लिखे गए नियमों को देखता है। यह यह देखने के लिए गणना चलाता है कि क्या नियम कार्रवाई की अनुमति देते हैं।
- फैसला (The Verdict): लॉजिक इंजन एक स्पष्ट "हाँ" या "नहीं" देता है, जिसे फिर एक मानवीय-अनुकूल उत्तर में अनुवादित किया जाता है।
उन्होंने क्या पाया: "मजबूती" की जीत (The "Robustness" Win)
टीम ने इस पद्धति का परीक्षण चार अलग-अलग वास्तविक दुनिया के परिदृश्यों पर किया: एयरलाइन बैगेज शुल्क, आयकर गणना, NBA खिलाड़ी वेतन नियम, और HR कंटेंट मॉडरेशन (यह तय करना कि कार्यस्थल की स्थिति सुरक्षित है या नहीं)।
परिणाम "अनुवादक और न्यायाधीश" टीम के लिए एक बड़ी जीत थे, विशेष रूप से ठोस तथ्यों की दुनिया में।
- सटीकता (Accuracy): एयरलाइन और टैक्स डोमेन में, जहाँ नियम ठोस संख्याओं (जैसे वजन और पैसा) पर आधारित होते हैं, उनकी नई पद्धति लगभग पूर्ण थी, जिसने 0.94 और 1.00 के बीच स्कोर किया। इसके विपरीत, पुराना "पॉलिसी-एज़-प्रॉम्प्ट" तरीका (AI से सीधे पूछना) संघर्ष करता था, जो अक्सर 0.40 से नीचे स्कोर करता था। यहाँ तक कि उनके द्वारा परीक्षण किए गए सबसे छोटे AI मॉडल ने भी इस नए पाइपलाइन का उपयोग करने पर 0.01 की सटीकता से उछलकर 0.61 कर ली।
- मजबूती (Robustness - द स्ट्रेस टेस्ट): यह सबसे रोमांचक हिस्सा है। शोधकर्ताओं ने सिस्टम को मूर्ख बनाने की कोशिश की—सवालों को अजीब तरीकों से बदलकर—उन्हें खुशमिजाज, हताश बनाना या ध्यान भटकाने वाले विवरण जोड़ना। पुराने AI तरीके ढह गए; शब्दावली बदलने पर टैक्स प्रश्नों पर उनकी सटीकता गिरकर 0.00 हो गई। लेकिन "पॉलिसी-एज़-लॉजिक" पद्धति मजबूत बनी रही, क्योंकि लॉजिक सॉल्वर टोन (स्वर) से विचलित नहीं होता है। यह एक ऐसे जज की तरह है जो इस बात को अनदेखा करता है कि वकील चिल्ला रहा है या फुसफुसा रहा है और केवल सबूतों को देखता है।
- दक्षता (Efficiency): नया तरीका चलाने में बहुत सस्ता भी था। क्योंकि AI को हर बार पूरा नियम संग्रह पढ़ने के बजाय केवल एक छोटा "स्कीमा" (किस चीज़ को खोजना है उसका टेम्पलेट) पढ़ना था, इसने लगभग 10 गुना कम टोकन (पाठ की वे इकाइयाँ जिन्हें AI प्रोसेस करता है) का उपयोग किया। उदाहरण के लिए, एयरलाइन प्रश्नों पर, पुराने तरीके ने 11,000 से अधिक टोकन का उपयोग किया, जबकि नए तरीके ने केवल 1,175 का उपयोग किया।
पेच: जब नियम "धुंधले" (Fuzzy) हो जाते हैं
हालाँकि, शोध पत्र में इस सुपरपावर की एक सीमा भी पाई गई। जब उन्होंने HR कंटेंट मॉडरेशन पर परीक्षण किया, जहाँ नियम व्यक्तिपरक (subjective) होते हैं (जैसे "क्या यह संदेश हानिकारक है?"), तो नई पद्धति कोई खास लाभ नहीं दे सकी। इन मामलों में, नियम मानवीय विश्वास और व्याख्या पर निर्भर करते हैं न कि कठोर गणित पर। चूंकि AI को अभी भी तथ्यों को निकालने के लिए प्रारंभिक निर्णय लेना पड़ता है, और लॉजिक सॉल्वर भावनाओं के बारे में AI से बेहतर "सोच" नहीं सकता है, इसलिए दोनों तरीके लगभग समान प्रदर्शन करते हैं (लगभग 0.93 से 0.96 सटीकता)।
लेखक सुझाव देते हैं कि यह उनके तर्क को सिद्ध करता है: पॉलिसी-एज़-लॉजिक वस्तुनिष्ठ, ज्ञान-आधारित नियमों (जैसे गणित और भौतिकी) के लिए एक शानदार उपकरण है, लेकिन यह उन समस्याओं को जादुई रूप से ठीक नहीं करता जहाँ नियम स्वयं अस्पष्ट हैं या मानवीय राय पर निर्भर हैं।
निष्कर्ष (The Bottom Line)
यह शोध पत्र सुझाव देता है कि हमारे जगत के सबसे महत्वपूर्ण, नियम-आधारित निर्णयों के लिए, हमें केवल एक अकेले AI पर सब कुछ करने के लिए निर्भर नहीं रहना चाहिए। इसके बजाय, हमें AI को उस अनुवादक के रूप में उपयोग करना चाहिए जो हमारी अव्यवस्थित भाषा को समझ सके, और फिर अंतिम निर्णय लेने के लिए बागडोर एक सख्त लॉजिक मशीन को सौंप देनी चाहिए। यह संयोजन निर्णयों को अधिक सटीक, चकमा देने में कठिन और चलाने में काफी सस्ता बनाता है, बशर्ते कि पालन किए जाने वाले नियम स्पष्ट और वस्तुनिष्ठ हों। यह एक याद दिलाता है कि कभी-कभी, AI के लिए सबसे स्मार्ट चीज़ यह जानना है कि कब अनुमान लगाना बंद करना है और गणना शुरू करनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।