Repair, Not Improvement: Decomposing Constrained Decoding in Tool-Call Abstention
यह शोध पत्र प्रदर्शित करता है कि टूल-कॉल परिदृश्यों में बाधित डिकोडिंग (constrained decoding) अक्सर अपवर्जन त्रुटियों (abstention errors) को सुधारने में विफल रहती है क्योंकि स्टॉप टोकन को लागू करने का नकारात्मक प्रभाव अक्सर टोकन विकल्पों को प्रतिबंधित करने के लाभों से अधिक होता है, जो अंततः यह प्रकट करता है कि भाषा-विशिष्ट प्रदर्शन अंतरों के बारे में पिछले दावे निराधार हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सेटअप: AI, नियम और "ना" कहने की कला
कल्पना कीजिए कि आप एक बहुत ही उत्साही, सुपर-फास्ट रोबोट को एक सहायक बनने के लिए सिखा रहे हैं। यह रोबोट कहानियाँ लिखने, गणित की समस्याओं को हल करने और यहाँ तक कि एक जादूगर बनने का नाटक करने में भी माहिर है। लेकिन एक पेंच है: कभी-कभी, इस रोबट के लिए सबसे अच्छा काम यह होता है कि वह स्वीकार कर ले कि उसे उत्तर नहीं पता या उसे कुछ भी नहीं करना चाहिए। AI की दुनिया में, इसे "एब्स्टेंशन" (abstention) कहा जाता है। यदि आप रोबोट से मौसम की जाँच करने के लिए कहते हैं, लेकिन वास्तव में आप एक कानूनी रहस्य जानना चाहते हैं, तो रोबोट को एक फर्जी कानूनी राय आत्मविश्वास के साथ बनाने के बजाय यह कहना चाहिए, "मैं इसमें मदद नहीं कर सकता।"
इन रोबोटों को मनगढ़ंत कहानियाँ बनाने या नियम तोड़ने से बचाने के लिए, इंजीनियर एक तरकीब का उपयोग करते हैं जिसे "कन्स्ट्रेंड डिकोडिंग" (constrained decoding) कहा जाता है। इसे एक सख्त कलरिंग बुक देने जैसा समझें। रोबोट को पेज पर कहीं भी चित्र बनाने देने के बजाय, कलरिंग बुक में केवल विशिष्ट रूपरेखाएँ (जैसे कि एक JSON फॉर्मेट या अनुमत टूल्स की एक सूची) होती हैं जिनके भीतर रोबोट को रंग भरने की अनुमति होती है। यदि रोबोट लाइनों के बाहर चित्र बनाने की कोशिश करता है, तो कंप्यूटर उसे तुरंत रोक देता है। लंबे समय तक, वैज्ञानिकों ने सोचा कि यह तरकीब लगभग मुफ्त थी: इसने रोबोट के उत्तरों को बिना उसकी वास्तविक मानसिक शक्ति को नुकसान पहुँचाए एकदम सटीक और व्यवस्थित बना दिया। लेकिन एक विशिष्ट स्थिति पर एक बड़ा प्रश्नचिह्न लगा हुआ था: क्या होता है जब रोबोट को कहना पड़ता है कि "मैं यह नहीं कर सकता"? क्या सख्त कलरिंग बुक रोबोट को तब भी एक टूल चुनने के लिए मजबूर करती है जब उसे ऐसा नहीं करना चाहिए? यह शोध पत्र ठीक इसी प्रश्न की जांच करता है, कि क्या वे नियम जो उत्तरों को अच्छा दिखाते हैं, वास्तव में रोबोट की "कब रुकना है" यह जानने की क्षमता को बिगाड़ देते हैं।
कहानी: जब नियम "ना" बटन को तोड़ देते हैं
इस शोध के शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए एक चतुर प्रयोग किया। उन्होंने कई AI मॉडल्स (0.6 बिलियन "मस्तिष्क कोशिकाओं" वाले छोटे मॉडल से लेकर 4 बिलियन वाले थोड़े बड़े मॉडल तक) को लिया और उनसे एक सरल प्रश्न पूछा: "क्या मुझे एक टूल का उपयोग करना चाहिए, या मुझे बस 'कोई नहीं' (None) कहना चाहिए?" उन्होंने यह काम अंग्रेजी और कोरियाई, दोनों भाषाओं में किया, ताकि यह देखा जा सके कि क्या भाषा परिणाम को बदल देती है।
यह समझने के लिए कि वास्तव में क्या गलत हो रहा था, उन्होंने केवल "मुक्त" उत्तरों और "प्रतिबंधित" उत्तरों की तुलना नहीं की। उन्होंने बीच में एक मध्यवर्ती चरण जोड़ा, जैसे कि एक तीन-अंकों वाला नाटक:
- मुक्त अंक (The Free Act): रोबोट अपनी इच्छानुसार उत्तर देता है, जिसमें खुद को समझाने के लिए पर्याप्त जगह होती है।
- लघु अंक (The Short Act): रोबोट केवल एक पंक्ति में उत्तर देता है, लेकिन वह अभी भी जो चाहे बोलने के लिए स्वतंत्र है। यह परीक्षण करता है कि क्या केवल रोबोट की व्याख्या को काटने से उसकी सटीकता प्रभावित होती है।
- प्रतिबंधित अंक (The Restricted Act): रोबोट एक पंक्ति में उत्तर देता है, लेकिन उसे टूल्स की एक सख्त सूची (या "कोई नहीं") में से चुनने के लिए मजबूर किया जाता है। यह मानक "कन्स्ट्रेंड डिकोडिंग" विधि है।
इन तीन अंकों की तुलना करके, वैज्ञानिक दो अलग-अलग समस्याओं को अलग कर सके: रोबोट की बातचीत को छोटा करने की लागत, और उसे एक सूची में से चुनने के लिए मजबूर करने की लागत।
बड़ी खोज: सुधार, न कि सुधार (Repair, Not Improvement)
परिणाम आश्चर्यजनक और थोड़े विरोधाभासी थे। शोध पत्र में पाया गया कि जब आप एक रोबोट को टूल्स की एक सख्त सूची में से चुनने के लिए मजबूर करते हैं, तो यह वास्तव में यह तय करने में अधिक स्मार्ट नहीं होता कि कब "ना" कहना है। वास्तव में, सबसे छोटे मॉडल्स के लिए, सख्त नियमों ने उन्हें रुकने (abstain करने) के मामले में काफी खराब बना दिया। एक विशिष्ट मामले में (कोरियाई भाषा में 0.6B वाला छोटा मॉडल), सख्त नियमों के कारण मुक्त रूप से बोलने की तुलना में सटीकता में 29.5 प्रतिशत अंक की गिरावट आई।
हालाँकि, कहानी तब और दिलचस्प हो जाती है जब आप देखते हैं कि कुछ मामलों में नियमों ने मदद क्यों की। शोधकर्ताओं ने पाया कि सख्त नियम अव्यवस्थित उत्तरों के लिए एक "रिपेयर किट" (मरम्मत किट) की तरह काम करते हैं, न कि "ब्रेन अपग्रेड" (मस्तिष्क अपग्रेड) की तरह। जब रोबोट को सूची में से चुनने के लिए मजबूर किया गया, तो उसने निरर्थक या अपठनीय टेक्स्ट बनाना बंद कर दिया। इसने "बकवास" को "सही दिखने वाले उत्तरों" में बदल दिया। लेकिन इसने "गलत निर्णयों" को "सही निर्णयों" में नहीं बदला।
यहाँ महत्वपूर्ण हिस्सा है: शोधकर्ताओं ने उन 698 उदाहरणों को देखा जहाँ सख्त नियमों ने एक गलत उत्तर को सही उत्तर में बदल दिया। उन्होंने पाया कि उनमें से 545 मामले ऐसे थे जहाँ रोबोट ने मूल रूप से कोई पठनीय उत्तर ही नहीं दिया था। ऐसे शून्य मामले थे जहाँ रोबोट पहले से ही सही निर्णय ले चुका था लेकिन प्रारूप (format) द्वारा बाधित था। इसका अर्थ है कि नियमों ने रोबोट के निर्णय को ठीक नहीं किया; उन्होंने केवल उसके लिखने के तरीके (handwriting) को ठीक किया।
छिपा हुआ जाल: "स्टॉप टोकन" बनाम "इनम" (The "Stop" Token vs. The "Enum")
शोध पत्र ने इन सख्त नियमों को दो भागों में विभाजित किया ताकि यह देखा जा सके कि विलेन कौन है:
- स्टॉप टोकन (The Stop Token): यह वह नियम है जो कहता है, "एक पंक्ति के बाद लिखना बंद करें।"
- इनम (The Enum): यह वह नियम है जो कहता है, "आप केवल टूल्स की इस विशिष्ट सूची में से ही चुन सकते हैं।"
उन्होंने पाया कि ये दो भाग एक-दूसरे से लड़ रहे थे। "स्टॉप टोकन" (उत्तर को छोटा करना) मुख्य अपराधी था, जिसने कुछ मामलों में "कोई नहीं" कहने की रोबोट की क्षमता को लगभग 20.0 अंक कम कर दिया। "इनम" (टूल्स की सूची) ने लगभग 19.5 अंक की सटीकता वापस जोड़कर इसे ठीक करने की कोशिश की। जब आप उन्हें एक साथ रखते हैं, तो वे लगभग एक-दूसरे को रद्द कर देते हैं, जिससे केवल 0.5 अंक का मामूली शुद्ध नुकसान होता है।
यही कारण है कि पिछले अध्ययनों ने शायद इस समस्या को मिस कर दिया होगा। यदि आप केवल अंतिम संख्या को देखते हैं, तो लगता है कि नियमों ने बहुत अधिक नुकसान नहीं पहुँचाया। लेकिन यदि आप इसके अंदर झाँकते हैं, तो आप देखते हैं कि एक विशाल मरम्मत द्वारा एक विशाल नुकसान को छिपाया गया है। नियमों ने रोबोट के निर्णय लेने की क्षमता में सुधार नहीं किया; उन्होंने केवल रोबोट की बातचीत को छोटा करने से होने वाले नुकसान को पैच (patch) किया।
निष्कर्ष: मस्तिष्क अपग्रेड की उम्मीद न करें
यह शोध पत्र उन सभी के लिए एक स्पष्ट चेतावनी के साथ समाप्त होता है जो AI सिस्टम बना रहे हैं। यदि आप अपने AI को पेशेवर दिखाने के लिए सख्त फॉर्मेटिंग नियमों का उपयोग करते हैं, तो यह उम्मीद न करें कि यह यह जानने में बेहतर हो जाएगा कि कब कार्य नहीं करना है। नियम आपके आउटपुट को साफ और पठनीय बनाएंगे, लेकिन वे उस रोबोट को ठीक नहीं करेंगे जो इस बात को लेकर भ्रमित है कि उसे मदद करनी चाहिए या नहीं।
वास्तव में, अध्ययन सुझाव देता है कि ये नियम रोबोट को आवश्यकता से अधिक कार्य करने के लिए प्रेरित कर सकते हैं। जब रोबोट को एक सूची में से चुनने के लिए मजबूर किया जाता है, तो वह अपने "निर्णय की रेखा" को टूल चुनने की ओर ले जाता है, भले ही सही उत्तर कुछ न करना हो। यह सुरक्षा के लिए खतरनाक है: एक रोबोट जिसे टूल चुनने के लिए मजबूर किया जाता है, वह मौसम API को कॉल कर सकता है जब आप उससे कानूनी सवाल पूछते हैं, सिर्फ इसलिए क्योंकि नियमों ने उसे स्पष्ट रूप से यह कहने का तरीका नहीं दिया कि "मैं नहीं कर सकता।"
शोधकर्ताओं ने विभिन्न मॉडल्स और भाषाओं (अंग्रेजी और कोरियाई) में इसका परीक्षण किया और पाया कि यह पैटर्न बना रहा। सख्त नियम अव्यवस्थित टेक्स्ट को ठीक करने के लिए बेहतरीन हैं, लेकिन वे निर्णय लेने की क्षमता में सुधार करने वाली जादुई छड़ी नहीं हैं। जैसा कि शोध पत्र में कहा गया है, नियम "अपठनीय आउटपुट को पठनीय बनाते हैं, जो कि एक अच्छी बात है, और यह निर्णय को वहीं छोड़ देता है जहाँ वह मिला था।" इसलिए, यदि आप चाहते हैं कि आपका AI यह जाने कि कब "ना" कहना है, तो आप केवल एक सख्त चेकलिस्ट पर निर्भर नहीं रह सकते; आपको रोबोट को स्वयं यह सिखाना होगा कि कब रुकना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।