Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations
यह शोध पत्र लेटेंट एट्रिब्यूशन रेगुलराइजेशन (LAR) को प्रस्तुत करता है, जो एक प्रशिक्षण-समय की विधि है जो अर्थ-संरक्षण करने वाले समानार्थी प्रतिस्थापन के तहत एट्रिब्यूशन निरंतरता को लागू करती है, यह प्रदर्शित करते हुए कि यह मॉडल की सटीकता से समझौता किए बिना फाइन-ट्यून किए गए ट्रांसफॉर्मर्स में ग्रेडिएंट-आधारित स्पष्टीकरणों की स्थिरता में महत्वपूर्ण सुधार करता है, और साथ ही यह भी स्थापित करता है कि ऐसी स्थिरता को सटीक रूप से मापने के लिए उचित टोकन संरेखण आवश्यक है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह समझने का एक सामान्य तरीका है कि कंप्यूटर कोई निर्णय कैसे लेता है, वह यह देखना है कि उसने इनपुट के किन हिस्सों पर सबसे अधिक ध्यान दिया। कल्पना कीजिए कि एक मशीन एक वाक्य पढ़ रही है और यह तय कर रही है कि वह खुश है या दुखी; शोधकर्ता एक ऐसा मानचित्र बना सकते हैं जो दिखाता है कि मॉडल ने उस निर्णय के लिए किन शब्दों को सबसे महत्वपूर्ण माना। ये मानचित्र, जिन्हें 'फीचर एट्रिब्यूशन' (feature attributions) कहा जाता है, तेजी से लोगों को एआई के निर्णयों को समझाने के लिए उपयोग किए जा रहे हैं। हालाँकि, एक परेशान करने वाला पैटर्न सामने आया है: यदि आप एक शब्द को उसके समानार्थी शब्द से बदलकर वाक्य को थोड़ा बदल देते हैं जिसका अर्थ समान है, तो मानचित्र अक्सर पूरी तरह से बदल जाता है। कंप्यूटर अचानक किसी अलग शब्द को अपने निर्णय का कारण बता सकता है, भले ही वाक्य का अर्थ और अंतिम उत्तर नहीं बदला हो। यह व्याख्या को अविश्वसनीय बनाता है, जैसे कि एआई अविश्वसनीय या भ्रमित हो, जबकि वास्तव में, यह परिवर्तन उस तरीके के कारण उत्पन्न एक भ्रम हो सकता है जिससे कंप्यूटर टेक्स्ट को पढ़ता है।
स्वतंत्र शोधकर्ता जुनैद हसन द्वारा किया गया एक नया अध्ययन इस समस्या की जांच करता है, जो यह उजागर करता है कि स्पष्ट अस्थिरता का अधिकांश हिस्सा वास्तव में एक माप त्रुटि है जो कंप्यूटर द्वारा शब्दों को तोड़ने के तरीके के कारण होती है। आधुनिक भाषा मॉडल मनुष्यों की तरह पूरे शब्दों को नहीं पढ़ते हैं; इसके बजाय, वे टेक्स्ट को 'सबवर्ड टोकन' (subword tokens) नामक छोटे टुकड़ों में काट देते हैं। जब एक शब्द को समानार्थी शब्द से बदला जाता है, तो इन छोटे टुकड़ों की संख्या बदल सकती है, जिससे उसके बाद आने वाले प्रत्येक टोकन की स्थिति बदल जाती है। यदि शोधकर्ता सूची में उनकी स्थिति के आधार पर महत्व के स्कोर की तुलना करते हैं, तो वे अक्सर पूरी तरह से गलत चीजों की तुलना कर रहे होते हैं, जैसे कि एक किताब के पहले पन्ने की तुलना दूसरी किताब के दूसरे पन्ने से करना। शोधकर्ता ने इसे ठीक करने के लिए एक विधि विकसित की, जो स्थिति के बजाय वास्तविक पहचान के आधार पर शब्दों का मिलान करती है, और पाया कि इन व्याख्याओं की स्थिरता पहले की तुलना में बहुत बेहतर थी।
इस सुधारात्मक माप पद्धति पर आधारित, अध्ययन एक नई प्रशिक्षण तकनीक पेश करता है जिसे 'लेटेंट एट्रिब्यूशन रेगुलराइजेशन' (Latent Attribution Regularization) कहा जाता है। यह विधि एआई मॉडल को अपने स्पष्टीकरण मानचित्रों को सुसंगत बनाए रखने के लिए प्रशिक्षित करती है, भले ही इनपुट टेक्स्ट को समानार्थी शब्दों के साथ थोड़ा बदला गया हो। प्रशिक्षण प्रक्रिया के दौरान, मॉडल को एक वाक्य और उस वाक्य के थोड़े बदले हुए संस्करण को दिखाया जाता है, और उसे तब पुरस्कृत किया जाता है जब अपरिवर्तित शब्दों के लिए महत्व के स्कोर दोनों संस्करणों में समान रहते हैं। यह टेक्स्ट के सेंटीमेंट (भाव) को सही ढंग से वर्गीकृत करने के मानक कार्य के साथ किया जाता है। लक्ष्य केवल सही उत्तर प्राप्त करना नहीं है, बल्कि यह सुनिश्चित करना है कि शब्दावली बदलने पर भी उस उत्तर के पीछे का तर्क स्थिर रहे।
शोधकर्ता ने मूवी रिव्यूज के एक डेटासेट का उपयोग करके 'डिस्टिलबर्ट' (DistilBERT) नामक एक मॉडल का परीक्षण किया। प्रयोग दो अलग-अलग पैमानों पर चलाए गए थे: 1,500 उदाहरणों वाला एक छोटा परीक्षण और 20,000 उदाहरणों वाला एक बड़ा, अधिक यथार्थवादी परीक्षण। दोनों मामलों में, मॉडल को इस नई निरंतरता तकनीक के साथ और इसके बिना प्रशिक्षित किया गया। परिणामों ने दिखाया कि निरंतरता तकनीक के साथ प्रशिक्षित मॉडल काफी अधिक स्थिर स्पष्टीकरण प्रदान करते हैं। जब टेक्स्ट को हल्के, मध्यम या भारी मात्रा में समानार्थी प्रतिस्थापन के साथ बदला गया, तो उनके स्पष्टीकरण अन्य मॉडलों की तुलना में बहुत अधिक बार सुसंगत रहे। उदाहरण के लिए, बड़े परीक्षण में, स्थिरता में सुधार तब बढ़ गया जब टेक्स्ट परिवर्तन अधिक कठिन हो गए, जो कठिन परिस्थितियों में एक स्पष्ट लाभ दिखाता है।
महत्वपूर्ण रूप से, इस स्थिरता में सुधार मॉडल की टेक्स्ट को समझने की क्षमता की कीमत पर नहीं आया। नई तकनीक के साथ प्रशिक्षित मॉडल ने मूवी रिव्यूज को वर्गीकृत करने में बिना तकनीक वाले मॉडलों के समान उच्च सटीकता प्राप्त की। बड़े प्रयोग में, दोनों समूहों ने लगभग 82 प्रतिशत की सटीकता प्राप्त की, जिससे सिद्ध हुआ कि मॉडल मुख्य कार्य को भूले बिना अधिक सुसंगत होना सीख सकता है। अध्ययन ने यह भी पुष्टि की कि प्रारंभिक निष्कर्ष कि अत्यधिक अस्थिरता मौजूद है, वास्तव में माप पद्धति का एक आर्टिफैक्ट (artifact) था; एक बार जब संरेखण (alignment) को ठीक कर लिया गया, तो आधारभूत स्थिरता पहले से ही उच्च थी, लेकिन नए प्रशिक्षण पद्धति ने इसे और भी ऊपर पहुँचा दिया।
निष्कर्ष बताते हैं कि डेवलपर्स के लिए जो एआई सिस्टम बना रहे हैं जो उपयोगकर्ताओं को अपने निर्णयों की व्याख्या करते हैं, उनके पास अपने स्पष्टीकरणों को अधिक विश्वसनीय बनाने का एक व्यावहारिक तरीका है। प्रशिक्षण चरण के दौरान इस निरंतरता जांच को जोड़कर, एआई मामूली शब्दों के बदलाव से होने वाले शोर को अनदेखा करना और वास्तविक अर्थ पर ध्यान केंद्रित करना सीख सकता है। शोधकर्ता नोट करते हैं कि हालांकि यह कार्य एक विशिष्ट प्रकार के मॉडल और एक एकल कार्य पर किया गया था, यह विधि मानक प्रशिक्षण में एक कम जोखिम वाला जोड़ है जो वास्तविक दुनिया के अनुप्रयोगों के लिए एआई स्पष्टीकरणों को अधिक भरोसेमंद बना सकता है। अध्ययन का निष्कर्ष है कि एआई मॉडलों पर अक्सर आरोपित अस्थिरता वास्तव में माप के तरीके का एक छल था, और सही उपकरणों और प्रशिक्षण के साथ, हम अधिक स्थिरता के साथ स्वयं की व्याख्या करने वाले सिस्टम बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।