🤖 machine learning

Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification

यह शोध पत्र एट्रिब्यूशन-गाइडेड मास्किंग (AGM) का प्रस्ताव करता है, जो एक प्रशिक्षण-समय हस्तक्षेप है जो बिना लक्ष्य-डोमेन लेबल की आवश्यकता के, रोबस्ट ज़ीरो-शॉट क्रॉस-डोमेन सेंटीमेंट क्लासिफिकेशन में सुधार करने के लिए ग्रेडिएंट-आधारित एट्रिब्यूशन का उपयोग करके डोमेन-विशिष्ट स्प्यूरियस टोकन का गतिशील रूप से पता लगाता है और उन्हें दंडित करता है।

मूल लेखक: Shubham Harkare, Arvind Yogesh Suresh Babu, Yash Kulkarni

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shubham Harkare, Arvind Yogesh Suresh Babu, Yash Kulkarni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Attribution-Guided Masking for Robust Cross-Domain Sentiment Classification" पेपर का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "स्मार्ट छात्र" जो नकल करता है

कल्पना कीजिए कि आपने मूवी रिव्यूज (फिल्म समीक्षाओं) को ग्रेड करने के लिए एक बहुत ही स्मार्ट छात्र (एक AI मॉडल) को काम पर रखा है। आप उन्हें IMDb के हज़ारों रिव्यूज पर प्रशिक्षित करते हैं। वे A+ प्राप्त करते हैं क्योंकि वे "cinematic," "blockbuster," और "Oscar-worthy" जैसे शब्दों को पहचानना सीख जाते हैं।

अब, आप इसी छात्र को फिल्मों के बारे में Twitter पोस्ट को ग्रेड करने के लिए कहते हैं। अचानक, वे बुरी तरह फेल हो जाते हैं। क्यों?

पेपर का तर्क है कि छात्र ने वास्तव में यह नहीं सीखा कि एक फिल्म को अच्छा क्या बनाता है। इसके बजाय, उन्होंने "spurious tokens" (भ्रामक टोकन)—यानी विशिष्ट शब्द या प्रतीक जो केवल ट्रेनिंग डेटा में दिखाई देते हैं—को देखकर "नकल करना" (cheat करना) सीख लिया।

IMDb पर, एक सकारात्मक समीक्षा में "masterpiece" शब्द हो सकता है।
Twitter पर, एक सकारात्मक समीक्षा में कोई विशिष्ट हैशटैग जैसे #MovieNight या यूजर मेंशन जैसे @friend हो सकता है।

छात्र ने सीखा: "अगर मैं @friend देखूँ, तो यह एक अच्छी समीक्षा है!" लेकिन जब वे बिना उस विशिष्ट हैंडल के कोई ट्वीट देखते हैं, तो वे भ्रमित हो जाते हैं। वे वास्तविक अर्थ (sentiment) को समझने के बजाय शॉर्टकट (नकल) पर निर्भर हैं।

असफल जासूस: "Attribution Drift"

इस छात्र को ठीक करने की कोशिश करने से पहले, शोधकर्ताओं ने जासूस खेलने की कोशिश की। वे यह अनुमान लगाना चाहते थे कि टेस्ट से पहले ही यह पता लगाया जा सके कि छात्र फेल होगा या नहीं।

उन्होंने Attribution Drift Score (ADS) नामक एक मीट्रिक बनाया। इसे एक "चीट डिटेक्टर" (नकल पकड़ने वाला) समझें जो यह देखता है कि छात्र किस चीज़ पर ध्यान केंद्रित कर रहा है।

विचार: यदि छात्र नए डोमेन में पुराने डोमेन की तुलना में अलग शब्दों पर ध्यान केंद्रित करता है, तो हम भविष्यवाणी कर सकते हैं कि वह फेल हो जाएगा।
परिणाम: यह काम नहीं किया। "चीट डिटेक्टर" अंधा था। शोधकर्ताओं ने पाया कि नकल करने वाले विशिष्ट शब्द (जैसे स्लैंग या हैशटैग) दोनों दुनियाओं के बीच इतने अलग थे कि डिटेक्टर उन्हें देखने या फ्लैग करने में भी असमर्थ था।

सबक: आप केवल काम होने के बाद यह नहीं देख सकते कि छात्र ने नकल की थी या नहीं। आपको उसे पढ़ाई के दौरान ही नकल करने से रोकना होगा।

समाधान: "Attribution-Guided Masking" (AGM)

शोधकर्ताओं ने Attribution-Guided Masking (AGM) नामक एक नई प्रशिक्षण विधि प्रस्तावित की।

कल्पना कीजिए कि छात्र एक अभ्यास टेस्ट दे रहा है। हर बार जब वे एक उत्तर देते हैं, तो शिक्षक (AI) पूछता है: "यह तय करने के लिए कि यह सही है, तुमने किन शब्दों को देखा?"

स्पॉटलाइट (The Spotlight): AI एक विशेष टूल (Gradient-based Attribution) का उपयोग करके उन विशिष्ट शब्दों पर एक तेज़ रोशनी डालता है जिन पर मॉडल सबसे अधिक निर्भर है।
जाल (The Trap): यदि मॉडल एक "चीट वर्ड" (जैसे कोई विशिष्ट हैशटैग या यूजर मेंशन) पर बहुत अधिक निर्भर है, तो शिक्षक कहता है, "रुको! तुम गलत चीज़ देख रहे हो।"
मास्क (The Mask): शिक्षक भौतिक रूप से उन चीट वर्ड्स को वाक्य में ढक देता है (mask करता है) और छात्र से उन्हें बिना उपयोग किए सेंटीमेंट का अनुमान लगाने को कहता है।
- मूल: "This movie was great! @friend loved it."
- मास्क किया हुआ: "This movie was great! [MASK] loved it."
दंड (The Penalty): यदि छात्र अभी भी सही उत्तर देता है, तो बहुत अच्छा! लेकिन अगर मॉडल केवल @friend को देखकर ही उत्तर दे पा रहा था, तो वह मास्क किए गए संस्करण में फेल हो जाएगा। सिस्टम फिर मॉडल को उस शब्द पर निर्भर रहने के लिए दंडित करता है।

समय के साथ, मॉडल को उन "चीट वर्ड्स" (हैशटैग, मेंशन, स्लैंग) को देखना बंद करने और वास्तविक अर्थ (जैसे "great," "boring," "funny") को देखने के लिए मजबूर किया जाता है जो फिल्मों और ट्वीट्स दोनों में काम करते हैं।

यह क्यों विशेष है

पेपर इस समस्या को ठीक करने के अन्य पाँच प्रसिद्ध तरीकों (जैसे DANN, IRM, और Fish) के विरुद्ध इस नई विधि (AGM) की तुलना करता है।

प्रतियोगिता: अन्य तरीके यह कोशिश करते हैं कि छात्र का "दिमाग" दोनों डोमेन के लिए एक जैसा दिखे। यह छात्र को यह बताने जैसा है कि, "अपनी सोचने की शैली न बदलें।"
विजेता: AGM सबसे कठिन टेस्ट (Twitter डेटा) पर जीतता है। यह 0.244 का स्कोर प्राप्त करता है (जहाँ कम स्कोर बेहतर है), जो अन्य को पछाड़ देता है (DANN था 0.264, DRO था 0.248)।
सीक्रेट सॉस (The Secret Sauce): शोधकर्ताओं ने साबित किया कि "Masking" वाला हिस्सा सबसे महत्वपूर्ण है। यदि वे उस हिस्से को हटा देते हैं जो विशेष रूप से "चीट वर्ड्स" को लक्षित करता है और केवल रैंडमली शब्दों को ढक देते, तो मॉडल फिर से खराब हो जाता। यह साबित करता है कि AI को यह जानने की ज़रूरत है कि कौन से शब्द गलत शॉर्टकट हैं ताकि वह उनका उपयोग करना बंद कर सके।

परिणाम: एक अधिक ईमानदार छात्र

प्रशिक्षण के अंत तक:

पुराना मॉडल: खुशी या दुख तय करने के लिए @user और #hashtag को देखता था।
AGM मॉडल: @user और #hashtag को अनदेखा करता है और फिल्म का वर्णन करने वाले वास्तविक शब्दों पर ध्यान केंद्रित करता है।

पेपर निष्कर्ष निकालता है कि यह विधि AI मॉडल्स को अधिक मजबूत (robust) बनाती है। वे केवल ट्रेनिंग डेटा की शैली को याद नहीं करते; वे भावना की वास्तविक भाषा सीखते हैं, जिससे वे ट्विटर जैसे पूरी तरह से नए और शोर-शराबे वाले वातावरण में भी अच्छी तरह काम कर पाते हैं।

संक्षेप में: यह पेपर AI को विशिष्ट शब्दों का उपयोग करके शॉर्टकट के रूप में नकल करने से रोकने और उसे पढ़ने के वास्तविक अर्थ को सीखने के लिए मजबूर करने के बारे में सिखाता है।

तकनीकी सारांश: सुदृढ़ क्रॉस-डोमेन सेंटीमेंट वर्गीकरण के लिए एट्रिब्यूशन-गाइडेड मास्किंग (Attribution-Guided Masking)

समस्या विवरण

प्री-ट्रेन्ड ट्रांसफॉर्मर मॉडल (जैसे BERT, RoBERTa) इन-डोमेन सेंटीमेंट वर्गीकरण पर अत्याधुनिक प्रदर्शन प्राप्त करते हैं, लेकिन जब उन्हें आउट-ऑफ-डोमेन डेटा पर स्थानांतरित किया जाता है, तो वे अक्सर गंभीर प्रदर्शन गिरावट का सामना करते हैं। लेखक यह परिकल्पना करते हैं कि यह सामान्यीकरण अंतराल ( $\Delta$ ) डोमेन-इनवेरिएंट सेंटीमेंट मार्कर्स के बजाय डोमेन-विशिष्ट स्प्यूरियस टोकन्स (जैसे @मेंशन्स, हैशटैग, स्लैंग) पर मॉडल की अत्यधिक निर्भरता से प्रेरित है।

शोध में शुरू में इस बात की जांच की गई कि क्या पोस्ट-हॉक टोकन-लेवल एट्रिब्यूशन ड्रिफ्ट इस विफलता की भविष्यवाणी कर सकता है। उन्होंने एट्रिब्यूशन ड्रिफ्ट स्कोर (ADS) को पेश किया ताकि डोमेन के बीच टोकन-लेवल महत्व में बदलाव को मापने के लिए। हालांकि, कई फॉर्मुलेशन के व्यापक परीक्षणों ने ADS और सामान्यीकरण अंतराल के बीच कोई सार्थक सहसंबंध नहीं दिखाया। यह नकारात्मक निष्कर्ष इंगित करता है कि पोस्ट-हॉक एट्रिब्यूशन ड्रिफ्ट, ट्रांसफर की कठिनाई का अनुमान लगाने के लिए एक अपर्याप्त संकेत है, जो ट्रेनिंग-टाइम इंटरवेंशन की ओर बदलाव की आवश्यकता को दर्शाता है।

कार्यप्रणाली: एट्रिब्यूशन-गाइडेड मास्किंग (AGM)

लेखक एट्रिब्यूशन-गाइडेड मास्किंग (AGM) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे फाइन-ट्यूनिंग चरण के दौरान स्प्यूरियस टोकन्स पर निर्भरता को गतिशील रूप से पहचानने और दंडित करने के लिए डिज़ाइन किया गया है। यह विधि लक्षित-डोमेन लेबल या मानव एनोटेशन की आवश्यकता के बिना कार्य करती है।

मुख्य घटक:

एट्रिब्यूशन कंप्यूटेशन: मॉडल क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ) के आधार पर टोकन-लेवल एट्रिब्यूशन स्कोर ( $a$ ) की गणना करने के लिए Gradient $\times$ Input सन्निकटन का उपयोग करता है।
$a = \nabla_h L_{CE} \odot h$
स्प्यूरियस टोकन डिटेक्शन: एक अनुक्रम के भीतर पूर्ण एट्रिब्यूशन मैग्नीट्यूड वाले टोकन्स जिन्हें 75वें पर्सेंटाइल ( $\tau_{high} = 0.75$ ) से अधिक पाया जाता है, उन्हें संभावित रूप से स्प्यूरियस के रूप में चिह्नित किया जाता है।
काउंटरफैक्चुअल जनरेशन: चिह्नित टोकन्स को [MASK] से बदल दिया जाता है, और एक साझा-वेट मास्कड लैंग्वेज मॉडल (MLM) संदर्भ-उपयुक्त प्रतिस्थापनों की भविष्यवाणी करता है। काउंटरफैक्चुअल अनुक्रम को केवल तभी रखा जाता है जब मॉडल का अनुमानित सेंटीमेंट लेबल अपरिवर्तित रहता है, जिससे यह सुनिश्चित होता है कि मूल सेंटीमेंट सुरक्षित रहे।
ट्रेनिंग ऑब्जेक्टिव: AGM लॉस फंक्शन मानक वर्गीकरण लॉस के साथ दो सहायक पदों को जोड़ता है:
- एट्रिब्यूशन मास्किंग लॉस ( $L_{mask}$ ): सीधे चिह्नित टोकन्स पर उच्च एट्रिब्यूशन स्कोर को दंडित करता है।
  $L_{mask} = \frac{1}{|M|} \sum_{i \in M} (a_i)^2$
- काउंटरफैक्चुअल कॉन्ट्रास्टिव लॉस ( $L_{CCL}$ ): (वैकल्पिक) डोमेन-इनवेरिएंट रिप्रजेंटेशन को लागू करने के लिए मीन स्क्वेयर्ड एरर का उपयोग करके मूल और काउंटरफैक्चुअल इनपुट्स के पूल्ड रिप्रजेंटेशन को संरेखित करता है।
कुल ऑब्जेक्टिव है:
$L_{AGM} = L_{CE} + \lambda_1 L_{mask} + \lambda_2 L_{CCL}$

प्रयोगात्मक सेटअप और परिणाम

विधि का मूल्यांकन चार विविध डोमेन: IMDb, Amazon, TripAdvisor, और Sentiment140 में एक कठोर ज़ीरो-शॉट, लीव-वन-आउट ट्रांसफर प्रोटोकॉल का उपयोग करके किया गया था। प्राथमिक मीट्रिक जनरलइजेशन गैप ( $\Delta = |F1_{source} - F1_{target}|$ ) था, जहाँ कम मान बेहतर सुदृढ़ता (robustness) को दर्शाता है।

प्रमुख निष्कर्ष:

कठिन ट्रांसफर पर प्रदर्शन: सबसे कठिन ट्रांसफर टास्क (Sentiment140) पर, AGM ने $\Delta = 0.244$ का जनरलइजेशन गैप प्राप्त किया। इसने डोमेन-एडवर्सरियल ट्रेनिंग (DANN, $\Delta=0.264$ ), डिस्ट्रिब्यूशनली रोबस्ट ऑप्टिमाइजेशन (DRO, $\Delta=0.248$ ), और Fish ( $\Delta=0.247$ ) को पीछे छोड़ दिया। यह इनवेरिएंट रिस्क मिनिमाइजेशन (IRM, $\Delta=0.238$ ) के तुलनीय था, लेकिन काफी कम वेरिएंस ( $\pm 0.015$ AGM के लिए बनाम $\pm 0.036$ IRM के लिए) के साथ।
स्थिरता और व्याख्यात्मकता: IRM के विपरीत, जिसके लिए व्यापक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता थी और जो अस्थिरता प्रदर्शित करता था, AGM ने आठ रैंडम सीड्स केAcross निरंतर परिणाम प्रदान किए। विशिष्ट रूप से, AGM टोकन-लेवल व्याख्यात्मकता प्रदान करता है, जो यह प्रकट करता है कि कौन सी विशेषताएं जनरलइजेशन गैप को संचालित करती हैं।
गुणात्मक विश्लेषण: हीटमैप्स ने पुष्टि की कि AGM ने डोमेन-विशिष्ट आर्टिफैक्ट्स (जैसे @मेंशन्स, नंबर, स्लैंग) पर एट्रिब्यूशन को सफलतापूर्वक दबा दिया और डोमेन-इनवेरिएंट सेंटीमेंट मार्कर्स की ओर निर्भरता को स्थानांतरित कर दिया।
एब्लेशन स्टडी: अध्ययन ने पुष्टि की कि एट्रिब्यूशन-गाइडेड मास्किंग ही महत्वपूर्ण घटक है। $L_{mask}$ को हटाने या एट्रिब्यूशन-गाइडेड चयन को रैंडम टोकन चयन से बदलने से लगातार प्रदर्शन में गिरावट आई (कठिन ट्रांसफर पर $\Delta \approx 0.260$ तक बढ़ गया)। काउंटरफैक्चुअल कॉन्ट्रास्टिव लॉस ( $L_{CCL}$ ) को वैकल्पिक पाया गया; "मास्क-ओनली" वेरिएंट ने कम कम्प्यूटेशनल ओवरहेड के साथ समकक्ष प्रदर्शन प्राप्त किया।

महत्व और योगदान

पेपर तीन प्राथमिक योगदानों का दावा करता है:

नैदानिक अंतर्दृष्टि (Diagnostic Insight): यह प्रदर्शित करता है कि पोस्ट-हॉक एट्रिब्यूशन ड्रिफ्ट, जनरलइजेशन विफलता का एक अविश्वसनीय भविष्यवक्ता है, यह समझाते हुए कि साझा शब्दावली टोकन स्थिर एट्रिब्यूशन रखते हैं जबकि समस्याग्रस्त डोमेन-विशिष्ट टोकन को क्रॉस-डोमेन तुलनाओं से बाहर रखा जाता है।
नया हस्तक्षेप (Novel Intervention): यह AGM को पेश करता है, जो ग्रेडिएंट-आधारित एट्रिब्यूशन के माध्यम से स्प्यूरियस टोकन निर्भरता को स्वचालित रूप से पहचानता और दंडित करता है, जिसके लिए किसी बाहरी पर्यवेक्षण या लक्ष्य लेबल की आवश्यकता नहीं होती है।
सुदृढ़ सामान्यीकरण (Robust Generalization): कठोर मूल्यांकन के माध्यम से, यह दिखाता है कि AGM कठिन ट्रांसफर कार्यों पर प्रतिस्पर्धी सामान्यीकरण प्राप्त करता है, जो उन ग्लोबल रिप्रजेंटेशन एलाइनमेंट विधियों (जैसे DANN) से बेहतर है जो अत्यधिक स्टाइलिस्टिक दूरियों के मामले में विफल हो जाते हैं।

सीमाएँ:
लेखक नोट करते हैं कि अध्ययन बाइनरी इंग्लिश सेंटीमेंट क्लासिफिकेशन तक सीमित है। यह दृष्टिकोण डबल बैकवर्ड पास और काउंटरफैक्चुअल जनरेशन के कारण लगभग 2–3 $\times$ धीमा प्रशिक्षण लागत पेश करता है। इसके अतिरिक्त, हालांकि AGM, Sentiment140 पर IRM के साथ प्रतिस्पर्धी प्रदर्शन करता है, अंतर ओवरलैपिंग कॉन्फिडेंस इंटरवल्स के भीतर हैं, जो सुझाव देता है कि परिणामों की व्याख्या सांख्यिकीय महत्व के संबंध में सावधानी से की जानी चाहिए।

निष्कर्ष:
यह कार्य ऐसे सेंटीमेंट क्लासिफायर विकसित करने के लिए एक मार्ग प्रदान करता है जो एक्सप्लोिटेबल डोमेन-विशिष्ट आर्टिफैक्ट्स के बजाय आंतरिक सिमेंटिक अर्थ पर भरोसा करते हैं, जो एक स्केलेबल समाधान प्रदान करता है जो सुदृढ़ और व्याख्यात्मक दोनों है।