Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

यहाँ शोध पत्र "Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

परिप्रेक्ष्यवादी (Perspectivist) नेचुरल लैंग्वेज प्रोसेसिंग (NLP) यह तर्क देता है कि एनोटेशन को एक एकल सर्वसम्मत लेबल के बजाय व्यक्तिगत एनोटेटर के निर्णयों को प्रतिबिंबित करना चाहिए। जबकि वर्तमान दृष्टिकोण इन परिप्रेક્ષ्यों को विच्छेदित लेबल और मेटाडेटा (जैसे, उपयोगकर्ता आईडी, जनसांख्यिकी) का उपयोग करके मॉडल करते हैं, वे अक्सर व्याख्याओं (rationales) को माध्यमिक या 'पोस्ट-हॉक' औचित्य के रूप में देखते हैं।

• अंतराल (The Gap): मौजूदा विधियाँ एनोटेटर-विशिष्ट तर्कों (rationales) को सीधे मॉडलिंग प्रक्रिया में शामिल करने में दुर्लभ रूप से सक्षम हैं। फलस्वरूप, लेबल के पीछे का "क्यों" अमूर्त बना रहता है, और मॉडल उस सूक्ष्म तर्क विविधता को पकड़ने में विफल रहते हैं जो असहमति का कारण बनती है।
• लक्ष्य (The Goal): एक ऐसा ढांचा विकसित करना जो लेबल भविष्यवाणी और व्याख्या निर्माण को संयुक्त रूप से मॉडल करे, जो स्पष्ट रूप से विशिष्ट एनोटेटर की पहचान और तर्क पर आधारित हो, और व्याख्याओं को केवल व्याख्यात्मक उपकरणों के बजाय परिप्रेक्ष्य की प्राथमिक अभिव्यक्ति के रूप में देखे।

2. कार्यप्रणाली (Methodology)

लेखक VariErrNLI डेटासेट का उपयोग करते हुए एक ढांचे का प्रस्ताव करते हैं, जिसमें विच्छेदित नेचुरल लैंग्वेज इंफरेंस (NLI) लेबल और एनोटेटर द्वारा प्रदान की गई व्याख्याएं शामिल हैं। यह ढांचा दो घटकों से मिलकर बना है:

A. एनोटेटर-जागरूक वर्गीकरण (The "User Passport")

इनपुट टेक्स्ट को संशोधित करने के बजाय, मॉडल प्रतिनिधित्व स्तर (representation level) पर एनोटेटर की पहचान को शामिल करता है:

• बैकबोन (Backbone): DeBERTa-v3-base।
• फ्यूजन तंत्र (Fusion Mechanism): मॉडल एक संलयित प्रतिनिधित्व ($z_{ij}$) बनाता है जो निम्नलिखित को जोड़कर (concatenate) बनता है:
  1. इनपुट का संचित प्रासंगिक प्रतिनिधित्व ($h$)।
  2. एक विशिष्ट एनोटेटर के लिए एक सीखने योग्य एम्बेडिंग वेक्टर ($u_j$)।
  3. एनोटेटर के जनसांख्यिकीय मेटाडेटा का एक प्रोजेक्टेड वेक्टर ($m_j$)।
• उद्देश्य: प्रत्येक एनोटेटर $a$ के लिए विशिष्ट लेबल सेट ($y_a$) की भविष्यवाणी करना, जिसमें लुप्त एनोटेशनों को मास्क (masking) के माध्यम से संभाला जाता है।

B. एनोटेटर-कंडीशनड व्याख्या मॉडलिंग (Annotator-Conditioned Explanation Modeling)

यह शोध पत्र तर्क (rationales) उत्पन्न करने के लिए दो अलग-अलग आर्किटेक्चर की तुलना करता है ($r_a$):

1. पोस्ट-हॉक प्रॉम्प्ट-आधारित व्याख्याकार (Post-hoc Prompt-Based Explainer):

   • आर्किटेक्चर: Flan-T5 (Encoder-Decoder)।
   • तंत्र: यह संदर्भ, कथन, गोल्ड लेबल्स और एक "एनोटेटर कंट्रोल टोकन" (एक विशेष टोकन जो एनोटेटर आईडी से जुड़ा है) वाले टेक्स्ट-ओनली प्रॉम्प्ट के आधार पर व्याख्या उत्पन्न करता है।
   • सीमा: क्लासिफायर और व्याख्याकार के बीच कोई डिफरेंशिएबल (differentiable) संबंध नहीं है; व्याख्याकार पूरी तरह से सतही स्तर के टेक्स्ट प्रॉम्प्ट्स पर निर्भर करता है।

2. प्रीफिक्स्ड ब्रिज व्याख्याकार (Prefixed Bridge Explainer - नवीन योगदान):

   • आर्किटेक्चर: क्लासिफायर और Flan-T5 का एक हाइब्रिड।
   • तंत्र:
     • क्लासिफायर एक संलयित आंतरिक प्रतिनिधित्व ($z_{ij}$) उत्पन्न करता है।
     • एक छोटा न्यूरल नेटवर्क (Prefixed Bridge, एक 2-लेयर MLP) इस वेक्टर को प्रीफिक्स एम्बेडिंग्स के एक अनुक्रम में प्रोजेक्ट करता है।
     • ये एम्बेडिंग्स जनरेशन से पहले T5 एनकोडर के इनपुट के आगे जोड़ दी जाती हैं।
   • लाभ: यह एक घनिष्ठ, डिफरेंशिएबल कपलिंग बनाता है जहाँ व्याख्या निर्माण सीधे क्लासिफायर के आंतरिक, एनोटेटर-विशिष्ट तर्क संकेतों पर आधारित होता है, न कि केवल टेक्स्ट प्रॉम्प्ट्स पर।

3. मुख्य योगदान (Key Contributions)

• संयुक्त मॉडलिंग ढांचा (Joint Modeling Framework): पहला दृष्टिकोण जो व्याख्या निर्माण को स्पष्ट रूप से एनोटेटर-विशिष्ट आंतरिक प्रतिनिधित्वों पर आधारित करता है, जो पोस्ट-हॉक औचितीकरण के रूप में देखने से आगे बढ़ता है।
• प्रीफिक्स्ड ब्रिज आर्किटेक्चर (Prefixed Bridge Architecture): क्लासिफायर के प्रतिनिधित्व को प्रीफिक्स एम्बेडिंग्स के माध्यम से सीधे एक जेनेरेटिव मॉडल में स्थानांतरित करने की एक नवीन विधि पेश करता है, जिससे मॉडल को जनरेशन के लिए गहरे तर्क संकेतों का लाभ उठाने में सक्षम बनाया जा सके।
• परिप्रेक्ष्यवादी व्याख्या (Perspectivist Explanation): व्याख्याओं को परिप्रेक्ष्य की सूक्ष्म अभिव्यक्ति के रूप में पुनर्गठित करता है, यह प्रदर्शित करते हुए कि उनका मॉडलिंग करने से असहमति के प्रतिनिधित्व की सटीकता में सुधार होता है।
• अनुभवजन्य सत्यापन (Empirical Validation): VariErrNLI डेटासेट पर व्यापक मूल्यांकन प्रदान करता है, जिसमें विभिन्न एनोटेटर जनसांख्यिकी और तर्क शैलियों के आधार पर प्रदर्शन का विश्लेषण किया गया है।

4. परिणाम (Results)

प्रयोग VariErrNLI डेटासेट (4 एनोटेटर, ~1,900 लेबल-व्याख्या जोड़े) पर किए गए।

• भवि 예측 प्रदर्शन (Predictive Performance):

  • व्याख्या मॉडलिंग को शामिल करने से "यूजर पासपोर्ट" क्लासिफायर (Macro-F1: 70.5) की तुलना में प्रदर्शन में उल्लेखनीय वृद्धि हुई।
  • Prefixed Bridge Explainer: इसने उच्चतम Macro-F1 (93.9) और Exact Match (92.4) प्राप्त किया, जो बेहतर लेबल संरेखण का संकेत देता है।
  • Post-hoc Explainer: इसने 92.3 का Macro-F1 प्राप्त किया, जो ब्रिज मॉडल से थोड़ा कम है।

• व्याख्या की गुणवत्ता (Explanation Quality):

  • लेक्सिकल समानता (ROUGE-L): Post-hoc दृष्टिकोण ने थोड़ा उच्च स्कोर दिया, जो बेहतर सतही स्तर के ओवरलैप का सुझाव देता है।
  • सिमेंटिक समानता (Semantic Similarity): Prefixed Bridge दृष्टिकोण ने उच्च सिमेंटिक समानता स्कोर प्राप्त किया, जो दर्शाता है कि इसकी उत्पन्न व्याख्याएं गोल्ड रेशनल के साथ अधिक सार्थक रूप से संरेखित थीं, भले ही शब्द भिन्न हों।

• एनोटेटर-विशिष्ट विश्लेषण (Annotator-Specific Analysis):

  • Prefixed Bridge मॉडल ने विविध एनोटेटर्स (जैसे, Ann1 और Ann4) के लिए अधिक स्थिर प्रदर्शन दिखाया, विशेष रूप से जब तर्क पैटर्न भिन्न थे।
  • Post-hoc मॉडल Ann2 (एक उच्च शिक्षा वाले पोस्टडॉक्टोरल) के लिए असाधारण रूप से अच्छा प्रदर्शन कर पाया, जो संभवतः उनके अत्यधिक संरचित और टेक्स्ट-एलाइन तर्क के कारण था।
  • विश्वसनीयता (Faithfulness): गुणात्मक विश्लेषण से पता चला कि Prefixed Bridge ने अधिक संक्षिप्त, अनुमान-आधारित (inference-grounded) व्याख्याएं उत्पन्न कीं, जबकि Post-hoc मॉडल अधिक विस्तृत होने और कभी-कभी संदर्भ में मौजूद जानकारी को जोड़ने की प्रवृत्ति रखता था।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• सैद्धांतिक प्रभाव: यह अध्ययन इस बात की पुष्टि करता है कि व्याख्याओं को परिप्रेक्ष्य की अभिव्यक्ति के रूप में मॉडल करना, लेबल-मात्र दृष्टिकोण की तुलना में मानव असहमति का अधिक समृद्ध प्रतिनिधित्व प्रदान करता है। यह सिद्ध करता है कि किसी एनोटेटर ने एक लेबल क्यों चुना, वह लेबल जितना ही महत्वपूर्ण है।
• कार्यप्रणाली संबंधी प्रगति: Prefixed Bridge आर्किटेक्चर यह प्रमाणित करता है कि क्लासिफायर के आंतरिक प्रतिनिधित्व को जेनेरेटिव मॉडल में स्थानांतरित करने से केवल प्रॉम्प्ट-आधारित विधियों की तुलना में अधिक सिमेंटिक रूप से सुसंगत और विश्वसनीय आउटपुट प्राप्त होता है।
• भावी दिशाएं: लेखक एनोटेटर्स की कम संख्या और डेटासेट के मूल डिज़ाइन (जो त्रुटि पहचान के लिए था न कि नियंत्रित जनसांख्यिकीय भिन्नता के लिए) के संबंध में सीमाओं का उल्लेख करते हैं। भविष्य के कार्यों का लक्ष्य द्विभाषी/नेटिव स्पीकर तुलना को शामिल करने के लिए डेटासेट का विस्तार करना और दोनों प्रकार के व्याख्याकारों को संयोजित करने वाली एन्सेम्बल विधियों का पता लगाना है।

संक्षेप में, यह शोध पत्र यह प्रदर्शित करते हुए पर्सपेक्टिविस्ट NLP को आगे बढ़ाता है कि एनोटेटर-विशिष्ट तर्कों को भविष्य कहने वाले और जेनेरेटिव दोनों घटकों में एकीकृत करने से मानव विविधता के अधिक मजबूत, पारदर्शी और विश्वसनीय मॉडल प्राप्त होते हैं।