Zero-shot Tweet-Level Stance Detection Enhanced by External Knowledge and Reflective Chain-of-Thought Reasoning

तकनीकी सारांश: KIRP - ज़ीरो-शॉट ट्वीट-स्तरीय रुख का पता लगाना (Zero-Shot Tweet-Level Stance Detection)

समस्या की परिभाषा

ज़ीरो-शॉट ट्वीट-स्तरीय रुख का पता लगाना (Zero-shot tweet-level stance detection - ZSSD) किसी विशिष्ट लक्ष्य (पक्ष में, विरोध में, तटस्थ, या अप्रासंगिक) के प्रति एक पाठ के दृष्टिकोण की पहचान करने का प्रयास करता है, बिना किसी कार्य-विशिष्ट प्रशिक्षण डेटा के। शोध पत्र इस क्षेत्र में तीन प्राथमिक चुनौतियों की पहचान करता है:

1. संदर्भ की कमी (Context Sparsity): ट्वीट्स छोटे होते हैं और अक्सर पर्याप्त प्रासंगिक जानकारी की कमी होती है।
2. अंतर्निहित लक्ष्य (Implicit Targets): पाठों में अक्सर अंतर्निहित लक्ष्य होते हैं जिन्हें बाहरी ज्ञान के बिना लक्ष्य से जोड़ना कठिन होता है।
3. लेबल विभेदन (Label Differentiation): वर्तमान मॉडल "तटस्थ" (प्रासंगिक लेकिन स्पष्ट रुख नहीं) और "अप्रासंगिक" (लक्ष्य से असंबंधित) के बीच अंतर करने में संघर्ष करते हैं, जो चार-वर्ग वर्गीकरण में एक महत्वपूर्ण अंतर है।

मौजूदा विधियाँ अक्सर बाहरी ज्ञान इंजेक्शन पर बहुत अधिक निर्भर करती हैं लेकिन इंट्रा-टेक्स्टुअल संस्थाओं (intra-textual entities) के भीतर अंतर्निहित अर्थ संबंधी संकेतों की उपेक्षा करती हैं। इसके अलावा, वे अनदेखे लक्ष्यों की प्रासंगिकता को सत्यापित करने के लिए सीमित तर्क क्षमता प्रदर्शित करती हैं, जिससे तटस्थ और अप्रासंगिक लेबल के बीच खराब विभेदन होता है।

कार्यप्रणाली: KIRP फ्रेमवर्क

लेखक KIRP (Knowledge-enhanced, Iterative, Reflective Prompting) प्रस्तावित करते हैं, जो बाहरी ज्ञान, डेटा संवर्धन (data augmentation) और परावर्तक तर्क (reflective reasoning) को एकीकृत करने वाला एक फ्रेमवर्क है। इसकी वास्तुकला में तीन मुख्य घटक शामिल हैं:

1. संस्था पुनर्गठन और संवर्धन (Entity Reorganization and Augmentation)

संदर्भ की कमी और अंतर्निहित लक्ष्यों को संबोधित करने के लिए, यह फ्रेमवर्क बाहरी ज्ञान स्रोतों (विकिपीडिया और समाचार रिपोर्ट) का उपयोग करके एक ज्ञान ग्राफ ($G$) का निर्माण करता है।

• सबग्राफ निष्कर्षण (Subgraph Extraction): प्रत्येक इनपुट के लिए, पाठ में उल्लेखित संस्थाओं के $k$-हॉप पड़ोसियों के आधार पर एक स्थानीयकृत सबग्राफ ($G'$) निकाला जाता है।
• ग्राफ ऑटोएनकोडर (Graph Autoencoder): एक ग्राफ अटेंशन नेटवर्क (GAT) संस्थाओं को एनकोड करता है, और एक DistMult स्कोरिंग फंक्शन संभावित लुप्त कड़ियों (missing links) का पुनर्निर्माण करता है। यह प्रक्रिया समतुल्य संस्थाओं (जैसे, "गोल्फ कोर्स" और "फुटबॉल फील्ड" दोनों sports facility के साथ instance_of संबंध साझा करते हैं) की पहचान करती है।
• संवर्धन (Augmentation): फ्रेमवर्क मूल पाठ में इन समतुल्य संस्थाओं को मूल संस्थाओं से बदल देता है। यह अर्थपूर्ण रूप से विविध लेकिन संरचनात्मक रूप से संरेखित $\langle \text{text}, \text{target} \rangle$ जोड़े उत्पन्न करता है, जो प्रभावी रूप से प्रशिक्षण डेटा का विस्तार करता है और अंतर्निहित लक्ष्यों को स्पष्ट बनाता है।

2. परावर्तक चेन-ऑफ-थॉट (Reflective Chain-of-Thought - CoT) प्रॉम्प्टिंग

यह फ्रेमवर्क समृद्ध प्रासंगिक अर्थ उत्पन्न करने और तर्क को बढ़ाने के लिए तीन-चरणीय प्रॉम्प्टिंग श्रृंखला का उपयोग करता है:

• चरण 1 (मानदंड पीढ़ी - Criteria Generation): LLM चार काल्पनिक लेबल (पक्ष में, विरोध में, तटस्थ, अप्रासंगिक) के तहत पाठ के रुख के लिए काल्पनिक स्पष्टीकरण उत्पन्न करता है, भले ही वह स्पष्टीकरण शुरू में गलत हो।
• चरण 2 (चिंतन - Reflection): LLM उत्पन्न स्पष्टीकरणों पर चिंतन करता है ताकि तार्किक खामियों की पहचान की जा सके और काल्पनिक रुख की वैधता का निर्णय लिया जा सके।
• चरण 3 (सुधार - Correction): LLM काल्पनिक रुख को वैध बनाने के लिए पाठ या लक्ष्य में संशोधन प्रस्तावित करता है।
• आउटपुट: ये चरण तीन टेक्स्ट आउटपुट ($T_{cri}$, $T_{ref}$, $T_{cor}$) उत्पन्न करते हैं। $T_{cri}$ मूल पाठ में जोड़े जाने वाले पूरक मानदंडों के रूप में कार्य करता है, जबकि $T_{ref}$ और $T_{cor}$ प्रशिक्षण के लिए उपयोग किए जाने वाले अंतिम रुख लेबल ($SL$) को उत्पन्न करने में मदद करते हैं। यह प्रक्रिया छोटे टेक्स्ट के लिए समृद्ध तार्किक तर्क संकेत प्रदान करती है।

3. रुख कंट्रास्टिव लर्निंग और इटरेटिव प्रोटोटाइप नेटवर्क

• रुख कंट्रास्टिव लर्निंग (Stance Contrastive Learning): मॉडल संवर्धित डेटा को LLM-जनित तर्कों के साथ जोड़ता है और उन्हें BERT का उपयोग करके एनकोड करता है। एक कंट्रास्टिव लॉस फंक्शन लागू किया जाता है ताकि एक ही रुख के नमूनों को फीचर स्पेस में एक-दूसरे के करीब लाया जा सके और अलग-अलग रुख के नमूनों को दूर धकेला जा सके, जिससे विभेदक विशेषताओं (discriminative features) के लिए प्रतिनिधित्व अनुकूलित होता है।
• इटरेटिव प्रोटोटाइप नेटवर्क (Iterative Prototype Network): चार-वर्ग वर्गीकरण समस्या (विशेष रूप से "अप्रासंगिक" और "तटस्थ" के बीच अंतर करने) को हल करने के लिए, फ्रेमवर्क एक तीन-स्तरीय इटरेटिव प्रोटोटाइप नेटवर्क का उपयोग करता है:
  1. लेयर 1 (FAN/I): विषय-प्रासंगिक (पक्ष में, विरोध में, तटस्थ) और अप्रासंगिक नमूनों के बीच अंतर करता है।
  2. लेयर 2 (FA/N): रुख ध्रुवीयता वाले (पक्ष में, विरोध में) और तटस्थ नमूनों के बीच अंतर करता है।
  3. लेयर 3 (F/A): पक्ष में और विरोध में रुख के बीच अंतर करता है।
     यह पदानुक्रमित दृष्टिकोण वर्गीकरण कार्य को सरल बनाता है और एक ही चरण में "अप्रासंगिक" को "तटस्थ" से अलग करने की कठिनाई को संबोधित करता है।

मुख्य योगदान

1. KIRP-D डेटासेट: ज़ीरो-शॉट रुख का पता लगाने के लिए पहले जापानी ट्वीट-स्तरीय डेटासेट KIRP-D का निर्माण। यह एक चार-वर्ग, बहु-विषयक डेटासेट है जो सामाजिक, राजनीतिक, राजनयिक और आर्थिक डोमेन को कवर करता है, जिसे बहुभाषी रुख पहचान अनुसंधान के अंतर को पाटने के लिए डिज़ाइन किया गया है।
2. एंटिटी पुनर्गठन संवर्धन (Entity Reorganization Augmentation): एक नवीन डेटा संवर्धन विधि जो टेक्स्ट की संस्थाओं को बाहरी स्रोतों से समतुल्य ज्ञान के साथ संरेखित करती है ताकि विविध लक्ष्य प्रतिनिधित्व उत्पन्न किया जा सके, जिससे अंतर्निहित लक्ष्यों का खुलासा होता है और LLM के तर्क के दायरे का विस्तार होता है।
3. रिफ्लेक्टिव CoT फ्रेमवर्क: तीन-चरणीय परावर्तक प्रॉम्प्टिंग श्रृंखला (मानदंड, चिंतन, सुधार) का प्रोटोटाइप नेटवर्क के साथ एकीकरण। यह समृद्ध अर्थपूर्ण प्रतिनिधित्व उत्पन्न करने के लिए ज्ञान इंजेक्शन को पुनर्गठन-आधारित संवर्धन के साथ जोड़ता है और रुख-जागरूक कंट्रास्टिव लर्निंग के माध्यम से फीचर स्पेस को अनुकूलित करता है।
4. स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक सत्यापन जो प्रदर्शित करता है कि KIRP कई बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त करता है, विशेष रूप से "तटस्थ" को "अप्रासंगिक" से अलग करने और क्रॉस-लिंगुअल, डेटा-दुर्लभ परिदृश्यों को संभालने में।

प्रयोगात्मक परिणाम

मॉडल का मूल्यांकन तीन डेटासेट्स पर किया गया: SemEval-2016 (अंग्रेजी, 3-वर्ग), WT-WT (अंग्रेजी, 4-वर्ग), और नया KIRP-D (जापानी, 4-वर्ग)।

• कुल प्रदर्शन: KIRP ने सभी डेटासेट्स पर स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए।
  • SemEval-2016: 84.05% F1-स्कोर (3-वर्ग)।
  • WT-WT: 84.99% F1-स्कोर (4-वर्ग)।
  • KIRP-D: 79.18% F1-स्कोर (4-वर्ग)।
• तुलना: KIRP ने सर्वश्रेष्ठ LLM-आधारित बेसलाइन (जैसे, DeepSeek-V4-ToC) और पारंपरिक कंट्रास्टिव लर्निंग मॉडल (जैसे, JointCL) को पछाड़ दिया। प्रदर्शन का अंतर जापानी KIRP-D डेटासेट पर सबसे महत्वपूर्ण था (सर्वश्रेष्ठ LLM बेसलाइन से 4.68 अंक अधिक), जो क्रॉस-लिंगुअल, डेटा-दुर्लभ वातावरण में फ्रेमवर्क की प्रभावशीलता को उजागर करता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • LLM प्रॉम्प्टिंग श्रृंखला को हटाने ($M\setminus LLM$) से सबसे महत्वपूर्ण गिरावट आई, जो गहरे अर्थपूर्ण तर्क की महत्वपूर्ण भूमिका की पुष्टि करती है।
  • प्रोटोटाइप नेटवर्क को हटाने ($M\setminus PN$) से "अप्रासंगिक" को "तटस्थ" से अलग करने की क्षमता काफी कम हो गई।
  • तीन-चरणीय प्रॉम्प्टिंग श्रृंखला (मानदंड, चिंतन, सुधार) को मानक CoT की तुलना में बेहतर पाया गया, जिसमें मानदंड पीढ़ी चरण सबसे प्रभावशाली था।
• मजबूती (Robustness): KIRP ने एडवरसैरियल परटर्बेशन (adversarial perturbations) और टॉपिक ड्रिफ्ट के खिलाफ मजबूत मजबूती दिखाई, अन्य बेसलाइन की तुलना में क्रॉस-टारगेट ट्रांसफर कार्यों के दौरान उच्च F1 स्कोर बनाए रखा।

महत्व और दावे

शोध पत्र दावा करता है कि KIRP ज़ीरो-शॉट ट्वीट-स्तरीय रुख का पता लगाने की चुनौतियों का एक व्यापक समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• डेटा की कमी को संबोधित करना: बाहरी ज्ञान और LLM तर्क का लाभ उठाकर, फ्रेमवर्क लघु टेक्स्ट में लेबल किए गए डेटा और संदर्भ की कमी को प्रभावी ढंग से संभालता है।
• लेबल सूक्ष्मता को परिष्कृत करना: इटरेटिव प्रोटोटाइप नेटवर्क विशेष रूप से "तटस्थ" और "अप्रासंगिक" लेबल के बीच अंतर करने की लंबे समय से चली आ रही कठिनाई को लक्षित करता है, जो कई मौजूदा तीन-वर्ग डेटासेट्स और मॉडलों की एक सीमा है।
• बहुभाषी विस्तार: KIRP-D का परिचय अंग्रेजी और चीनी डेटासेट्स के प्रभुत्व को तोड़ता है, जो जापानी रुख पहचान अनुसंधान के लिए एक महत्वपूर्ण संसाधन प्रदान करता है।
• सामान्यीकरण (Generalizability): फ्रेमवर्क मजबूत क्रॉस-लिंगुअल और क्रॉस-डोमेन सामान्यीकरण प्रदर्शित करता है, जो यह सिद्ध करता है कि शुद्ध LLM प्रॉम्प्टिंग या पारंपरिक फीचर-आधारित विधियों की तुलना में ज्ञान-आधारित संवर्धन को परावर्तक तर्क के साथ एकीकृत करना अधिक मजबूत रुख पहचान प्रदान करता है।