🤖 AI

From Variance to Invariance: Qualitative Content Analysis for Narrative Graph Annotation

यह शोध पत्र आर्थिक आख्यानों (economic narratives) को निर्देशित अचक्रीय ग्राफ़ (directed acyclic graphs) के रूप में एनोटेट करने के लिए एक गुणात्मक विषय सामग्री विश्लेषण-आधारित ढांचे को प्रस्तुत करता है और एक फैक्टोरियल प्रयोग के माध्यम से यह प्रदर्शित करता है कि स्थानीय रूप से-प्रतिबंधित निरूपण और ओवरलैप-आधारित मेट्रिक्स मानव लेबल भिन्नता को कम करके अंतर-एनोटेटर सहमति में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Junbo Huang, Max Weinig, Ulrich Fritsche, Ricardo Usbeck

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junbo Huang, Max Weinig, Ulrich Fritsche, Ricardo Usbeck

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक तूफान को समझने की कोशिश कर रहे हैं। अर्थशास्त्र की दुनिया में, यह तूफान मुद्रास्फीति (inflation) है। लेकिन केवल बारिश (आंकड़ों) को देखने के बजाय, अर्थशास्त्री तूफान की कहानी समझना चाहते हैं: यह शुरू कैसे हुआ? क्या किसी टूटे हुए बांध ने इसे पैदा किया? क्या अचानक आई गर्मी ने नदियों को सुखा दिया?

यह शोध पत्र इस बारे बारे में है कि उन कहानियों को स्पष्ट, सटीक और सुसंगत रूप से कैसे बताया जाए, भले ही अलग-अलग लोग उन्हें थोड़ा अलग तरह से बताते हों।

यहाँ शोध का विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।

1. समस्या: हर कोई कहानी अलग तरह से बताता है

जब आप पाँच अलग-अलग लोगों से कीमतों के बढ़ने के कारणों के बारे में एक समाचार लेख का सारांश लिखने को कहते हैं, तो आपको पाँच थोड़े अलग संस्करण मिलेंगे।

व्यक्ति A शायद "सप्लाई चेन संबंधी समस्याओं" (जैसे ट्रकों का फंस जाना) पर ध्यान केंद्रित करेगा।
व्यक्ति B शायद "सरकारी खर्च" (जैसे बहुत अधिक पैसा छापना) पर ध्यान केंद्रित करेगा।
व्यक्ति C इन विचारों को जोड़ने वाला एक नक्शा बना सकता है, जबकि व्यक्ति D बस उन्हें सूचीबद्ध करता है।

कंप्यूटर की दुनिया (Natural Language Processing) में, यह एक दुःस्वप्न है। यदि कोई कंप्यूटर इन कहानियों से सीखने की कोशिश कर रहा है, तो वह भ्रमित हो जाता है: "रुको, क्या 'ट्रक फंसा हुआ' और 'सप्लाई चेन' एक ही बात है? और व्यक्ति C ने उनके बीच एक रेखा क्यों खींची जबकि व्यक्ति D ने नहीं?"

इस भ्रम को ह्यूमन लेबल वेरिएशन (HLV) कहा जाता है। ऐसा नहीं है कि कोई "गलत" है; यह सिर्फ इतना है कि मनुष्य जटिल कहानियों की व्याख्या अलग-अलग, लेकिन वैध तरीकों से करते हैं।

2. समाधान: एक "जासूस की नोटबुक" (क्वालिटेटिव कंटेंट एनालिसिस)

शोधकर्ताओं ने महसूस किया कि मानक कंप्यूटर विधियाँ (जो आमतौर पर केवल टेक्स्ट पर एक एकल लेबल लगा देती हैं) जटिल कहानियों के लिए पर्याप्त नहीं थीं। इसलिए, उन्होंने सामाजिक वैज्ञानिकों के एक उपकरण को उधार लिया जिसे क्वालिटेटिव कंटेंट एनालिसिस (QCA) कहा जाता है।

QCA को एक बहुविकल्पीय प्रश्नोत्तरी के बजाय एक जासूस की नोटबुक के रूप में सोचें।

पुराना तरीका: "क्या यह मुद्रास्फीति के बारे में है? हाँ/नहीं।"
QCA का तरीका: शोधकर्ताओं ने एक विस्तृत, विकसित होने वाली नियम पुस्तिका बनाई। उन्होंने संदिग्धों की एक सूची के साथ शुरुआत की (श्रेणियाँ जैसे "ऊर्जा की कीमतें," "श्रम की कमी," "युद्ध")। जैसे-जैसे उन्होंने लेख पढ़े, उन्हें एहसास हुआ कि कुछ सुराग पुराने सूची में फिट नहीं बैठ रहे थे। इसलिए, उन्होंने समूह बैठकें कीं, बहस की, नियमों को परिष्कृत किया और नई श्रेणियां जोड़ीं (जैसे "जलवायु संकट" या "शिक्षा लागत")।

इस प्रक्रिया ने यह सुनिश्चित किया कि सभी ("जासूस") एक ही तरीके से एक ही सुरागों की तलाश कर रहे हैं, जिससे काम शुरू करने से पहले ही गलतियों में कमी आई।

3. मानचित्र: कहानियों को ग्राफ में बदलना

केवल सारांश लिखने के बजाय, शोधकर्ताओं ने इन कहानियों को मानचित्रों (जिन्हें डायरेक्टेड एसाइक्लिक ग्राफ या DAG कहा जाता है) में बदल दिया।

नोड्स (बिंदु): ये घटनाएँ हैं (जैसे, "तेल की कीमतें बढ़ीं")।
एजेस (रेखाएँ): ये कारण और प्रभाव दिखाने वाले तीर हैं (जैसे, "तेल की कीमतें बढ़ीं" $\rightarrow$ "मुद्रास्फीति बढ़ी")।

एक "चूज़ योर ओन एडवेंचर" (अपनी पसंद का रोमांच चुनें) पुस्तक की कल्पना करें जहाँ आप विकल्पों को जोड़ने वाली रेखाएँ खींचते हैं। लक्ष्य यह देखना था कि क्या अलग-अलग लोग एक ही लेख को पढ़ने पर एक ही नक्शा बनाते हैं।

4. प्रयोग: हमें कितना सख्त होना चाहिए?

शोधकर्ताओं ने यह मापने के लिए कि दो लोग एक ही नक्शा कैसे बनाते हैं, एक बड़ा प्रयोग चलाया। उन्होंने तीन अलग-अलग "रूलर" (दूरी माप/distance metrics) का परीक्षण किया:

"ढीला" रूलर (उदार/Lenient): "क्या आपने किसी भी समान बिंदुओं का उल्लेख किया?"
- परिणाम: इसने उच्च स्कोर दिया, लेकिन यह एक झूठ था। यह यह कहने जैसा था कि दो नक्शे समान हैं क्योंकि दोनों में "न्यूयॉर्क" का एक बिंदु है, भले ही एक नक्शा अमेरिका का हो और दूसरा यूरोप का। इसने सहमति का अति आकलन (overestimated) किया।
"सख्त" रूलर (Strict): "क्या आपने बिल्कुल वही नक्शा और बिल्कुल वही रेखाएँ खींची हैं?"
- परिणाम: यह बहुत कठोर था। भले ही दो लोगों ने कहानी को पूरी तरह से समझा हो, यदि किसी एक ने एक छोटी सी अतिरिक्त रेखा भी खींची, तो स्कोर गिर गया। इसने कहानी कहने के वैध अंतरों को दंडित किया।
"मध्यम" रूलर (Moderate): "नक्शा कितना ओवरलैप (एक दूसरे के ऊपर आता) होता है?"
- परिणाम: यह सबसे सटीक स्थान था।

बड़ी खोज:
उन्होंने पाया कि यदि आप पूरी कहानी (हर एक विवरण) को मैप करने की कोशिश करते हैं, तो लोग बहुत असहमत होते हैं। लेकिन, यदि आप ज़ूम इन करते हैं और केवल निकटतम पड़ोसियों (वे घटनाएँ जो सीधे मुद्रास्फीति का कारण बनती हैं) को मैप करते हैं, तो नक्शे बहुत समान दिखते हैं।

उपमा: यदि आप लोगों से ब्रह्मांड के पूरे इतिहास को बनाने के लिए कहते हैं, तो वे विवरणों पर असहमत होंगे। लेकिन यदि आप उनसे पूछते हैं कि "केक जलने से ठीक पहले क्या हुआ था?", तो वे सभी एक बहुत ही समान चित्र बनाएंगे।

5. निष्कर्ष: "पर्याप्त अच्छा" "परफेक्ट" से बेहतर है

यह शोध पत्र उन सभी के लिए एक व्यावहारिक मार्गदर्शिका के साथ समाप्त होता है जो कंप्यूटर के साथ समाचार कहानियों का विश्लेषण करने की कोशिश कर रहे हैं:

"ढीले" रूलर पर भरोसा न करें: केवल इसलिए कि दो लोग एक ही शब्दों का उल्लेख करते हैं, इसका मतलब यह नहीं है कि वे कहानी पर सहमत हैं।
मूल केंद्र पर ध्यान दें: विश्वसनीय परिणाम प्राप्त करने के लिए, पृष्ठभूमि के हर विवरण को पकड़ने के बजाय तत्काल कारणों (Adjacent Story) पर ध्यान केंद्रित करें।
अराजकता को स्वीकार करें: यह ठीक है कि मनुष्य कहानियों की व्याख्या अलग-अलग तरह से करते हैं। लक्ष्य यह नहीं है कि सबको बिल्कुल एक जैसा सोचने के लिए मजबूर किया जाए, बल्कि यह समझना है कि वे कहाँ और क्यों भिन्न हैं।

संक्षेप में: शोधकर्ताओं ने बिखरी हुई मानवीय समाचार कहानियों को साफ कंप्यूटर डेटा में बदलने का एक बेहतर तरीका बनाया। उन्होंने सीखा कि यदि आप मानचित्र को सरल रखते हैं और सीधे कारणों पर ध्यान केंद्रित करते हैं, तो सभी बहुत आसानी से सहमत हो जाते हैं। यह कंप्यूटरों को मानवीय दृष्टिकोण के स्वाभाविक अंतरों से भ्रमित हुए बिना आर्थिक कहानियों को समझने में मदद करता है।

यहाँ शोध पत्र "From Variance to Invariance: Qualitative Content Analysis for Narrative Graph Annotation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र नैरेटिव ग्राफ्स (विशेष रूप से मुद्रास्फीति जैसे आर्थिक नैरेटिव्स) के एनोटेशन और मूल्यांकन के संबंध में नेचुरल लैंग्वेज प्रोसेसिंग (NLP) डोमेन में तीन महत्वपूर्ण चुनौतियों को संबोधित करता है:

विषयगतता और जटिलता (Subjectivity and Complexity): मानक अनुक्रम वर्गीकरण (sequence classification) के विपरीत, नैरेटिव एनोटेशन के लिए बड़े टेक्स्ट सेगमेंट के माध्यम से घटनाओं की पहचान करने और उन्हें जोड़ने की आवश्यकता होती है। इसमें विषयगत, संदर्भ-निर्भर व्याख्यात्मक निर्णय शामिल हैं जिन्हें पारंपरिक NLP फ्रेमवर्क का उपयोग करके मानकीकृत करना कठिन है।
मानव लेबल भिन्नता (Human Label Variation - HLV): ग्राफ-आधारित निरूपण महत्वपूर्ण परिवर्तनशीलता पेश करते हैं। एनोटेटर प्रासंगिक घटनाओं की पहचान करने, संबंध प्रकार चुनने, या ग्राफ की सूक्ष्मता (granularity) निर्धारित करने में भिन्न हो सकते हैं। मौजूदा साहित्य स्वीकार करता है कि एक ही टेक्स्ट के लिए कई संभावित एनोटेशन मौजूद हो सकते हैं, फिर भी वर्तमान विधियाँ इस अंतर्निहित भिन्नता को संभालने में संघर्ष करती हैं।
मानकीकृत मूल्यांकन का अभाव (Lack of Standardized Evaluation): ग्राफ संरचनाओं के लिए इंटर-एनोटेटर एग्रीमेंट (IAA) को कैसे मापा जाए, इस पर कोई आम सहमति नहीं है। मौजूदा दूरी मेट्रिक्स (जैसे, Graph Edit Distance) की कठोरता भिन्न होती है, और उनकी प्रासंगिकता विशिष्ट विश्लेषणात्मक लक्ष्यों पर निर्भर करती है। मानकीकृत मेट्रिक्स के बिना, वास्तविक असहमति और वैध वैकल्पिक व्याख्याओं के बीच अंतर करना कठिन है।

2. कार्यप्रणाली (Methodology)

लेखक एनोटेशन गुणवत्ता और मूल्यांकन की कठोरता में सुधार के लिए क्वालिटेटिव कंटेंट एनालिसिस (QCA) को NLP के साथ एकीकृत करने वाला एक नया फ्रेमवर्क प्रस्तावित करते हैं।

A. क्वालिटेटिव कंटेंट एनालिसिस (QCA) एकीकरण

एक स्थिर एनोटेशन गाइडलाइन के बजाय, लेखकों ने श्रेणी प्रणाली और कोडिंग दिशानिर्देशों में अस्पष्टता को दूर करने के लिए समूह चर्चाओं को शामिल करते हुए एक पुनरावृत्ति (iterative) QCA दृष्टिकोण अपनाया:

पुनरावृत्ति परिशोधन (Iterative Refinement): उन्होंने श्रेणी प्रणाली और कोडिंग दिशानिर्देशों में अस्पष्टता को हल करने के लिए पायलट अध्ययन में समूह चर्चाएँ आयोजित कीं।
श्रेणी प्रणाली (Category System): मौजूदा आर्थिक सिद्धांतों (Andre et al., 2026) से शुरू होकर, उन्होंने डिमांड, सप्लाई और मुद्रास्फीति के विविध कारणों (जैसे, Supply Chain Issues, Wages, Inflation Expectations) को कवर करने वाले 26 सूक्ष्म उप-श्रेणियों को शामिल करने के लिए सिस्टम को आगमनात्मक (inductively) रूप से विस्तारित किया।
प्री-एनोटेशन (Pre-annotation): संज्ञानात्मक भार (cognitive load) को कम करने और स्पैन पहचान में सुधार के लिए, उन्होंने एक ज़ीरो-शॉट नेमड एंटिटी रिकग्निशन मॉडल (Gliner) का उपयोग किया ताकि उम्मीदवार स्पैन को हाइलाइट किया जा सके, जिसे एनोटेटर बाद में स्वीकार, संशोधित या अस्वीकार कर सकते थे।

B. डेटासेट निर्माण (Dataset Construction)

स्रोत: डॉव जोन्स न्यूजवायर्स (DJN) कॉर्पस, जो मुद्रास्फीति नैरेटिव्स पर केंद्रित है।
सैंपलिंग रणनीति: "मुद्रास्फीति-पीक वर्षों" (1990-2023) से नमूने लेने के लिए टेम्पोरल स्ट्रैटिफाइड अप्रोच को रिफाइन किया गया और एक उच्च अनुपात सुनिश्चित करने के लिए LLaMA-3 का उपयोग करके ज़ीरो-शॉट फ़िल्टरिंग की गई।
एनोटेशन कार्य:
1. कार्य 1 (वर्गीकरण): दस्तावेजों को Inflation-cause-dominant, Inflation-related, या Non-inflation-related के रूप में वर्गीकृत करना।
2. कार्य 2 (निष्कर्षण): इवेंट स्पैन और कारण संबंधों (बढ़ना/घटना) को निकालने के लिए, जिससे डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) बन सकें जहाँ नोड्स 'इवेंट्स' हैं और एडजेस (edges) 'कारण संबंध' हैं।

C. मूल्यांकन फ्रेमवर्क (6 × 3 फैक्टोरियल डिज़ाइन)

HLV के तहत एनोटेशन विश्वसनीयता का मूल्यांकन करने के लिए, लेखकों ने दो कारकों को बदलने वाला एक प्रयोग डिजाइन किया:

नैरेटिव प्रतिनिधित्व (6 स्तर):
- कैटेगोरिकल (Categorical): सभी इवेंट्स, आसन्न इवेंट्स (1-hop), संबंध।
- ग्राफ-आधारित (Graph-based): फुल स्टोरी (multi-hop), एडजेसेंट स्टोरी (1-hop), एक्सटेंडेड स्टोरी (multi-hop)।
डिस्टेंस मेट्रिक प्रकार (3 स्तर):
- लेंटिएंट (Lenient): ओवरलैप-आधारित (यदि कोई ओवरलैप मौजूद है तो 0, अन्यथा 1)।
- मॉडरेट (Moderate): जैकार्ड डिस्टेंस (साझा तत्वों का अनुपात)।
- स्ट्रिक्ट (Strict): सटीक मिलान (केवल समान सेट/ग्राफ होने पर 0)।

उन्होंने सभी 18 संयोजनों के लिए क्रिपेंडॉर्फ्स अल्फा ( $\alpha$ ) की गणना की। विशेष रूप से, उन्होंने ग्राफ फीचर्स को संभालने के लिए एक कस्टम ग्राफ-आधारित क्रिपेंडॉर्फ्स $\alpha$ को लागू किया (ओपन-सोर्स)।

3. मुख्य योगदान (Key Contributions)

QCA-आधारित एनोटेशन फ्रेमवर्क: नैरेटिव ग्राफ एनोटेशन के लिए एक व्यवस्थित कार्यप्रणाली जो केवल स्थिर दिशानिर्देशों पर निर्भर रहने के बजाय मानव चर्चा के माध्यम से श्रेणी प्रणालियों को पुनरावृत्त रूप से परिष्कृत करके गुणवत्ता और HLV को प्राथमिकता देती है।
ग्राफ-आधारित IAA मूल्यांकन: विशेष रूप से ग्राफ एनोटेशन के लिए एक क्रिपेंडॉर्फ्स $\alpha$ कार्यान्वयन का विकास और ओपन-सोर्सिंग, जो नोड्स, एडजेस और पूर्ण ग्राफ संरचनाओं के बीच सहमति को मापने की अनुमति देता है।
प्रतिनिधित्व और मेट्रिक्स का अनुभवजन्य विश्लेषण: एक व्यापक अध्ययन जो यह प्रदर्शित करता है कि प्रतिनिधित्व और दूरी मेट्रिक का चुनाव विश्वसनीयता स्कोर को कैसे नाटकीय रूप से बदल देता है, जो भविष्य के अनुसंधान के लिए दिशा-निर्देश प्रदान करता है।
मुद्रास्फीति नैरेटिव डेटासेट: 488 एनोटेटेड दस्तावेजों का एक उच्च-गुणवत्ता वाला डेटासेट (ग्राफ निष्कर्षण के लिए 104 दस्तावेज़) जो मुद्रास्फीति नैरेटिव को DAG के रूप में प्रस्तुत करता है।

4. मुख्य परिणाम (Key Results)

मेट्रिक संवेदनशीलता (Metric Sensitivity): लेंटिएंट मेट्रिक्स (ओवरलैप-आधारित) विश्वसनीयता को काफी अधिक आंकते हैं। उदाहरण के लिए, "All Events" प्रतिनिधित्व ने लेंटिएंट मेट्रिक्स के तहत $\alpha$ 0.868 दिखाया, लेकिन स्ट्रिक्ट मेट्रिक्स के तहत यह गिरकर 0.244 हो गया। यह इंगित करता है कि सरल ओवरलैप उन वास्तविक अंतरों को छिपा देता है कि एनोटेटर कारण संरचनाओं की व्याख्या कैसे करते हैं।
प्रतिनिधित्व की सूक्ष्मता (Representation Granularity): स्थानीय रूप से बाधित (locally-constrained) प्रतिनिधित्व अधिक निरंतरता प्रदान करते हैं।
- "Adjacent Story" (मुद्रास्फीति का कारण बनने वाले इवेंट्स का 1-hop सबग्राफ) ने सबसे अच्छा संतुलन प्राप्त किया, जिसमें मॉडरेट $\alpha$ 0.441 और स्ट्रिक्ट $\alpha$ 0.202 था।
- फुल मल्टी-हॉप ग्राफ्स ("Full Story") में लेंटिएंट और स्ट्रिक्ट मेट्रिक्स के बीच विश्वसनीयता में सबसे बड़ी गिरावट देखी गई, जो संदर्भ पूर्णता और एनोटेशन निरंतरता के बीच ट्रेड-ऑफ को उजागर करती है।
इवेंट बनाम संबंध: एनोटेटर्स ने विशिष्ट इवेंट नोड्स या पूर्ण ग्राफ संरचनाओं की तुलना में दिशात्मक संबंधों (जैसे, "Increases") को पहचानने में उच्च निरंतरता दिखाई।
असहमति के पैटर्न:
- कार्य 1 में, एनोटेटर्स "Non-inflation-related" दस्तावेजों पर सबसे अधिक सहमत थे और "Inflation-cause-dominant" बनाम "Inflation-related" के बीच अंतर करने में सबसे अधिक संघर्ष करते थे।
- कार्य 2 में, सबसे कम सहमति वाले ट्रिपल्स में जटिल आर्थिक अवधारणाएं जैसे "Monetary Policy" और "Wages" शामिल थे, जो सुझाव देते हैं कि ये नैरेटिव व्याख्या के सबसे विषयगत क्षेत्र हैं।

5. महत्व और निहितार्थ (Significance and Implications)

विश्वसनीयता को पुनर्परिभाषित करना: यह शोध पत्र तर्क देता है कि मानव लेबल भिन्नता वाले कार्यों में, एक एकल विश्वसनीयता स्कोर अपर्याप्त है। शोधकर्ताओं को विभिन्न मेट्रिक ग्रेनुलैरिटी के माध्यम से कई स्कोर रिपोर्ट करने चाहिए ताकि सहमति के "स्पेक्ट्रम" को कैप्चर किया जा सके।
ग्राफ एनोटेशन के लिए सर्वोत्तम अभ्यास: अध्ययन सुझाव देता है कि मजबूत मूल्यांकन के लिए, शोधकर्ताओं को पूर्ण मल्टी-हॉप कॉज़ल चेन को पकड़ने के बजाय नैरेटिव ग्राफ को स्थानीय संरचनाओं (1-hop neighbors) तक सीमित करना चाहिए, क्योंकि बाद वाला बिना किसी आवश्यक व्याख्यात्मक मूल्य के अत्यधिक परिवर्तनशीलता पेश करता है।
मेथोडोलॉजिकल ब्रिज: QCA (एक सामाजिक विज्ञान पद्धति) को NLP में एकीकृत करके, लेखक यह प्रदर्शित करते हैं कि उन विषयगत, व्याख्यात्मक कार्यों को कैसे संभाला जाए जहाँ "ग्राउंड ट्रुथ" एक एकल लेबल नहीं बल्कि व्याख्याओं का एक सेट है।
ओपन साइंस: लेखक अपने ग्राफ-आधारित क्रिपेंडॉर्फ्स $\alpha$ कार्यान्वयन और एनोटेशन दिशानिर्देशों को ओपन-सोर्स करते हैं, जिससे पुनरुत्पादकता और आगे के अनुसंधान को बढ़ावा मिलता है।

निष्कर्षतः, यह शोध पत्र एक एकल "सही" एनोटेशन (इनवेरिएंस) खोजने के बजाय मानव व्याख्या के स्पेक्ट्रम (वैरिएंस) को समझने और मापने की ओर क्षेत्र को ले जाता है, जो जटिल नैरेटिव संरचनाओं के मूल्यांकन के लिए एक कठोर ढांचा प्रदान करता है।