💬 NLP

A graph-based analysis of semantic types and coercion in contextualized word embeddings

यह शोध पत्र BERT और सेंस-एन्हांस्ड एम्बेडिंग्स पर नेबर टाइप प्रोबेबिलिटी और एंट्रॉपी मेट्रिक्स का उपयोग करते हुए एक ग्राफ-आधारित विश्लेषण प्रस्तावित करता है ताकि यह प्रदर्शित किया जा सके कि सिमेंटिक टाइप सूचना और कोअर्सन (coercion) परिघटनाएं सेंस-एन्हांस्ड मॉडल्स में बेहतर तरीके से कैप्चर की जाती हैं, जिससे मैचिंग और मिसमैचिंग नाउन-कॉन्टेक्स्ट पेयर्स के बीच अंतर करना सक्षम होता है।

मूल लेखक: Long Chen, Deniz Ekin Yavas

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Long Chen, Deniz Ekin Yavas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अदृश्य पुस्तकालय है जहाँ हर किताब एक वाक्य में इस्तेमाल किए गए एक एकल शब्द का प्रतिनिधित्व करती है। इस पुस्तकालय में, किताबें अपनी समानता के आधार पर अलमारियों पर एक साथ रखी गई हैं। यह शोध पत्र उस पुस्तकालय की एक मानचित्र-निर्माण यात्रा की तरह है ताकि यह देखा जा सके कि अलमारियाँ कितनी अच्छी तरह व्यवस्थित हैं।

शोधकर्ता एक विशिष्ट प्रश्न का उत्तर देना चाहते थे: क्या ये डिजिटल "अलमारियाँ" (जिन्हें वर्ड एम्बेडिंग्स कहा जाता है) इस अंतर को समझ पाती हैं कि कोई शब्द क्या है और वह किसी विशिष्ट वाक्य में क्या कर रहा है?

यहाँ उनकी यात्रा का सरल उपमाओं के साथ विवरण दिया गया है:

1. समस्या: "पिज्जा" विरोधाभास (The "Pizza" Paradox)

"पिज्जा" शब्द के बारे में सोचें।

वह क्या है (लेक्सिकल टाइप): यह भोजन है। यह पुस्तकालय के "भोजन" अनुभाग से संबंधित है।
वह क्या कर रहा है (कॉन्टेक्स्टुअल टाइप):
- "मैं एक स्वादिष्ट पिज्जा खा रहा हूँ," इस वाक्य में, पिज्जा भोजन की तरह कार्य कर रहा है। यह एक मैच (Match) है।
- "मैंने पिज्जा खत्म कर दिया," इस वाक्य में, शब्द "खत्म किया" आमतौर पर एक गतिविधि (जैसे एक दौड़ या फिल्म) की अपेक्षा करता है, न कि पनीर के एक टुकड़े की। यहाँ, पिज्जा को एक गतिविधि की तरह कार्य करने के लिए मजबूर किया जा रहा है। इसे कोयर्शन (Coercion) कहा जाता है। यह एक मछली को पेड़ पर चढ़ने के लिए कहने जैसा है; मछली अभी भी मछली ही है, लेकिन संदर्भ उसे एक पर्वतारोही की तरह मान रहा है।

शोधकर्ता यह देखना चाहते थे कि क्या कंप्यूटर का "पुस्तकालय" एक सामान्य पिज्जा वाक्य और एक "कोयर्स्ड" पिज्जा वाक्य के बीच अंतर कर सकता है, सिर्फ यह देखकर कि अन्य पुस्तकें उसी शेल्फ पर कैसे बैठी हैं।

2. प्रयोग: दो मानचित्र बनाना

इसका परीक्षण करने के लिए, उन्होंने शब्दों की 10 अलग-अलग श्रेणियों (जैसे जानवर, भोजन, मानव, स्थान) को लिया और प्रत्येक के लिए 20 वाक्य खोजे। फिर उन्होंने इन वाक्यों के दो अलग-अलग "मानचित्र" (ग्राफ) बनाए:

मानचित्र A (मानक मानचित्र): यह BERT नामक एक मानक AI मॉडल का उपयोग करके बनाया गया था। यह मॉडल एक सामान्य लाइब्रेरियन की तरह है जो शब्दों के बारे में बहुत कुछ जानता है लेकिन इस बात से विचलित हो सकता है कि शब्द कितनी बार एक साथ आते हैं (उदाहरण के लिए, "छात्र" और "स्कूल" अक्सर एक साथ दिखाई देते हैं, भले ही वे एक ही प्रकार के न हों)।
मानचित्र B (उन्नत मानचित्र): यह एक सेंस-इन्हान्स्ड (Sense-Enhanced) मॉडल का उपयोग करके बनाया गया था। यह एक ऐसे लाइब्रेरियन की तरह है जिसके पास एक विशेष शब्दकोश (WordNet) है जो उसे स्पष्ट रूप से हर शब्द की "कार्य श्रेणी" या "श्रेणी" बताता है।

उन्होंने एक चाल भी बनाई: उन्होंने वाक्य के मुख्य शब्द को एक "मास्क" (एक खाली स्थान की तरह) से ढक दिया ताकि यह देखा जा सके कि क्या मानचित्र शब्द के वास्तविक स्वरूप को जाने बिना, केवल आसपास के संदर्भ से उसके रोल (भूमिका) को पहचान सकता है।

3. उपकरण: पड़ोस को मापना

एक बार जब मानचित्र बन गए, तो उन्होंने अलमारियों को मापने के लिए दो पैमाने (रूलर) का उपयोग किया:

रूलर 1: "पड़ोसी मिलान" (NTP): यदि आप एक शब्द चुनते हैं, तो उसके शेल्फ पर मौजूद पड़ोसी कितने शब्द उसी श्रेणी से हैं?
- उदाहरण: यदि आप "कुत्ता" चुनते हैं, तो क्या उसके अधिकांश पड़ोसी भी "बिल्ली" या "घोड़ा" (जानवर) हैं? या वे "पट्टा" या "पार्क" (स्थान) हैं?
रूलर 2: "अराजकता मीटर" (NTE): शेल्फ कितनी मिश्रित है?
- कम अराजकता: शेल्फ केवल "जानवरों" से भरी है।
- उच्च अराजकता: शेल्फ में "जानवर", "कारें", "बादल" और "जूते" सब मिले-जुले हैं।

4. उन्हें क्या मिला

परिणाम ऐसे थे जैसे यह पता चलना कि एक लाइब्रेरियन दूसरे की तुलना में पुस्तकालय को व्यवस्थित करने में बहुत बेहतर था।

उन्नत मानचित्र (Sense-Enhanced) सबसे अच्छा संगठक था।
जब उन्होंने "मैच" वाले वाक्यों (जहाँ शब्द पूरी तरह फिट बैठता है) को देखा, तो उन्नत मानचित्र ने समान प्रकार के शब्दों को एक-दूसरे के बिल्कुल पास रखा। उदाहरण के लिए, "छात्रों" को अन्य "मानवों" से घिरा हुआ पाया गया, न कि "कक्षाओं" से। मानक मानचित्र (BERT) शब्दों के बार-बार एक साथ आने से भ्रमित हो गया, जिससे प्रकार आपस में मिल गए।
"कोयर्शन" का रहस्य:
जब उन्होंने "कोयर्शन" वाले वाक्यों को देखा (जहाँ एक शब्द को नई भूमिका निभाने के लिए मजबूर किया जाता है, जैसे कि "स्टेडियम" एक "मानव" की तरह गर्जना करता है):
- उन्नत मानचित्र पर, "स्टेडियम" शब्द अभी भी मुख्य रूप से अन्य "स्थानों" के साथ बैठा था। यह जादू से "मानव" शेल्फ पर नहीं पहुँचा। इससे पता चलता है कि कंप्यूटर अभी भी जानता है कि वह शब्द क्या है, भले ही वाक्य उसे अलग तरह से व्यवहार करने के लिए कहे।
- हालाँकि, जब उन्होंने मास्क्ड (Masked) संस्करण का उपयोग किया (शब्द को छिपा दिया), तो मानचित्र ने संदर्भगत भूमिका को दिखाना शुरू कर दिया। उनके पड़ोसी अधिक विविध हो गए, जिससे यह पता चला कि सिस्टम उस "गतिविधि" को महसूस कर सकता था जिसकी मांग संदर्भ कर रहा था, भले ही वह पूर्ण न हो।
"अनरिस्ट्रिक्टेड" (अप्रतिबंधित) वाक्य:
उन वाक्यों के लिए जहाँ संदर्भ को इस बात से कोई फर्क नहीं पड़ता था कि शब्द क्या है (उदाहरण के लिए, "आपको एक [भाषाविद्] की आवश्यकता है" को लगभग किसी भी चीज़ से बदला जा सकता था), उनका "अराजकता मीटर" (NTE) बहुत बढ़ गया। वे शेल्फ विभिन्न प्रकारों का मिश्रण बन गए, जो कि बिल्कुल वही है जिसकी उम्मीद की जाती है यदि संदर्भ शब्द को सीमित नहीं करता है।

5. निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि:

विशेषज्ञ लाइब्रेरियन जीतते हैं: "सेंस-इन्हान्स्ड" मॉडल शब्दों को उनके वास्तविक अर्थ संबंधी प्रकार (semantic type) के आधार पर मानक मॉडल की तुलना में बहुत बेहतर तरीके से व्यवस्थित करता है।
संदर्भ एक निशान छोड़ता है: भले ही एक शब्द को नए रोल में "कोयर्स" (मजबूर) किया जाए, ग्राफ में विविधता दिखाई देती है। शब्द अपनी मूल पहचान बनाए रखता है (वह "स्थान" शेल्फ पर ही रहता है), लेकिन संदर्भ उसके पड़ोसियों में विविधता की एक परत जोड़ देता है।
अजीबोगरीब चीजों का पता लगाना: यह मापकर कि पड़ोसी कितने "मिश्रित" हैं (एंट्रॉपी), आप बता सकते हैं कि कोई वाक्य एक सामान्य मैच है, एक अजीब कोयर्शन है, या एक अस्पष्ट वाक्य है।

संक्षेप में, शोधकर्ताओं ने शब्दों के संबंधों का एक मानचित्र बनाया और सिद्ध किया कि सही उपकरणों के साथ, हम देख सकते हैं कि कंप्यूटर ठीक से समझ पाता है कि कोई शब्द क्या है और एक वाक्य उससे क्या चाहता है।

तकनीकी सारांश: संदर्भित शब्द एम्बेडिंग में सिमेंटिक प्रकारों और कोएर्शन (Coercion) का एक ग्राफ-आधारित विश्लेषण

समस्या विवरण
एक संज्ञा (noun) और उसके संदर्भ के बीच सिमेंटिक टाइप का बेमेल होना 'कोएर्शन' (coercion) की भाषाई घटना का केंद्र है, जहाँ एक संज्ञा का लेक्सिकल सिमेंटिक टाइप उस प्रकार से टकराता है जिसकी आवश्यकता आसपास के संदर्भ को होती है (जैसे, "finish the pizza," जहाँ pizza एक खाद्य पदार्थ है लेकिन finish आमतौर पर एक गतिविधि (activity) के लिए चयन करता है)। जबकि जेनेरेटिव लेक्सिकन (Generative Lexicon) और टाइप कंपोजिशनल लॉजिक (Type Compositional Logic) जैसे सैद्धांतिक ढांचे इन बेमेल स्थितियों को हल करने के लिए तंत्र प्रस्तावित करते हैं, इन सिद्धांतों को सीधे संचालित करने वाले कम्प्यूटेशनल कार्य दुर्लभ रहे हैं। मौजूदा प्री-ट्रेन्ड लैंग्वेज मॉडल्स (PLMs) पर अध्ययन मुख्य रूप से कोएर्शन में छिपे हुए आयोजनों (events) का पता लगाने के लिए शब्द भविष्यवाणी कार्यों पर ध्यान केंद्रित करते हैं, जो अक्सर असंगत परिणाम देते हैं। यह शोध पत्र एक अलग प्रश्न की जांच करती है: संज्ञा के उदाहरणों के संदर्भित शब्द एम्बेडिंग (contextualized word embeddings) में सिमेंटिक प्रकारों के बारे में जानकारी कैसे प्रतिबिंबित होती है, विशेष रूप से विशिष्ट प्रेडिकेशन (मैचिंग) और कोएर्शन (मिसमैच) के बीच अंतर करते हुए?

कार्यप्रणाली
लेखक संज्ञा के उदाहरणों के पड़ोस (neighborhood) में सिमेंटिक प्रकारों के वितरण की जांच करने के लिए संदर्भित शब्द एम्बेडिंग के ग्राफ-आधारित विश्लेषण का प्रस्ताव करते हैं।

डेटासेट निर्माण:
- सिमेंटिक प्रकार (Semantic Types): दस सिमेंटिक प्रकार चुने गए: animal, artifact, activity, food, human, info, location, mood, process, state। ये एक वैचारिक पदानुक्रम (conceptual hierarchy) बनाते हैं जो WordNet सुपरसेन्सेस (supersenses) के अनुकूल है।
- उदाहरण (Instances): प्रत्येक प्रकार के लिए 5-10 बारंबारता वाले संज्ञाओं के लिए BookCorpus से प्रति संज्ञा 20 वाक्य निकाले गए।
- एनोटेशन (Annotation): वाक्यों को लेक्सिकल टाइप (lt) (संज्ञा का अंतर्निहित प्रकार) और कॉन्टेक्स्टुअल टाइप (ct) (संदर्भ द्वारा आवश्यक प्रकार, जो संज्ञा को मास्क करके निकाला गया है) के लिए एनोटेट किया गया।
- श्रेणियाँ (Categories): वाक्यों को चार प्रकारों में वर्गीकृत किया गया:
  - MATCHING: $lt = ct$ (जैसे, "eating a pizza")।
  - COERCION: $lt \neq ct$ प्रेडिकेट चयन के कारण (जैसे, "the stadium was roaring")।
  - OTHER_MISMATCH: मेटाफर (metaphor) या मेटोनिमी (metonymy) के कारण $lt \neq ct$ ।
  - UNRESTRICTED: $ct = \emptyset$ (संदर्भ कोई विशिष्ट प्रकार नहीं थोपता है)।
एम्बेडिंग और ग्राफ निर्माण:
- मॉडल: दो मॉडल उपयोग किए गए: मानक BERT (base, uncased) और सेंस-एन्हांस्ड BERT (SemCor और WordNet सुपरसेन्स लेबल पर फाइन-ट्यून किया गया)।
- मास्किंग (Masking): लेक्सिकल जानकारी से कॉन्टेक्स्टुअल जानकारी को अलग करने के लिए, लक्षित शब्दों को [MASK] टोकन से बदल दिया गया।
- ग्राफ: कोसाइन समानता (cosine similarity) के आधार पर चार निर्देशित ग्राफ ( $G_b, G_s, G_{mb}, G_{ms}$ ) बनाए गए (अंतिम 4 परतों का औसत)। किनारे (edges) लेक्सिकल ओवरलैप से बचने के लिए विभिन्न लक्षित शब्दों के $k=10$ निकटतम पड़ोसियों को जोड़ते हैं।
प्रस्तावित मेट्रिक्स:
- नेबर टाइप प्रोबेबिलिटी (NTP): यह एक विशिष्ट सिमेंटिक प्रकार के अनुयायी (neighbors) के अनुपात को मापता है।
  - NTMRL (Lexical): $NTP(lt, v)$
  - NTMRC (Contextual): $NTP(ct, v)$
- नेबर टाइप एंट्रॉपी (NTE): यह पड़ोसियों के बीच सिमेंटिक प्रकारों की विविधता को मापता है। कम एंट्रॉपी इंगित करती है कि पड़ोसी एक ही प्रकार के हैं; उच्च एंट्रॉपी विविध प्रकारों को इंगित करती है।

मुख्य परिणाम

एम्बेडिंग गुणवत्ता: सेंस-एन्हांस्ड एम्बेडिंग्स ( $G_s, G_{ms}$ ) के साथ निर्मित ग्राफ, मानक BERT ग्राफ की तुलना में सिमेंटिक प्रकार की जानकारी को काफी बेहतर तरीके से दर्शाते हैं। उदाहरण के लिए, MATCHING वाक्यों में, $G_s$ पर artifact और human प्रकारों के लिए औसत NTMRL $G_b$ की तुलना में काफी बढ़ गया।
लेक्सिकल बनाम कॉन्टेक्स्टुअल प्रतिबिंब:
- अनमास्क्ड ग्राफ ( $G_b, G_s$ ) मुख्य रूप से लेक्सिकल प्रकारों को दर्शाते हैं। COERCION वाक्यों में, पड़ोसी अभी भी मुख्य रूप से संज्ञा के लेक्सिकल प्रकार को साझा करते हैं न कि कॉन्टेक्स्टुअल प्रकार को, जो सुझाव देता है कि एम्बेडिंग मिसमैच संदर्भों में भी संज्ञा के अंतर्निहित प्रकार को बनाए रखते हैं।
- मास्क्ड ग्राफ ( $G_{mb}, G_{ms}$ ) कॉन्टेक्स्टुअल प्रकारों के प्रति अधिक संवेदनशीलता दिखाते हैं, हालांकि सिग्नल आंशिक बना रहता है (NTMRC < 0.5)।
एंट्रॉपी (NTE) के माध्यम से वाक्यों का वर्गीकरण:
- MATCHING वाक्य कम NTE प्रदर्शित करते हैं (पड़ोसी एक ही प्रकार साझा करते हैं)।
- UNRESTRICTED वाक्य उच्चतम NTE प्रदर्शित करते हैं (पड़ोसी अत्यधिक विविध हैं)।
- COERCION वाक्य मध्यवर्ती व्यवहार दिखाते हैं। मास्क्ड ग्राफ ( $G_{mb}, G_{ms}$ ) पर, COERCION वाक्यों का NTE UNRESTRICTED वाक्यों की तुलना में काफी कम लेकिन MATCHING वाक्यों की तुलना में अधिक होता है। यह सुझाव देता है कि यद्यपि कोएर्शन के उदाहरण पूरी तरह से कॉन्टेक्स्टुअल टाइप में नहीं बदलते, फिर भी वे मानक मैचिंग उदाहरणों की तुलना में अधिक प्रकार की विविधता प्रदर्शित करते हैं।
टाइप पदानुक्रम (Type Hierarchy): $G_s$ पर NTP विश्लेषण ने टैक्सोनोमिक निकटता (जैसे, process, state, और mood एक क्लस्टर बनाते हैं; info, mood के करीब है) को प्रकट किया, जिससे एक नए सिमेंटिक प्रकार पदानुक्रम का प्रेरण (induction) संभव हुआ।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह केवल शब्द भविष्यवाणी कार्यों पर निर्भर रहने के बजाय, संदर्भित एम्बेडिंग के रिप्रेजेंटेशन स्तर पर सिमेंटिक प्रकार संबंधों और कोएर्शन पर ध्यान केंद्रित करने वाला पहला अध्ययन है।

मेथोडोलॉजिकल योगदान: प्रस्तावित ग्राफ-आधारित मेट्रिक्स (NTP और NTE) प्रभावी ढंग से मैचिंग, कोएर्शन और अनरेस्ट्रिक्टेड वाक्यों के बीच अंतर करते हैं।
सैद्धांतिक अंतर्दृष्टि: परिणाम बताते हैं कि कोएर्शन में, लेक्सिकल टाइप को पूरी तरह से ओवरराइट नहीं किया जाता है; बल्कि, ग्राफ संरचना एक संतुलन को दर्शाती है जहाँ लेक्सिकल टाइप हावी रहता है, जबकि मास्क्ड एम्बेडिंग आंशिक रूप से कॉन्टेक्स्टुअल शिफ्ट को कैप्चर करते हैं।
भविष्य की क्षमता: लेखक विनम्रतापूर्वक सुझाव देते हैं कि बड़े डेटासेट के साथ, उनकी विधि स्वचालित रूप से सिमेंटिक टाइप पदानुक्रम को प्रेरित कर सकती है और लगातार मिसमैच वाक्यों का पता लगा सकती है। वे पर्याप्त डेटा मिलने पर कोएर्शन और अन्य मिसमैच तंत्रों (मेटाफर/मेटोनिमी) के बीच अंतर को और अधिक विस्तार से खोजने की संभावना को भी नोट करते हैं।

अध्ययन इस निष्कर्ष पर पहुँचता है कि सेंस-एन्हांस्ड एम्बेडिंग सिमेंटिक प्रकारों के लिए अधिक समृद्ध प्रतिनिधित्व प्रदान करते हैं, और प्रस्तावित ग्राफ-आधारित विश्लेषण यह जांचने के लिए एक व्यवहार्य उपकरण है कि PLMs के भीतर लेक्सिकल और कॉन्टेक्स्टुअल जानकारी कैसे परस्पर क्रिया करती है।

1. समस्या: "पिज्जा" विरोधाभास (The "Pizza" Paradox)

2. प्रयोग: दो मानचित्र बनाना

3. उपकरण: पड़ोस को मापना

4. उन्हें क्या मिला

5. निष्कर्ष

इसी तरह के और पेपर