💻 computer science

Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval

यह शोध पत्र साइन-अवेयर हार्ड नेगेटिव माइनिंग (SAN) का प्रस्ताव करता है, जो भाषाई समानता के बजाय दृश्य भ्रमशीलता (visual confusability) के आधार पर हार्ड नेगेटिव्स का निर्माण करके सूक्ष्म-स्तरीय संकेत भाषा पुनर्प्राप्ति (fine-grained sign language retrieval) में सुधार करता है, जिससे इस सीमा को संबोधित किया जाता है कि अर्थ संबंधी विशिष्टता, दृश्य विशिष्टता की गारंटी नहीं देती है।

मूल लेखक: Junmyeong Lee, Chan Hur, ChangSu Choi, Sukmin Cho, Fitsum Gaim, Eui Jun Hwang, Hoyun Song, KyungTae Lim

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junmyeong Lee, Chan Hur, ChangSu Choi, Sukmin Cho, Fitsum Gaim, Eui Jun Hwang, Hoyun Song, KyungTae Lim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप साइन लैंग्वेज (संकेत भाषा) के वीडियो के एक विशाल पुस्तकालय में एक विशिष्ट वीडियो खोजने की कोशिश कर रहे हैं। आप एक शब्द टाइप करते हैं, जैसे "Europe" (यूरोप), और कंप्यूटर उस वीडियो को दिखाने की कोशिश करता है जहाँ कोई "Europe" का संकेत दे रहा है। सुनने में आसान लगता है, है ना? लेकिन यहाँ एक मोड़ है: साइन लैंग्वेज में, दो पूरी तरह से अलग शब्द लगभग एक जैसे दिख सकते हैं। हो सकता है कि "Europe" और "October" (अक्टूबर) में हाथ की आकृति एक जैसी हो, बस उनकी दिशा में थोड़ा सा अंतर हो। एक इंसान के लिए, यह एक बहुत मामूली अंतर है; लेकिन एक कंप्यूटर के लिए, यह एक दुःस्वप्न (नाइटमेयर) है।

लंबे समय तक, शोधकर्ताओं ने सोचा कि समस्या यह थी कि कंप्यूटर पर्याप्त "स्मार्ट" नहीं था। उन्होंने सोचा, "यदि हम केवल AI को बड़ा या अधिक प्रशिक्षित करें, तो वह इन सूक्ष्म अंतरों को समझ जाएगा।"

बड़ा आश्चर्य: यह दिमाग की नहीं, होमवर्क की समस्या है
इस शोध पत्र के लेखक, जुनम्योंग ली (Junmyeong Lee) और उनकी टीम ने एक अद्भुत चीज़ खोजी: कंप्यूटर का दिमाग वास्तव में ठीक है। असली समस्या वह होमवर्क है जो उसे दिया जा रहा है।

AI को प्रशिक्षित करना एक छात्र को परीक्षा के लिए पढ़ाने जैसा समझें। यदि आप चाहते हैं कि वह "Europe" और "October" के बीच अंतर सीखे, तो आपको उसे ऐसे अभ्यास प्रश्न देने होंगे जहाँ ये दोनों विकल्प मौजूद हों। लेकिन अब तक, "शिक्षक" (प्रशिक्षण एल्गोरिदम) AI को गलत तरह का अभ्यास करा रहे थे।

वे टेक्स्ट-आधारित माइनिंग (text-based mining) नामक एक विधि का उपयोग कर रहे थे। यह एक छात्र से पूछने जैसा है, " 'Europe' के साथ भ्रमित होने वाला एक कठिन शब्द क्या है?" छात्र (या कंप्यूटर) कहता है, " 'Scandinavia' (स्कैंडिनेविया) कैसा रहेगा?"

जाल: "Scandinavia" यूरोप से संबंधित एक शब्द है, इसलिए भाषाई रूप से यह सही लगता है। लेकिन यदि आप संकेतों को देखें, तो "Europe" और "Scandinavia" पूरी तरह से अलग दिखते हैं। वे एक-दूसरे से अलग पहचानना आसान है।
वास्तविकता: AI "Europe" बनाम "Scandinavia" को पहचानने में तो माहिर हो जाता है, लेकिन जब वह "Europe" बनाम "October" देखता है, तो वह बुरी तरह विफल हो जाता है क्योंकि उसने कभी भी उस विशिष्ट, कठिन जोड़ी का अभ्यास नहीं किया।

यह शोध पत्र तर्क देता है कि भाषाई कठिनाई, दृश्य कठिनाई (visual difficulty) के बराबर नहीं होती। सिर्फ इसलिए कि दो शब्दों की ध्वनि समान है या उनके अर्थ समान हैं, इसका मतलब यह नहीं है कि उनके संकेत एक जैसे दिखेंगे। वास्तव में, यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि टेक्स्ट-आधारित तरकीबें (जैसे समानार्थी शब्दों के साथ बदलना) पर्याप्त हैं। उन्होंने पाया कि यहाँ तक कि सुपर-स्मार्ट AI भाषा मॉडल (जैसे GPT-4o-mini) भी सही "कठिन" उदाहरण खोजने में विफल रहे क्योंकि वे शब्दों को देख रहे थे, गतिविधियों को नहीं।

नया समाधान: साइन-अवेयर हार्ड नेगेटिव माइनिंग (SAN)
इसलिए, टीम ने होमवर्क को अधिक कठिन और उपयोगी बनाने का एक नया तरीका निकाला। वे इसे साइन-अवेयर हार्ड नेगेटिव माइनिंग (Sign-Aware Hard Negative Mining - SAN) कहते हैं।

"यह शब्द कैसा सुनाई देता है?" पूछने के बजाय, SAN पूछता है, "यह संकेत कैसा दिखता है?"

यह कैसे काम करता है, चरण-दर-चरण:

मैच खोजें: सिस्टम एक वीडियो और उस शब्द को देखता है जिससे वह मेल खाता है (जैसे "Europe" का संकेत)।
विजुअल सर्च: यह पूरे पुस्तकालय को स्कैन करता है ताकि अन्य संकेतों को खोज सके जो कंप्यूटर के "विज़न स्पेस" में लगभग बिल्कुल एक जैसे दिखते हैं, भले ही शब्द पूरी तरह से अलग हों (जैसे "October")।
स्वैप (बदलना): यह मूल शब्द को भ्रमित करने वाले शब्द के साथ बदल देता है ताकि एक "हार्ड नेगेटिव" कैप्शन बनाया जा सके।
सबक: अब, AI को "Europe" और "October" के बीच अंतर करना सीखना होगा क्योंकि होमवर्क उसे सूक्ष्म, सूक्ष्म हलचल के अंतरों को देखने के लिए मजबूर करता है।

क्या यह काम कर गया? आंकड़े झूठ नहीं बोलते
टीम ने इसका परीक्षण PHOENIX-2014T नामक एक डेटासेट पर किया, जिसमें जर्मन साइन लैंग्वेज के हजारों मौसम पूर्वानुमान वीडियो हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने ठंडे, कठोर आंकड़ों के साथ परिणामों को मापा।

पहले: SAN के बिना, मौजूदा सर्वोत्तम मॉडल केवल 17.9% बार सही वीडियो ढूंढ पाते थे जब परीक्षण बहुत कठिन (fine-grained) होता था।
बाद में: SAN के साथ, यह संख्या बढ़कर 39.4% हो गई। यह एक विशाल उछाल है!
तुलना: जब उन्होंने SAN की तुलना सबसे स्मार्ट टेक्स्ट-आधारित AI (GPT-4o-mini) से की, तो SAN भारी अंतर से जीत गया। टेक्स्ट-आधारित AI ने 30.7% सही पाया, जबकि SAN ने 39.4% सही पाया। शोध पत्र सुझाव देता है कि यह साबित करता है कि विजुअल्स को देखना ही कुंजी है, न कि केवल शब्दों को।

ट्रेड-ऑफ: बड़ी तस्वीर को बनाए रखना
आप चिंतित हो सकते हैं कि सूक्ष्म विवरणों पर इतना अधिक ध्यान केंद्रित करने से AI बड़ी तस्वीर भूल जाएगा। लेखकों ने इसकी भी जाँच की। उन्होंने पाया कि जबकि SAN ने AI को जटिल, दिखने में समान संकेतों को पहचानने में बहुत बेहतर बनाया, लेकिन इसने आसान चीजों को करने की इसकी क्षमता को खराब नहीं किया। "कोर्स-ग्रेन्ड" (आसान) प्रदर्शन मजबूत बना रहा, जो लगभग 67.4% से 70.1% के आसपास था, जो वास्तव में टेक्स्ट-आधारित तरीकों द्वारा प्राप्त किए गए प्रदर्शन से बेहतर है।

अभी क्या अज्ञात है?
शोध पत्र सावधानी से कहता है कि यह अभी हर स्थिति के लिए जादू की छड़ी नहीं है।

उन्होंने केवल एक विशिष्ट डेटासेट (जर्मन मौसम पूर्वानुमान) पर इसका परीक्षण किया। वे सुझाव देते हैं कि यह अन्य साइन भाषाओं के लिए भी काम कर सकता है, लेकिन उन्होंने इसे अभी तक सिद्ध नहीं किया है।
उन्होंने यह तय करने के लिए एक निश्चित नियम का उपयोग किया कि दो संकेत कितने "समान" होने चाहिए ताकि उन्हें मैच माना जाए। वे स्वीकार करते हैं कि एक "डायनेमिक" नियम जो संकेत के आधार पर बदलता है, शायद और भी बेहतर हो सकता है, लेकिन उन्होंने अभी तक इसे बनाया नहीं है।

निष्कर्ष
यह शोध पत्र सुझाव देता है कि कंप्यूटर को साइन लैंग्वेज सिखाने के लिए, हमें उन्हें पढ़ने वाले छात्रों की तरह मानना बंद करना होगा और दृश्य जासूसों (visual detectives) की तरह मानना शुरू करना होगा। "आसान" होमवर्क को "दृश्य रूप से भ्रमित करने वाले" होमवर्क से बदलकर, AI उन सूक्ष्म अंतरों को पहचानना सीख जाता है जो वास्तव में मायने रखते हैं। यह एक याद दिलाता है कि साइन लैंग्वेज में, जो आप देखते हैं वह अक्सर उससे कहीं अधिक महत्वपूर्ण होता है जो आप पढ़ते हैं।

तकनीकी सारांश: साइन लैंग्वेज रिट्रीवल के लिए साइन-अवेयर हार्ड नेगेटिव माइनिंग

समस्या विवरण

साइन लैंग्वेज रिट्रीवल (SLRet) का लक्ष्य क्वेरी दिए जाने पर प्रासंगिक वीडियो या टेक्स्ट को पुनः प्राप्त करके साइन लैंग्वेज कंटेंट तक कुशलतापूर्वक पहुंच बनाना है। जबकि वर्तमान मॉडल मोटे तौर पर (coarse-grained) रिट्रीवल में पर्याप्त प्रदर्शन करते हैं, वे सूक्ष्म (fine-grained) परिदृश्यों में काफी कमजोर साबित होते हैं जहाँ दृष्टिगत रूप से समान संकेतों (signs) के बीच अंतर करना आवश्यक होता है। लेखकों का तर्क है कि यह सीमा मॉडल की क्षमता की कमी के कारण नहीं, बल्कि कंट्रास्टिव लर्निंग में एक नेगेटिव डिस्ट्रीब्यूशन मिसमैच (negative distribution mismatch) के कारण है।

साइन भाषाओं में, अर्थ एक सीमित दृश्य स्थान (visual space) के भीतर निर्मित होता है; हाथ के आकार, स्थिति या प्रक्षेपवक्र (trajectory) में सूक्ष्म अंतर अर्थ बदल सकते हैं (साइन कन्फ्यूजेबिलिटी)। मौजूदा प्रशिक्षण रणनीतियाँ टेक्स्ट-आधारित हार्ड नेगेटिव माइनिंग पर निर्भर करती हैं, जो भाषाई रूप से संबंधित शब्दों (जैसे, "यूरोप" के लिए "स्कैंडिनेविया") को हार्ड नेगेटिव के रूप में चुनती हैं। हालाँकि, क्योंकि भाषाई रूप से संबंधित शब्द अक्सर दृष्टिगत रूप से भिन्न संकेतों के अनुरूप होते हैं, वे मॉडल के लिए "ईजी नेगेटिव्स" (easy negatives) के रूप में कार्य करते हैं। इसके विपरीत, भाषically असंबंधित शब्द जिनके संकेत दृष्टिगत रूप से समान होते हैं (जैसे, "अक्टूबर" बनाम "यूरोप"), वास्तविक हार्ड नेगेटिव के रूप में कार्य करते हैं लेकिन उन्हें टेक्स्ट-आधारित विधियों द्वारा शायद ही कभी चुना जाता है। इसके परिणामस्वरूप प्रशिक्षण के दौरान "विजुअली कन्फ्यूसेबल रीजन" (Visually Confusable Region) के संपर्क में न आने के कारण, मॉडल सूक्ष्म अंतरों को सीखने में विफल रहता है।

कार्यप्रणाली: साइन-अवेयर हार्ड नेगेटिव माइनिंग (SAN)

इस मिसमैच को संबोधित करने के लिए, लेखक साइन-अवेयर हार्ड नेगेटिव माइनिंग (SAN) का प्रस्ताव करते हैं, एक ऐसा फ्रेमवर्क जो हार्ड नेगेटिव के मानदंडों को भाषाई समानता से बदलकर साइन एम्बेडिंग स्पेस के भीतर दृश्य भ्रमशीलता (visual confusability) के रूप में पुनर्परिभाषित करता है। यह विधि तीन चरणों में कार्य करती है:

विश्वसनीय साइन-वर्ड पेयर माइनिंग: एक प्री-ट्रेंड रिट्रीवल मॉडल का उपयोग करके, सिस्टम साइन टोकन और वर्ड टोकन के बीच उच्च-विश्वास वाले संरेखण (alignments) निकालता है। एक सिमिलरिटी मैट्रिक्स की गणना की जाती है, जिसे सॉफ्टमैक्स के माध्यम से सामान्यीकृत किया जाता है, और शोर को कम करने के लिए एक थ्रेशोल्ड ( $\alpha$ ) द्वारा फ़िल्टर किया जाता है ताकि केवल विश्वसनीय जोड़े ही रखे जा सकें।
विजुअली सिमिलर नेगेटिव वर्ड माइनिंग: प्रत्येक विश्वसनीय साइन-वर्ड पेयर के लिए, सिस्टम बैच में अन्य साइन टोकनों की खोज करता है जो दृष्टिगत रूप से समान हैं (एम्बेडिंग स्पेस में उच्च कोसाइन सिमिलरिटी, थ्रेशोल्ड $\beta$ से अधिक) लेकिन अलग शब्दों के अनुरूप हैं। यह भाषाई रूप से भिन्न लेकिन दृष्टिगत रूप से भ्रमित करने वाले उम्मीदवारों की पहचान करता है।
हार्ड नेगेटिव कैप्शन जनरेशन: निकाले गए उम्मीदवारों का उपयोग मूल टेक्स्ट में कीवर्ड्स को बदलकर हार्ड नेगेटिव कैप्शन बनाने के लिए किया जाता है। इन कैप्शंस को एक फाइन-ग्रेन्ड लॉस टर्म ( $L_{fine}$ ) के माध्यम से प्रशिक्षण उद्देश्य में शामिल किया जाता है, जिसे एक बैलेंसिंग वेट $\lambda$ का उपयोग करके मानक कोर्स-ग्रेन्ड लॉस ( $L_{coarse}$ ) के साथ जोड़ा जाता है।

अंतिम ऑब्जेक्टिव फंक्शन $L = L_{coarse} + \lambda \cdot L_{fine}$ है, जो मॉडल को वैश्विक भाषाई संरेखण को बनाए रखते हुए विजुअली एम्बिगअस (दृष्टिगत रूप से संदिग्ध) उदाहरणों से सीखने की अनुमति देता है।

मुख्य योगदान

समस्या का निरूपण: पेपर ने SLRet में फाइन-ग्रेन्ड रिट्रीवल की विफलताओं को एक नेगेटिव डिस्ट्रीब्यूशन मिसमैच समस्या के रूप में प्रस्तुत किया है, यह पहचानते हुए कि वर्तमान टेक्स्ट-आधारित माइनिंग रणनीतियाँ साइन भाषाओं में निहित दृश्य अस्पष्टता को पकड़ने में विफल रहती हैं।
प्रस्तावित फ्रेमवर्क: SAN का परिचय, जो भाषाई समानता के बजाय साइन एम्बेडिंग स्पेस में विजुअल कन्फ्यूजेबिलिटी के आधार पर हार्ड नेगेटिव का निर्माण करता है।
अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि SAN, वैश्विक भाषाई संरेखण को स्थिर रखते हुए, फाइन-ग्रेन्ड रिट्रीवल प्रदर्शन में पर्याप्त सुधार करता है और टेक्स्ट-आधारित माइनिंग रणनीतियों (जिसमें RoBERTa और GPT-4o-mini शामिल हैं) से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने PHOENIX-2014T डेटासेट (जर्मन साइन लैंग्वेज) पर SAN का मूल्यांकन किया, जिसमें इसे मानक बेसलाइन्स (CiCo, GFSLT-VLP) और टेक्स्ट-आधारित नेगेटिव माइनिंग रणनीतियों (FastText, RoBERTa, GPT-4o-mini) के विरुद्ध तुलना की गई।

फाइन-ग्रेन्ड प्रदर्शन: SAN ने उल्लेखनीय सुधार दिखाया। GFSLT-VLP बैकबोन पर, फाइन-ग्रेन्ड रिट्रीवल के लिए V2T Recall@1 16.8% (बेसलाइन) से बढ़कर 49.1% हो गया, जो +32.3% का पूर्ण सुधार है। इसने सर्वश्रेष्ठ टेक्स्ट-आधारित प्रतिस्पर्धी (FastText 43.8% पर) और लार्ज लैंग्वेज मॉडल्स (GPT-4o-mini 37.7% पर) को काफी पीछे छोड़ दिया।
कोर्स-ग्रेन्ड स्थिरता: टेक्स्ट-आधारित विधियों के विपरीत, जो अक्सर ग्लोबल सिमेंटिक एलाइनमेंट में शोर के कारण कोर्स-ग्रेन्ड प्रदर्शन को खराब कर देती हैं, SAN ने मजबूत कोर्स-ग्रेन्ड सटीकता बनाए रखी (उदाहरण के लिए, GFSLT-VLP के लिए 67.4% V2T R@1, जबकि FastText के लिए यह गिरकर 64.3% हो गया)।
गुणात्मक विश्लेषण: विजुअल तुलनाओं ने पुष्टि की कि SAN उन नेगेटिव्स को माइन करता है जिनमें अत्यधिक समान हैंडशेप्स, लोकेशन्स और मूवमेंट्स होते हैं (जैसे, "Europe" बनाम "October"), जबकि टेक्स्ट-आधारित विधियाँ भाषाई रूप से तर्कसंगत लेकिन दृष्टिगत रूप से भिन्न संकेतों को चुनती थीं।
एब्लेशन स्टडीज: अध्ययन में स्वैप्ड वर्ड्स की संख्या ( $N_{swap}$ ) और हार्ड नेगेटिव्स की संख्या ( $N_{hard}$ ) के प्रभाव का विश्लेषण किया गया, जिससे पता चला कि $N_{swap}=2$ और $N_{hard}=5$ फाइन-ग्रेन्ड भेदभाव और ग्लोबल रोबस्टनेस के बीच सबसे अच्छा संतुलन प्रदान करते हैं।

महत्व और दावे

पेपर का दावा है कि फाइन-ग्रेन्ड साइन लैंग्वेज रिट्रीवल में प्राथमिक बाधा मॉडल आर्किटेक्चर नहीं बल्कि सुपरविजन सिग्नल है। विजुअल एम्बिग्युइटी के बजाय नेगेटिव सुपरविजन को भाषाई अर्थशास्त्र (linguistic semantics) के साथ संरेखित करके, SAN प्रभावी रूप से मॉडल्स को विजुअल कन्फ्यूसेबिलिटी को हल करने के लिए मजबूर करता है। लेखकों का कहना है कि साइन लैंग्वेज में भाषाई कठिनाई (linguistic hardness), विजुअल कठिनाई (visual hardness) के बराबर नहीं होती; इसलिए, नेगेटिव माइनिंग रणनीतियों को टेक्स्ट-आधारित से विजन-आधारित (साइन-अवेयर) में बदलना फाइन-ग्रेन्ड रिट्रीवल को आगे बढ़ाने के लिए आवश्यक है।

यह कार्य इस बात पर प्रकाश डालता है कि जबकि मौजूदा मॉडल कोर्स-ग्रेन्ड सेटिंग्स में स्थिर हैं, वे वास्तविक हार्ड नेगेटिव के संपर्क में आए बिना सूक्ष्म दृश्य विविधताओं को पहचानने में विफल रहते हैं। SAN इन उदाहरणों को उत्पन्न करने के लिए एक तंत्र प्रदान करता है, जो यह सुझाव देता है कि भविष्य की प्रगति SLRet के लिए विजुअल मोडैलिटी में नेगेटिव माइनिंग को ग्राउंड करने पर निर्भर करती है।

सीमाएं

लेखक नोट करते हैं कि उनके प्रयोग वर्तमान में एक एकल डोमेन (मौसम पूर्वानुमान) के भीतर PHOENIX-2014T डेटासेट तक सीमित हैं। जबकि यह डोमेन स्वाभाविक रूप से दृष्टिगत रूप से समान संकेतों का एक घना वितरण प्रदर्शित करता है, अन्य साइन भाषाओं और डेटासेट्स के लिए SAN की सामान्यीकरण क्षमता (generalizability) के लिए और अधिक सत्यापन की आवश्यकता है। इसके अतिरिक्त, फ्रेमवर्क एक निश्चित विजुअल सिमिलरिटी थ्रेशोल्ड पर निर्भर करता है, जो विभिन्न साइन क्लासेज के बीच अस्पष्टता के विभिन्न स्तरों को ध्यान में नहीं रख सकता है, और एक डायनेमिक थ्रेशोल्डिंग मैकेनिज्म को भविष्य के सुधार के रूप में सुझाया गया है।