💻 computer science

Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis

यह शोध पत्र 3D सांकेतिक भाषा की गतियों को उत्पन्न करने के लिए एक डिफ्यूजन-आधारित बेसलाइन प्रस्तावित करता है जो इस बात का व्यवस्थित विश्लेषण करके कि टेक्स्ट एनकोडर और ध्वन्यात्मक विशेषता अनुकूलन रणनीतियाँ, विशेष रूप से प्रतीकात्मक एनोटेशन का प्राकृतिक भाषा में अनुवाद, पीढ़ी की गुणवत्ता को कैसे प्रभावित करती हैं, अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Rui Hong, Jana Kosecka

प्रकाशित 2026-03-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rui Hong, Jana Kosecka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अमेरिकन साइन लैंग्वेज (ASL) बोलना सिखाने की कोशिश कर रहे हैं। इस रोबोट का शरीर डिजिटल जोड़ों (जैसे कि एक 3D अवतार) से बना है, और आप चाहते हैं कि वह किसी विशिष्ट शब्द, जैसे कि "BOOK" या "COOL" को व्यक्त करने के लिए अपने हाथों और चेहरे को स्वाभाविक रूप से हिलाए।

समस्या यह है कि ASL केवल शब्द के बारे में नहीं है; यह संकेतों के भौतिक विज्ञान (physics) के बारे में है। एक संकेत कुछ विशिष्ट सामग्रियों से बना होता है: उंगलियों का आकार क्या है? हाथ कहाँ है? यह कैसे हिलता है?

यह शोध पत्र एक कुकिंग एक्सपेरिमेंट की तरह है जहाँ शोधकर्ता यह पता लगाने की कोशिश कर रहे हैं कि रोबोट को एक आदर्श संकेत "पकाने" के लिए सबसे अच्छा "रेसिपी" (विधि) कैसे दी जाए।

सामग्रियां: फोनोलॉजी (Phonology)

बोली जाने वाली भाषा में, शब्द ध्वनियों (phonemes) से बनते हैं। सांकेतिक भाषा में, शब्द फोनोलॉजिकल एट्रिब्यूट्स (phonological attributes) से बनते हैं। इन्हें एक संकेत के "DNA" के रूप में सोचें:

हैंडशेप (Handshape): क्या यह एक मुट्ठी है? एक सपाट हाथ है?
लोकेशन (Location): क्या हाथ ठुड्डी के पास है या छाती के पास?
मूवमेंट (Movement): क्या यह हिलता है, फिसलता है, या प्रहार करता है?

शोधकर्ताओं ने ASL-LEX 2.0 नामक एक विशाल शब्दकोश का उपयोग किया है जो हजारों संकेतों को इन विशिष्ट सामग्रियों में विभाजित करता है।

रसोई: डिफ्यूजन मॉडल (The Diffusion Model)

इस प्रयोग का "शेफ" एक प्रकार का AI है जिसे डिफ्यूजन मॉडल कहा जाता है।

उपमा: एक धुंधली, शोर भरी तस्वीर की कल्पना करें जिसमें कोई व्यक्ति संकेत कर रहा है। AI का काम इस तस्वीर को धीरे-धीरे "डिनोइज़" (denoise) करना है, स्टेप-दर-स्टेप, जब तक कि एक स्पष्ट, तीखी वीडियो उभर न आए।
बेसलाइन: उन्होंने पहले एक बहुत ही मजबूत शेफ (एक बेसलाइन मॉडल) बनाया जो केवल शब्द (gloss) सुनकर पहले से ही अच्छे संकेत बना सकता था। यह नया शेफ पिछले सबसे अच्छे शेफ (जिसे SignAvatar कहा जाता है) से बेहतर था क्योंकि यह संकेतों को वास्तविक दिखने जैसा बना सकता था।

प्रयोग: रेसिपी कैसे दें

शोधकर्ता यह जानना चाहते थे: क्या शेफ को विशिष्ट "सामग्रियां" (phonological attributes) देने से संकेत और भी बेहतर हो जाता है?

उन्होंने तीन मुख्य वेरिएबल्स का परीक्षण किया:

अनुवादक (Text Encoder): कंप्यूटर रेसिपी को कैसे पढ़ता है?
- CLIP: एक अनुवादक जो सामान्य अंग्रेजी शब्दों और चित्रों को समझने में बहुत अच्छा है, लेकिन अजीब प्रतीकों से भ्रमित हो जाता है।
- T5: एक अनुवादक जो व्याकरण और संरचना का उस्ताद है, चाहे शब्द सामान्य हों या अजीब प्रतीक।
रेसिपी का प्रारूप (Notation):
- सिंबोलिक (Symbolic): शब्दकोश से प्राप्त कच्चा कोड (जैसे, हाथ के आकार के लिए "open b")। यह ऐसा है जैसे शेफ को एक ऐसी गुप्त कोड में लिखी रेसिपी देना जिसे केवल भाषाविद् समझते हैं।
- मैप्ड (Mapped - प्राकृतिक भाषा): उस कोड को सरल अंग्रेजी में अनुवाद करना (जैसे, "सभी चार उंगलियां एक साथ फैली हुई")। यह रेसिपी को उस भाषा में फिर से लिखने जैसा है जिसे शेफ वास्तव में बोलता है।
कंडीशन (The Condition):
- केवल ग्लॉस (Gloss Only): शेफ को केवल "Make 'BOOK'" कहना।
- ग्लॉस + एट्रिब्यूट्स (Gloss + Attributes): शेफ को कहना "Make 'BOOK', और यहाँ वे सटीक उंगली के आकार और स्थान दिए गए हैं जिनका उपयोग करना है।"

बड़ी खोज: "अनुवाद" की समस्या

यहाँ सबसे दिलचस्प हिस्सा है:

CLIP शेफ: जब उन्होंने CLIP को कच्चे प्रतीक (गुप्त कोड) दिए, तो रोबोट पागल हो गया और बहुत खराब संकेत बनाने लगा। यह ऐसा था जैसे शेफ को एलियन चित्रलिपि में लिखी रेसिपी देना; उसे समझ ही नहीं आया कि क्या करना है।
- हालांकि, एक बार जब उन्होंने उन प्रतीकों को साधारण अंग्रेजी में अनुवाद किया, तो CLIP एक सुपरस्टार बन गया। इसने अतिरिक्त विवरणों का उपयोग करके ऐसे संकेत बनाए जो पहले की तुलना में कहीं अधिक सटीक थे।
- सबक: CLIP को अतिरिक्त विवरणों के साथ काम करने के लिए रेसिपी को "मानव भाषा" में चाहिए।
T5 शेफ: इस शेफ को इससे कोई फर्क नहीं पड़ा। चाहे रेसिपी गुप्त कोड में हो या साधारण अंग्रेजी में, T5 का प्रदर्शन लगभग एक जैसा ही रहा। यह एक ऐसे शेफ की तरह है जो कोई भी भाषा पढ़ सकता है, इसलिए रेसिपी को अनुवादित करने से ज्यादा बदलाव नहीं आया।
- लेकिन, T5 शुरुआत में "BOOK" जैसे सरल शब्द को समझने में CLIP की तुलना में उतना अच्छा नहीं था।

परिणाम: एक बेहतर रोबोट

जीतने वाला संयोजन CLIP शेफ का उपयोग करना था, लेकिन उसे अनुवादित, सरल-अंग्रेजी वाली रेसिपी के साथ सभी अतिरिक्त फोनोलॉजिकल विवरण देना।

पहले: रोबोट ऐसे संकेत बनाता था जो ठीक-ठाक थे, लेकिन कभी-कभी हाथ सख्त दिखते थे या उनकी गति गलत होती थी।
बाद में: रोबोट के संकेत अधिक सुचारू, विविध और सही संकेत के रूप में अधिक पहचानने योग्य थे। इसने लगभग हर श्रेणी में पिछले सर्वश्रेष्ठ रोबोट (SignAvatar) को पछाड़ दिया।

यह क्यों महत्वपूर्ण है?

नियंत्रण (Control): यदि हम रोबोट को बता सकते हैं कि अपने हाथ को कैसे आकार देना है और कहाँ ले जाना है, तो हम गलतियों को सुधार सकते हैं। यदि रोबोट एक ऐसा संकेत बनाता है जो अजीब दिखता है, तो हम पूरे मस्तिष्क को फिर से प्रशिक्षित किए बिना "सामग्रियों" को थोड़ा बदलकर ठीक कर सकते हैं।
नए संकेत: क्योंकि रोबोट संकेत के हिस्सों (hand shape + location + movement) को समझता है, इसलिए यह अंततः इन हिस्सों को मिलाकर नए, वैध संकेत बनाने में सक्षम हो सकता है, ठीक वैसे ही जैसे हम नए शब्द बनाने के लिए ध्वनियों को मिलाते हैं।
सुलभता (Accessibility): यह तकनीक बधिर और सुनने में अक्षम लोगों के लिए बेहतर अवतार बनाने में मदद करती है ताकि वे सुनने योग्य दुनिया के साथ संवाद कर सकें, जिससे आभासी बातचीत अधिक स्वाभाविक और मानवीय महसूस हो सके।

कमी (सीमाएं)

शोधकर्ता स्वीकार करते हैं कि रसोई में अभी भी कुछ "शोर" (noise) है। शब्दकोश (ASL-LEX) एक संकेत के "आदर्श" संस्करण का वर्णन करता है, लेकिन वीडियो पर वास्तविक लोग संकेत करते समय (training data) इसे थोड़ा अलग तरीके से कर सकते हैं। कभी-कभी रोबोट भ्रमित हो जाता है क्योंकि "रेसिपी" उस "वीडियो" से पूरी तरह मेल नहीं खाती जिसे वह कॉपी करने की कोशिश कर रहा है।

संक्षेप में: रोबोट को अच्छी तरह से संकेत करना सिखाने के लिए, आप केवल उसे शब्द नहीं दे सकते। आपको उसे संकेत की "सामग्रियां" देनी होंगी, लेकिन आपको उन सामग्रियों को ऐसी भाषा में लिखना होगा जिसे रोबोट का मस्तिष्क वास्तव में समझ सके (साधारण अंग्रेजी, न कि गुप्त कोड)। जब आप ऐसा करते हैं, तो रोबोट एक बहुत बेहतर सांकेतिक भाषाकार बन जाता है।

यहाँ रुई होंग और जाना कोसेक द्वारा लिखित शोध पत्र "Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टेक्स्ट इनपुट से प्राकृतिक, भाषाई रूप से सही और दृश्य रूप से सुचारू 3D अवतार सांकेतिक भाषा (sign language) मोशन उत्पन्न करना एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा दृष्टिकोण अक्सर ग्लोस लेबल (चिन्हों के लिखित प्रतिनिधित्व) पर निर्भर करते हैं लेकिन आंतरिक ध्वनि विज्ञान संरचना (phonological structure) की अनदेखी करते हैं।

अंतराल (The Gap): बोली जाने वाली भाषा के विपरीत, जो शब्दों को फोनीम (phonemes) में विभाजित करती है, सांकेतिक भाषा चिन्हों को आर्टिकुलेटरी मापदंडों (हाथ का आकार, स्थान, गति, हथेली का ओरिएंटेशन आदि) में विभाजित करती है। वर्तमान जनरेटिव मॉडल अक्सर चिन्हों को परमाणु इकाइयों (atomic units) के रूप में देखते हैं, जिससे इस भाषा की संरचनात्मक प्रकृति छूट जाती है।
लक्ष्य (The Goal): यह जांचना कि क्या डिफ्यूजन फ्रेमवर्क के भीतर 3D सांकेतिक भाषा मोशन जेनरेशन की गुणवत्ता, विभेदन क्षमता (discriminability) और नियंत्रण क्षमता (controllability) में सुधार करने के लिए ध्वनि संबंधी गुणों (विशेष रूप से ASL-LEX 2.0 डेटाबेस से) को कंडीशनिंग सिग्नल के रूप में शामिल किया जा सकता है।

2. कार्यप्रणाली (Methodology)

A. मोशन रिप्रेजेंटेशन (Motion Representation)

मॉडल: सिस्टम SMPL-X बॉडी मॉडल का उपयोग करता है, जो ऊपरी शरीर (4ط 43 जोड़: रीढ़, धड़, हाथ, बाहें) पर केंद्रित है।
पैरामीटराइजेशन: जोड़ों के रोटेशन को 6D निरंतर रोटेशन रिप्रेजेंटेशन में दर्शाया गया है।
अनुक्रम (Sequence): $T=60$ फ्रेम की निश्चित लंबाई। सापेक्ष आर्टिक्यूलेशन पर ध्यान केंद्रित करने के लिए रूट जॉइंट को एक कैनोनिकल ओरिएंटेशन में सामान्यीकृत (normalized) किया गया है।

B. डिफ्यूजन फ्रेमवर्क (Diffusion Framework)

लेखक एक ह्यूमन मोशन डिफ्यूजन मॉडल (MDM) आर्किटेक्चर को अपनाते हैं:

डिनोइज़र (Denoiser): एक ट्रांसफॉर्मर एनकोडर (4 लेयर्स, 8 हेड्स, 512 डिमेंशन) जो नॉइजी इनपुट $x_t$ , टाइमस्टेप $t$ , और कंडीशन $c$ से साफ मोशन $x_0$ की भविष्यवाणी करता है।
ट्रेनिंग ऑब्जेक्टिव: MSE रिकंस्ट्रक्शन लॉस और वेलोसिटी लॉस (समय के साथ सुचारूता सुनिश्चित करने के लिए) का संयोजन।
- वेटिंग (Weighting): लॉस को प्रति बॉडी पार्ट ( $w_g$ ) भारित किया गया है, जो हाथों की गतिशीलता के भाषाई महत्व को दर्शाने के लिए धड़ (वजन 0.5) की तुलना में हाथों और बाहों (वजन 5.0) को अत्यधिक प्राथमिकता देता है।
इन्फरेंस (Inference): 50 स्टेप्स के साथ DDIM सैंपलिंग का उपयोग किया जाता है।

C. कंडीशनिंग मैकेनिज्म (Conditioning Mechanisms)

मुख्य नवाचार यह है कि कंडीशनिंग इनपुट को कैसे प्रोसेस किया जाता है। लेखक तुलना करते हैं:

टेक्स्ट एनकोडर:
- CLIP (ViT-B/32): इमेज-टेक्स्ट पेयर्स पर प्रशिक्षित; 512-d एम्बेडिंग्स बनाता है।
- T5 (Base): एक seq2seq लैंग्वेज मॉडल; 768-d मीन-पूलिंग एम्बेडिंग्स बनाता है।
कंडीशनिंग मोड:
- ग्लोस-ओनली (Gloss-only): इनपुट केवल ग्लोस लेबल है (जैसे, "BOOK")।
- ग्लोस + फोनोलॉजिकल एट्रिब्यूट्स: ग्लोस को ASL-LEX 2.0 के 8 विशिष्ट गुणों (Handshape, Sign Type, Path Movement, Locations, आदि) के साथ कॉन्कैटिनेट (concatenate) किया जाता है।
एट्रिब्यूट नोटेशन फॉर्मेट:
- सिंबोलिक (Symbolic): कच्चे ASL-LEX प्रतीकों का उपयोग करता है (जैसे, "open b", "imrp")।
- मैप्ड (Mapped - Natural Language): प्रतीकों को वर्णनात्मक अंग्रेजी वाक्यों में अनुवादित करता है (जैसे, "all four fingers extended together")।

3. मुख्य योगदान (Key Contributions)

मजबूत डिफ्यूजन बेसलाइन: SMPL-X मोशन पर MDM-शैली के डिफ्यूजन मॉडल का उपयोग करके एक नया स्टेट-ऑफ-द-आर्ट बेसलाइन स्थापित किया। यह बेसलाइन ग्लोस डिस्क्रिमिनेबिलिटी में SignAvatar (एक अग्रणी CVAE विधि) से बेहतर प्रदर्शन करती है और समान वितरण गुणवत्ता बनाए रखती है।
व्यवस्थित कंडीशनिंग विश्लेषण: टेक्स्ट एनकोडर, कंडीशनिंग मोड और नोटेशन फॉर्मेट पर एक व्यापक एब्लेशन स्टडी की गई।
इनपुट रिप्रेजेंटेशन संवेदनशीलता की खोज: यह खुलासा किया गया कि एट्रिब्यूट कंडीशनिंग की प्रभावशीलता टेक्स्ट एनकोडर की इनपुट फॉर्मेट को संभालने की क्षमता पर बहुत अधिक निर्भर करती है।
- CLIP को प्रभावी ढंग से कार्य करने के लिए गुणों को प्राकृतिक भाषा में अनुवादित करने की आवश्यकता होती है; सिंबोलिक नोटेशन प्रदर्शन को ध्वस्त कर देता है।
- T5 सिंबोलिक और नेचुरल लैंग्वेज दोनों फॉर्मेट के प्रति मजबूत है, लेकिन ग्लोस-ओनली कार्यों पर आमतौर पर CLIP से कम प्रदर्शन करता है।
प्रस्तावित भविष्य की दिशा: टेक्स्ट-स्ट्रिंग एनकोडिंग से स्ट्रक्चर्ड टेंसर कंडीशनिंग की ओर बदलाव, जहाँ ग्लोस और गुणों को कंपोजिशनल इंडिपेंडेंस बनाए रखने के लिए स्वतंत्र पथों के माध्यम से एनकोड किया जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट: ASL3DWord (WLASL से प्राप्त), जिसमें 103 ग्लोस क्लासेस के साथ SMPL-X मोशन डेटा है। ASL-LEX 2.0 ने फोनोलॉजिकल एनोटेशन प्रदान किए।

मुख्य निष्कर्ष:

बेसलाइन प्रदर्शन: डिफ्यूजन बेसलाइन (Gloss-only, CLIP) ने 0.838 सटीकता (SignAvatar के 0.758 के मुकाबले) और 0.378 KNN सटीकता (0.271 के मुकाबले) प्राप्त की, जो बेहतर साइन रिकग्निशन क्षमताओं को प्रदर्शित करती है।
नोटेशन फॉर्मेट का प्रभाव (CLIP):
- सिंबोलिक: प्रदर्शन गिर गया (सटीकता घटकर 0.201 हो गई, FID बढ़कर 127.95 हो गया)।
- मैप्ड (Natural Language): प्रदर्शन वापस आया और सुधरा (सटीकता 0.794, FID 55.11)।
- तर्क: CLIP प्राकृतिक भाषा पर प्रशिक्षित है; सिंबोलिक टोकन आउट-ऑफ-डिस्ट्रीब्यूशन हैं। इसके अलावा, विभिन्न चिन्ह अक्सर समान सिंबोलिक गुणों को साझा करते हैं, जिससे एट्रिब्यूट स्ट्रिंग, पूल किए गए एम्बेडिंग में ग्लोस टोकन पर हावी हो जाती है।
नोटेशन फॉर्मेट का प्रभाव (T5): T5 ने सिंबोलिक और मैप्ड फॉर्मेट के बीच नगण्य अंतर दिखाया (सटीकता ~0.52–0.54), क्योंकि इसका टोकनाइज़र सिंबोलिक स्ट्रिंग्स को स्वाभाविक रूप से संभालता है। हालांकि, T5 का समग्र प्रदर्शन CLIP के सर्वश्रेष्ठ वेरिएंट की तुलना में कम था।
सर्वश्रेष्ठ समग्र मॉडल: CLIP + Gloss + Mapped Attributes ने सर्वश्रेष्ठ FID (55.11) प्राप्त किया और सभी मेट्रिक्स में SignAvatar से बेहतर प्रदर्शन किया।
वैरिएंस विश्लेषण:
- SignAvatar लगातार अंडर-आर्टिकुलेटेड (वैरिएंस रेशियो < 1.0, विशेष रूप से हाथों के लिए) रहा।
- डिफ्यूजन मॉडल मामूली ओवर-आर्टिकुलेशन (हाथों/बाहों के लिए वैरिएंस रेशियो > 1.2) दिखाते हैं, जो बताता है कि डिफ्यूजन प्रक्रिया डायनेमिक्स को अच्छी तरह से कैप्चर करती है लेकिन इसमें सूक्ष्म सटीकता की कमी हो सकती है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

भाषाई आधार (Linguistic Grounding): यह पेपर प्रदर्शित करता है कि ध्वनि संरचना (हाथ का आकार, स्थान, गति) को शामिल करने से सांकीतिक भाषा जेनरेशन की नियंत्रण क्षमता और गुणवत्ता में काफी सुधार होता है, जो सरल ग्लोस-टू-मोशन मैपिंग से आगे बढ़ता है।
एनकोडर चयन: अध्ययन इस बात पर प्रकाश डालता है कि इनपुट रिप्रेजेंटेशन एक महत्वपूर्ण बाधा (bottleneck) है। CLIP-आधारित सिस्टम के लिए, संरचित भाषाई डेटा को प्राकृतिक भाषा में अनुवादित करना एक आवश्यक प्रीप्रोसेसिंग स्टेप है।
भविष्य की दिशाएं: लेखक तर्क देते कि हालांकि नेचुरल लैंग्वेज मैपिंग काम करती है, आदर्श समाधान स्ट्रक्चर्ड टेंसर कंडीशनिंग है। यह ग्लोस और गुणों को स्वतंत्र पथों (जैसे, FiLM मॉड्यूलेशन का उपयोग करके) के माध्यम से एनकोड करेगा, जिससे टेक्स्ट स्ट्रिंग्स को जोड़ने से होने वाले 'सिमेंटिक डाइल्यूशन' से बचा जा सकेगा और सांकेतिक भाषा फोनोलॉजी की कंपोजिशनल प्रकृति को बेहतर ढंग से संरक्षित किया जा सकेगा।

सीमाएं: यह अध्ययन 103-शब्दों के शब्दावली तक सीमित है। इसके अतिरिक्त, एक "नॉइज़ी एलाइनमेंट" समस्या है जहाँ ASL-LEX में कैनोनिकल फोनोलॉजिकल एट्रिब्यूट्स हमेशा WLASL वीडियो डेटासेट में विशिष्ट साइन वेरिएंट से पूरी तरह मेल नहीं खाते हैं, जिससे लेबल नॉइज़ उत्पन्न होता है।