💬 NLP

Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders

यह शोध पत्र एक मल्टीमॉडल वॉयस एक्टिविटी प्रोजेक्शन (MM-VAP) फ्रेमवर्क प्रस्तुत करता है जो सोशल रोबोट्स में भविष्य के टर्न-टेकिंग डायनेमिक्स की भविष्यवाणी करने के लिए प्रीट्रेंड ऑडियो-विजुअल एनकोडर्स और लो-रैंक एडेप्टेशन का लाभ उठाता है, जो कई ह्यूमन-रोबोट इंटरैक्शन डेटासेट्स पर बेसलाइन्स की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Antonio Cano, Guillermo Pérez, Luis Merino, Randy Gomez

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Antonio Cano, Guillermo Pérez, Luis Merino, Randy Gomez

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि हारू (Haru) नाम का एक सामाजिक रोबोट एक डिनर पार्टी में एक शांत, मददगार मेजबान की भूमिका निभा रहा है। इसका काम मुख्य अतिथि बनकर बातें करना नहीं है, बल्कि पृष्ठभूमि में खड़े होकर दो इंसानों की बातचीत को सुनना है, और यह जानना है कि बातचीत को सुचारू रूप से चलाने के लिए उसे ठीक कब हस्तक्षेप करना है।

समस्या यह है कि वर्तमान रोबोट इसमें बहुत खराब हैं। वे आमतौर पर एक लंबे सन्नाटे (जैसे संगीत का रुकना) का इंतज़ार करते हैं जब तक कि वे यह न सोच लें, "ठीक है, अब मेरी बारी!" लेकिन वास्तविक मानव बातचीत में, लोग सन्नाटे का इंतज़ार नहीं करते। वे अनुमान लगा लेते हैं कि दूसरा व्यक्ति कब बोलना बंद करने वाला है और लगभग तुरंत ही अपनी बात शुरू कर देते हैं। यदि कोई रोबोट सन्नाटे का इंतज़ार करता है, तो यह अजीब और धीमा लगता है।

यह शोध पत्र इस रोबोट के लिए एक नया "मस्तिष्क" प्रस्तुत करता है जिसे MM-VAP (मल्टीमॉडल वॉयस एक्टिविटी प्रोजेक्शन) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "क्रिस्टल बॉल" बनाम "स्टॉपवॉच"

पुराने रोबोट एक स्टॉपवॉच का उपयोग करते हैं। वे सन्नाटे के सेकंड गिनते हैं। यदि सन्नाटा बहुत लंबा हो जाता है, तो वे मान लेते हैं कि व्यक्ति बोल समाप्त कर चुका है।
नया MM-VAP सिस्टम एक क्रिस्टल बॉल का उपयोग करता है। सन्नाटे का इंतज़ार करने के बजाय, यह देखता है कि अभी क्या हो रहा है और अगले कुछ सेकंड में क्या होने वाला है, इसका पूर्वानुमान लगाता है। यह पूछता है, "क्या वह व्यक्ति अपना वाक्य समाप्त करने वाला है? क्या दूसरा व्यक्ति बीच में बोलने वाला है?" यह फ्रेम-दर-फ्रेम बातचीत के भविष्य को प्रोजेक्ट करता है।

2. देखना और सुनना (मल्टीमॉडल)

पहले, इन रोबोटों के पास केवल कान होते थे। वे ऑडियो सुनते थे। लेकिन इंसान आँखों का भी उपयोग करते हैं (सिर हिलाना, किसी की ओर देखना, चेहरे के हाव-भाव) यह संकेत देने के लिए कि वे बोलना समाप्त कर रहे हैं या बोलना चाहते हैं।
यह नया सिस्टम रोबोट को आंखें और कान दोनों देता है। यह वक्ताओं के चेहरों का वीडियो देखता है और साथ ही उनकी आवाज़ सुनता है। यह एक ऐसी बातचीत की तरह है जहाँ आप शब्दों को सुन भी सकते हैं और शारीरिक भाषा (body language) को देख भी सकते हैं, जिससे पूर्वानुमान कहीं अधिक सटीक हो जाता है।

3. "एक्सपर्ट इंटर्न" रणनीति (LoRA)

शोधकर्ताओं ने शून्य से मस्तिष्क का निर्माण नहीं किया। ऐसा करना एक रोबोट को पहले दिन से बोलना और चेहरे समझना सिखाने जैसा होता। इसके बजाय, उन्होंने दो "एक्सपर्ट इंटर्न" लिए जो पहले से ही भारी मात्रा में स्पीच और वीडियो डेटा पर प्रशिक्षित थे:

TalkNet: जो यह पहचानने में विशेषज्ञ है कि कौन बोल रहा है।
WhisperFlamingo: जो स्पीच और चेहरों को एक साथ समझने में विशेषज्ञ है।

ये विशेषज्ञ बहुत बुद्धिमान हैं लेकिन अपने मूल कार्यों में विशिष्ट हैं। उन्हें टर्न-टेकिंग (बारी-बारी से बोलने) की भविष्यवाणी करना सिखाने के लिए, शोधकर्ताओं ने LoRA (लो-रैंक अडैप्टेशन) नामक तकनीक का उपयोग किया:

उपमा: कल्पना कीजिए कि आपके पास एक मास्टर शेफ (प्री-ट्रेंड मॉडल) है। आप उन्हें सब कुछ शुरू से फिर से नहीं सिखाना चाहते। इसके बजाय, आप उन्हें एक छोटा, विशिष्ट रेसिपी कार्ड (LoRA एडॉप्टर) देते हैं जो उन्हें सिखाता है कि यही विशिष्ट व्यंजन (टर्न-टेकिंग की भविष्यवाणी करना) कैसे बनाया जाता है। आप शेफ के मूल कौशल को स्थिर रखते हैं और केवल उस छोटे रेसिपी कार्ड को प्रशिक्षित करते हैं। यह तेज़, कुशल है और शेफ के मूल ज्ञान को सुरक्षित रखता है।

4. "256-स्टेप" डांस फ्लोर

यह सिस्टम केवल "हाँ/नहीं" का अनुमान नहीं लगाता। यह बातचीत के अगले 2 सेकंड को छोटे-छोटे हिस्सों में विभाजित करता है। यह एक साथ होने वाली 256 अलग-अलग स्थितियों की संभावना की गणना करता है (जैसे, "वक्ता A बोलता रहता है," "वक्ता B बीच में बोल पड़ता है," "दोनों बोलते हैं," "दोनों रुक जाते हैं")।
इसके बाद यह संभावनाओं के इस जटिल मानचित्र को देखता है ताकि निर्णय ले सके: "आह, पैटर्न सुझाव देता है कि वक्ता B अब मंच लेने वाला है।"

5. परिणाम

टीम ने कई भाषाओं (अंग्रेजी, फ्रेंच, जर्मन, जापानी, चीनी) में वास्तविक बातचीत पर इसका परीक्षण किया और विशेष रूप से उस सेटिंग में जहाँ रोबोट एक मध्यस्थ (जैसे हारू) के रूप में कार्य करता है।

परिणाम: नया सिस्टम पिछले तरीकों की तुलना में वक्ताओं के बदलने की भविष्यवाणी करने में बेहतर था। यह "बैकचैनलिंग" (जैसे "अह-हूँ" कहना या सिर हिलाना) को पहचानने और यह अनुमान लगाने में विशेष रूप से अच्छा था कि कोई व्यक्ति वास्तव में बोलने से पहले ही कब अपनी बारी बदलने वाला है।
निष्कर्ष: इन "विशेषज्ञ" ऑडियो-विजुअल मस्तिष्क और कुशल "रेसिपी कार्ड" प्रशिक्षण पद्धति का उपयोग करके, रोबोट अब मानव बातचीत की लय को बेहतर ढंग से समझ सकता है, जिससे यह एक अधिक स्वाभाविक और कम अजीब मध्यस्थ बन जाता है।

संक्षेप में: यह शोध पत्र दिखाता है कि रोबोट को मानव की तरह "देखने और सुनने" की क्षमता देकर, और इसे बातचीत के भविष्य की भविष्यवाणी करने का एक स्मार्ट, कुशल तरीका सिखाकर, रोबोट अंततः मानव बातचीत की लय को समझ सकता है, बिना किसी अजीब सन्नाटे का इंतज़ार किए।

तकनीकी सारांश: सामाजिक रोबोट में टर्न-टेकिंग के लिए मल्टीमॉडल वॉयस एक्टिविटी प्रोजेक्शन

समस्या विवरण
प्रभावी मानव-रोबोट इंटरेक्शन (HRI), विशेष रूप से सामाजिक मध्यस्थता (social mediation) की भूमिकाओं में जहाँ एक रोबोट मानव-मानव संवाद को सुगम बनाता है, के लिए सटीक टर्न-टेकिंग भविष्यवाणी की आवश्यकता होती है। वर्तमान प्रणालियाँ अक्सर मौन अवधि (जैसे, ~700ms के बाद एंड-ऑफ-टर्न का पता लगाना) पर आधारित प्रतिक्रियाशील, ह्यूरिस्टिक नियमों पर निर्भर करती हैं। ये दृष्टिकोण मानव बातचीत की भविष्य कहने वाली प्रकृति को पकड़ने में विफल रहते हैं, जहाँ वक्ता ट्रांजिशन-रेलेवेंट प्लेसेस (TRPs) का पूर्वानुमान लगाते हैं और न्यूनतम विलंब (फ्लोर ट्रांसफर ऑफसेट) के साथ प्रतिक्रियाओं का समन्वय करते हैं। इसके अलावा, मौजूदा स्पोकन डायलॉग सिस्टम (SDS) अक्सर मल्टीमॉडल धारणा (perception) की कमी के कारण त्रुटियों का सामना करते हैं, जैसे कि बैकग्राउंड स्पीच पर प्रतिक्रिया देना या सक्रिय वक्ता की गलत पहचान करना। यद्यपि वॉयस एक्टिविटी प्रोजेक्शन (VAP) द्वैत संवादों (dyadic interactions) में भविष्य की वॉयस एक्टिविटी (VA) की भविष्यवाणी करने के लिए एक मजबूत ढांचा बनकर उभरा है, लेकिन अधिकांश कार्यान्वयन अभी भी केवल ऑडियो-आधारित हैं या सामान्य मल्टीमॉडल एनकोडर पर निर्भर हैं जिनमें स्पीच डायनेमिक्स के साथ कार्य-विशिष्ट संरेखण (task-specific alignment) का अभाव है।

कार्यप्रणाली
लेखक एक मल्टीमॉडल वॉयस एक्टिविटी प्रोजेक्शन (MM-VAP) ढांचे का प्रस्ताव करते हैं जो मूल ऑडियो-ओनली VAP फॉर्मूलेशन को सिंक्रोनाइज़्ड ऑडियो-विजुअल इनपुट तक विस्तारित करता है। मुख्य उद्देश्य दोनों वक्ताओं के भविष्य के VA को एक टेम्पोरल होराइजन ( $\Delta t$ ) पर मॉडल करके प्रोजेक्ट करना है।

आर्किटेक्चर: मॉडल एक ट्रांसफार्मर-आधारित आर्किटेक्चर का उपयोग करता है जिसमें पांच चरण हैं: प्रीप्रोसेसिंग, बैकबोन एनकोडिंग, इंटर-स्पीकर अटेंशन, प्रेडिक्शन हेड्स और पोस्ट-प्रोसेसिंग।
- बैकबोन्स: जेनेरिक एनकोडर के बजाय, सिस्टम विशेष रूप से स्पीच-संबंधित कार्यों के लिए अनुकूलित प्रीट्रेन्ड ऑडियो-विजुअल बैकबोन्स का उपयोग करता है: TalkNet (एक्टिव स्पीकर डिटेक्शन के लिए) और WhisperFlamingo (ऑडियो-विजुअल स्पीच रिकग्निशन के लिए)। ये बैकबोन्स ऐसे लेटेंट रिप्रेजेंटेशन प्रदान करते हैं जो स्वाभाविक रूप से स्पीच एक्टिविटी के साथ संरेखित हैं और ऑडियो-विजुअल टेम्पोरल समन्वय को बनाए रखते हैं।
- अनुकूलन (LoRA): पूर्ण फाइन-ट्यूनिंग के बिना इन बड़े प्रीट्रेन्ड मॉडल्स को विशिष्ट टर्न-टेकिंग कार्य के लिए कुशलतापूर्वक अनुकूलित करने के लिए, लेखक लो-रैंक अडैप्टेशन (LoRA) का उपयोग करते हैं। यह रणनीति मूल वेट्स ( $W^0$ ) को फ्रीज करती है और वेट अपडेट्स ( $\Delta W$ ) को अनुमानित करने के लिए ट्रेन करने योग्य लो-रैंक मैट्रिसेस ( $A$ और $B$ ) पेश करती है, जिससे मॉडल कंप्यूटेशनल दक्षता बनाए रखते हुए विशेषज्ञता हासिल कर सकता है।
- इंटर-स्पीकर अटेंशन: प्रत्येक वक्ता के स्वतंत्र ऑडियो-विजुअल स्ट्रीम के एनकोडिंग के बाद, एक क्रॉस-अटेंशन मैकेनिज्म वक्ताओं के बीच की अंतःक्रिया को मॉडल करता है, जो एक वक्ता की भविष्य की स्थिति की भविष्यवाणी को दूसरे के वर्तमान मल्टीमॉडल स्टेट पर कंडिशन करता है।
आउटपुट और इन्फरेंस: मॉडल 2-सेकंड के भविष्य के विंडो को प्रति वक्ता चार टेम्पोरल बिन्स में विभाजित करता है, जिसके परिणामस्वरूप एक संयुक्त 256-स्टेट स्पेस ( $2^{2 \times 4}$ ) प्राप्त होता है। टर्न-टेकिंग घटनाओं (शिफ्ट, होल्ड, बैकचैनल, आदि) को विशिष्ट माइक्रोस्टेट्स के एग्रीगेशन के माध्यम से जीरो-शॉट तरीके से निकाला जाता है, जिससे प्रशिक्षण के दौरान मैनुअल टर्न-टेकिंग एनोटेशन की आवश्यकता समाप्त हो जाती है।
लॉस फंक्शन: दुर्लभ डायलॉग स्टेट्स के असंतुलन को संबोधित करने और सिमेंटिक निरंतरता सुनिश्चित करने के लिए, मानक क्रॉस-एन्ट्रॉपी लॉस में एक सिमेंटिक कंसिस्टेंसी लॉस ( $L_{sem}$ ) जोड़ा गया है। यह टर्म मॉडल को उन सभी माइक्रोस्टेट्स को प्रोबेबिलिटी मास असाइन करने के लिए प्रोत्साहित करता है जो एक ही सिमेंटिक डायलॉग स्टेट (जैसे, "स्पीकर 1 सक्रिय है") साझा करते हैं, जिससे ट्रेनिंग स्टेबिलिटी और इवेंट इन्फरेंस के साथ संरेखण में सुधार होता है।

प्रमुख योगदान

MM-VAP आर्किटेक्चर: एक ऑडियो-विजुअल फ्रेमवर्क जो VA-संबंधित प्रीट्रेन्ड बैकबोन्स को एकीकृत करता है, जो बेहतर वॉयस एक्टिविटी प्रोजेक्शन के लिए उनकी नेटिव रिप्रेजेंटेशनल और फ्यूजन क्षमताओं को सुरक्षित रखता है।
पैरामीटर-एफिशिएंट अडैप्टेशन: टर्न-टेकिंग कार्य के लिए बड़े, स्पीच-एक्टिविटी-फोकस्ड मल्टीमॉडल एनकोडर्स को विशेषज्ञ बनाने के लिए LoRA का अनुप्रयोग, जो फुल फाइन-ट्यूनिंग की कंप्यूटेशनल लागत से बचाता है।
मीडिएशन-ओरिएंटेड इवैल्यूएशन: रोबोटिक्स के संदर्भ में MM-VAP का पहला अनुप्रयोग, विशेष रूप से Haru सोशल मीडिएटर सेटिंग में प्रेडिक्टिव टर्न-टेकिंग की प्रभावकारिता का मूल्यांकन करना।
सिमेंटिक रेगुलराइजेशन: उच्च-स्तरीय डायलॉग पैटर्न के अनुसार 256-स्टेट आउटपुट स्पेस को रेगुलराइज करने के लिए सिमेंटिक कंसिस्टेंसी लॉस का परिचय।

परिणाम
प्रयोग NoXi और NoXi+J कॉर्पोरा (बहुभाषी द्वैत संवाद) और Haru EDR कॉर्पस (मीडिएटर-ओरिएंटेड संवाद) पर किए गए।

प्रदर्शन: प्रस्तावित MM-VAP मॉडल्स (LoRA के साथ TalkNet और WhisperFlamingo का उपयोग करते हुए) ने कई भाषाओं (अंग्रेजी, जर्मन, फ्रेंच, जापानी, चीनी) में नॉन-प्रीट्रेन्ड बेसलाइन्स (CPC + 3DResNet) और पिछले स्टेट-ऑफ-द-आर्ट तरीकों को लगातार पछाड़ दिया।
विशिष्ट मेट्रिक्स: प्रस्तावित मॉडल्स ने शिफ्ट प्रेडिक्शन (S-pred) और शिफ्ट/होल्ड (S/H) घटनाओं में महत्वपूर्ण सुधार दिखाया। उदाहरण के लिए, NoXi+J डेटासेट पर, WhisperFlamingo ने अंग्रेजी और जर्मन के लिए 0.97 का S-pred F1-स्कोर प्राप्त किया, जबकि TalkNet ने जर्मन के लिए 0.94 प्राप्त किया।
बहुभाषी मजबूती: दृष्टिकोण ने विभिन्न भाषाओं में मजबूत सामान्यीकरण (generalization) प्रदर्शित किया, जहाँ जॉइंट मल्टीलिंगुअल ट्रेनिंग ने भाषा-विशिष्ट कार्यान्वयन के बराबर प्रतिस्पर्धी परिणाम दिए।
रोबोटिक्स वैलिडेशन: Haru EDR डेटासेट पर, मॉडल्स ने उच्च सटीकता (जैसे, WhisperFlamingo के साथ होल्ड और शिफ्ट घटनाओं के लिए 0.92) प्राप्त की, जो मेडिएशन परिदृश्यों में कन्वर्सेशनल फ्लो को प्रबंधित करने के लिए इस दृष्टिकोण की उपयुक्तता को प्रमाणित करती है।

महत्व और दावे
पेपर का दावा है कि विशेष, स्पीच-एक्टिविटी-संबंधित प्रीट्रेन्ड एनकोडर्स और LoRA अडैप्टेशन का संयोजन जेनेरिक एनकोडर या हैंड-क्राफ्टेड फीचर्स के उपयोग की तुलना में मल्टीमॉडल VAP के लिए अधिक प्रभावी ढांचा प्रदान करता है। लेखक का तर्क है कि यह दृष्टिकोण टर्न-टेकिंग के लिए आवश्यक प्रेडिक्टिव डायनेमिक्स को सफलतापूर्वक स्थानांतरित करता है, जो विशेष रूप से मेडिएशन-ओरिएंटेड HRI को लाभ पहुँचाता है जहाँ रोबोट को केवल चुप्पी पर प्रतिक्रिया देने के बजाय फ्लोर परिवर्तन का पूर्वानुमान लगाना होता है। हालांकि अध्ययन ऑफलाइन मूल्यांकन तक सीमित है और बड़े एनकोडर्स के साथ रियल-टाइम परिनियोजन (deployment) की कंप्यूटेशनल चुनौतियों को स्वीकार करता है, परिणाम बताते हैं कि यह दिशा सामाजिक रोबोटिक्स में मानव-मानव संचार सेटिंग्स में सामाजिक रोबोट व्यवहार को बेहतर बनाने के लिए मजबूत क्षमता रखती है। यह कार्य MM-VAP को सोशल रोबोटिक्स में तरल, प्रेडिक्टिव और मल्टीमॉडल टर्न-टेकिंग प्रबंधन के लिए एक व्यवहार्य कदम के रूप में स्थापित करता है।

1. "क्रिस्टल बॉल" बनाम "स्टॉपवॉच"

2. देखना और सुनना (मल्टीमॉडल)

3. "एक्सपर्ट इंटर्न" रणनीति (LoRA)

4. "256-स्टेप" डांस फ्लोर

5. परिणाम

इसी तरह के और पेपर