Face and Voice Cross-modal Association with Learning Convex Feature Embedding

कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाली पार्टी में हैं जहाँ हजारों लोग एक साथ बात कर रहे हैं। आप कमरे के दूसरी ओर अपने एक दोस्त को देखते हैं, लेकिन भीड़ के कारण आप उनका चेहरा स्पष्ट रूप से नहीं देख पाते। अचानक, आप उनकी विशिष्ट हँसी सुनते हैं। आपका मस्तिष्क तुरंत उस आवाज़ को उस व्यक्ति से जोड़ देता है जिसे आपने देखा था, भले ही आपके पास केवल एक धुंधली छवि और ऑडियो का एक छोटा सा अंश हो। यह मानव धारणा (perception) का जादू है: हमारे मस्तिष्क स्वाभाविक रूप से यह समझने में माहिर होते हैं कि हमें जो दिखता है उसे सुनने से कैसे जोड़ा जाए। लेकिन एक कंप्यूटर को ऐसा करने के लिए सिखाना वैसा ही है जैसे किसी रोबोट को यह पहचानना सिखाना कि उसका दोस्त केवल उसकी बाईं कान की फोटो देखकर और उसके दाहिने पैर की रिकॉर्डिंग सुनकर उसे कैसे पहचान सकता है। चुनौती इस तथ्य में निहित है कि एक तस्वीर और एक साउंड फ़ाइल पूरी तरह से अलग भाषाएँ हैं। एक पिक्सेल और रंगों से बनी है; दूसरी तरंगों (waves) और आवृत्तियों (frequencies) से बनी है। लंबे समय तक, कंप्यूटर इन दो भाषाओं के बीच अनुवाद करने में संघर्ष करते रहे, और अक्सर परिचितों और अजनबियों के बीच भ्रमित हो जाते थे।

यह शोध पत्र "क्रॉस-मोडल लर्निंग" (cross-modal learning) की दुनिया में उतरता है, जो बस एक फैंसी तरीका है यह कहने का कि "कंप्यूटर को विभिन्न प्रकार की इंद्रियों के बीच संबंध समझना सिखाना।" शोधकर्ता एक विशिष्ट पहेली को हल करने की कोशिश कर रहे हैं: हम कंप्यूटर को यह कैसे समझाएं कि एक विशिष्ट चेहरा और एक विशिष्ट आवाज़ एक ही व्यक्ति की है, भले ही डेटा देखने में बिल्कुल अलग क्यों न हो? पिछले प्रयास एक "चौकोर खूँटे को गोल छेद में डालने" (square peg into a round hole) की तरह थे; उन्होंने कंप्यूटर को चेहरों और आवाजों को एक ही चीज़ की तरह मानने के लिए मजबूर करने की कोशिश की, जिससे बहुत सारी गलतियाँ हुईं। इस शोध पत्र के लेखकों ने महसूस किया कि उन्हें एक जैसा बनाने के लिए मजबूर करने के बजाय, हमें उनके बीच एक पुल बनाना चाहिए। वे एक नई विधि का प्रस्ताव करते हैं जो एक "मध्यम मार्ग" (middle ground) प्रतिनिधित्व बनाती है, जो एक तरह का डिजिटल 'हैंडशेक' है जहाँ चेहरा और आवाज़ पहचान की पुष्टि करने के लिए बीच में मिलते हैं।

समस्या: महान बेमेल (The Great Mismatch)

शोधकर्ताओं ने इस कार्य के लिए वर्तमान कंप्यूटरों के विफल होने के कारणों को देखकर शुरुआत की। कल्पना कीजिए कि आपके पास जासूसों की दो अलग-अलग टीमें हैं: टीम फेस (Team Face) और टीम वॉयस (Team Voice)। टीम फेस रंगों और आकृतियों के एक गुप्त कोड में रिपोर्ट भेजती है। टीम वॉयस ध्वनियों और लय (rhythms) के एक कोड में रिपोर्ट भेजती है। अतीत में, वैज्ञानिकों ने दोनों टीमों को बिल्कुल एक ही भाषा में अपनी रिपोर्ट लिखने के लिए मजबूर करने की कोशिश की। लेकिन क्योंकि कोड इतने अलग हैं, इसलिए जासूस आपस में उलझते रहे। एक कंप्यूटर किसी चेहरे और आवाज़ को देखकर कह सकता है, "ये दोनों दिखने और सुनने में इतने समान हैं कि ये एक ही व्यक्ति हो सकते हैं!" जबकि वे वास्तव में पूरी तरह से अजनबी होते हैं। इससे "फॉल्स पॉजिटिव" (अजनबियों को दोस्त समझना) और "फाल्स नेगेटिव" (दोस्तों को अजनबी समझना) जैसी स्थितियाँ पैदा होती हैं।

शोध पत्र का तर्क है कि पुराना तरीका त्रुटिपूर्ण था क्योंकि इसने ऑडियो और वीडियो के बीच के अंतर को कम करके आंका था। यह सूर्यास्त के एक पेंटिंग की तुलना समुद्र की लहरों की रिकॉर्डिंग से करने जैसा है सिर्फ इसलिए क्योंकि वे दोनों समुद्र तट पर घटित होते हैं। उनके बीच का अंतर इतना बड़ा है कि इसे सीधे पार नहीं किया जा सकता।

समाधान: एक "कॉन्वेक्स" पुल बनाना (Building a "Convex" Bridge)

इसे ठीक करने के लिए, लेखकों ने एक चतुर नई प्रणाली बनाई। चेहरे और आवाज़ को एक जैसा बनाने के लिए मजबूर करने के बजाय, उन्होंने एक "बिचौलिया" (middleman) बनाया। इसे एक राजनयिक शिखर सम्मेलन में एक अनुवादक की तरह समझें। चेहरा अपना संदेश भेजता है, और आवाज़ अपना संदेश भेजती है। उन्हें तुरंत मिलाने के बजाय, सिस्टम एक नया, अस्थायी संदेश बनाता है जो दोनों के ठीक बीच में स्थित होता है।

लेखक इसे कॉन्वेक्स फीचर एम्बेडिंग (convex feature embedding) कहते हैं। सरल शब्दों में, एक चेहरे और एक आवाज़ के बीच खिंचे हुए एक रबर बैंड की कल्पना करें। उस रबर बैंड पर कोई भी बिंदु एक "कॉन्वेक्स" संयोजन है। सिस्टम हर व्यक्ति के लिए ये मध्य बिंदु बनाना सीखता है। यदि चेहरा और आवाज़ एक ही व्यक्ति के हैं, तो उनके "मध्य बिंदु" एक ही आरामदायक पड़ोस में लैंड करेंगे। यदि वे अलग-अलग लोगों के हैं, तो उनके मध्य बिंदु पूरी तरह से अलग शहरों में समाप्त हो जाएंगे।

यह दृष्टिकोण शक्तिशाली है क्योंकि यह स्वीकार करता है कि चेहरे और आवाजें अलग हैं, लेकिन यह उन्हें एक साझा मिलन स्थल प्रदान करता है। इस "कॉन्वेक्स हल" (convex hull - एक ज्यामितीय शब्द जो दो बिंदुओं के बीच के सभी बिंदुओं को समाहित करता है) में अस्तित्व में रहकर सीखना, कंप्यूटर को यह देखने में मदद करता है कि चेहरा और आवाज़ संबंधित हैं, बिना एक जैसा होने की आवश्यकता के।

गुप्त हथियार: अटेंशन स्पॉटलाइट (The Attention Spotlight)

शोधकर्ताओं ने केवल एक पुल बनाने पर ही नहीं रोका; उन्होंने एक स्पॉटलाइट भी जोड़ी। उन्होंने एक क्रॉस-मोडल अटेंशन मैकेनिज्म (cross-modal attention mechanism) पेश किया। कल्पना कीजिए कि आप शोर भरे कमरे में अपने दोस्त को सुनने की कोशिश कर रहे हैं। आप स्वाभाविक रूप से बैकग्राउंड के शोर को अनसुना कर देते हैं और उनके स्वर (pitch) पर ध्यान केंद्रित करते हैं। कंप्यूटर भी ऐसा ही करता है।

सिस्टम एक विशेष "अटेंशन मॉड्यूल" का उपयोग करता है जो चेहरे और आवाज़ को स्कैन करता है और पूछता है, "इस छवि या ध्वनि का कौन सा हिस्सा वास्तवं में इस व्यक्ति की पहचान के लिए महत्वपूर्ण है?" यह शोर को अनदेखा करना सीख जाता है—जैसे फोटो में एक खराब हेयरकट या आवाज़ की रिकॉर्डिंग में एक खाँसी—और उन विशेषताओं को बढ़ाता है जो वास्तव में व्यक्ति की पहचान को परिभाषित करती हैं। यह स्पॉटलाइट कंप्यूटर को सही सुरागों पर ध्यान केंद्रित करने में मदद करता है, जिससे नकल करने वालों (imposters) से भ्रमित होना बहुत कठिन हो जाता है।

उन्होंने क्या पाया

टीम ने अपने नए तरीके का परीक्षण VoxCeleb नामक एक विशाल डेटासेट पर किया, जिसमें 1,251 प्रसिद्ध लोगों के 21,000 से अधिक वीडियो क्लिप शामिल हैं। उन्होंने कंप्यूटर को तीन कठिन कार्य दिए:

1. वेरिफिकेशन (Verification): "क्या यह चेहरा और यह आवाज़ एक ही व्यक्ति की है?"
2. मैचिंग (Matching): "यहाँ एक चेहरा और दो आवाज़ें हैं। कौन सी आवाज़ उस चेहरे की है?"
3. रिट्रीवल (Retrieval): "यहाँ एक आवाज़ है। हज़ारों के डेटाबेस में मेल खाने वाला चेहरा खोजें।"

परिणाम प्रभावशाली थे। नया तरीका, जो "मिडलमैन" ब्रिज और "स्पॉटलाइट" अटेंशन को जोड़ता है, पिछले सभी सर्वोत्तम तरीकों से काफी बेहतर रहा।

• वेरिफिकेशन कार्य में, उनके तरीके ने 89.71% की सटीकता (जिसे AUC स्कोर द्वारा मापा जाता है) प्राप्त की, जो पिछले सर्वश्रेष्ठ अनसुपरवाइज्ड मेथड को पीछे छोड़ देती है जो 86.70% था।
• उन्होंने चेहरे और आवाज़ के बीच की "दूरी" को भी देखा। पुराने तरीकों में, किसी व्यक्ति के चेहरे और आवाज़ के बीच की दूरी अक्सर बड़ी और अव्यवस्थित होती थी। नए तरीके के साथ, वह दूरी नाटकीय रूप से घटकर 0.0053 रह गई, जिसका अर्थ है कि कंप्यूटर संबंध को बहुत अधिक स्पष्ट रूप से देख सकता है।
• यहाँ तक कि जब उन्होंने AVSpeech नामक एक अलग डेटासेट पर सिस्टम का परीक्षण किया, तब भी यह शीर्ष पर रहा, जो साबित करता है कि यह विधि अच्छी तरह से काम करती है भले ही डेटा बदल जाए।

यह क्यों मायने रखता है

शोध पत्र सुझाव देता है कि इस "मध्यम मार्ग" को बनाकर और सही विवरणों पर ध्यान केंद्रित करने के लिए स्पॉटलाइट का उपयोग करके, हम कंप्यूटर को दुनिया को वैसे ही समझने के लिए सिखा सकते हैं जैसे मनुष्य करते हैं। हम केवल एक चेहरा या आवाज़ नहीं देखते; हम उन्हें एक साथ अनुभव करते हैं। यह नया तरीका कंप्यूटर को भी ऐसा करने में मदद करता है, जिससे किसी व्यक्ति के लुक को उसकी आवाज़ से जोड़ने के प्रयास में होने वाली गलतियों को कम किया जा सके।

लेखक सावधानीपूर्वक नोट करते हैं कि यह हर एक व्यक्ति के लिए पूर्ण समाधान नहीं है। कभी-कभी, किसी व्यक्ति का चेहरा और आवाज़ सामान्य पैटर्न से मेल नहीं खाते, और कंप्यूटर अभी भी भ्रमित हो सकता है। लेकिन अधिकांश मामलों के लिए, यह "कॉन्वेक्स ब्रिज" दृष्टिकोण एक बड़ी छलांग है, जो मशीनों के लिए यह पहचानना बहुत आसान बना देता है कि कौन कौन है, चाहे वे फोटो देख रहे हों या रिकॉर्डिंग सुन रहे हों। यह डेटा के एक भ्रमित ढेर को एक स्पष्ट, जुड़े हुए वृत्तांत (story) में बदल देता है।