Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

कल्पना कीजिए कि आप एक हलचल भरे स्ट्रीट फेयर (सड़क मेले) में हैं। आपकी आँखें भीड़ को देख रही हैं, एक जादूगर, एक जादूगरनी और एक सड़क संगीतकार को पहचान रही हैं। लेकिन आपके कान एक शोर भरे मिश्रण को सुन रहे हैं: सिक्कों की खनक, गिटार की गूँज और भीड़ का शोर, जो सब मिलकर एक बड़े, उलझे हुए साउंड वेव (ध्वनि तरंग) में बदल गए हैं। लंबे समय से, कंप्यूटर दुनिया को देखने में तो बहुत अच्छे रहे हैं, लेकिन जब वे इसे "सुनने" की कोशिश करते हैं, तो वे संघर्ष करते हैं। वे आपको बता सकते हैं कि वहाँ कोई आवाज़ है, लेकिन वे अक्सर यह नहीं बता पाते कि वह आवाज़ किसकी है, खासकर जब कई लोग एक साथ बात कर रहे हों या वाद्य यंत्र बजा रहे हों। यह "ऑडियो-विजुअल" (श्रव्य-दृश्य) समझ की पहेली है: मशीनों को यह सिखाना कि वे जो देखते हैं उसे जो सुनते हैं उससे कैसे जोड़ें, न कि केवल एक सामान्य अहसास के रूप में, बल्कि विशिष्ट वस्तुओं जैसे कि एक विशेष गिटार या एक विशेष गायक को ट्रैक करने के लिए। यह एक शोर भरे कमरे में किसी एक बातचीत का पीछा करने जैसा है, जबकि आपकी नज़रें बोलने वाले व्यक्ति पर टिकी हों, भले ही वह कुछ क्षणों के लिए बोलना बंद कर दे।

यही वह चुनौती है जिसे "हियर टू सी" (Hear to See - H2S) नामक एक नए कंप्यूटर मॉडल द्वारा हल किया गया है। इस काम के पीछे के शोधकर्ताओं ने महसूस किया कि मौजूदा कंप्यूटर दो मुख्य समस्याओं से भ्रमित हो रहे थे। पहला, जब कई ध्वनियाँ आपस में मिल जाती हैं, तो कंप्यूटर उन्हें अलग करने के लिए आवश्यक विवरण खो देता है। दूसरा, ध्वनि और दृष्टि हमेशा एक ही गति से नहीं चलते; एक व्यक्ति गाना बंद कर सकता है लेकिन फिर भी वहीं खड़ा रह सकता है, या कैमरा उन पर ध्यान केंद्रित करने से पहले ही गाना शुरू कर सकता है। यह पेपर इस समस्या को हल करने के लिए एक चतुर नया तरीका प्रस्तावित करता है, जिसमें कंप्यूटर को दो विशेष सुपरपावर्स दी गई हैं: एक उस उलझे हुए शोर के मिश्रण को सुलझाने के लिए, और दूसरी यह बदलने के लिए कि उसकी "सुनने की गति" कैसी हो, चाहे स्थिति अराजक हो या शांत।

समस्या: एक शोर भरी, उलझी हुई दुनिया

यह समझने के लिए कि यह नया मॉडल क्यों विशेष है, आइए देखें कि कंप्यूटर आमतौर पर इसे कैसे हल करने की कोशिश करते हैं। कल्पना कीजिए कि एक जासूस उंगलियों के निशान (ध्वनि) को संदिग्ध (दृश्य वस्तु) से मिलाने की कोशिश कर रहा है। पुराने तरीकों ने पूरे फिंगरप्रिंट को लिया, उसे थोड़ा धुंधला किया ताकि उसे संभालना आसान हो जाए, और फिर अनुमान लगाया कि वह किसका है। लेकिन जब तीन संदिग्ध एक ही समय में अपने निशान छोड़ रहे हों, तो उन्हें धुंधला करने से यह बताना असंभव हो जाता है कि वह किसका है। कंप्यूटर अंततः यह अनुमान लगा लेता है, "ओह, वहाँ एक आवाज़ है, तो वहाँ कोई व्यक्ति जरूर होगा," लेकिन वह यह नहीं बता पाता कि वह कौन सा व्यक्ति है, या क्या आवाज़ बंद हो गई है।

इसके अलावा, ये पुराने जासूस बहुत कठोर थे। वे दुनिया को निश्चित समय अंतराल (fixed time blocks) में देखते थे, जैसे हर सेकंड घड़ी देखते रहना। यदि कोई व्यक्ति एक सेकंड के बीच में गाना बंद कर देता, तो कंप्यूटर अभी भी सोचता कि वह गा रहा है क्योंकि वह अपने कठोर शेड्यूल में फंसा हुआ था। वह इस तथ्य के अनुकूल नहीं हो पाता था कि ध्वनि गायब हो गई है, जिससे कंप्यूटर "भ्रम" (hallucinate) करने लगता था कि एक शांत वस्तु अभी भी शोर कर रही है।

समाधान: शोर को अनमिक्स करना और गियर बदलना

"हियर टू सी" (H2S) मॉडल इन दो तरकीबों के साथ इसे ठीक करता है, जिन्हें लेखक एकुस्टिक-सिमेंटिक प्रोजेक्टर (ASP) और एसिंक्रोनस डायनेमिक्स मॉड्यूलेटर (ADM) कहते हैं।

1. साउंड अनमिक्सर (ASP)
ध्वनि संकेत को स्ट्रॉबेरी, केला और ब्लूबेरी से बने एक विशाल स्मूदी की तरह समझें जो सब आपस में मिले हुए हैं। पुराने तरीके स्मूदी के स्वाद का अनुमान लगाने की कोशिश करते थे ताकि यह पता चल सके कि उसके अंदर कौन सा फल है। हालाँकि, H2S एक विशेष उपकरण का उपयोग करता है जिसे एकुस्टिक-सिमेंटिक प्रोजेक्टर (ASP) कहा जाता है ताकि स्मूदी को उसके मूल फलों में अलग किया जा सके। यह उस बिखरे हुए, मिश्रित स्वर को अलग-अलग धाराओं में विभाजित करता है: एक गिटार के लिए, एक यूकुलेल (ukulele) के लिए, और एक गायक के लिए।

एक बार जब ध्वनियाँ अलग हो जाती हैं, तो मॉडल केवल ध्वनि को नहीं देखता; यह ध्वनि के "अर्थ" और वस्तु के "स्थान" के बीच एक पुल बनाता है। यह गिटार की आवाज़ के विचार को वीडियो में गिटार के आकार से मिलाने जैसा है। पहले ध्वनियों को अलग करके और फिर चरणों में उन्हें दृश्य दुनिया से जोड़कर, कंप्यूटर अंततः कह सकता है, "वह ध्वनि उस विशिष्ट गिटार की है," भले ही एक साथ तीन गिटार बज रहे हों।

2. स्मार्ट स्पीड कंट्रोलर (ADM)
दूसरी तरकीब समय (timing) के बारे में है। कल्पना कीजिए कि आप कार चला रहे हैं। जब आप एक सीधी, खाली सड़क पर होते हैं, तो आप आगे के दृश्य का आनंद लेते हुए अपनी गति बनाए रखते हैं। लेकिन जब आप अचानक किसी गड्ढे में गिरते हैं या कोई बच्चा सड़क पर दौड़ता हुआ आता है, तो आप अचानक ब्रेक लगाते हैं और अपना पूरा ध्यान तत्काल खतरे पर केंद्रित करते हैं।

एसिंक्रोनस डायनेमिक्स मॉड्यूलेटर (ADM) कंप्यूटर के "मस्तिष्क" के लिए बिल्कुल यही करता है। यह एक विशेष प्रकार की मेमोरी प्रणाली (जो 'मैम्बा' नामक चीज़ पर आधारित है) का उपयोग करता है जो अपनी गति बदल सकती है।

• जब चीजें अराजक होती हैं: यदि कोई ध्वनि अचानक शुरू या बंद होती है (जैसे किसी का चिल्लाना या दरवाजा पटकना), तो मॉडल इस बदलाव को महसूस करता है और अपना ध्यान तेज कर देता है। यह अचानक आए बदलाव को पकड़ने के लिए वर्तमान क्षण पर भारी ध्यान केंद्रित करता है, जिससे यह सुनिश्चित होता है कि वह नई ध्वनि को मिस न करे या किसी शांत वस्तु को ट्रैक करता न रहे।
• जब चीजें शांत होती हैं: यदि दृश्य स्थिर है और ध्वनियाँ सुसंगत हैं, तो मॉडल धीमा हो जाता है और इतिहास की ओर देखता है। यह याद रखता है कि उसने एक क्षण पहले क्या देखा था ताकि ट्रैकिंग को सुचारू और स्थिर रखा जा सके।

"तेज प्रतिक्रिया" और "स्थिर स्मृति" के बीच स्विच करने की यह क्षमता कंप्यूटर को वास्तविक जीवन की एसिंक्रोनस प्रकृति को संभालने की अनुमति देती है, जहाँ ध्वनि और दृष्टि हमेशा एक समान नहीं चलते।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने नए मॉडल का परीक्षण AVISeg नामक एक डेटासेट पर किया, जिसमें जटिल ध्वनि और दृश्य परिदृश्य वाले सैकड़ों वीडियो शामिल हैं। उन्होंने अपने "हियर टू सी" मॉडल की तुलना मौजूदा सर्वश्रेष्ठ तरीकों से की।

परिणाम काफी प्रभावशाली थे। एक मानक कैमरा बैकबोन (COCO नामक बड़े डेटासेट पर प्रशिक्षित ResNet50) का उपयोग करते हुए, उनके मॉडल ने 48.54 mAP (यह मापने का पैमाना कि वस्तुओं का पता लगाना और उन्हें ट्रैक करना कितना अच्छा है) प्राप्त किया। यह एक महत्वपूर्ण उछाल था, जिसने पिछले सर्वश्रेष्ठ तरीके को 7.8% से पीछे छोड़ दिया।

जब उन्होंने विशेष रूप से कठिन परिदृश्यों को देखा—जहाँ ध्वनियाँ एसिंक्रोनस (अजीब समय पर शुरू और बंद होना) थीं और आपस में मिली हुई थीं—तो उनका मॉडल और भी आगे निकल गया। डेटा के एक विशेष "एसिंक्रोनस सबसेट" पर, उनके मॉडल ने 46.75 mAP स्कोर किया, जबकि पिछले सर्वश्रेष्ठ तरीके ने केवल 32.66 mAP हासिल किया। यह 14.09 mAP का एक बड़ा सुधार है, जो यह दर्शाता है कि दुनिया के अनुसार अपनी गति को अनुकूलित करने और ध्वनियों को सुलझाने की मॉडल की क्षमता वास्तव में अव्यवस्था के समय चमकती है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दिखाता है कि कंप्यूटर को ध्वनियों को "अनमिक्स" करने और दुनिया के हिलने-डुलने के आधार पर "गियर बदलने" की क्षमता देकर, हम वीडियो को समझने में उन्हें बहुत बेहतर बना सकते हैं। गतिविधि के एक धुंधले दृश्य के बजाय, कंप्यूटर अब एक शांत गिटार और एक बजते हुए गिटार के बीच अंतर कर सकता है, या एक ऐसे गायक को ट्रैक कर सकता है जो गाना बीच में ही रोक देता है, बिना उसे खोए।

लेखक नोट करते हैं कि हालांकि यह रिकॉर्ड किए गए वीडियो (ऑफलाइन) देखने के लिए बहुत अच्छा काम करता है, लेकिन अभी तक इसका परीक्षण लाइव, रीयल-टाइम स्थितियों (ऑनलाइन) के लिए नहीं किया गया है, जहाँ कंप्यूटर यह देखने के लिए आगे नहीं देख सकता कि आगे क्या होने वाला है। लेकिन फिलहाल के लिए, "हियर टू सी" यह साबित करता है कि ध्वनि पृथक्करण और स्मार्ट टाइमिंग के सही मिश्रण के साथ, मशीनें अंततः दुनिया को उतनी ही स्पष्टता से सुनने में सक्षम हो सकती हैं जितनी स्पष्टता से वे देख सकती हैं।