Connecting Speech to Words through Images
यह शोध पत्र एक दृश्य-आधारित (visually grounded), अनसुपरवाइज्ड विधि प्रस्तुत करता है जो केवल छवियों और उनके विवरणों का उपयोग करके लिखित शब्दों और बोले गए कथनों के बीच मैपिंग सीखता है, जो बिना किसी स्पष्ट पाठ्य पर्यवेक्षण (textual supervision) के स्पोकन वर्ड रिट्रीवल और कीवर्ड स्पॉटिंग में उत्कृष्ट प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास तस्वीरों का एक विशाल पुस्तकालय है, और हर एक तस्वीर के लिए, किसी ने खुद को उसका वर्णन करते हुए रिकॉर्ड किया है। हालाँकि, इसमें एक पेच है: आपके पास तस्वीरें और रिकॉर्डिंग तो हैं, लेकिन आपके पास लिखा हुआ टेक्स्ट नहीं है। आप उन वर्णनों को पढ़ नहीं सकते; आप केवल उन्हें सुन सकते हैं।
शोधकर्ताओं ने इस शोध पत्र में एक बड़ा सवाल पूछा: क्या हम कंप्यूटर को यह समझने के लिए सिखा सकते हैं कि उन रिकॉर्डिंग में कौन सी आवाज़ें विशिष्ट लिखित शब्दों से मेल खाती हैं, और यह सब केवल तस्वीरों को देखकर संभव है?
इसे "गेस द वर्ड" (शब्द पहचानो) के खेल की तरह समझें जहाँ सुराग दृश्य (visual) होते हैं। उन्होंने इसे सरल चरणों में इस प्रकार हल किया:
1. डिक्शनरी बनाना (द "मेन्यू")
सबसे पहले, कंप्यूटर को यह जानने की ज़रूरत है कि वह किन शब्दों की तलाश कर रहा है। चूंकि उनके पास मूल टेक्स्ट नहीं है, इसलिए उन्होंने एक स्मार्ट टूल (एक AI इमेज कैप्शनर) का उपयोग किया ताकि वे तस्वीरों को देख सकें और स्वचालित रूप से विवरण लिख सकें।
- उपमा: कल्पना कीजिए कि एक वेटर समुद्र तट की तस्वीर देखकर "रेत," "समुद्र," और "सूरज" लिख देता है। शोधकर्ताओं ने इन स्वचालित रूप से लिखे गए शब्दों को इकट्ठा करके शब्दावली का एक "मेन्यू" बनाया। उन्होंने "आदमी," "सड़क," या "लोग" जैसे सबसे सामान्य शब्दों को चुना।
2. फ़िल्टर (सही मेहमानों को ढूँढना)
अब, कंप्यूटर के पास एक लक्ष्य शब्द है, मान लीजिए "सड़क" (road)। अब उसे उन रिकॉर्डिंग को खोजना है जहाँ वास्तव में किसी ने "सड़क" शब्द बोला है।
- उपमा: कंप्यूटर अपने "मेन्यू" को देखता है और कहता है, "ठीक है, मैं 'सड़क' की तलाश कर रहा हूँ। किन तस्वीरों के विवरण में 'सड़क' शब्द है?" फिर वह अन्य सभी रिकॉर्डिंग को फ़िल्टर कर देता है और केवल उन्हें रखता है जहाँ चित्र के विवरण में सड़क का उल्लेख था। यह खोज को संभावित उम्मीदवारों के एक छोटे समूह तक सीमित कर देता है।
3. जासूसी का काम (आवाज़ को ढूँढना)
यह सबसे कठिन हिस्सा है। कंप्यूटर के पास बहुत सारी रिकॉर्डिंग हैं जिनमें शायद "सड़क" शब्द शामिल है, लेकिन उसे यह नहीं पता कि रिकॉर्डिंग में ठीक कब वह शब्द बोला गया था।
- उपमा: कल्पना कीजिए कि एक कमरे में 10 लोग खड़े हैं, और आप जानते हैं कि उन सभी ने किसी न किसी समय "सड़क" शब्द बोला है, लेकिन आप उन्हें व्यक्तिगत रूप से सुन नहीं सकते। आप उन सभी से एक साथ बोलने के लिए कहते हैं। कंप्यूटर एक भीड़ में सुनने वाले जासूस की तरह काम करता है। वह सभी रिकॉर्डिंग को एक के ऊपर एक रखता है (जैसे पारदर्शी शीट को स्टैक करना)।
- जहाँ रिकॉर्डिंग पूरी तरह से ओवरलैप होती है, वहाँ संभवतः "सluğu" शब्द बोला गया था। यदि एक व्यक्ति 2-सेकंड के निशान पर "सड़क" बोलता है और बाकी सभी भी उसी समय बोलते हैं, तो कंप्यूटर जान जाता है, "अहा! यही वह जगह है!" वह उन हिस्सों को अनदेखा कर देता है जहाँ लोगों ने अलग-अलग चीजें (जैसे "साइकिल" या "नीला") बोली हों।
4. सुनने के दो तरीके
शोधकर्ताओं ने इस "स्टैकिंग और मैचिंग" को करने के दो तरीके आजमाए:
- डिस्क्रीट मेथड (द कोड ब्रेकर): यह ध्वनि को सरल कोडों (जैसे 1s और 0s) की एक श्रृंखला में बदल देता है और मिलान वाले पैटर्न को देखता है। यह बहुत तेज़ है, जैसे एक त्वरित स्कैन।
- कंटीन्यूअस मेथड (द फाइन ट्यूनर): यह ध्वनि तरंगों को बहुत अधिक विस्तार से देखता है, ध्वनि के सटीक आकार की तुलना करता है। यह धीमा है लेकिन अधिक सटीक है, जैसे एक हाई-रिज़ॉल्यूशन माइक्रोस्कोप।
परिणाम
शोधकर्ताओं ने इसका परीक्षण 20,000 इमेज-स्पीच पेयर्स (चित्र-भाषण जोड़ों) पर किया।
- विजेता: "फाइन ट्यूनर" (कंटीन्यूअस मेथड) शब्द के सटीक स्थान को खोजने में सबसे सटीक था।
- तुलना: उन्होंने अपने तरीके की तुलना एक पिछले "न्यूरल" दृष्टिकोण (एक प्रकार का AI जो सीधे संबंध सीखने की कोशिश करता है) से की। उनका नया तरीका शब्द का स्थान खोजने में लगभग 23% अधिक सटीक और यह जानने में कि क्या शब्द मौजूद है, 31% बेहतर था।
- सीमा: यह सिस्टम पूर्ण नहीं है। कभी-कभी यह उन शब्दों से भ्रमित हो जाता है जो अक्सर एक साथ आते हैं, जैसे "बॉक्स" और "रिंग" (बॉक्सिंग रिंग से)। यदि चित्र में बॉक्सिंग रिंग है, तो कंप्यूटर यह तय करने में संघर्ष कर सकता है कि वक्ता ने "बॉक्स" कहा या "रिंग"।
यह क्यों महत्वपूर्ण है
शोध पत्र का दावा है कि यह बिना लिखित ट्रांसक्रिप्ट के कंप्यूटर को भाषाएँ सीखने में मदद करने की दिशा में एक बड़ा कदम है। यह उन भाषाओं के लिए बहुत बड़ा है जो बोली जाती हैं लेकिन लिखी नहीं जातीं, या उन भाषाओं के लिए जहाँ हर शब्द को लिखने के लिए लोगों को काम पर रखना बहुत महंगा है। चित्रों को एक सेतु (bridge) के रूप में उपयोग करके, कंप्यूटर ध्वनि और अर्थ के बीच संबंध को समझना शुरू कर सकता है, भले ही उसने पहले कभी उस शब्द को लिखित रूप में न देखा हो।
संक्षेप में: उन्होंने कंप्यूटर को लोगों को चित्रों का वर्णन करते हुए सुनकर शब्द सीखना सिखाया, जिसमें चित्रों का ही एकमात्र मार्गदर्शक के रूप में उपयोग किया गया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।