CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition
यह शोध पत्र CF-Net प्रस्तुत करता है, जो एक गहरा मल्टीमॉडल नेटवर्क है जो अनकन्स्ट्रेंड (unconstrained) वीडियो में द्वंद्व (ambivalence) और हिचकिचाहट का पता लगाने के लिए स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने हेतु स्पीकर नॉर्मलाइजेशन, क्रॉस-मोडल विसंगति के लिए स्पष्ट संघर्ष संलयन (explicit conflict fusion), और निश्चितता-भारित प्रशिक्षण (certainty-weighted training) का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी कमरे के माहौल को केवल यह देखकर नहीं, बल्कि उन सूक्ष्म दरारों को पहचानकर समझने की कोशिश कर रहे हैं जहाँ लोगों के शब्द, उनकी आवाज़ और उनके चेहरे के भाव आपस में मेल नहीं खाते। यह मल्टीमॉडल अफेक्ट रिकग्निशन (multimodal affect recognition) की रोमांचक दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो यह समझने की कोशिश करती है कि हम कैसे बोलते हैं, कैसे चलते हैं और हम जो टाइप करते हैं उसे पढ़कर हमारी भावनाओं को कैसे समझा जाए। आमतौर पर, जब लोग खुश होते हैं, तो उनकी मुस्कान, उनकी हंसी और उनका "ये!" (yay!) सब पूरी तरह से एक साथ चलते हैं। लेकिन एक अधिक जटिल और मानवीय भावना होती है जिसे एम्बिवलेंस और हेसिटेंसी (ambivalence and hesitancy - द्वंद्व और हिचकिचाहट) कहा जाता है। यह वह अजीब क्षण है जब आप "हाँ" कहना चाहते हैं लेकिन आपकी आवाज़ डगमगा जाती है, या आप आत्मविश्वास से भरे दिखते हैं जबकि आपके शब्द अनिश्चित सुनाई देते हैं। यह एक संगीत समूह की तरह है जहाँ ड्रमर जैज़ बजा रहा है, गिटारवादक रॉक बजा रहा है, और गायक लोरी गुनगुना रहा है; "एहसास" किसी एक वाद्य यंत्र में नहीं है, बल्कि उनके बीच के इस उलझे हुए और भ्रमित करने वाले टकराव में है। इसे पहचानना कंप्यूटरों के लिए अविश्वसनीय रूप से कठिन है क्योंकि अधिकांश AI को स्पष्ट, खुशहाल मुस्कानों को पहचानने के लिए प्रशिक्षित किया जाता है, न कि इन सूक्ष्म और विरोधाभासी संकेतों के लिए।
यहाँ CF-Net आता है, जो शोधकर्ता तुंग हंग बुई, होंग हाई नगुयेन और वान थोंग हुयन्ह द्वारा बनाया गया एक नया डिजिटल जासूस है, जो इस विशिष्ट पहेली को सुलझाने के लिए बनाया गया है। वे एम्बिवलेंस/हेसिटेंसी वीडियो रिकग्निशन चैलेंज (ABAW 11 प्रतियोगिता का हिस्सा) के तीसरे संस्करण में एक ऐसे सिस्टम के साथ शामिल हुए जो अनुमान लगाने के बजाय व्यक्ति की विभिन्न "इंद्रियों" के बीच के तर्कों को सुनने के लिए डिज़ाइन किया गया है।
समस्या: "पहचान का जाल" और "भ्रम का संकेत"
शोधकर्ताओं को एक कठिन स्थिति का सामना करना पड़ा। उनके पास BAH नामक एक डेटासेट था, जिसमें इंटरव्यू के दौरान लोगों के वीडियो क्लिप थे। लक्ष्य यह पहचानना था कि वक्ता कब द्वंद्व (ambivalence) महसूस कर रहा था। हालाँकि, यहाँ तीन बड़ी बाधाएँ थीं:
- संकेत एक बेमेल (Mismatch) है: एक स्पष्ट "खुश" चेहरे के विपरीत, द्वंद्व असंगति (incongruence) से परिभाषित होता है। यदि कोई व्यक्ति सकारात्मक बात कहता है लेकिन उसकी आवाज़ लड़खड़ाती है, तो कंप्यूटर को केवल शब्दों या केवल आवाज़ को नहीं, बल्कि उस असहमति को नोटिस करने की आवश्यकता होती है।
- "अजनबी" की समस्या: टेस्ट वीडियो में ऐसे लोग थे जिन्हें कंप्यूटर ने पहले कभी नहीं देखा था। यदि AI ने किसी विशेष व्यक्ति के चेहरे या आवाज़ की बनावट (जैसे किसी दोस्त की हँसी) को पहचानना सीख लिया, तो वह अजनबियों के सामने पूरी तरह विफल हो जाएगा। इसे यह भूल जाना चाहिए कि बोलने वाला कौन है और केवल इस बात पर ध्यान देना चाहिए कि वह कैसे बोल रहा है।
- "शायद" वाले लेबल: कभी-कभी, यहाँ तक कि मानव विशेषज्ञ भी इस बात पर सहमत नहीं हो पाते थे कि कोई क्लिप द्वंद्व दिखा रही है या नहीं। डेटासेट में प्रत्येक क्लिप के लिए एक "निश्चितता स्कोर" (certainty score) शामिल था, जो यह बताता था कि मानव एनोटेटरों के बीच कितनी सहमति थी। AI को यह जानना आवश्यक था कि कब किसी लेबल पर भरोसा करना है और कब सावधान रहना है।
समाधान: CF-Net का तीन-चरणीय जादू
टीम ने CF-Net बनाया, एक ऐसा सिस्टम जो दृष्टि (Vision) (जो हम देखते हैं), श्रवण (Audio) (जो हम सुनते हैं) और पाठ (Text) (जो कहा जाता है) के बीच चल रहे तीन-तरफा तर्क में एक सुपर-स्मार्ट मध्यस्थ की तरह कार्य करता है।
चरण 1: "घोस्ट" फ़िल्टर (स्पीकर नॉर्मलाइजेशन)
सबसे पहले, सिस्टम वीडियो और ऑडियो को देखता है। लेकिन यहाँ एक तरकीब है: भावना का विश्लेषण करने से पहले, यह "स्पीकर नॉर्मलाइजेशन" करता है। कल्पना कीजिए कि आप किसी गायक के प्रदर्शन का मूल्यांकन करने की कोशिश कर रहे हैं, लेकिन पहले आप उनकी विशिष्ट, स्थायी आवाज़ की बनावट को हटा देते हैं ताकि आप केवल उस विशिष्ट गीत के लिए उनके स्वर में होने वाले बदलावों को सुन सकें। CF-Net गणितीय रूप से ऐसा ही करता है। यह प्रत्येक वक्ता के औसत "चेहरे" और "आवाज़" की गणना करता है और उसे घटा देता है। यह "पहचान के रिसाव" (identity leakage) को हटा देता है—यानी, इस जोखिम को कि AI केवल यह याद कर ले कि "व्यक्ति A घबराया हुआ दिखता है"—और सिस्टम को केवल क्षणिक हिचकिचाहट या संघर्ष पर ध्यान केंद्रित करने के लिए मजबूर करता है।
चरण 2: "संघर्ष" डिटेक्टर (कॉन्फ्लिक्ट फ्यूजन)
इसके बाद, सिस्टम आँखों, कानों और पाठ से प्राप्त साफ किए गए संकेतों को लेता है। उन्हें केवल आपस में मिलाने (जिसका अर्थ है कि वे सभी सहमत हैं) के बजाय, CF-Net ConflictFusion नामक एक विशेष मॉड्यूल का उपयोग करता है। इसे एक ऐसे रेफरी के रूप में सोचें जो केवल खिलाड़ियों को सुनता ही नहीं है, बल्कि विशेष रूप रूप से यह मापता है कि उनकी राय एक-दूसरे से कितनी दूर है। यह पाठ और आवाज़ के बीच, पाठ और चेहरे के बीच, और आवाज़ और चेहरे के बीच की "दूरी" की गणना करता है। यदि पाठ कहता है "मैं बहुत अच्छा हूँ" लेकिन आवाज़ लड़खड़ाती है, तो सिस्टम एक बड़ा अंतर देखता है। यह उस अंतर को एक 'फीचर' में बदल देता है, जिससे AI को स्पष्ट रूप से यह सिखाया जाता है कि असहमति ही वह संकेत है जिसे वह खोज रहा है।
चरण 3: "ईमानदारी" की जाँच (सर्टेंटी वेटिंग)
अंत में, सिस्टम को विनम्र होना सिखाया जाता है। शोधकर्ताओं ने AI को एक "सर्टेंटी हेड" (certainty head) दिया—एक अतिरिक्त मस्तिष्क कोशिका जो यह अनुमान लगाने की कोशिश करती है कि मानव एनोटेटर एक क्लिप के बारे में कितने निश्चित थे। यदि मनुष्य अनिश्चित थे (कम निश्चितता), तो AI को बताया जाता है, "अपने उत्तर को लेकर बहुत अधिक आश्वस्त न हों; यह एक कठिन मामला है।" यह certainty-weighted focal loss नामक एक विशेष गणितीय ट्रिक का उपयोग करके किया जाता है, जो AI को स्पष्ट, प्रत्यक्ष उदाहरणों पर अधिक ध्यान देने और भ्रमित करने वाले उदाहरणों के साथ अधिक उदार रहने के लिए कहता है।
परिणाम: एक हल्का स्पर्श, एक बड़ी जीत
टीम ने BAH डेटासेट पर CF-Net का परीक्षण किया। उन्होंने छवियों और ध्वनियों को पढ़ने वाले विशाल, पूर्व-प्रशिक्षित दिमागों (backbones) को फिर से प्रशिक्षित करने की कोशिश नहीं की; उन्होंने उन्हें समय बचाने और ओवरफिटिंग को रोकने के लिए स्थिर (frozen) रखा। उन्होंने केवल उन छोटे "गोंद" वाले हिस्सों को प्रशिक्षित किया जो उन्हें जोड़ते हैं।
परिणाम प्रभावशाली थे। वैलिडेशन सेट (एक अभ्यास परीक्षण) पर, CF-Net ने 0.7155 का मैक्रो F1 स्कोर प्राप्त किया। लेकिन असली जादू प्राइवेट टेस्ट सेट पर हुआ, जिसमें पूरी तरह से नए वक्ता थे जिन्हें AI ने पहले कभी नहीं देखा था। वहाँ, स्कोर बढ़कर 0.7364 (औसत शुद्धता 0.7392 के साथ) हो गया।
यह महत्वपूर्ण है क्योंकि कई अन्य सिस्टम अभ्यास परीक्षण में बेहतर हुए लेकिन वास्तविक परीक्षण में खराब हो गए (जो इस बात का संकेत है कि वे केवल अभ्यास के चेहरों को याद कर रहे थे)। CF-Net ने इसके विपरीत किया: जब इसे अजनबियों का सामना करना पड़ा, तो यह और भी बेहतर हो गया। यह साबित करता है कि "घोस्ट फ़िल्टर" (स्पीकर नॉर्मलाइजेशन) और "ईमानदारी की जाँच" (सर्टेंटी वेटिंग) वास्तव में काम कर रहे थे, जिससे AI को पुराने लोगों को याद करने के बजाय नए लोगों के प्रति सामान्यीकरण करने में मदद मिली।
एक ऐसे क्षेत्र में जहाँ अन्य टीमें विशाल मॉडलों को फाइन-ट्यून करने में घंटों बिताती हैं और फिर भी "अजनबी" की समस्या से जूझती हैं, CF-Net ने एक हल्के दृष्टिकोण के साथ सर्वश्रेष्ठ पिछले टेस्ट स्कोर को मात दी, जिसे एक सिंगल कंज्यूमर ग्राफिक्स कार्ड पर 15 मिनट से भी कम समय में प्रशिक्षित किया गया था। इसने दिखाया कि मानवीय हिचकिचाहट को समझने के लिए, आपको यह जानने की आवश्यकता नहीं है कि व्यक्ति कौन है; आपको बस ध्यान से सुनने की आवश्यकता है कि उनके शब्द, आवाज़ और चेहरा कहाँ असहमत हो रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।