Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection
यह शोध पत्र एक सेगमेंट-आधारित मल्टीमॉडल लार्ज लैंग्वेज मॉडल फ्रेमवर्क प्रस्तावित करता है जो क्रॉस-मोडल विसंगतियों का विश्लेषण करके वीडियो में सूक्ष्म अनिश्चितता (Ambivalence) और हिचकिचाहट (Hesitancy) की अवस्थाओं को प्रभावी ढंग से पहचानने के लिए फाइन-ट्यून्ड Qwen3-Omni-30B-A3B मॉडल का लाभ उठाता है, जिससे BAH डेटासेट पर 85.1% की स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या आपका एक दोस्त नौकरी के नए प्रस्ताव को लेकर वास्तव में उत्साहित है या वह मन ही मन बंटा हुआ (द्विधा में) या अनिश्चित (हिचकिचा रहा) है।
यदि आप केवल उनके चेहरे को देखेंगे, तो शायद वे मुस्कुराते हुए दिखें। यदि आप केवल उनकी आवाज़ को सुनेंगे, तो वे आत्मविश्वासी लग सकते हैं। लेकिन यदि आप दोनों को एक साथ देखते हैं, तो आप एक छोटी सी दरार देख सकते हैं: एक ऐसी मुस्कान जो आँखों तक नहीं पहुँचती, या एक ऐसी आवाज़ जो बहुत अधिक 'परफेक्ट' लगती है, जैसे कि वे कोई रिहर्सल कर रहे हों। वह सूक्ष्म बेमेल ही वह "द्विधा या हिचकिचाहट" (Ambivalence or Hesitation - A/H) है जिसे यह शोध पत्र पकड़ने की कोशिश कर रहा है।
यहाँ बताया गया है कि कैसे लेनोवो (Lenovo) के शोधकर्ताओं ने इस पेचीदा समस्या को हल किया, जिसे सरल भाषा में समझाया गया है:
1. समस्या: बहुत अधिक शोर, बहुत कम समय
वीडियो में इन सूक्ष्म भावनाओं का पता लगाना कंप्यूटर के लिए कठिन है।
- "लंबा वीडियो" वाली समस्या: कल्पना कीजिए कि आप एक विशिष्ट वाक्य खोजने के लिए पूरी उपन्यास पढ़ने की कोशिश कर रहे हैं। यह थका देने वाला और धीमा है। इसी तरह, एक पूरे 10 मिनट के वीडियो को एक सुपर-स्मार्ट AI में डालना बहुत अधिक डेटा है। AI अभिभूत हो जाता है, उसकी "मेमोरी" (टोकन) खत्म हो जाती है, और वह छोटे विवरणों को मिस कर देता है।
- "छिपे हुए संकेत" वाली समस्या: ये द्विधा वाली भावनाएँ आमतौर पर बहुत छोटे अंतराल में होती हैं—लगभग 4 या 5 सेकंड। बाकी वीडियो में व्यक्ति बस बैठा रह सकता है या मौसम के बारे में बात कर सकता है।
2. समाधान: "क्लिप कटर" रणनीति
पूरे वीडियो को AI को दिखाने के बजाय, शोधकर्ताओं ने एक "क्लिप कटर" (Clip Cutter) का आविष्कार किया।
- रूपक (Metaphor): वीडियो को ब्रेड के एक लंबे लोफ (loaf) की तरह समझें। पूरे लोफ को एक बार में चखने के बजाय, उन्होंने इसे छोटे-छोटे 5-सेकंड के टुकड़ों में काट दिया।
- स्मार्ट फ़िल्टर: उन्होंने इसे केवल रैंडम तरीके से नहीं काटा। उन्होंने "स्क्रिप्ट" (एनोटेशन) को देखा ताकि उन सटीक क्षणों को खोजा जा सके जहाँ व्यक्ति हिचकिचाहट दिखा रहा था। उन्होंने उन विशिष्ट 5-सेकंड के टुकड़ों को काट लिया और उबाऊ हिस्सों को हटा दिया। इससे AI केवल उन "मसालेदार" पलों पर ध्यान केंद्रित करता है जहाँ भावना घटित हो रही है।
3. मस्तिष्क: Qwen3-Omni (सुपर डिटेक्टिव)
इन टुकड़ों का विश्लेषण करने के लिए, उन्होंने Qwen3-Omni नामक एक बहुत शक्तिशाली AI का उपयोग किया।
- यह क्या करता है: यह AI एक सुपर-डिटेक्टिव की तरह है जो वीडियो देख भी सकता है और साथ ही ऑडियो भी सुन सकता है। यह केवल मुस्कान को नहीं देखता; यह जाँचता है कि क्या मुस्कान आवाज़ के लहजे से मेल खाती है।
- प्रशिक्षण (Training): उन्होंने इस डिटेक्टिव को एक विशेष तकनीक का उपयोग करके प्रशिक्षित किया जिसे LoRA (जो कि डिटेक्टिव को उनके पूरे मस्तिष्क को फिर से लिखे बिना एक विशिष्ट प्रशिक्षण मैनुअल देने जैसा है) और Full Fine-Tuning (मस्तिष्क को पूरी तरह से फिर से लिखना) कहा जाता है। उन्होंने इसे एक सरल प्रश्न का उत्तर देने के लिए सिखाया: "क्या यह व्यक्ति द्विधा में है या अनिश्चित है?" "हाँ" या "नहीं" के साथ।
4. टीमवर्क: "न्यायाधीशों की परिषद" (Council of Judges)
एक डिटेक्टिव गलती कर सकता है। इसलिए, शोधकर्ताओं ने केवल एक AI का उपयोग नहीं किया।
- रूपक: एक अदालत की कल्पना करें जहाँ तीन अलग-अलग न्यायाधीश हैं। प्रत्येक न्यायाधीश एक ही सबूत (वीडियो क्लिप) को देखता है लेकिन उन्हें थोड़ा अलग तरीके से प्रशिक्षित किया गया था।
- फैसला: यदि कोई भी न्यायाधीश कहता है, "मुझे यहाँ हिचकिचाहट दिख रही है," तो पूरे वीडियो को "हिचकिचा हुआ" (Hesitant) के रूप में चिह्नित किया जाता है। फिर, वे अंतिम वोट लेते हैं। यदि अधिकांश न्यायाधीश सहमत होते हैं, तो वही अंतिम उत्तर होता है। यह सिस्टम को धोखा देना बहुत कठिन बनाता है।
परिणाम
वीडियो को छोटे, केंद्रित टुकड़ों में काटकर और सूक्ष्म अंतरों को खोजने के लिए सुपर-स्मार्ट AI डिटेक्टिव की एक टीम का उपयोग करके, सिस्टम ने 85.1% सटीकता हासिल की।
संक्षेप में: उन्होंने पूरा किताब पढ़ने के बजाय सबसे नाटकीय 5-सेकंड के दृश्यों पर ध्यान केंद्रित किया, और इंसान के आत्मविश्वास में आने वाली छोटी दरारों को पहचानने के लिए AI विशेषज्ञों की एक टीम का उपयोग किया। यह डिजिटल स्वास्थ्य प्रणालियों को यह समझने में मदद करता है कि लोग वास्तव में निर्णय लेने में कब संघर्ष कर रहे हैं, ताकि वे सही समय पर सही मदद दे सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।