Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video
यह शोध पत्र वीडियो साक्षात्कारों में द्वंद्व (ambivalence) और हिचकिचाहट (hesitancy) को पहचानने के लिए एक ऐसी प्रणाली प्रस्तुत करता है जो ASR-मिटाए गए समय संबंधी विशेषताओं (ASR-erased time features) और प्रभाव-विशिष्ट मल्टीमॉडल फ्यूजन (affect-specialized multimodal fusion) का लाभ उठाती है, जो यह प्रदर्शित करता है कि सरल AP-वेटेड एन्सेम्बलिंग (AP-weighted ensembling) के साथ ईमानदार अंशांकन (honest calibration), ABAW 2026 BAH चैलेंज पर जटिल आर्किटेक्चर और ओवरफिटेड सत्यापन रणनीतियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: क्या यह व्यक्ति दो विकल्पों के बीच उलझा हुआ महसूस कर रहा है, या वह सिर्फ हिचकिचा रहा है? सुराग एक साक्षात्कार (इंटरव्यू) के वीडियो में छिपे हुए हैं। यह शोध पत्र एक जासूस की रिपोर्ट है कि कैसे उन्होंने नए उपकरणों का उपयोग करके इस केस को सुलझाया, और इससे भी महत्वपूर्ण बात यह है कि क्या काम नहीं आया।
मुख्य रहस्य: "वबल" (Wobble) को खोजना
लक्ष्य एम्बिवलेंस और हेसिटेशन (A/H) यानी द्वंद्व और हिचकिचाहट को पहचानना था—वह आंतरिक "मुझे यकीन नहीं है" वाली भावना जहाँ एक व्यक्ति दो दिशाओं में खिंचा चला जाता है। टीम ने अपनी जासूसी कौशल का परीक्षण BAH नामक एक डेटासेट पर किया, जिसमें 300 अलग-अलग लोगों के 1,427 वीडियो शामिल हैं। उन्हें यह अनुमान लगाना था कि क्या वीडियो में दिख रहा व्यक्ति अनिश्चितता के संकेत दे रहा है।
"जादुई" सुराग: ट्रांसक्रिप्ट में मौजूद भूत (The Ghost in the Transcript)
सबसे बड़ा आश्चर्य? टीम को एक "भूतिया" सिग्नल मिला जिसे कोई और नहीं देख रहा था।
कल्पना कीजिए कि एक स्पीच-टू-टेक्स्ट रोबोट (एक ASR) वीडियो को सुन रहा है। उसका काम शब्दों को लिखना है। टेक्स्ट को साफ रखने के लिए, रोबोट "अम," "अह," और लंबे ठहराव को हटा देता है। लेकिन यहाँ एक चाल है: यह उन आवाजों ने जो समय लिया, उसे नहीं हटा सकता।
टीम ने महसूस किया कि भले ही "अम" जैसे शब्द गायब हो गए हों, लेकिन वे शब्द जहाँ थे, उस खाली स्थान का अस्तित्व अभी भी टाइमस्टैम्प में मौजूद है। उन्होंने एक नया टूल बनाया जिसे "ASR-erased time" कहा गया। यह बचे हुए शब्दों के बीच के अंतराल (गैप्स) को मापता है।
- यह क्यों शानदार है: यह गैप-मापने वाला टूल उनके द्वारा खोजा गया सबसे मजबूत गैर-मौखिक (non-verbal) सुराग साबित हुआ। इसने 0.718 का AP (एक पैमाना कि सुराग कितना अच्छा है) स्कोर किया।
- इसकी स्वतंत्रता: यह इतना अनूठा था कि इसका किसी अन्य सुराग के साथ बहुत कम तालमेल था (केवल 0.11–0.36 सहसंबंध)। यह एक ऐसे फिंगरप्रिंट को खोजने जैसा था जिसे पहले कभी किसी अन्य जासूस ने नहीं देखा था।
"टेक्स्ट" मुख्य सितारा है, "चेहरा" एक साइडकिक है
टीम ने तीन मुख्य प्रकार के सुरागों का परीक्षण किया: टेक्स्ट (उन्होंने क्या कहा), ऑडियो (वे कैसे सुनाई दिए), और वीडियो (उनके चेहरे के हाव-भाव कैसे थे)।
- टेक्स्ट राजा है: लोगों द्वारा इस्तेमाल किए गए शब्द सबसे अच्छे सुराग थे। जब उन्होंने भावनाओं पर प्रशिक्षित एक विशेष टेक्स्ट मॉडल का उपयोग किया, तो उसने 0.811 का AP स्कोर किया। यहाँ तक कि "हिचकिचाहट के मार्कर" (जैसे कि किसी ने कितनी बार "लेकिन" या "शायद" कहा) की एक साधारण सूची भी लगभग उतनी ही प्रभावी थी (AP 0.800)।
- ऑडियो दूसरे स्थान पर है: यदि ऑडियो मॉडल को विशेष रूप से भावनाओं (सिर्फ भाषण नहीं) का पता लगाने के लिए प्रशिक्षित किया गया था, तो यह सहायक था (AP 0.764)। लेकिन यदि उन्होंने एक सामान्य स्पीच मॉडल का उपयोग किया, तो यह लगभग बेकार था।
- वीडियो एक संघर्ष करता हुआ साइडकिक है: यह एक कड़वा सच था। चाहे उन्होंने कितने भी फैंसी फेस-स्कैनिंग मॉडल, आंखों की हलचल को ट्रैक करना, या भौंहों की हरकत को देखना क्यों न आजमाया हो, वीडियो सुराग कमजोर ही रहे। वे 0.63 से 0.67 के AP के आसपास ही रहे। पेपर सुझाव देता है कि केवल 778 प्रशिक्षण वीडियो के साथ, कंप्यूटर हिचकिचाहट के सूक्ष्म चेहरे के संकेतों को सीख ही नहीं पाया। चेहरा पर्याप्त जानकारी नहीं दे सका।
"कॉन्फ्लिक्ट" का जाल: क्या काम नहीं आया
कई पिछले जासूसों का मानना था कि इस रहस्य को सुलझाने की कुंजी विभिन्न माध्यमों (channels) के बीच टकराव (conflict) को खोजने में है। उन्होंने सोचा: "अगर टेक्स्ट 'हाँ' कह रहा है लेकिन चेहरा 'ना' दिखा रहा है, तो वह हिचकिचाहट है!"
टीम ने इस विचार का परीक्षण करने के लिए एक "कॉन्फ्लिक्ट मशीन" बनाई जो इन असहमतियों को देखती थी।
- परिणाम: इसने कोई मदद नहीं की। चाहे उन्होंने टकराव को देखा, उसे अनदेखा किया, या डेटा को अलग तरह से विभाजित किया, परिणाम में बहुत कम बदलाव आया (कम से कम 0.05 का बदलाव)। पेपर स्पष्ट रूप से कहता है कि "कॉन्फ्लिक्ट डिजाइन" कोई गुप्त हथियार नहीं है। सिग्नल चैनलों के बीच के टकराव में नहीं था; यह तो बस टेक्स्ट और गैप्स में था।
"ओवरफिटिंग" का जाल: टेस्ट में नकल न करें
जीतने के बारे में सबसे महत्वपूर्ण सबक यहाँ है।
टीम के पास अभ्यास करने के लिए 124 वीडियो का एक छोटा समूह (वैलिडेशन सेट) था और वास्तविक टेस्ट के लिए 525 वीडियो का एक बड़ा समूह था।
- गलती: यदि आप अपने "नॉब्स" (वेट्स और थ्रेशोल्ड) को विशेष रूप से अभ्यास सेट पर उच्चतम स्कोर प्राप्त करने के लिए ट्यून करते हैं, तो आप नकल कर रहे होते हैं। टीम ने यह कोशिश की, और अभ्यास सेट पर उनका स्कोर चमकदार 0.741 था, लेकिन जब उन्होंने वास्तविक टेस्ट दिया, तो यह गिरकर 0.690 रह गया। इसे ओवरफिटिंग कहा जाता है—पाठ को सीखने के बजाय अभ्यास के प्रश्नों को रट लेना।
- समाधान: उन्होंने नॉब्स को ट्यून करना बंद कर दिया। इसके बजाय, उन्होंने एक सरल, निश्चित नियम का उपयोग किया: 0.5 (एक 50/50 अनुमान रेखा) और सुरागों को उनके ऐतिहासिक सटीकता (AP-weighting) के आधार पर भारित किया।
- जीत: इस सरल, ईमानदार नियम पर टिके रहकर, वास्तविक टेस्ट पर उनका स्कोर उछलकर 0.731 हो गया। इसने पिछले विजेता (जिसने 0.694 स्कोर किया था) को पीछे छोड़ दिया।
अंतिम स्कोरकार्ड
टीम ने छह अलग-अलग "जासूसों" (मॉडल्स) को एक टीम में संयोजित किया।
- परिणाम: उनके अंतिम सिस्टम ने पब्लिक टेस्ट पर 0.731 Macro-F1 स्कोर किया।
- वे कितने आश्वस्त हैं? उन्होंने एक सांख्यिकीय जांच ("बूटस्ट्रैप") चलाई और पाया कि 97% संभावना है कि उनका स्कोर वास्तव में पिछले विजेता के 0.694 से बेहतर है। यह एक मजबूत बढ़त है, लेकिन पूरी तरह से लॉक नहीं है।
निष्कर्ष (Takeaway)
पेपर निष्कर्ष निकालता है कि हिचकिचाहट को पहचानने के लिए, शब्दों और उनके बीच के सन्नाटे को सुनें, न कि चेहरे को।
- कोशिश न करें कि कंप्यूटर को आंखों और मुंह के बीच "टकराव" खोजने के लिए मजबूर करें; यह यहाँ काम नहीं करता है।
- भरोसा करें टेक्स्ट और स्पीच रिकग्निशन द्वारा छोड़े गए "भूतिया" समय के अंतराल पर।
- ईमानदार रहें अपने परीक्षण के साथ: अपने सेटिंग्स को केवल अभ्यास टेस्ट पर अच्छा दिखने के लिए न बदलें, अन्यथा आप वास्तविक टेस्ट में विफल हो जाएंगे।
टीम का सिस्टम एक सरल, एक-कमांड स्क्रिप्ट है जो साबित करता है कि कभी-कभी रहस्य को सुलझाने का सबसे अच्छा तरीका एक सुपर-जटिल मशीन नहीं, बल्कि कहानी के बीच के खाली स्थानों (गैप्स) पर एक सरल, ईमानदार नज़र डालना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।