💻 computer science

Causal Supervision of Attention for Affective Behaviour Analysis

यह शोध पत्र अफेक्टिव बिहेवियर एनालिसिस में अटेंशन मैकेनिज्म के लिए एक कॉज़ल सुपरविजन फ्रेमवर्क प्रस्तावित करता है जो सब्जेक्ट-इनवेरिएंट फोकस को लागू करता है, क्रॉस-कोवेरिएंस रेगुलराइजेशन के माध्यम से नॉन-रिडंडेंट रिप्रेजेंटेशन्स को प्रोत्साहित करता है, और 11वीं अफेक्टिव बिहेवियर एनालिसिस इन-द-वाइल्ड प्रतियोगिता में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए गेटेड नॉनलीनियर ट्रांसफॉर्मेशन के माध्यम से फीचर एक्सप्रेसिवनेस को बढ़ाता है।

मूल लेखक: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को आपका चेहरा पढ़ना और यह अनुमान लगाना सिखाना चाहते हैं कि आप कैसा महसूस कर रहे हैं। आप चाहते हैं कि वह एक सच्ची मुस्कान या उदासी को पहचान सके, है ना? लेकिन यहाँ एक पेचीदा हिस्सा है: रोबोट आसानी से विचलित हो जाता है। वह सोच सकता है, "ओह, यह व्यक्ति उदास लग रहा है क्योंकि उसकी नाक बड़ी है," या "यह व्यक्ति खुश दिख रहा है क्योंकि उनके माथे पर सूरज की रोशनी पड़ रही है।" ये स्पूरियस कोरिलेशन (spurious correlations) की तरह हैं—ऐसे संकेत जिनका वास्तविक भावनाओं से कोई लेना-देना नहीं है, लेकिन वे ट्रेनिंग डेटा में अक्सर दिखाई देते हैं। यदि रोबोट ये बुरी आदतें सीख लेता है, तो वह किसी नए व्यक्ति से मिलते समय बुरी तरह विफल हो जाएगा जिसका नाक अलग हो या जहाँ रोशनी अलग हो।

इस पेपर के लेखक रोबोट के "अटेंशन" (ध्यान) को प्रशिक्षित करने का एक चतुर नया तरीका प्रस्तावित करते हैं ताकि वह गलत चीजों पर ध्यान देना बंद कर दे और वास्तविक भावनात्मक संकेतों पर ध्यान केंद्रित करना शुरू करे, चाहे कैमरे के सामने कोई भी हो। वे इसे कॉज़ल सुपरविज़न ऑफ अटेंशन (Causal Supervision of Attention) कहते हैं।

तीन जादुई तरकीबें

रोबोट की बुरी आदतों को ठीक करने के लिए, टीम ने उसकी सीखने की प्रक्रिया में तीन विशेष सामग्रियां जोड़ीं:

1. "क्या होगा अगर?" वाला खेल (कॉज़ल सुपरविज़न)
आमतौर पर, एक रोबोट बस एक चेहरे को देखता है और अनुमान लगाता है। इस टीम ने रोबोट को "क्या होगा अगर?" वाला खेल खिलाया। उन्होंने उससे पूछा: "अगर मैं तुम्हें नाक को अनदेखा करने और केवल आँखों को देखने के लिए मजबूर करूँ, तो क्या तुम्हारे अनुमान में बदलाव आएगा?"
उन्होंने अटेंशन का एक "काउंटरफैक्चुअल" (counterfactual) संस्करण बनाया (एक नकली संस्करण जहाँ रोबोट यादृच्छिक स्थानों को देखता है) और इसकी तुलना वास्तविक अटेंशन से की। इसके बजाय केवल परिमाण के कच्चे अंतर को अधिकतम करने के बजाय, उन्होंने टोटल डायरेक्ट इफेक्ट (TDE) को अधिकतम किया—जो अटेंशन के अनुमान में कॉज़ल योगदान का एक विशिष्ट माप है। ऐसा करके, उन्होंने रोबोट को सब्जेक्ट-इनवेरिएंट (subject-invariant) चेहरे वाले क्षेत्रों पर ध्यान केंद्रित करने के लिए प्रोत्साहित किया—ऐसे क्षेत्र जो विभिन्न लोगों में लगातार भावनाओं की भविष्यवाणी करते हैं, न कि केवल एक व्यक्ति की विशिष्ट विशेषताओं को। यह सुनिश्चित करता है कि रोबोट उन क्षेत्रों पर ध्यान दे जिनमें इनवेरिएंट प्रेडिक्टिव वैल्यू (invariant predictive value) होती है, जिससे वह पहचान या रोशनी जैसे स्पूरियस कारकों से वास्तविक भावनात्मक संकेतों को प्रभावी ढंग से अलग कर पाता है, बिना पहचान को पूरी तरह से अनदेखा किए।

2. "कोई ओवरलैप नहीं" का नियम (क्रॉस-कोवेरिएंस रेगुलराइजेशन)
रोबोट के मस्तिष्क को दो काम करने वाली टीमों के रूप में सोचें: की (Key) टीम (जो तय करती है कि क्या देखना है) और वैल्यू (Value) टीम (जो देखी गई चीजों के विवरण इकट्ठा करती है)।
मानक मॉडलों में, ये दोनों टीमें अक्सर एक-दूसरे के ऊपर चिल्लाती हैं और एक ही जानकारी दोहराती हैं। यह ऐसा है जैसे एक कमरे में दो लोग दोनों चिल्ला रहे हों, "आँखों को देखो!" जबकि वे मुँह को अनदेखा कर रहे हों। लेखकों ने यह सुनिश्चित करने के लिए एक नियम पेश किया कि ये दोनों टीमें पूरक (complementary) हों, न कि अनावश्यक। उन्होंने एक दंड (penalty) जोड़ा यदि की (Key) और वैल्यू (Value) टीमें एक ही बात कहने लगीं। यह उन्हें काम बांटने के लिए मजबूर करता है: एक भौंहों के आकार पर ध्यान केंद्रित कर सकता है, जबकि दूसरा जबड़े के तनाव पर ध्यान केंद्रित कर सकता है, जिससे अंतिम तस्वीर बहुत समृद्ध हो जाती है।

3. "सुपर-ट्रांसफॉर्मर" (SwiGLU)
अंत में, टीम ने रोबोट की दिमागी शक्ति को अपग्रेड किया। मानक मॉडल द्वारा एकत्र किए गए विवरणों को प्रोसेस करने के लिए एक साधारण, सीधी गणितीय ट्रिक का उपयोग किया जाता है। लेखकों ने इसे SwiGLU नामक एक फैंसी, नॉन-लीनियर टूल से बदल दिया।
कल्पना कीजिए कि पुराना तरीका एक सीधी स्लाइड था, और नया तरीका एक घुमावदार रोलरकोस्टर है। यह रोबोट को भावनाओं के बारे में बहुत सूक्ष्म, अधिक जटिल विवरणों को पकड़ने की अनुमति देता है जो एक साधारण स्लाइड मिस कर सकती थी। यह भावनाओं के बारे में उसकी "फाइन-ग्रेन्ड" (बारीक) समझ को बहुत तेज बनाता है।

क्या यह काम आया?

टीम ने वास्तविक दुनिया के वीडियो के एक विशाल डेटासेट s-Aff-Wild2 पर इसका परीक्षण किया, जहाँ लोग प्राकृतिक वातावरण में कई तरह की चीजें कर रहे हैं। उन्होंने सफलता को P नामक एक स्कोर से मापा, जो तीन कार्यों के प्रदर्शन को जोड़ता है: वेलेंस-एरोसल (Valence-Arousal) (कितना सकारात्मक/नकारात्मक और कितना तीव्र एहसास है), एक्सप्रेशंस (Expressions) को पहचानना (जैसे खुश या उदास), और एक्शन यूनिट्स (Action Units) (चेहरे की सूक्ष्म मांसपेशी गतिविधियाँ) को पकड़ना।

यहाँ उन्हें क्या मिला:

बेसलाइन: मानक रोबोट (जो ConvNeXt मॉडल का उपयोग करता है) ने आधिकारिक वैलिडेशन सेट पर 0.45 का स्कोर किया।
नया तरीका: जब उन्होंने अपने नए "कॉज़ल सुपरविज़न" ट्रिक्स के साथ एक शक्तिशाली विजुअल एनकोडर FRoundation का उपयोग किया, तो स्कोर उछलकर 1.2214 हो गया।
ब्रेकडाउन: विशेष रूप से, वेलेंस-एरोसल का अनुमान लगाने के लिए, उन्हें 0.5123 का स्कोर मिला। एक्सप्रेशंस को पहचानने के लिए, उनका F1 स्कोर 0.3116 था, और मांसपेशियों की गतिविधियों को पकड़ने के लिए 0.3974 था।

उन्होंने यह सुनिश्चित करने के लिए कि परिणाम केवल किस्मत नहीं थे, इसे पांच बार (जिसे 5-fold cross-validation कहा जाता है) टेस्ट किया। नया तरीका लगातार पुराने वाले से बेहतर रहा, एक प्रकार के मस्तिष्क (DINOv2) के साथ औसत स्कोर 0.8730 से बढ़कर 0.9569 हो गया और दूसरे (FRoundation) के साथ 1.0524 से बढ़कर 1.1948 हो गया।

निचोड़

पेपर सुझाव देता है कि रोबोट को वास्तविक भावनात्मक संकेतों को "नकली" संकेतों (जैसे पहचान या रोशनी) से अलग करने और केवल चेहरे के उन हिस्सों पर ध्यान केंद्रित करने के लिए मजबूर करके, जिनमें विभिन्न विषयों में इनवेरिएंट प्रेडिक्टिव वैल्यू होती है, हम मानव भावनाओं को बहुत बेहतर समझने वाले सिस्टम बना सकते हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने हजारों छवियों में मापा और पाया कि उनकी तीनों नई तरकीबों ने रोबोट को बेहतर प्रदर्शन करने में मदद की। हालांकि रोबोट अभी भी पूर्ण नहीं है (उन स्कोर्स को सुधारने की अभी भी गुंजाइश है), यह दृष्टिकोण मशीनों को वास्तव में हमें "समझने" के करीब ले जाने का एक स्पष्ट रास्ता दिखाता है, न कि केवल इस आधार पर अनुमान लगाने का कि हम कैसे दिखते हैं।

तकनीकी सारांश: अफेक्टिव बिहेवियर एनालिसिस के लिए अटेंशन का कॉज़ल सुपरविज़न

समस्या विवरण
अफेक्टिव बिहेवियर एनालिसिस (ABA) का लक्ष्य मानवीय भावनात्मक अवस्थाओं को व्यवहारिक संकेतों, विशेष रूप से चेहरे के भावों से, अनियंत्रित ("इन-द-वाइल्ड") वातावरण में पहचानने में मशीनों को सक्षम बनाना है। जबकि डीप लर्निंग मॉडलों ने महत्वपूर्ण प्रगति की है, वे अक्सर अनदेखे विषयों (unseen subjects) के प्रति सामान्यीकरण (generalization) करने में संघर्ष करते हैं। यह सीमा इसलिए उत्पन्न होती है क्योंकि मॉडल वास्तविक, अपरिवलाव्य (invariant) प्रभावों के बजाय स्प्यूरियस कोरिलेशन (spurious correlations)—जैसे कि पहचान, पोज़, प्रकाश व्यवस्था, आयु और जनसांख्यिकीय विविधताओं—का लाभ उठाते हैं। 11वें अफेक्टिव बिहेवियर एनालिसिस इन-द-वाइल्ड (ABAW) प्रतियोगिता के संदर्भ में, इस चुनौती को एक मल्टी-टास्क लर्निंग (MTL) फ्रेमवर्क के माध्यम से औपचारिक रूप दिया गया है, जिसमें वैलेंस-एरोसल (VA) एस्टीमेशन, एक्सप्रेशन (EX) रिकग्निशन और एक्शन यूनिट (AU) डिटेक्शन का एक साथ निष्पादन आवश्यक है। मुख्य कठिनाई इन भ्रमित करने वाले कारकों से भावनात्मक संकेतों को अलग करने में निहित है ताकि सुदृढ़ विषय-अपरिवलाव्य (subject-invariant) प्रतिनिधित्व प्राप्त किया जा सके।

कार्यप्रणाली (Methodology)
लेखक एक कॉज़ली प्रेरित अटेंशन पूलिंग फ्रेमवर्क का प्रस्ताव करते हैं जिसे अफेक्टिव संकेतों के चयन और प्रतिनिधित्व में सुधार करने के लिए डिज़ाइन किया गया है। यह आर्किटेक्चर एक मानक पाइपलाइन पर आधारित है जिसमें फीचर एक्सट्रैक्शन के लिए एक फ्रोजन विजन ट्रांसफार्मर (ViT) बैकबोन, उसके बाद टेम्पोरल मॉडलिंग के लिए एक टेम्पोरल कन्वोल्यूशनल नेटवर्क (TCN), और टास्क-विशिष्ट प्रेडिक्शन हेड्स शामिल हैं। फ्रेमवर्क अटेंशन मैकेनिज्म में तीन विशिष्ट संशोधनों को पेश करता है ताकि मजबूती और अभिव्यक्ति को बढ़ाया जा सके:

अटेंशन के लिए कॉज़ल सुपरविज़न (CSA): विषयों के बीच अपरिवलाव्य भविष्य कहनेवाला मूल्य वाले चेहरे के क्षेत्रों पर अटेंशन लागू करने के लिए, लेखक एक कॉज़ल सुपरविज़न सिग्नल को एकीकृत करते हैं। इसमें एक "फैक्टुअल" पाथ शामिल है जहाँ मॉडल सीखे गए अटेंशन वेट्स के आधार पर भविष्यवाणी करता है, और एक "काउंटरफैक्टुअल" पाथ जहाँ अटेंशन वेट्स को गाऊसी वितरण (Gaussian distribution) से सैंपल किए गए रैंडम, नॉर्मलाइज्ड वेक्टर्स द्वारा प्रतिस्थापित किया जाता है। मॉडल टोटल डायरेक्ट इफेक्ट (TDE)—फैक्टुअल और काउंटरफैक्टुअल भविष्यवाणियों के बीच के अंतर—को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जिससे अटेंशन मैकेनिज्म को स्प्यूरियस कोरिलेशन पर निर्भर रहने के बजाय लगातार कॉज़ली प्रासंगिक चेहरे के क्षेत्रों की पहचान करने के लिए प्रोत्साहित किया जा सके।
क्रॉस-कोवेरिएंस इंडिपेंडेंस रेगुलराइजेशन: स्केल्ड डॉट-प्रोडक्ट अटेंशन में की (Key - K) और वैल्यू (Value - V) प्रोजेक्शन के बीच रेडंडेंसी (redundancy) को संबोधित करने के लिए, लेखक एक क्रॉस-कोवेरिएंस रेगुलराइजेशन लॉस पेश करते हैं। सेंटर्ड K और V रिप्रेजेंटेशन्स के बीच क्रॉस-कोवेरिएंस मैट्रिक्स के फ्रोबेनियस नॉर्म (Frobenius norm) को कम करके, यह विधि पूरक, गैर-रेडंडेंट फीचर एनकोडिंग को प्रोत्साहित करती है, जिससे मॉडल की क्षमता को अधिक विशिष्ट, कार्य-प्रासंगिक जानकारी के लिए समर्पित किया जा सके।
नॉनलीनर स्विग्लू (SwiGLU) वैल्यू प्रोजेक्शन: स्टैंडर्ड लीनियर प्रोजेक्शन को वैल्यू (V) घटक के लिए एक स्विग्लू (SwiGLU - Sigmoid Linear Unit Gated Linear Unit) ट्रांसफॉर्मेशन के साथ बदल दिया गया है। यह नॉनलीनियर लेयर वैल्यू प्रोजेक्शन की रिप्रजेंटेशनल कैपेसिटी को बढ़ाती है, जिससे मॉडल अटेंशन-आधारित एग्रीगेशन स्टेप से पहले सूक्ष्म-स्तरीय (fine-grained) अफेक्टिव संकेतों को कैप्चर करने में सक्षम होता है।

प्रमुख योगदान
यह पेपर एक एकीकृत फ्रेमवर्क प्रस्तुत करता है जो अफेक्टिव कंप्यूटिंग के लिए अटेंशन मैकेनिज्म में कॉज़ल इन्फरेंस सिद्धांतों को एकीकृत करता है। इसके प्राथमिक योगदान हैं:

अटेंशन के लिए कॉज़ल सुपरविज़न का परिचय, जो विषय-अपरिवलाव्य, भावना-प्रासंगिक चेहरे के क्षेत्रों की ओर ध्यान केंद्रित करने के लिए काउंटरफैक्टुअल जेनरेशन और TDE मैक्सिमाइजेशन का उपयोग करता है।
क्रॉस-कोवेरिएंस इंडिपेंडेंस रेगुलराइजेशन लॉस का फॉर्मूलेशन जो की (Key) और वैल्यू (Value) रिप्रेजेंटेशन्स को डीकपल करता है, जिससे फीचर रेडंडेंसी कम होती है।
फीचर अभिव्यक्ति को बढ़ाने के लिए लीनियर वैल्यू प्रोजेक्शन को स्विग्लू-आधारित नॉनलीनर ट्रांसफॉर्मेशन से बदलना।
s-Aff-Wild2 डेटासेट पर एक व्यापक मूल्यांकन जो प्रदर्शित करता है कि ये घटक सामूहिक रूप से कई अफेक्टिव कार्यों में सामान्यीकरण में सुधार करते हैं।

प्रायोगिक परिणाम (Experimental Results)
इस पद्धति का मूल्यांकन दो अलग-अलग बैकबोन का उपयोग करके s-Aff-Wild2 डेटासेट पर किया गया: DINOv2 (सामान्य उद्देश्य के इमेजेस पर प्री-ट्रेन्ड) और FRoundation (चेहरे के इमेजेस के लिए विशेष)। प्रदर्शन को आधिकारिक ABAW MTL मेट्रिक $P$ का उपयोग करके मापा गया, जो VA के लिए मीन कॉनकोर्डेंस कोरिलेशन कोएफिशिएंट (CCC), एक्सप्रेशन ( $F_{EX}$ ) के लिए औसत F1 स्कोर, और एक्शन यूनिट्स ( $F_{AU}$ ) के लिए औसत F1 स्कोर का योग है।

बेसलाइन तुलना: आधिकारिक बेसलाइन (ConvNeXt के साथ MixAugment, $P=0.45$ ) के मुकाबले, प्रस्तावित विधि ने काफी उच्च स्कोर प्राप्त किया। FRoundation बैकबोन के साथ, विधि ने आधिकारिक वैलिडेशन सेट पर 1.2214 का समग्र स्कोर प्राप्त किया ( $CCC_{VA}=0.5123$ , $F_{EX}=0.3116$ , $F_{AU}=0.3974$ )।
क्रॉस-वैलिडेशन: एक फाइव-फोल्ड क्रॉस-वैलिडेशन प्रोटोकॉल में, FRoundation बैकबोन ने लगातार DINOv2 से बेहतर प्रदर्शन किया। प्रस्तावित विधि ने FRoundation के साथ मीन मल्टीटास्क स्कोर $P$ को 1.0524 (बेसलाइन) से बढ़ाकर 1.1948 कर दिया, और DINOv2 के साथ 0.8730 से 0.9569 कर दिया।
एब्लेशन स्टडी (Ablation Study): अध्ययन ने पुष्टि की कि प्रत्येक घटक योगदान देता है। जबकि केवल SwiGLU ने बैकबोन के आधार पर मिश्रित परिणाम दिखाए, SwiGLU को कॉज़ल सुपरविज़न या कोवेरिएंस रेगुलराइजेशन के साथ जोड़ने से प्रदर्शन में लगातार सुधार हुआ। पूर्ण मॉडल (तीनों घटक सक्रिय) ने सर्वश्रेष्ठ परिणाम दिए, जो उनके संबंधित बेसलाइनों की तुलना में लगभग 9.6% (DINOv2) और 13.5% (FRoundation) की वृद्धि दर्शाता है।

महत्व
पेपर का दावा है कि प्रस्तावित फ्रेमवर्क विषय-अपरिवलाव्य अटेंशन को बढ़ावा देकर अफेक्टिव बिहेवियर एनालिसिस में स्प्यूरियस कोरिलेशन की चुनौती को सफलतापूर्वक संबोधित करता है। अटेंशन के कॉज़ल योगदान को स्पष्ट रूप से मॉडल करके और फीचर रिप्रेजेंटेशन में रेडंडेंसी को कम करके, यह विधि अधिक सुदृढ़ और अभिव्यंजक अफेक्टिव रिप्रेजेंटेशन तैयार करती है। परिणाम बताते हैं कि अटेंशन मैकेनिज्म में कॉज़ल सुपरविज़न और स्ट्रक्चरल रेगुलराइजेशन को एकीकृत करना अनियंत्रित अफेक्टिव कंप्यूटिंग कार्यों में सामान्यीकरण में सुधार करने के लिए एक प्रभावी रणनीति है, विशेष रूप से जब FRoundation जैसे विशेष फेशियल बैकबोन का लाभ उठाया जाता है।

तीन जादुई तरकीबें

क्या यह काम आया?

निचोड़

इसी तरह के और पेपर