💻 computer science

Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach

यह शोध पत्र एक ड्यूल-व्यू ऑप्टिकल फ्लो दृष्टिकोण प्रस्तुत करता है जो फ्यूजन अटेंशन और स्क्वीज़-एंड-एक्सिटेशन तंत्र वाले ट्रिपल-स्ट्रीम माइक्रोएटने (MicroAttNet) के साथ संयुक्त है, जिसने 4DME डेटासेट पर 4D माइक्रो-एक्सप्रेशन रिकग्निशन के लिए बेसलाइन से काफी बेहतर प्रदर्शन करके 4DMR IJCAI वर्कशॉप चैलेंज 2025 में प्रथम स्थान प्राप्त किया।

मूल लेखक: Luu Tu Nguyen, Thi Bich Phuong Man, Vu Tram Anh Khuong, Thanh Ha Le, Thi Duyen Ngo

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luu Tu Nguyen, Thi Bich Phuong Man, Vu Tram Anh Khuong, Thanh Ha Le, Thi Duyen Ngo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसे चोर को पकड़ने की कोशिश कर रहे हैं जो अविश्वसनीय रूप से तेज़ है, बहुत शांति से चलता है, और गायब होने से पहले केवल एक हल्की सी, क्षणिक मुस्कान देता है। यह मूल रूप से माइक्रो-एक्सप्रेशन रिकग्निशन (Micro-Expression Recognition) है: उन पल भर के, अनैच्छिक चेहरे के झटकों को पहचानने की कोशिश करना जो यह प्रकट करते हैं कि कोई व्यक्ति वास्तव में क्या महसूस कर रहा है, भले ही वह इसे छिपाने की कोशिश कर रहा हो।

यह पेपर एक हाई-टेक प्रतियोगिता (4DMR 2025 चैलेंज) की एक विजेता रणनीति का वर्णन करता है जहाँ टीमों ने 4D डेटा (3D फेस मॉडल + समय) का उपयोग करके इन छिपे हुए भावों को पहचानने के लिए एक कंप्यूटर प्रोग्राम बनाने की कोशिश की।

यहाँ बताया गया है कि कैसे लेखकों, "रेड-ग्रीन-ब्लू" ने प्रथम स्थान प्राप्त किया, जिसे सरल शब्दों में समझाया गया है।

1. समस्या: बहुत अधिक डेटा, बहुत कम स्पष्टता

चैलेंज ने टीमों को भारी मात्रा में डेटा दिया: चेहरों के हिलते हुए 3D वीडियो।

जाल: अधिकांश लोगों ने सोचा, "हमें सीधे 3D आकृतियों का विश्लेषण करने की आवश्यकता है!" लेकिन 3D वीडियो को प्रोसेस करना वैसा ही है जैसे कि मैराथन दौड़ते समय उस भाषा में लिखी किताब को पढ़ने की कोशिश करना जिसे आप नहीं जानते। यह बहुत भारी है, बहुत धीमा है, और कंप्यूटर भ्रमित हो जाता है।
वास्तविकता: माइक्रो-एक्सप्रेशन इतने सूक्ष्म और तेज़ होते हैं कि केवल "स्थिर" 3D आकार (चेहरा स्वयं) को देखना किसी व्यक्ति के होंठों को देखकर फुसफुसाहट को पहचानने जैसा है। आपको केवल आकार नहीं, बल्कि गति (movement) को देखने की आवश्यकता है।

2. समाधान: "डुअल-व्यू" कैमरा ट्रिक

जटिल 3D आकारों से जूझने के बजाय, लेखकों ने एक चतुर ट्रिक का उपयोग किया। उन्होंने 3D डेटा के साथ ऐसा व्यवहार किया जैसे कि इसे दो कैमरों (एक बायां दृश्य और एक दायां दृश्य) से फिल्माया गया एक मूवी हो।

उन्होंने चेहरे को नहीं देखा; उन्होंने फ्रेमों के बीच की गति (motion) को देखा। इसे इस प्रकार सोचें:

पुराना तरीका: एक धावक की स्थिर फोटो देखना और यह अनुमान लगाना कि वह कितनी तेज़ दौड़ रहा है।
उनका तरीका: धावक की गति के 'ब्लर' (धुंधलेपन) को दिखाने वाली एक लॉन्ग-एक्सपोज़र फोटो लेना। यह "ब्लर" (जिसे ऑप्टिकल फ्लो/Optical Flow कहा जाता है) आपको सटीक रूप से बताता है कि मांसपेशियां किस दिशा में, कितनी तेज़ी से और कितनी ज़ोर से हिलीं, इस बात को नज़रअंदाज़ करते हुए कि व्यक्ति की नाक बड़ी है या ठुड्डी छोटी।

3. इंजन: "ट्रिपल-स्ट्रीम" जासूस

एक बार जब उनके पास मोशन "ब्लर" आ गया, तो उन्होंने इसे केवल एक मस्तिष्क में नहीं डाला। उन्होंने एक ट्रिपल-स्ट्रीम नेटवर्क (जिसे MicroAttNet कहा जाता है) बनाया। कल्पना कीजिए कि एक जासूसी टीम है जिसमें तीन विशेषज्ञ हैं, जिनमें से प्रत्येक एक ही अपराध स्थल को अलग-अलग कोणों से देख रहा है:

क्षैतिज जासूस (Horizontal Detective - Stream U): केवल दाएं-बाले (side-to-side) की गतिविधियों को देखता है (जैसे कि मुस्कान या शिकन का चौड़ा होना)।
ऊर्ध्वाधर जासूस (Vertical Detective - Stream V): केवल ऊपर-नीचे (up-and-down) की गतिविधियों को देखता है (जैसे आश्चर्य में भौंहें उठाना)।
तीव्रता का जासूस (Intensity Detective - Stream M): केवल यह देखता है कि गति कितनी ज़ोरदार थी, चाहे दिशा कुछ भी हो।

4. मस्तिष्क: "फ्यूजन अटेंशन" मैनेजर

यही असली सफलता का मंत्र है। अतीत में, कंप्यूटर इन तीनों स्ट्रीम्स को एक स्मूदी की तरह आपस में मिला देते थे। लेकिन कभी-कभी, एक विशिष्ट भावना मुख्य रूप से दाएं-बाएं की गति के बारे में होती है, और कभी-कभी तीव्रता के बारे में।

लेखकों ने एक फ्यूजन अटेंशन मॉड्यूल जोड़ा। इसे एक स्मार्ट मैनेजर के रूप में सोचें जो जासूसी टीम के प्रमुख के रूप में बैठा है।

यदि "क्षैतिज जासूस" कुछ संदिग्ध देखता है, तो मैनेजर कहता है, "ठीक है, उसे अधिक ध्यान से सुनो!"
यदि "तीव्रता का जासूस" एक मजबूत संकेत देखता है, तो मैनेजर कहता है, "उस पर ध्यान केंद्रित करो!"
मैनेजर गतिशील रूप से तय करता है कि इस विशिष्ट क्षण के लिए कौन सा विशेषज्ञ सबसे महत्वपूर्ण है, जिससे यह सुनिश्चित होता है कि कंप्यूटर शोर (noise) से विचलित न हो।

उन्होंने तीव्रता के जासूस के लिए एक विशेष "स्क्वीज़-एंड-एक्साइटेशन" ब्लॉक भी जोड़ा ताकि कंप्यूटर गति की शक्ति के सबसे सूक्ष्म संकेतों को भी न चूक सके।

5. रणनीति: "पीक" क्षण को पकड़ना

माइक्रो-एक्सप्रेशन तीन चरणों में होते हैं:

ऑनसेट (Onset): गति शुरू होती है।
एपैक्स (Apex): गति अपने शिखर (सबसे तीव्र क्षण) पर पहुँचती है।
ऑफसेट (Offset): गति धीरे-धीरे समाप्त हो जाती है।

लेखकों ने महसूस किया कि "एपैक्स" सबसे महत्वपूर्ण है। उन्होंने शिखर (Apex) को खोजने के लिए एक स्वचालित प्रणाली बनाई जहाँ चेहरा सबसे अधिक हिलता है और वीडियो को दो भागों में विभाजित किया: शुरुआत-से-शिखर (Start-to-Peak) और शिखर-से-अंत (Peak-to-End)। यह सुनिश्चित करता है कि कंप्यूटर भावना के उभार या उसके बाद के हिस्से के बजाय, भावना के "चरमोत्कर्ष" का अध्ययन करे।

6. परिणाम: खेल जीतना

टीम ने अपने सिस्टम का परीक्षण 24 लोगों और पांच प्रकार के भावों (जैसे "दमन/Repression" या "आश्चर्य/Surprise") वाले डेटासेट पर किया।

बेसलाइन (Baseline): काम करने का आधिकारिक "मानक" तरीका 0.355 का स्कोर प्राप्त करता है।
उनका स्कोर: उनके "डुअल-व्यू + ट्रिपल-स्ट्रीम" तरीके ने 0.536 का स्कोर प्राप्त किया।

वे केवल जीते ही नहीं; उन्होंने प्रतिस्पर्धा को बुरी तरह पछाड़ दिया, दूसरे स्थान वाली टीम को एक बड़े अंतर से पीछे छोड़ दिया।

मुख्य निष्कर्ष

यह पेपर हमें एक मूल्यवान सबक सिखाता है: कभी-कभी, एक जटिल 3D समस्या को हल करने का सबसे अच्छा तरीका इसे 2D गति में सरल बनाना है।

भारी 3D ज्यामिति को नज़रअंदाज़ करके और शुद्ध रूप से दो कोणों से गति की दिशा और गति पर ध्यान केंद्रित करके, और फिर उन सुरागों को तौलने के लिए एक स्मार्ट "मैनेजर" का उपयोग करके, उन्होंने एक ऐसा सिस्टम बनाया जो तेज़ है, चलाने में सस्ता है, और मानव चेहरे के छिपे हुए भावों को पहचानने में बहुत बेहतर है। यह ऐसा ही है जैसे यह महसूस करना कि चोर को पकड़ने के लिए, आपको उसके जूते का आकार जानने की ज़रूरत नहीं है; आपको बस यह जानने की ज़रूरत है कि वह किस दिशा में भागा।

यहाँ शोध पत्र "Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

माइक्रो-एक्सप्रेशन रिकग्निशन (MER) अफेक्टिव कंप्यूटिंग में एक महत्वपूर्ण कार्य है, जिसका लक्ष्य उन अनैच्छिक, संक्षिप्त और कम तीव्रता वाली चेहरे की गतिविधियों का पता लगाना है जो वास्तविक भावनाओं को प्रकट करती हैं। हालाँकि, MER निम्नलिखित चुनौतियों का सामना करता है:

डेटा जटिलता (Data Complexity): 4D डेटा (3D मेश अनुक्रम + समय) की ओर बदलाव समृद्ध ज्यामितीय जानकारी तो प्रदान करता है, लेकिन यह उच्च आयामीता (high dimensionality) और कम्प्यूटेशनल बोझ भी लाता है। सीधे 3D मेश या पॉइंट क्लाउड को प्रोसेस करने के लिए जटिल आर्किटेक्चर (जैसे, PointNet++, 3D CNNs) की आवश्यकता होती है, जो अक्सर वास्तविक दुनिया के परिनियोजन (deployment) के लिए अक्षम होते हैं।
गति की सूक्ष्मता (Subtlety of Motion): माइक्रो-एक्सप्रेशन में सूक्ष्म मांसपेशी गतिविधियाँ शामिल होती हैं जो स्थिर चेहरे की बनावट (static facial textures), पहचान विशेषताओं (identity features), या शोर (प्रकाश, मुद्रा) द्वारा आसानी से ओझल हो सकती हैं।
अस्थायी गतिशीलता (Temporal Dynamics): मौजूदा विधियाँ अक्सर माइक्रो-एक्सप्रेशन के विशिष्ट चरणों (onset, apex, offset) को पकड़ने में विफल रहती हैं या मोशन घटकों (क्षैतिज, ऊर्ध्वाधर, परिमाण) को बिना अनुकूलित वेटिंग (adaptive weighting) के समान रूप से मान लेती हैं।
वर्ग असंतुलन (Class Imbalance): माइक्रो-एक्सप्रेशन डेटासेट आमतौर पर अत्यधिक असंतुलित होते हैं, जिससे मानक वर्गीकरण मेट्रिक्स और लॉस फंक्शन उप-इष्टतम (suboptimal) हो जाते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक Dual-View, Triple-Stream Attention Network (MicroAttNet) प्रस्तावित करते हैं जो जटिल 4D मेश डेटा को कुशल 2D ऑप्टिकल फ्लो प्रतिनिधित्व में परिवर्तित करता है।

A. डेटा प्री-प्रोसेसिंग और व्यू सेपरेशन (Data Pre-processing & View Separation)

डुअल-व्यू एक्सट्रैक्शन: हालांकि इनपुट 4D मेश डेटा है, विधि मेश से जुड़े उच्च-रिज़ॉल्यूशन वाले चेहरे के टेक्सचर इमेज (.jpg) का उपयोग करती है। प्रत्येक फ्रेम को बाएँ (Left) और दाएँ (Right) चेहरे के दृश्यों में विभाजित किया जाता है।
स्थानिक निरंतरता (Spatial Consistency): प्रत्येक अनुक्रम के लिए एक निश्चित क्रॉपिंग रणनीति लागू की जाती है। पूरे फ्रेम में सबसे बड़े क्षेत्र वाले बाउंडिंग बॉक्स का चयन किया जाता है और निरंतर संरेखण सुनिश्चित करने के लिए प्रत्येक फ्रेम पर समान रूप से लागू किया जाता है, जिससे मामूली सिर की हलचल के कारण होने वाली परिवर्तनशीलता कम हो जाती है।

B. एपेक्स फ्रेम डिटेक्शन (Apex Frame Detection - Unsupervised)

चूंकि चुनौती डेटासेट में ग्राउंड-ट्रुथ एपेक्स एनोटेशन उपलब्ध नहीं हैं, इसलिए एक स्वचालित पहचान विधि का उपयोग किया जाता है:

मोशन इंटेंसिटी कैलकुलेशन: दोनों दृश्यों के लिए ऑनसेट (न्यूट्रल) फ्रेम और उसके बाद के फ्रेमों के बीच डेंस ऑप्टिकल फ्लो (Farneback एल्गोरिदम) की गणना की जाती है।
पीक आइडेंटिफिकेशन: वह फ्रेम जिसमें फ्लो मैग्नीट्यूड का योग ( $I_f = \sum \sqrt{u^2 + v^2}$ ) अधिकतम होता है, उसे एपेक्स फ्रेम (Apex Frame) के रूप में पहचाना जाता है। चरण संरेखण (phase alignment) सुनिश्चित करने के लिए यह प्रक्रिया बाएँ और दाएँ दोनों दृश्यों के लिए स्वतंत्र रूप से की जाती है।

C. फेज-अवेयर ऑप्टिकल फ्लो डिकंपोजिशन (Phase-Aware Optical Flow Decomposition)

अनुक्रम को पताए गए एपेक्स के आधार पर दो अलग-अलग टेम्पोरल चरणों में विभाजित किया जाता है:

ऑनसेट-टू-एपेक्स (Onset-to-Apex): बढ़ती तीव्रता वाला चरण।
एपेक्स-टू-ऑफसेट (Apex-to-Offset): घटती तीव्रता वाला चरण।
प्रत्येक चरण के लिए, डेंस ऑप्टिकल फ्लो की गणना की जाती है, जिसमें तीन पूरक चैनल निकाले जाते हैं:

क्षैतिज (Horizontal - $u$ )
ऊर्ध्वाधर (Vertical - $v$ )
परिमाण (Magnitude - $m$ )

D. ट्रिपल-स्ट्रीम MicroAttNet आर्किटेक्चर (Triple-Stream MicroAttNet Architecture)

मुख्य नेटवर्क $u, v,$ और $m$ चैनलों को तीन समानांतर स्ट्रीम के माध्यम से प्रोसेस करता है:

ट्रिपल-स्ट्रीम बैकबोन: प्रत्येक स्ट्रीम स्वतंत्र रूप से फीचर्स निकालने के लिए दो कनवल्शनल ब्लॉक्स (Conv + BN + ReLU + Pool + Dropout) से गुजरती है।
फ्यूजन अटेंशन मॉड्यूल (Fusion Attention Module): प्रत्येक कनवल्शनल ब्लॉक के बाद, एक फ्यूजन अटेंशन तंत्र ग्लोबल कॉन्टेक्स्ट को एकत्रित करने के लिए ग्लोबल एवरेज पूलिंग (GAP) का उपयोग करता है। एक साझा मल्टी-लेयर पर्सेप्ट्रॉन (MLP) अनुकूलित वेट्स ( $\alpha_h, \alpha_v, \alpha_m$ ) उत्पन्न करता है ताकि विशिष्ट एक्सप्रेशन इंस्टेंस के आधार पर प्रत्येक मोशन स्ट्रीम के महत्व को गतिशील रूप से पुन: कैलिब्रेट किया जा सके।
स्क्वीज़-एंड-एक्साइटेशन (SE) ब्लॉक: मोशन इंटेंसिटी के प्रतिनिधित्व को बढ़ाने के लिए इंटर-चैनल डिपेंडेंसी को मॉडल करने हेतु मैग्निट्यूड ( $m$ ) स्ट्रीम पर एक समर्पित SE ब्लॉक लागू किया जाता है।
वर्गीकरण (Classification): तीनों स्ट्रीम के फीचर्स को फ्लैटन, कॉन्कैटिनेट और एक फुलली कनेक्टेड लेयर के माध्यम से मल्टी-लेबल वर्गीकरण के लिए पास किया जाता है।

E. प्रशिक्षण रणनीति (Training Strategy)

लॉस फंक्शन: आसान उदाहरणों को कम महत्व देने और कठिन, कम प्रतिनिधित्व वाले नमूनों पर ध्यान केंद्रित करने के लिए फोकल लॉस (Focal Loss) का उपयोग किया जाता है।
ऑगमेंटेशन: एक फेज-अवेयर टेम्पोरल ऑगमेंटेशन रणनीति का उपयोग किया जाता है, जिसमें बढ़ते और घटते दोनों चरणों पर प्रशिक्षण दिया जाता है ताकि टेम्पोरल मजबूती में सुधार हो सके।
ऑप्टिमाइज़र: अर्ली स्टॉपिंग के साथ एडम (Adam) ऑप्टिमाइज़र।

3. मुख्य योगदान (Key Contributions)

डुअल-व्यू ऑप्टिकल फ्लो दृष्टिकोण: उच्च-आयामी 4D मेश डेटा को सिंक्रोनाइज्ड 2D डुअल-व्यू ऑप्टिकल फ्लो मैप्स में सफलतापूर्वक प्रोजेक्ट करता है, जो कम्प्यूटेशनल दक्षता और ज्यामितीय मोशन संकेतों के संरक्षण के बीच संतुलन बनाता है।
ट्रिपल-स्ट्रीम MicroAttNet: एक नवीन आर्किटेक्चर जो मोशन को क्षैतिज, ऊर्ध्वाधर और परिमाण स्ट्रीम में अलग करता है, और नैव कॉन्कैटिनेशन के बजाय विशिष्ट एक्सप्रेशन के आधार पर भार देने के लिए फ्यूजन अटेंशन तंत्र का उपयोग करता है।
फेज-अवेयर डिकंपोजिशन: ऑनसेट-एपेक्स और एपेक्स-ऑफसेट चरणों को स्पष्ट रूप से मॉडल करना माइक्रो-एक्सप्रेशन के बेल-शेप्ड (bell-shaped) टेम्पोरल डायनेमिक्स को कैप्चर करने की अनुमति देता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: इस पद्धति ने 4DMR IJCAI वर्कशॉप चैलेंज 2025 में प्रथम स्थान प्राप्त किया, जो आधिकारिक बेसलाइन से काफी बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट: 4DMR 2025 चैलेंज में उपयोग किए गए 4DME डेटासेट (24 विषय, 5 भावना श्रेणियाँ: नेगेटिव, पॉजिटिव, रिप्रेशन, सरप्राइज, अन्य) पर मूल्यांकन किया गया।
मेट्रिक: मैक्रो-UF1 (अनवेटेड F1-स्कोर)।
प्रदर्शन:
- प्रस्तावित विधि (Red-Green-Blue टीम): 0.536 UF1 (आधिकारिक सबमिशन)।
- आंतरिक सर्वश्रेष्ठ कॉन्फ़िगरेशन (लेट सबमिशन): 0.554 UF1।
- आधिकारिक बेसलाइन: 0.355 UF1।
- सुधार: प्रस्तावित विधि बेसलाइन से 50% से अधिक बेहतर रही।
एब्लेशन स्टडीज (Ablation Studies):
- फ्यूजन अटेंशन मॉड्यूल को हटाने से स्कोर गिरकर 0.524 हो गया।
- SE ब्लॉक को हटाने से स्कोर गिरकर 0.518 हो गया।
- दोनों को हटाने से स्कोर 0.510 हो गया।
- यह पुष्टि करता है कि दोनों अटेंशन मैकेनिज्म लगभग 3.6 अंक का UF1 लाभ प्रदान करते हैं।
थ्रेशोल्ड ट्यूनिंग: मल्टी-लेबल वर्गीकरण के लिए इष्टतम निर्णय थ्रेशोल्ड (decision threshold) 0.20 पाया गया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र प्रदर्शित करता है कि 4D माइक्रो-एक्सप्रेशन रिकग्निशन के लिए आवश्यक नहीं है कि कम्प्यूटेशनल रूप से महंगे 3D डीप लर्निंग आर्किटेक्चर का उपयोग किया जाए। डुअल-व्यू ऑप्टिकल फ्लो में 4D डेटा को बुद्धिमानी से प्रोजेक्ट करके और मल्टी-स्ट्रीम अटेंशन मैकेनिज्म का उपयोग करके, लेखकों ने एक मजबूत, व्याख्या योग्य और अत्यधिक कुशल समाधान प्राप्त किया है।

परिणाम प्रमाणित करते हैं कि:

मोशन डिकपलिंग (u, v, m को अलग करना) मोशन को एक सिंगल टेंसर के रूप में मानने की तुलना में बेहतर है।
अनुकूलित फ्यूजन (अटेंशन के माध्यम से) विभिन्न दिशाओं में माइक्रो-एक्सप्रेशन के प्रकट होने के सूक्ष्म अंतरों को संभालने के लिए महत्वपूर्ण है।
फेज-अवेयर मॉडलिंग सूक्ष्म, क्षणिक चेहरे की गतिशीलता का पता लगाने में महत्वपूर्ण रूप से सुधार करती है।

यह कार्य 4D MER के लिए एक नया बेंचमार्क स्थापित करता है, जो सिद्ध करता है कि मल्टी-व्यू क्यूज़ को फेज-विशिष्ट मोशन मॉडलिंग के साथ जोड़ना उच्च-आयामी अफेक्टिव कंप्यूटिंग कार्यों के लिए एक अत्यधिक प्रभावी रणनीति है।