🤖 AI

Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring

यह शोध पत्र ट्विन साइकिल ऑटोएनकोडर (TCA) का प्रस्ताव करता है, जो एक नवीन स्थानिक-कालिक (spatiotemporal) आर्किटेक्चर है जो चुनौतीपूर्ण इन-कैबिन स्थितियों के तहत ड्राइवर मॉनिटरिंग के लिए फेशियल एक्शन यूनिट्स को मजबूती से पहचानने हेतु स्थानिक उपस्थिति पृथक्करण (spatial appearance disentanglement) और कालिक प्रक्षेपवक्र निरंतरता (temporal trajectory consistency) को एकीकृत करता है, जो एम्बेडेड हार्डवेयर पर रीयल-टाइम थ्रूपुट बनाए रखते हुए बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Sai Sidharth D

प्रकाशित 2026-07-21✓ Author reviewed ⓘ

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Sai Sidharth D

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपका एकमात्र सुराग एक झिलमिलाता, दानेदार सुरक्षा कैमरा फीड है। आप किसी चोर की तलाश नहीं कर रहे हैं; आप एक ऐसे ड्राइवर की तलाश कर रहे हैं जो गाड़ी चलाते समय झपकी लेने वाला है। यह ड्राइवर मॉनिटरिंग सिस्टम्स (DMS) की दुनिया है, कंप्यूटर विज्ञान का एक ऐसा क्षेत्र जो हमें यह देखते हुए सुरक्षित रखने के लिए समर्पित है कि हम गाड़ी चलाते समय कैसे दिखते हैं। वर्षों से, ये सिस्टम सरल तरकीबों पर निर्भर रहे हैं, जैसे कि आपकी आँखें कितनी देर तक बंद रहती हैं यह गिनना या यह देखना कि आप गाड़ी को कितना लहरा रहे हैं। लेकिन असली कहानी हमारे चेहरे की मांसपेशियों के सूक्ष्म, अनैच्छिक संकुचन में लिखी होती है। वैज्ञानिक इन सूक्ष्म गतिविधियों को "एक्शन यूनिट्स" (AUs) कहते हैं। एक AU को एक एकल, परमाणु मांसपेशी कमांड के रूप में समझें—जैसे कि वह विशिष्ट संकुचन जो जम्हाई लेते समय होता है, या नींद से लड़ने के दौरान आपकी पलकों का हल्का सा खिंचाव। चुनौती यह है कि कार के अंदर, रोशनी चकाचौंध करने वाली धूप से लेकर घने अंधेरे तक बदलती रहती है, आपका सिर इधर-उधर हिलता रहता है, और कभी-कभी आप धूप का चश्मा भी पहनते हैं। यह एक अराजक वातावरण है जहाँ एक कंप्यूटर को एक सेकंड से भी कम समय में होने वाले मांसपेशी संकुचन को पहचानना होता है, जो अक्सर छाया या कांच के पीछे छिपा होता है।

यह शोध पत्र एक नए प्रकार के डिजिटल जासूस को पेश करता है जिसे "ट्विन साइकिल ऑटोएनकोडर" (TCA) कहा जाता है। केवल यह अनुमान लगाने के लिए कि ड्राइवर क्या महसूस कर रहा है, एक सिंगल स्नैपशॉट देखने के बजाय, यह सिस्टम चेहरे की कहानी को समय के साथ समझने के लिए दो चतुर "लूप्स" का उपयोग करता है। पहला लूप, "स्पेशियल" (स्थानिक) शाखा, यह सीखना सीखती है कि व्यक्ति कौन है या उसने क्या पहना है, इसे नजरअंदाज करते हुए मांसपेशियों की गतिविधियों को कैसे पहचाना जाए। दूसरा लूप, "टेम्पोरल" (सामयिक) शाखा, एक 'टाइम-ट्रैवलिंग एडिटर' की तरह कार्य करती है, जो वीडियो को आगे और फिर पीछे चलाकर यह सुनिश्चित करती है कि गति की कहानी दोनों दिशाओं में सही हो। इन दोनों लूप्स को एक-दूसरे के साथ सहमत होने के लिए मजबूर करके, सिस्टम थकान के सबसे सूक्ष्म संकेतों, जैसे कि धीमी पलक झपकना या आधा खुला मुंह, को पकड़ने में सक्षम होता है, भले ही कैमरा संघर्ष कर रहा हो। शोधकर्ताओं ने इसे मानक डेटासेट्स और एक वास्तविक-दुनिया के ड्राइविंग सिम्युलेटर पर परखा, जिसमें पाया गया कि उनका "ट्विन" सिस्टम थकान के इन सूक्ष्म और क्षणिक संकेतों को पकड़ने में पुराने तरीकों की तुलना में बहुत बेहतर है, और यह आज के वास्तविक कार में उपयोग किए जाने के लिए पर्याप्त तेज़ है।

समस्या: अराजक कार केबिन

कार के भीतर उनींदेपन का पता लगाना बेहद कठिन है। एक शांत लैब में, कैमरा आसानी से जम्हाई को पहचान सकता है। लेकिन एक चलती हुई गाड़ी के अंदर, दुनिया चुनौतियों का एक ढेर है। सूरज लेंस पर सीधी चमक डाल सकता है, और फिर अचानक कार एक अंधेरी सुरंग में प्रवेश कर सकती है। ड्राइवर ब्लाइंड स्पॉट देखने के लिए अपना सिर घुमा सकता है, या धूप का चश्मा पहन सकता है जो उसकी आँखों को छिपा देता है। इसके अलावा, थकान के संकेत अविश्वसनीय रूप से सूक्ष्म होते हैं। ड्राइवर अभी सोया नहीं है; वह केवल थकान के एक 'माइक्रो-एक्सप्रेशन' से गुजर रहा हो सकता है—भौं का एक छोटा सा संकुचन या लगभग अदृश्य पलक झपकना। ये संकेत इतने हल्के और अल्पकालिक होते हैं कि पुराने कंप्यूटर मॉडल, जो आमतौर पर एक समय में एक फ्रेम देखते हैं, उन्हें अक्सर पूरी तरह से मिस कर देते हैं। वे इसलिए भी संघर्ष करते हैं क्योंकि लेबल किया गया डेटा कम है; विशेषज्ञों द्वारा हर एक मांसपेशी संकुचन को मैन्युअल रूप से मार्क करने वाला हजारों घंटों का ड्राइविंग वीडियो प्राप्त करना महंगा और कठिन है।

समाधान: ट्विन साइकिल ऑटोएनकोडर

लेखक एक समाधान प्रस्तावित करते हैं जिसे ट्विन साइकिल ऑटोएनकोडर (TCA) कहा जाता है। यह समझने के लिए कि यह कैसे काम करता है, कल्पना करें कि आप एक रोबोट को एक विशिष्ट नृत्य मुद्रा पहचानने के लिए सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास उस नृत्य का वीडियो नहीं है, बल्कि केवल यादृच्छिक फोटो का एक ढेर है।

1. दो शाखाएं (जुड़वां)
TCA दो जुड़वा भाइयों की तरह बना है जो अलग-अलग कौशल में विशेषज्ञ हैं लेकिन मिलकर काम करते हैं:

स्पेशियल ट्विन ("लाइक-अ-लाइक" डिटेक्टर): यह शाखा वीडियो के एक सिंगल फ्रेम को देखती है। इसका काम उन सभी चीजों को हटाना है जो मांसपेशी की गति नहीं है। यह ड्राइवर की पहचान, उसके बालों की शैली, या टोपी पहनने को नजरअंदाज करता है। यह पूरी तरह से "एक्शन यूनिट" यानी विशिष्ट मांसपेशी के आकार पर ध्यान केंद्रित करता है। यह एक "साइकिल" ट्रिक का उपयोग करता है: यह मांसपेशी डेटा से चेहरे को फिर से बनाने (rebuild) की कोशिश करता है। यदि यह चेहरे को सही ढंग से फिर से बना सकता है, तो यह जानता है कि इसने सही मांसपेशी जानकारी को कैप्चर कर लिया है।
टेम्पोरल ट्विन ("टाइम-ट्रैवल" एडिटर): यह शाखा वीडियो के एक छोटे क्लिप (लगभग 1.6 सेकंड लंबा) को देखती है। यह देखता है कि चेहरा समय के साथ आगे बढ़ रहा है, और फिर यह वीडियो को पीछे चलाने की कोशिश करता है। यह यहाँ भी एक "साइकिल" ट्रिक का उपयोग करता है: यदि गति आगे की ओर सही लगती है, तो उसे पीछे की ओर भी सही लगना चाहिए। यह सिस्टम को केवल एक स्थिर चित्र के बजाय जम्हाई या पलक झपकने की लय (rhythm) को समझने में मदद करता है।

2. हैंडशेक (लेटेंट अलाइनमेंट)
ये दोनों जुड़वां अकेले काम नहीं करते हैं। वे एक "हैंडशेक" तंत्र द्वारा जुड़े हुए हैं। सिस्टम यह सुनिश्चित करने के लिए मजबूर करता है कि स्पेशियल ट्विन की किसी विशिष्ट क्षण की चेहरे की समझ, टेम्पोरल ट्विन की उसी क्षण की गति की समझ से मेल खाती हो। यह सुनिश्चित करता है कि "दिखावट" और "गति" एक ही कहानी कह रहे हैं। यदि टेम्पोरल ट्विन देखता है कि जम्हाई शुरू हो रही है, तो स्पेशियल ट्विन को सहमत होना चाहिए कि मुंह खुल रहा है, भले ही रोशनी खराब हो।

3. बिना शिक्षक के सीखना (सेल्फ-सुपरवाइज्ड लर्निंग)
इस सिस्टम का सबसे शक्तिशाली पहलू यह है कि यह कैसे सीखता है। आमतौर पर, AI को प्रशिक्षित करने के लिए आपको एक विशाल डेटासेट की आवश्यकता होती है जहाँ मनुष्यों ने हर एक मांसपेशी संकुचन को लेबल किया हो। लेकिन ड्राइविंग के मामले में, ऐसा डेटा दुर्लभ है। TCA अपने "साइकिल" ट्रिक्स का उपयोग करके इस कमी को दूर करता है और खुद से सीखने के लिए अनलेबल ड्राइविंग वीडियो का उपयोग करता है। यह सीखता है कि एक "सामान्य" चेहरा कैसा दिखता है और कैसे हिलता है, बस वीडियो को आगे और पीछे देखकर। बाद में, यह थकान के विशिष्ट संकेतों को पहचानने की अपनी क्षमता को बेहतर बनाने के लिए लेबल किए गए डेटा के एक छोटे से हिस्से का उपयोग करता है।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने "ट्विन" सिस्टम का परीक्षण कई अन्य लोकप्रिय तरीकों के विरुद्ध किया, जिनमें वे सिस्टम शामिल हैं जो केवल सिंगल फ्रेम देखते हैं, वे जो 3D वीडियो फिल्टर का उपयोग करते हैं, और वे जो ग्राफ नेटवर्क का उपयोग करते हैं। उन्होंने इसे मानक बेंचमार्क (DISFA और BP4D) और एक सिम्युलेटर में वास्तविक ड्राइवरों के साथ रिकॉर्ड किए गए प्राकृतिक ड्राइविंग डेटासेट पर परखा।

सूक्ष्मता को पकड़ने में बेहतर: TCA ने अन्य सभी तरीकों को लगातार पछाड़ दिया। यह कम तीव्रता वाले या बहुत तेज़ AUs, जैसे कि AU45 (आंखें बंद होना) और AU43 (आंखें धीरे-धीरे बंद होना), को पहचानने में विशेष रूप से अच्छा था, जो उनींदेपन के प्रमुख संकेत हैं। यह AU26 (जबड़ा गिरना) के साथ भी अच्छा प्रदर्शन करता है, जो जम्हाई का संकेत है।
समय की शक्ति: जब उन्होंने "टेम्पोरल" शाखा (टाइम-ट्रैवल एडिटर) को हटा दिया, तो सिस्टम का प्रदर्शन काफी गिर गया। इससे यह साबित हुआ कि थकान को पहचानने के लिए समय के साथ गति को देखना महत्वपूर्ण है।
स्व-शिक्षण की शक्ति: जब उन्होंने बिना प्री-ट्रेनिंग वाले TCA की तुलना सेल्फ-सुपरवाइज्ड प्री-ट्रेनिंग वाले संस्करण से की, तो प्री-ट्रेन किया गया संस्करण बहुत बेहतर था। यह सुझाव देता है कि सिस्टम ने अनलेबल ड्राइविंग फुटेज से उपयोगी पैटर्न सफलतापूर्वक सीख लिए हैं, जिससे लेबल किए गए डेटा की कमी के कारण पैदा हुआ अंतर भर गया है।
वास्तविक दुनिया की गति: सिस्टम न केवल सटीक था, बल्कि तेज़ भी था। एक एम्बेडेड कंप्यूटर (NVIDIA Jetson Xavier NX) पर परीक्षण करने पर, जो कार के अंदर फिट हो सकता है, सिस्टम 28.4 फ्रेम प्रति सेकंड की गति से चला। यह वास्तविक समय में ड्राइवर को अलर्ट देने के लिए पर्याप्त तेज़ है, जो सुरक्षा प्रणालियों के लिए आवश्यक 10-15 fps से भी अधिक है।

सीमाएं और भविष्य के कदम

यह सिस्टम पूर्ण नहीं है। शोधकर्ताओं ने पाया कि जब ड्राइवर धूप का चश्मा पहनते थे, तो सिस्टम ऊपरी चेहरे (जैसे भौंहों या पलकों) से संबंधित AUs के साथ संघर्ष करता था। चश्मा दृश्य को बाधित कर देता था, और सिस्टम केवल निचले चेहरे की गति से "अनुमान" नहीं लगा पाता था। हालांकि, यह निचले चेहरे की क्रियाओं जैसे जम्हाई के लिए मजबूत बना रहा, क्योंकि मुंह दिखाई दे रहा था।

यह शोध पत्र निष्कर्ष निकालता है कि यह "ट्विन साइकिल" दृष्टिकोण अगले पीढ़ी के ड्राइवर मॉनिटरिंग के लिए एक व्यवहार्य मार्ग है। यह सुझाव देता है कि स्थानिक और सामयिक चक्रों को जोड़कर, और अनलेबल डेटा का अधिकतम लाभ उठाने के लिए सेल्फ-सुपरवाइज्ड लर्निंग का उपयोग करके, हम ऐसे सिस्टम बना सकते हैं जो सटीक और व्यावहारिक दोनों हों। भविष्य का कार्य सिस्टम को बाधाओं (जैसे धूप का चश्मा) को बेहतर ढंग से संभालने के लिए सिखाने और चेहरे के संकेतों को अन्य डेटा (जैसे स्टीयरिंग व्हील की गतिविधियों) के साथ जोड़ने पर केंद्रित होगा, ताकि थकान की एक स्पष्ट तस्वीर मिल सके।

तकनीकी सारांश: ट्विन साइकिल ऑटोएन्कोडर का उपयोग करके स्पैटियोटेम्पोरल फेशियल एक्शन यूनिट डिटेक्शन (ड्राइवर मॉनिटरिंग के लिए)

समस्या विवरण

ड्राइवर मॉनिटरिंग सिस्टम (DMS) ड्राइवर की अवस्थाओं जैसे कि उनींदापन (drowsiness), व्याकुलता (distraction) और संज्ञानात्मक भार (cognitive load) का अनुमान लगाने के लिए तेजी से फेशियल एक्शन यूनिट्स (AUs) पर निर्भर हो रहे हैं। हालांकि, नियंत्रित प्रयोगशाला सेटिंग्स की तुलना में प्राकृतिक ड्राइविंग वातावरण में AUs का पता लगाना महत्वपूर्ण चुनौतियां पेश करता है। इन चुनौतियोंों में शामिल हैं:

पर्यावरणीय परिवर्तनशीलता (Environmental Variability): तेजी से बदलती रोशनी (सूरज की चमक, टनल, नाइट इन्फ्रारेड) और आंशिक अवरोध (चश्मा, हाथ, मास्क)।
गतिशील स्थितियां (Dynamic Conditions): शोल्डर चेक के दौरान सिर की मुद्रा (head-pose) में अत्यधिक बदलाव।
सिग्नल की विशेषताएं (Signal Characteristics): प्रासंगिक AUs (जैसे थकान से संबंधित AU45, AU43; जम्हाई से संबंधित AU26) अक्सर कम तीव्रता वाले, संक्षिप्त और सूक्ष्म होते हैं।
डेटा की कमी (Data Scarcity): सार्वजनिक रूप से उपलब्ध AU-एनोटेटेड कॉर्पोरा (जैसे DISFA, BP4D) नियंत्रित, अच्छी रोशनी वाली गैर-ड्राइविंग स्थितियों में रिकॉर्ड किए गए हैं, जिससे ड्राइविंग फुटेज पर इनका सामान्यीकरण (generalization) खराब हो जाता है। इसके विपरीत, सघन रूप से AU-लेबल वाला प्राकृतिक ड्राइविंग डेटा दुर्लभ और एकत्र करने में महंगा है।
वास्तुकला संबंधी सीमाएं (Architectural Limitations): मौजूदा डीप लर्निंग दृष्टिकोण अक्सर स्थानिक उपस्थिति (spatial appearance) और टेम्पोरल डायनेमिक्स को अलग-अलग मानते हैं या उनमें बिना लेबल वाले वीडियो का उपयोग करने के लिए तंत्र की कमी होती है।

कार्यप्रणाली: ट्विन साइकिल ऑटोएन्कोडर (TCA)

लेखक ट्विन साइकिल ऑटोएन्कोडर (TCA) का प्रस्ताव करते हैं, जो एक स्पैटियोटेम्पोरल आर्किटेक्चर है जिसे सेल्फ-सुपरवाइज्ड साइकिल कंसिस्टेंसी के माध्यम से लेबल किए गए और बिना लेबल वाले ड्राइविंग वीडियो दोनों का लाभ उठाकर मजबूत AU रिप्रजेंटेशन सीखने के लिए डिज़ाइन किया गया है।

1. आर्किटेक्चर अवलोकन

TCA दो युग्मित शाखाओं (coupled branches) से बना है जो विभिन्न स्तरों (granularities) पर कार्य करती हैं:

स्पेशियल साइकिल ऑटोएन्कोडर (SCA): यह व्यक्तिगत फ्रेम पर कार्य करता है। यह एक कनवल्शनल एनकोडर (ResNet-18 बैकबोन) का उपयोग करता है जो चेहरे की छवि को एक AU-प्रासंगिक लेटेंट कोड ( $z_t^S$ ) में मैप करता है, जो स्पष्ट रूप से पहचान-विशिष्ट जानकारी को हटा देता है। एक डिकोडर इस लेटेंट कोड और एक सहायक पहचान कोड का उपयोग करके फ्रेम को पुनर्गठित (reconstruct) करता है। स्थानिक चक्र (spatial cycle) को सीखा गया AU दिशाओं के साथ लेटेंट कोड को विचलित करके, पुनः एनकोड करके और हेरफेर लक्ष्य (manipulation target) के विरुद्ध तुलना करके बनाया जाता है। यह पहचान से AU उपस्थिति को अलग करने के लिए इमेज-लेवल साइकिल कंसिस्टेंसी को लागू करता है।
टेम्पोरल साइकिल ऑटोएन्कोडर (TCAE-T): यह स्थानिक लेटेंट कोड के अनुक्रमों (sequences) पर कार्य करता है। एक टेम्पोरल एनकोडर (बाइडायरेक्शनल GRU या ट्रांसफॉर्मर) अनुक्रम को एक टेम्पोरल लेटेंट ट्राजेक्टरी में मैप करता है। एक टेम्पोरल डिकोडर उल्टे क्रम में अनुक्रम को पुनर्गठित करता है। पुनर्गठित और वास्तविक उलटे अनुक्रम के बीच का अंतर टेम्पोरल साइकिल-कंसिस्टेंसी लॉस बनाता है, जो ऑनसेट-एपेक्स-ऑफसेट डायनेमिक्स को कैप्चर करने के लिए फॉरवर्ड-बैकवर्ड कंसिस्टेंसी को लागू करता है।

2. क्रॉस-ब्रांच कपलिंग और फ्यूजन

दोनों शाखाओं को एक क्रॉस-ब्रांच लेटेंट अलाइनमेंट लॉस के माध्यम से जोड़ा जाता है। यह एक हल्के वजन वाले MLP के माध्यम से साझा एम्बेडिंग स्पेस में प्रोजेक्ट किए गए टेम्पोरल एनकोडर के हिडन स्टेट ( $h_t$ ) और स्थानिक लेटेंट कोड ( $z_t^S$ ) के बीच की दूरी को कम करता है।

लॉस फंक्शन: अलाइनमेंट वर्ग (squared) यूक्लिडियन दूरी के बजाय कोसाइन डिस्टेंस का उपयोग करता है, क्योंकि एम्बेडिंग की दिशा को मैग्निट्यूड की तुलना में AU सिमेंटिक्स के लिए अधिक सार्थक माना जाता है, और यह सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग के दौरान अधिक स्थिर रहा।
फ्यूजन: मल्टी-लेबल AU वर्गीकरण के लिए स्पैटियोटेम्पोरल डिस्क्रिप्टर ( $f_t$ ) बनाने हेतु संरेखित (aligned) स्थानिक और टेम्पोरल एम्बेडिंग्स को एक मल्टी-हेड अटेंशन मॉड्यूल का उपयोग करके संयोजित किया जाता है।

3. प्रशिक्षण रणनीति

मॉडल एक दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग: इसे केवल साइकिल-कंसिस्टेंसी ऑब्जेक्टिव्स ( $L_{rec}^S, L_{cyc}^S, L_{cyc}^T, L_{align}$ ) का उपयोग करके बिना लेबल वाले इन-कैबिन ड्राइविंग वीडियो ( $D_U$ ) के एक बड़े वॉल्यूम पर प्रशिक्षित किया जाता है। वर्गीकरण लॉस ( $L_{cls}$ ) को शून्य पर सेट किया जाता है।
सुपरविद सुपरवाइज्ड फाइन-ट्यूनिंग: इसे लेबल वाले डेटा ( $D_L$ ) के छोटे सेट पर प्रशिक्षित किया जाता है जिसमें सभी लॉस टर्म्स, सहित वेटेड मल्टी-लेबल AU क्लासिफिकेशन लॉस, सक्रिय होते हैं।

कुल लॉस एक भारित योग है: $L = \lambda_1 L_{rec}^S + \lambda_2 L_{cyc}^S + \lambda_3 L_{cyc}^T + \lambda_4 L_{align} + \lambda_5 L_{cls}$ ।

मुख्य योगदान

TCA आर्किटेक्चर: एक नवीन स्पैटियोटेमपोरल फ्रेमवर्क जो पहचान-अपरिवर्तनीय (identity-invariant) उपस्थिति के लिए स्पेशियल साइकिल ऑटोएन्कोडर और फॉरवर्ड-बैकवर्ड डायनेमिक कंसिस्टेंसी के लिए टेम्पोरल साइकिल ऑटोएन्कोडर को जोड़ता है।
क्रॉस-ब्रांच अलाइनमेंट: एक लेटेंट अलाइनमेंट लॉस का परिचय जो स्थानिक और टेम्पोरल रिप्रजेंटेशन को जोड़ता है, जिससे फ्यूज्ड रिप्रजेंटेशन स्थिर होता है।
सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग: एक रणनीति जो सीमित लेबल वाले ड्राइविंग डेटा पर फाइन-ट्यूनिंग करने से पहले स्पैटियोटेम्पोरल संरचना को सीखने के लिए बिना लेबल वाले ड्राइविंग वीडियो के बड़े वॉल्यूम का लाभ उठाती है।
व्यापक मूल्यांकन: मानक बेंचमार्क (DISFA, BP4D) और एक प्राकृतिक ड्राइविंग डेटासेट पर व्यापक प्रयोग, जिसमें एब्लेशन अध्ययन और एम्बेडेड हार्डवेयर पर रियल-टाइम इन्फरेंस विश्लेषण शामिल है।

प्रयोगात्मक परिणाम

TCA का मूल्यांकन DISFA, BP4D और एक प्राकृतिक ड्राइविंग सिम्युलेटर डेटासेट (जिसमें NIR इल्यूमिनेशन, सनग्लासेस और हैंड ऑक्लूजन शामिल है) पर किया गया।

बेंचमार्क प्रदर्शन: TCA ने DISFA (64.7%) और BP4D (67.3%) दोनों पर उच्चतम मीन F1 स्कोर प्राप्त किया, जो फ्रेम-आधारित (JAA-Net), रिकरेंट (ConvLSTM-AU), 3D-CNN (I3D), और ग्राफ-आधारित (ME-GraphAU) बेसलाइन्स से बेहतर प्रदर्शन करता है। लाभ कम-तीव्रता और क्षणिक (transient) AUs के लिए सबसे अधिक स्पष्ट थे।
प्राकृतिक ड्राइविंग प्रदर्शन: ड्राइविंग डेटासेट पर, सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग के साथ TCA ने 63.1% का समग्र F1 प्राप्त किया, जो प्रीट्रेनिंग के बिना उसी आर्किटेक्चर (56.3%) और अन्य बेसलाइन्स से काफी बेहतर है। यह बिना लेबल वाले डेटा से स्पैटियोटेम्पोरल संरचना को स्थानांतरित करने की प्रभावकारिता को प्रदर्शित करता है।
एब्लेशन अध्ययन:
- टेम्पोरल साइकिल लॉस को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप (63.1% से 57.8% तक) हुआ, जो इसके सुधार के प्राथमिक स्रोत के रूप में इसकी भूमिका की पुष्टि करता है।
- क्रॉस-ब्रांच अलाइनमेंट को हटाने से छोटा लेकिन निरंतर ड्रॉप (60.6% तक) हुआ।
- GRU टेम्पोरल एनकोडर को ट्रांसफॉर्मर से बदलने से थोड़ा F1 सुधार (+0.8%) मिला लेकिन लेटेंसी बढ़ गई।
रियल-टाइम प्रदर्शन: NVIDIA Jetson Xavier NX पर, GRU-आधारित TCA ने 28.4 fps (35.2 ms लेटेंसी) प्राप्त किया, जो डौज़िनेस अलर्टिंग के लिए आवश्यक 10–15 fps की दहलीज से अधिक है।
ऑक्लूजन विश्लेषण: मॉडल ने लोअर-फेस ऑक्लूजन के प्रति मजबूती दिखाई, लेकिन सनग्लासेस ऑक्लूजन के तहत अपर-फेस AUs (AU4, AU6, AU7) के लिए महत्वपूर्ण प्रदर्शन गिरावट (24–27 F1 पॉइंट ड्रॉप) देखी गई, जो पुष्टि करती है कि आंख का क्षेत्र गैर-अवलोकन योग्य हो जाता है और मॉडल के पास क्षतिपूर्ति संकेत (compensating signals) की कमी होती है।

महत्व और दावे

पेपर का दावा है कि TCA आर्किटेक्चर बिना लेबल वाले इन-कैबिन वीडियो का प्रभावी ढंग से उपयोग करके स्पैटियोटेम्पोरल रिप्रजेंटेशन सीखने के माध्यम से ड्राइवर मॉनिटरिंग में महत्वपूर्ण अंतर को संबोधित करता है। स्पेशियल और टेम्पोरल डोमेन में साइकिल कंसिस्टेंसी को लागू करके, मॉडल ऐसे AU फीचर्स सीखता है जो पहचान से स्वतंत्र हैं और समय के साथ सुसंगत हैं, जो विशेष रूप से चुनौतीपूर्ण ड्राइविंग स्थितियों में सूक्ष्म, अल्पकालिक थकान संकेतों का पता लगाने के लिए फायदेमंद है।

लेखक का तर्क है कि सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग और TCA आर्किटेक्चर का संयोजन सीमित लेबल वाले ड्राइविंग डेटा के साथ भी उच्च-प्रदर्शन वाला AU डिटेक्शन सक्षम बनाता है। इसके अलावा, एम्बेडेड हार्डवेयर (Jetson Xavier NX) पर रियल-टाइम थ्रूपुट का प्रदर्शन उत्पादन-ग्रेड ADAS में AU-आधारित DMS को तैनात करने की व्यावहारिक व्यवहार्यता का समर्थन करता है। यह कार्य अपर-फेस ऑक्लूजन (सनग्लासेस) के संबंध में वर्तमान प्रणालियों की विशिष्ट सीमाओं को उजागर करता है, जो शुद्ध अपीयरेंस-आधारित फिक्स के बजाय ऑक्लूजन-अवेयर एक्सटेंशन की ओर भविष्य के कार्य को प्रेरित करता है।