Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction

कल्पना कीजिए कि आप केवल अपने दोस्त के चेहरे को देखकर यह अनुमान लगाने की कोशिश कर रहे हैं कि वह क्या महसूस कर रहा है। आपको यह जानने के लिए कि वह खुश है या क्रोधित, उसकी त्वचा के हर एक रोमछिद्र को स्कैन करने या उसकी हर पलक को गिनने की आवश्यकता नहीं है; आपको बस मुख्य संकेतों को पहचानने की आवश्यकता है, जैसे मुस्कान का घुमाव या आँखों की झुर्री। यही फेशियल इमोशन रिकग्निशन (FER) का सार है, जो कंप्यूटर विज्ञान का एक क्षेत्र है जहाँ मशीनें मानवीय भावनाओं को पढ़ना सीखती हैं। इसे करने के लिए, आधुनिक कंप्यूटर अक्सर एक शक्तिशाली उपकरण का उपयोग करते हैं जिसे विज़न ट्रांसफॉर्मर (Vision Transformer) कहा जाता है। एक विज़न ट्रांसफॉर्मर को एक बहुत ही व्यवस्थित जासूस की तरह समझें जो एक फोटो को सैकड़ों छोटे पहेली के टुकड़ों (जिन्हें "टोकन" कहा जाता है) में तोड़ देता है और फिर पूरी तस्वीर को समझने के लिए एक साथ हर एक टुकड़े को देखने की कोशिश करता है। हालांकि यह तरीका अविश्वसनीय रूप से स्मार्ट है, लेकिन इसमें एक बड़ी खामी है: हर एक टुकड़े को देखने में बहुत अधिक मानसिक शक्ति और समय लगता है, जिससे यह स्मार्टफोन या रोबोट जैसे छोटे उपकरणों पर चलना बहुत भारी और धीमा हो जाता है।

यह हमें पेरिस 8 विश्वविद्यालय के शोधकर्ताओं अया मानल ज़िटौनी, आइचा ज़ेनाखरी, करीम हारौन और लार्बी बुबचिर द्वारा किए गए एक नए अध्ययन की ओर ले जाता है। उन्होंने एक सरल लेकिन साहसी प्रश्न पूछा: क्या एक कंप्यूटर को भावना का अनुमान लगाने के लिए वास्तव में पूरे चेहरे को देखने की आवश्यकता है, या क्या वह केवल सबसे महत्वपूर्ण हिस्सों को देखकर काम चला सकता है? उनका उत्तर एक दमदार "हाँ, यह कम चीजों के साथ भी काम चला सकता है" है। उन्होंने स्पार्स अटेंशन टू इमोशन (SAE) नामक एक नई विधि विकसित की। SAE को करने के बजाय कि कंप्यूटर को चेहरे के हर छोटे टुकड़े को घूरने के लिए मजबूर किया जाए, SAE एक स्मार्ट संपादक की तरह कार्य करता है जो फोटो के उबाऊ, महत्वहीन हिस्सों को जल्दी से काट देता है और केवल "शो के सितारों" को रखता है—जैसे आँखें, मुँह और गालों के हिस्से। आश्चर्यजनक रूप से, यहाँ तक कि जब उन्होंने इमेज के 90% टुकड़ों को फेंक दिया, तब भी कंप्यूटर ने भारी और धीमी विधियों के लगभग समान ही सटीकता से भावनाओं का अनुमान लगाया, लेकिन उसने बहुत कम प्रयास के साथ ऐसा किया।

समस्या: अत्यधिक सोचने वाला (The Over-Thinker)

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन उन कुछ संकेतों को देखने के बजाय जो मायने रखते हैं, आप 500 पन्नों के विश्वकोश का हर एक पन्ना पढ़ने का निर्णय लेते हैं। आपको उत्तर मिल जाएगा, लेकिन आप थक जाएंगे और इसमें आपको बहुत समय लगेगा। वर्तमान फेशियल रिकग्निशन मॉडल बिल्कुल यही करते हैं। वे एक चेहरे को छोटे-छोटे वर्गों (टोकन) के एक विशाल ग्रिड की तरह मानते हैं और हर एक वर्ग और दूसरे वर्ग के बीच के संबंध का विश्लेषण करने की कोशिश करते हैं। गणितीय शब्दों में, यह एक "क्वाड्रेटिक कॉम्प्लेक्सिटी" (quadratic complexity) बनाता है, जो एक फैंसी तरीका है यह कहने का कि जैसे-जैसे चित्र बड़ा होता है, कंप्यूटर को जो काम करना पड़ता है वह विस्फोट की तरह बढ़ता है। यह इन मॉडलों को "एज" (edge)—हमारे पास मौजूद छोटे, रोजमर्रा के उपकरणों, जैसे फोन या पहनने योग्य उपकरणों (wearables)—पर चलाने के लिए बहुत भारी बना देता है।

समाधान: स्मार्ट संपादक (The Smart Editor)

LIASD प्रयोगशाला में काम करने वाले इस शोधपत्र के पीछे के शोधकर्ताओं ने परिकल्पना की कि भावनाओं के मामले में चेहरे के सभी हिस्से समान नहीं होते हैं। उनका मानना था कि विशिष्ट क्षेत्र, जैसे आँखें और मुँह, यह बताने के लिए आवश्यक "विभेदक जानकारी" (discriminative information) रखते हैं कि कोई दुखी, खुश या क्रोधित है, जबकि बाकी की त्वचा केवल बैकग्राउंड शोर है।

इसकी जांच करने के लिए, उन्होंने स्पार्स अटेंशन टू इमोशन (SAE) नामक एक मॉडल बनाया। यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

1. प्रारंभिक स्कैन: मॉडल पहले चेहरे को देखता है और उसे टोकन में तोड़ देता है, ठीक वैसे ही जैसे भारी मॉडल करते हैं।
2. स्कोरकार्ड: इसके बाद यह एक "स्मार्ट सवाल" (जिसे [CLS] टोकन कहा जाता है) का उपयोग करके यह पता लगाता है कि चेहरे के कौन से हिस्से वास्तव में भावना के लिए महत्वपूर्ण हैं। यह प्रत्येक एकल टोकन को एक स्कोर देता है।
3. बड़ी छंटाई (The Great Cull): यह जादू वाला हिस्सा है। मॉडल स्कोर को देखता है और कहता है, "ठीक है, हमें केवल शीर्ष 10% (या 30%, या 60%) टोकन की आवश्यकता है।" यह उच्च स्कोर वाले टोकन को रखता है (आमतौर पर आँखें और मुँह) और बाकी को फेंक देता है।
4. मर्जिंग ट्रिक (The Merging Trick): लेकिन रुकिए, आप चीजों को सिर्फ डिलीट नहीं कर सकते और खाली जगह नहीं छोड़ सकते! यदि आप पहेली के 90% टुकड़े हटा देते हैं, तो तस्वीर बिखर जाएगी। इसलिए, SAE उन सभी हटाए गए टुकड़ों को लेता है, उन्हें एक एकल "फ्यूज्ड" (fused) टोकन में मिला देता है, और उस एक टोकन को मिश्रण में वापस जोड़ देता है। यह सब कुछ हटा देने और एक खाली जगह छोड़ने जैसा नहीं है; यह ऐसा है जैसे आप सभी उबाऊ बैकग्राउंड दृश्यों को लेकर, उन्हें एक एकल छोटे गोले में सिकोड़ देते हैं, और उसे अपनी मुख्य तस्वीर के बगल में टेप से चिपका देते हैं। अब आपके पास महत्वपूर्ण विवरण और बाकी का एक छोटा सारांश है, लेकिन आप केवल महत्वपूर्ण हिस्सों पर ही भारी गणित कर रहे हैं।

परिणाम: कम काम, वही समझ (Less Work, Same Smarts)

टीम ने RAF-DB नामक एक विशाल डेटासेट पर इस विचार का परीक्षण किया, जिसमें लोगों की वास्तविक तस्वीरें शामिल हैं जो सात अलग-अलग भावनाएं दिखा रही हैं: आश्चर्य, भय, घृणा, क्रोध, तटस्थ (neutral), उदासी और खुशी। उन्होंने अपने नए "स्मार्ट संपादक" की तुलना मौजूदा सर्वश्रेष्ठ विधियों से की।

परिणाम आश्चर्यजनक रूप से प्रभावी थे। शोधकर्ताओं ने पाया कि:

• 90% टोकन रखने पर (केवल 10% काटना): मॉडल प्रतिस्पर्धी रहा, जिसने बड़े खिलाड़ियों के बराबर प्रदर्शन किया।
• 60% टोकन रखने पर (40% काटना): सटीकता 91.17% तक पहुँच गई, जो हाल के ट्रांसफॉर्मर-आधारित तरीकों के साथ अत्यधिक प्रतिस्पर्धी बनी रही।
• 30% टोकन रखने पर (70% काटना): मॉडल 91.00% सटीकता के साथ मजबूत बना रहा।
• केवल 10% टोकन रखने पर (90% काटना): यहाँ तक कि जब उन्होंने इमेज डेटा के 90% हिस्से को फेंक दिया, तब भी मॉडल ने 91.13% सटीकता प्राप्त की।

इसे संदर्भ में रखने के लिए, सबसे उन्नत मौजूदा विधियाँ (जैसे S2D* या BTN) आमतौर पर 92.57% के आसपास पीक सटीकता तक पहुँचती हैं। हालाँकि SAE का शीर्ष स्कोर 91.17% सबसे भारी मॉडलों के पूर्ण शिखर से थोड़ा कम है, लेकिन इसका ट्रेड-ऑफ (लाभ) बहुत बड़ा है। 90% तक के टोकन को हटाकर, SAE कंप्यूटेशनल लागत को 90% तक कम कर देता है।

शोधपत्र स्पष्ट रूप से इस विचार का खंडन करता है कि हमें भावनाओं को पहचानने के लिए "पूर्ण चेहरे की जानकारी" की आवश्यकता है। वे दिखाते हैं कि "पूरी तस्वीर" वाला दृष्टिकोण अक्षम है और विशिष्ट, विभेदक क्षेत्रों पर ध्यान केंद्रित करना न केवल एक शॉर्टकट है, बल्कि काम करने का एक स्मार्ट तरीका भी है।

यह क्यों महत्वपूर्ण है

इस खोज की खूबसूरती यह है कि इसे चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। यह सिद्ध करके कि हम सटीकता को बहुत कम खोए बिना 90% डेटा को फेंक सकते हैं, शोधकर्ताओं ने चेहरे की भावना पहचान को "एज" (edge) के लिए हल्का बनाने का मार्ग दिखाया है। इसका अर्थ है कि भविष्य के ऐप्स आपके फोन, आपकी स्मार्टवॉच, या यहाँ तक कि एक छोटे रोबोट पर भी चल सकते हैं, जो बिना बैटरी सुखाए या क्लाउड कनेक्शन की आवश्यकता के तुरंत समझ सकते हैं कि आप कैसा महसूस कर रहे हैं।

लेखक निष्कर्ष निकालते हैं कि उनकी विधि, स्पार्स अटेंशन टू इमोशन, एक मजबूत और कुशल समाधान है। यह सुझाव देता है कि भावनाओं को पढ़ने के विशेष कार्य के लिए, "कम ही अधिक है"। कंप्यूटर को शोर को अनदेखा करने और सिग्नल पर ध्यान केंद्रित करने की अनुमति देकर, हम तेज़, सस्ते और अधिक सुलभ तकनीक बना सकते हैं जो मानवीय भावनाओं को समझती है।