💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINO 11वें ABAAB चुनौती के लिए एक मल्टी-टास्क लर्निंग सिस्टम है जो चेहरे के प्रभाव की अस्पष्टता को अनिश्चितता-जागरूक जनरेटिव भविष्यवाणियों के माध्यम से मॉडल करने के लिए DINOv3 बैकबोन पर एक कंडीशनल रेक्टिफाइड-फ्लो हेड का लाभ उठाता है, जिससे वैलेंस-एरोसल अनुमान, एक्सप्रेशन क्लासिफिकेशन और एक्शन यूनिट डिटेक्शन में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

प्रकाशित 2026-07-16

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप केवल एक फोटो देखकर यह अनुमान लगाने की कोशिश कर रहे हैं कि आपका कोई दोस्त कैसा महसूस कर रहा है। यह एक कठिन खेल है। एक हल्की सी मुस्कान का मतलब खुशी हो सकता है, या शायद वे दुखी होने के बावजूद केवल शिष्टाचार दिखा रहे हों। एक सिकुड़ी हुई भौंह गुस्से का संकेत हो सकती है, या केवल गहरी एकाग्रता का। यह "अफेक्टिव कंप्यूटिंग" (affective computing) की दुनिया है—कंप्यूटर को मानवीय भावनाओं को पढ़ना सिखाना। लंबे समय तक, वैज्ञानिकों ने ऐसे मॉडल बनाने की कोशिश की जो एक सख्त जज की तरह काम करते थे, जो हर चेहरे को एक ही बॉक्स में फिट करने के लिए मजबूर करते थे: "यह 100% खुश है" या "यह 100% उदास है।" लेकिन मानवीय चेहरे जटिल और अस्पष्ट होते हैं। कभी-कभी, एक चेहरा मिश्रित भावनाओं को समेटे होता है, या रोशनी के कारण एक सूक्ष्म अभिव्यक्ति को पढ़ना कठिन हो जाता है। इस क्षेत्र का बड़ा सवाल यह है: हम कंप्यूटर को यह कैसे सिखाएं कि एक चेहरा केवल एक एकल उत्तर नहीं है, बल्कि संभावनाओं की एक पूरी श्रृंखला है?

यह शोध पत्र AffectFlow-DINO नामक एक नया सिस्टम पेश करता है, जिसे ठीक इसी समस्या को हल करने के लिए डिज़ाइन किया गया है। किसी व्यक्ति के मूड के लिए केवल एक "सबसे अच्छा अनुमान" चुनने के बजाय, टीम ने एक ऐसा मॉडल बनाया है जो एक साथ कई संभावित मूडों की कल्पना करना सीखता है। इसे एक मौसम विज्ञानी की तरह समझें। एक पारंपरिक मॉडल कह सकता है, "दोपहर 2 बजे बारिश होगी।" एक बेहतर, अनिश्चितता-जागरूक मॉडल कहता है, "70% संभावना है कि बारिश होगी, 20% संभावना है कि बादल छाए रहेंगे, और 10% संभावना है कि धूप निकलेगी।" AffectFlow-DINO भावनाओं के लिए यही करता है। यह "रेक्टिफाइड फ्लो" (rectified flow) नामक एक चतुर गणितीय तकनीक का उपयोग करता है ताकि प्रत्येक चेहरे के लिए संभावित भावनात्मक अवस्थाओं का एक समूह (cloud) तैयार किया जा सके। इन संभावनाओं का औसत निकालकर, यह अक्सर एक मानक मॉडल की तुलना में अधिक सटीक उत्तर खोज लेता है। शोधकर्ताओं ने वास्तविक दुनिया के चेहरों के एक विशाल डेटासेट पर इसका परीक्षण किया और पाया कि अनिश्चितता को स्वीकार करके, उनका सिस्टम सूक्ष्म भावनाओं को पहचानने में काफी बेहतर हो गया, विशेष रूप से डर या उदासी जैसी दुर्लभ भावनाओं के लिए जिन्हें आमतौर पर अनदेखा कर दिया जाता है।

समस्या: "एक-आकार-सभी-के-लिए" वाला जाल

कल्पना कीजिए कि आप फोन पर अपने मित्र को एक जटिल पेंटिंग का वर्णन करने की कोशिश कर रहे हैं। यदि आपको पूरे चित्र को वर्णित करने के लिए केवल एक शब्द चुनने के लिए मजबूर किया जाए, तो आप कह सकते हैं "नीला"। लेकिन वह पेंटिंग वास्तव में नीले, धूसर और लाल रंग के एक छोटे से छींटे का मिश्रण है। यदि आप केवल "नीला" कहते हैं, तो आप बारीकियों को खो देते हैं।

चेहरे की पहचान (facial recognition) की दुनिया में, कंप्यूटर इस "एक-शब्द" वाले जाल में फंसे हुए हैं। वे एक चेहरे को देखते हैं और "वैलेंस" (Valence - मूड कितना सकारात्मक या नकारात्मक है) और "एरोसल" (Arousal - उत्तेजना या शांति का स्तर) के लिए एक एकल संख्या, साथ ही चेहरे की मांसपेशियों की गतिविधियों की एक सूची जिसे "एक्शन यूनिट्स" (Action Units) कहा जाता है, आउटपुट करने की कोशिश करते हैं। समस्या यह है कि वास्तविक दुनिया में, चेहरे अस्पष्ट होते हैं। मुंह की एक हल्की सी हरकत मुस्कान, दर्द भरी अभिव्यक्ति, या केवल एक मांसपेशी की ऐंठन हो सकती है। एक मानक कंप्यूटर मॉडल उस सारी अस्पष्टता को एक एकल, कठोर भविष्यवाणी में दबा देता है, जिससे वह अनिश्चितता भी खत्म हो जाती है जो सही उत्तर के सुराग रखने में सक्षम होती है।

समाधान: एक "क्या-होगा" मशीन

इस शोध पत्र के लेखकों ने कंप्यूटर से यह पूछना बंद करने का निर्णय लिया कि "भावना क्या है?" और इसके बजाय यह पूछना शुरू किया कि "भावना क्या हो सकती है?"

उन्होंने AffectFlow-DINO नामक एक सिस्टम बनाया। यह एक शक्तिशाली, प्री-ट्रेंड "मस्तिष्क" (एक DINOv3 विजुअल बैकबोन) से शुरू होता है जो पहले से ही चेहरों को पहचानने में बहुत अच्छा है। लेकिन केवल इस मस्तिष्क को एक अनुमान लगाने देने के बजाय, उन्होंने इसके ऊपर एक विशेष "कल्पना इंजन" जोड़ा। यह इंजन Rectified Flow तकनीक का उपयोग करता है।

इसे समझने का एक सरल तरीका यहाँ दिया गया है:

शोर (The Noise): कल्पना कीजिए कि स्टैटिक शोर (जैसे टीवी का शोर) से ढके एक खाली कैनवास से शुरुआत हो रही है।
यात्रा (The Journey): मॉडल उस शोर को एक विशिष्ट भावना में बदलने के लिए एक सीधा, कुशल रास्ता सीखता है। यह "भ्रम" से "खुशी" तक एक सीधी रेखा खींचने जैसा है।
बादल (The Cloud): जब मॉडल एक नया चेहरा देखता है, तो वह केवल एक रेखा नहीं खींचता। वह शोर से भावना के स्थान तक कई रेखाएं खींचता है। प्रत्येक रेखा उस चेहरे की एक अलग, संभावित व्याख्या का प्रतिनिधित्व करती है।
औसत (The Average): अंत में, यह उन सभी रेखाओं का औसत लेता है। यदि चेहरा स्पष्ट रूप से खुश है, तो सभी रेखाएं "खुश" की ओर इशारा करेंगी, और औसत एक मजबूत, आत्मविश्वासी "खुश" होगा। यदि चेहरा अस्पष्ट है, तो रेखाएं फैल जाएंगी, और औसत एक सूक्ष्म उत्तर देगा जो अनिश्चितता को पकड़ता है।

परिणाम: कठिन चीजों में बेहतर होना

टीम ने अपने सिस्टम का परीक्षण s-Aff-Wild2 डेटासेट पर किया, जिसमें वास्तविक दुनिया के चेहरों की हजारों स्थिर छवियां हैं। ये छवियां कठिन हैं क्योंकि वे अक्सर खराब रोशनी वाली, आंशिक रूप से ढकी हुई, या बहुत सूक्ष्म अभिव्यक्तियाँ दिखाने वाली होती हैं। लक्ष्य एक साथ तीन चीजें बताना था:

वैलेंस-एरोसल (Valence-Arousal): व्यक्ति कितना सकारात्मक/नकारात्मक और कितना उत्साहित/शांत है।
अभिव्यक्तियाँ (Expressions): आठ भावनाओं (जैसे खुशी, डर, उदासी) में से कौन सी मौजूद है।
एक्शन यूनिट्स (Action Units): बारह विशिष्ट चेहरे की मांसपेशियों में से कौन सी हिल रही हैं।

परिणाम प्रभावशाली थे। अपने "कल्पिमा इंजन" का उपयोग करके, मॉडल ने वेलेंस-एरोसल स्कोर का अनुमान लगाने की अपनी क्षमता में महत्वपूर्ण सुधार किया (एक स्कोर सुधार +0.058)। लेकिन असली जादू दुर्लभ भावनाओं के साथ हुआ।

वास्तविक दुनिया में, कुछ भावनाएं बहुत दुर्लभ होती हैं। उनके डेटासेट में, डर (Fear) केवल लगभग 3.8% लेबल की गई छवियों में दिखाई दिया, और उदासी (Sadness) भी काफी दुर्लभ थी। मानक मॉडल आमतौर पर इन दुर्लभ मामलों को अनदेखा कर देते हैं, और अधिकांश समय "न्यूट्रल" या "अन्य" का अनुमान लगाते हैं। हालांकि, AffectFlow-DINO सिस्टम ने इन दुर्लभ भावनाओं को पहचानने की क्षमता हासिल कर ली।

एक चतुर पोस्ट-प्रोसेसिंग स्टेप (प्रत्येक भावना के लिए "निर्णय सीमा" को अलग से ट्यून करना) के माध्यम से, जो एक विशिष्ट कार्य पर फाइन-ट्यून किए गए मॉडल पर लागू किया गया था, उन्होंने डर का पता लगाने की क्षमता को निराशाजनक 3.8% F1 स्कोर से बढ़ाकर 33.1% और उदासी को 17.1% से 28.2% तक पहुँचा दिया। इस विशिष्ट कैलिब्रेशन स्टेप के लिए पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं थी; यह केवल उस सिग्नल को ध्यान से सुनने का मामला था जिसे फाइन-ट्यून्ड मॉडल पहले से ही सीख रहा था।

उन्होंने क्या खारिज किया

शोधकर्ताओं ने केवल एक चीज़ का परीक्षण नहीं किया; उन्होंने 26 अलग-अलग डिज़ाइन विकल्पों का परीक्षण किया यह देखने के लिए कि वास्तव में क्या काम करता है।

उन्होंने "केवल फ्लो" या "केवल डिटरमिनिस्टिक" को खारिज कर दिया: उन्होंने पाया कि यदि वे मानक "एक-अनुमान" वाले हेड्स के बिना केवल "कल्पना इंजन" (Flow) का उपयोग करते, तो मॉडल विफल हो जाता। इसके विपरीत, यदि वे फ्लो के बिना केवल मानक हेड्स का उपयोग करते, तो वे सूक्ष्मता को खो देते। दोनों हिस्सों को एक साथ काम करना ही होगा।
उन्होंने असंतुलन के लिए सरल सुधारों को खारिज कर दिया: उन्होंने केवल गणितीय वेट्स बदलकर या "फोकल लॉस" (Focal Loss) का उपयोग करके कंप्यूटर को दुर्लभ भावनाओं पर अधिक ध्यान देने के लिए प्रेरित करने की कोशिश की। ये तरीके अकेले अच्छी तरह से काम नहीं करते थे और कभी-कभी अन्य कार्यों में मॉडल को और खराब कर देते थे।
उन्होंने "किचन सिंक" फाइन-ट्यूनिंग को खारिज कर दिया: उन्होंने सभी संभावित ट्रिक्स (वेट बदलना, सैंपलिंग रणनीतियाँ आदि) को एक साथ मिलाकर देखने की कोशिश की। आश्चर्यजनक रूप से, इस "किचन सिंक" दृष्टिकोण ने अंतिम स्कोर में सुधार नहीं किया; वास्तव में, इसने कभी-कभी मूड (वैलेंस) का सटीक अनुमान लगाने की मॉडल की क्षमता को नुकसान पहुँचाया।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि बेहतर भावना पहचान की कुंजी केवल कंप्यूटर को "स्मार्ट" या "बड़ा" बनाना नहीं है, बल्कि उसे अनिश्चितता के साथ सहज होना सिखाना है। मॉडल को संभावनाओं की एक श्रृंखला तलाशने देने और फिर उनका औसत निकालने से, AffectFlow-DINO ने 1.177 का अंतिम प्रदर्शन स्कोर प्राप्त किया, जो आधिकारिक बेसलाइन स्कोर 0.45 से दोगुने से भी अधिक है।

लेखक निष्कर्ष निकालते हैं कि जबकि उनका सिस्टम एक बड़ी प्रगति है, सबसे बड़े लाभ दो चीजों से आए:

विजुअल ब्रेन को फाइन-ट्यून करना: प्री-ट्रेंड फेस रिकग्नाइज़र को विशिष्ट कार्य के लिए समायोजित करना।
निर्णय सीमाओं (Decision Thresholds) को कैलिब्रेट करना: यह महसूस करना कि कंप्यूटर वास्तव में दुर्लभ भावनाओं को "देख" रहा था, लेकिन उसे बस अपने स्वयं के संकेतों पर भरोसा करने के लिए एक हल्के से धक्के की आवश्यकता थी।

यह कार्य बताता है कि भावना AI का भविष्य केवल एक एकल उत्तर थोपने में नहीं, बल्कि मानवीय अभिव्यक्ति की जटिल और बहुआयामी वास्तविकता को अपनाने में निहित है।

तकनीकी सारांश: AffectFlow-DINO

समस्या विवरण (Problem Statement)

11वीं अफेक्टिव बिहेवियर एनालिसिस इन-द-वाइल्ड (ABAA) प्रतियोगिता एक चुनौतीपूर्ण मल्टी-टास्क लर्निंग (MTL) परिदृश्य प्रस्तुत करती है जहाँ प्रत्येक स्थिर चेहरे की छवि को एक साथ तीन पूरक अफेक्ट रिप्रेजेंटेशन के साथ एनोटेट किया जाना चाहिए: निरंतर वैलेंस-एरोसल (VA) मान, एक आठ-तरफा श्रेणीबद्ध अभिव्यक्ति लेबल (categorical expression label), और बारह बाइनरी एक्शन यूनिट (AU) लेबल।

यह सेटिंग महत्वपूर्ण कठिनाइयाँ पेश करती है:

विषम लक्ष्य (Heterogeneous Targets): कार्य आउटपुट प्रकार (रिग्रेशन, सिंगल-लेबल क्लासिफिकेशन, और मल्टी-लेबल डिटेक्शन) और सुपरविजन डेंसिटी में भिन्न हैं।
गंभीर क्लास इम्बैलेंस (Severe Class Imbalance): s-Aff-Wild2 डेटासेट एक्सप्रेशन क्लासेस में 8× असंतुलन (Neutral, Other, और Happiness द्वारा प्रधान) और AUs में 29× असंतुलन प्रदर्शित करता है।
अपूर्ण सुपरविजन (Incomplete Supervision): संयुक्त तीन-कार्य एनोटेशन केवल 37% ट्रेनिंग फ्रेम्स को कवर करते हैं, जिसके लिए मजबूत हैंडलिंग की आवश्यकता है।
अनुभूति संबंधी अस्पष्टता (Perceptual Ambiguity): इन-द-वाइल्ड फेशियल बिहेवियर्स (जैसे, सूक्ष्म मुस्कान, आंशिक रुकावट/occlusion) अक्सर संयुक्त अफेक्ट स्पेस में कई संभावित कॉन्फ़िगरेशन से संबंधित होते हैं। मानक नियत (deterministic) मॉडल इस अस्पष्टता को एक सिंगल पॉइंट एस्टीमेट में समेट देते हैं, जिससे मूल्यवान अनिश्चितता जानकारी नष्ट हो जाती है।

कार्यप्रणाली: AffectFlow-DINO (Methodology: AffectFlow-DINO)

लेखक AffectFlow-DINO का प्रस्ताव करते हैं, जो एक फ्रेम-लेवल MTL सिस्टम है जो एक मानक नियत आर्किटेक्चर को पूर्ण संयुक्त अफेक्ट डिस्ट्रीब्यूशन $p(y|x)$ को मॉडल करने के लिए एक कंडीशनल रिक्टिफाइड-फ्लो हेड (conditional rectified-flow head) के साथ संवर्धित करता है।

आर्किटेक्चर ओवरव्यू

सिस्टम के चार प्राथमिक घटक हैं:

विजुअल बैकबोन (Visual Backbone): एक फ्रोजन DINOv3 ViT-S/16 एनकोडर समृद्ध फेशियल रिप्रेजेंटेशन निकालता है। लेखक नोट करते हैं कि DINO के सेल्फ-सुपरवाइज्ड ऑब्जेक्टिव्स स्थानिक सिमेंटिक निरंतरता (spatial semantic consistency) को लागू करते हैं, जो इसे MAE जैसे रिकंस्ट्रक्शन-आधारित प्री-ट्रेनिंग की तुलना में स्थानीयकृत मांसपेशी सक्रियण (AUs) का पता लगाने के लिए बेहतर बनाता है।
शेयर्ड प्रोजेक्शन (Shared Projection): एक प्रोजेक्शन हेड बैकबोन फीचर्स को एक कॉम्पैक्ट 768-डायमेंशनल अफेक्ट एम्बेडिंग $z$ में मैप करता है।
डिटरमिनिस्टिक हेड्स (Deterministic Heads): तीन टास्क-स्पेसिफिक MLP हेड्स VA (tanh के माध्यम से $[-1, 1]$ तक सीमित), एक्सप्रेशन (8 लॉजिट्स), और AUs (12 लॉजिट्स) के लिए पॉइंट प्रेडिक्शंस उत्पन्न करते हैं।
कंडीशनल रिक्टिफाइड-फ्लो हेड (Conditional Rectified-Flow Head): यह मुख्य नवाचार आइसोट्रोपिक गौसियन नॉइज़ से कंडीशनल टारगेट डिस्ट्रीब्यूशन $p(y|x)$ तक एक जेनेरेटिव ट्रांसपोर्ट मैप सीखता है। यह इमेज एम्बेडिंग $z$ , एक लीनियरली इंटरपोलेटेड नॉइज़्ड टारगेट $y_t$ , और एक टाइम एम्बेडिंग $\gamma(t)$ लेता है ताकि ट्रांसपोर्ट वेलोसिटी की भविष्यवाणी की जा सके।

संयुक्त प्रतिनिधित्व और मास्क्ड सुपरविजन (Joint Representation and Masked Supervision)

मॉडल विषम लक्ष्यों को एक एकल 22-डायमेंशनल वेक्टर $y \in \mathbb{R}^{22}$ में एकीकृत करता है, जिसमें VA (2 dims), एक्सप्रेशन (8 dims), और AUs (12 dims) शामिल हैं। ट्रेनिंग के दौरान, कैटेगरीकल और बाइनरी डायमेंशन को फ्लो ट्राजेक्टरी के भीतर अनकन्स्ट्रेंड रियल-वैल्यूड स्कोर्स के रूप में माना जाता है। डिस्क्रीट प्रेडिक्शन्स को केवल इन्फरेंस के दौरान $\arg\max$ और सिग्मॉइड थ्रेशोल्डिंग के माध्यम से रिकवर किया जाता है।

अपूर्ण एनोटेशन को संभालने के लिए, सभी लॉस टर्म्स पर एक प्रति-सैंपल बाइनरी वैलिडिटी मास्क $m_i$ लागू किया जाता है। यह सुनिश्चित करता है कि गायब लक्ष्य ग्रेडिएंट्स में योगदान न दें या फ्लो ट्रेनिंग सिग्नल को विकृत न करें। लेखक तर्क देते हैं कि इस धारणा के तहत कि एनोटेशन की कमी वास्तविक अफेक्ट वैल्यूज से स्वतंत्र है, मास्किंग मॉडल को आंशिक मार्जिनल्स से पूर्ण संयुक्त वितरण सीखने की अनुमति देती है।

ट्रेनिंग और इन्फरेंस (Training and Inference)

लॉस फंक्शन: कुल ऑब्जेक्टिव एक वेटेड डिटरमिनिस्टिक मल्टी-टास्क लॉस ( $\mathcal{L}_{det}$ ) और एक फ्लो लॉस ( $\mathcal{L}_{flow}$ ) को जोड़ता है:
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
फ्लो लॉस प्रेडिक्टेड वेलोसिटी और वास्तविक कांस्टेंट वेलोसिटी फील्ड $v^* = y - \epsilon$ के बीच स्क्वेर्ड एरर को कम करता है।
इन्फरेंस: एक सिंगल फॉरवर्ड पास के बजाय, मॉडल मोंटे कार्लो सैंपलिंग करता है। $N$ स्वतंत्र नॉइज़ सैंपल्स को $t=0$ से $t=1$ तक यूलर स्टेप्स के माध्यम से इंटीग्रेट किया जाता है। अंतिम प्रेडिक्शन इन ट्राजेक्टरीज का औसत है, जो एक पॉइंट एस्टीमेट (मीन) और एक अनसर्टेन्टी मेजर (स्प्रेड) दोनों प्रदान करता है।

प्रमुख योगदान (Key Contributions)

मास्क्ड रिक्टिफाइड-फ्लो MTL ऑब्जेक्टिव: एक नया फ्रेम जो 22-डायमेंशनल अफेक्ट वेक्टर पर डिटरमिनिस्टिक टास्क हेड्स और एक जेनेरेटिव कंडीशनल डिस्ट्रीब्यूशन को संयुक्त रूप से ऑप्टिमाइज़ करता है, जो मास्किंग के माध्यम से मिसिंग लेबल्स को हैंडल करता है।
सिस्टमैटिक एब्लेशन स्टडी: s-Aff-Wild2 पर 26 डिज़ाइन चॉइस को कवर करने वाला एक व्यापक मूल्यांकन, जिसमें फ्लो लॉस वेट्स, इन्फरेंस एफिशिएंसी, इम्बैलेंस रेमेडीज, बैकबोन फाइन-ट्यूनिंग और पोस्ट-हॉक कैलिब्रेशन शामिल हैं।
पोस्ट-हॉक कैलिब्रेशन स्ट्रैटेजीज: यह प्रदर्शन करना कि प्रति-AU और प्रति-क्लास एक्सप्रेशन थ्रेशोल्ड कैलिब्रेशन बिना रिट्रेनिंग के गंभीर रूप से इम्बैलेंस्ड दुर्लभ क्लासेस (जैसे, Fear, Sadness, AU15, AU23) पर प्रदर्शन को प्रभावी ढंग से रिकवर कर सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन s-Aff-Wild2 वैलिडेशन स्प्लिट पर किया गया। आधिकारिक चैलेंज बेसलाइन एक कंपोजिट मेट्रिक $PMTL = 0.45$ प्राप्त करती है।

बेसलाइन परफॉरमेंस: एक डिटरमिनिस्टिक-ओनली मॉडल ( $\beta=0$ ) $PMTL = 0.793 $प्राप्त करता है। फ्लो हेड और फ्लो डिकोडिंग जोड़ने से ($ \beta=1 $) यह बढ़कर$ PMTL = 0.826$ हो जाता है, जिसमें फ्लो सैंपलिंग विशेष रूप से वैलेंस-एरोसल (VA) एस्टीमेशन ($CCC-V +0.058$) को बूस्ट करता है।
बैकबोन फाइन-ट्यूनिंग: लो-लर्निंग-रेट फाइन-ट्यूनिंग वाले DINOv3 बैकबोन ने सबसे महत्वपूर्ण लाभ प्रदान किया, जिससे बेस्ट फ्रोजन-बैकबोन रिजल्ट ($0.831 $) बढ़कर$ PMTL = 1.045$ हो गया। दिलचस्प बात यह है कि फाइन-ट्यूनिंग के बाद, डिटरमिनिस्टिक डिकोडिंग ने फ्लो डिकोडिंग से बेहतर प्रदर्शन किया, जो सुझाव देता है कि फ्लो हेड को रिट्यून करने की आवश्यकता थी।
फ्लो रिट्यूनिंग: बैकबोन फाइन-ट्यूनिंग के दौरान फ्लो ऑब्जेक्टिव को पुनः सक्रिय करने ( $\beta=1.0$ ) से डिटरमिनिस्टिक परफॉरमेंस $PMTL = 1.073$ तक सुधर गया।
कैलिब्रेशन गेन्स:
- प्रति-AU थ्रेशोल्ड कैलिब्रेशन: इसने $PAU $को$ 0.453 $से$ 0.502 $तक सुधारा, जिससे कुल स्कोर$ 1.123$ हो गया।
- प्रति-क्लास एक्सप्रेशन कैलिब्रेशन: वैलिडेशन सेट पर क्लास-स्पेसिफिक लॉजिट्स को ट्यून करके, मॉडल ने दुर्लभ क्लासेस के लिए लेटेंट सिग्नल को रिकवर किया। Fear F1 $3.8\%$ से बढ़कर $33.1\%$ और Sadness $17.1\%$ से बढ़कर $28.2\%$ हो गया।
फाइनल परफॉरमेंस: बैकबोन फाइन-ट्यूनिंग, फ्लो रिट्यूनिंग ( $\beta=1.0$ ), और कंबाइंड पोस्ट-हॉक कैलिब्रेशन के संयोजन ने अंतिम **$PMTL = 1.177 $** प्राप्त किया, जो आधिकारिक बेसलाइन ($ 0.45 $) और बेस्ट अनकैलिब्रेटेड फाइन-ट्यून्ड मॉडल ($ 1.045$) से काफी बेहतर है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि AffectFlow-DINO यह प्रदर्शित करता है कि चेहरे के अफेक्ट को एक डिटरमिनिस्टिक मैपिंग के बजाय एक कंडीशनल डिस्ट्रीब्यूशन के रूप में मॉडल करने का क्या महत्व है। लेखक तीन प्राथमिक सबक हाइलाइट करते हैं:

ऑब्जेक्टिव्स की पूरकता (Complementarity of Objectives): फ्लो और डिटरमिनिस्टिक ऑब्जेक्टिव्स एक दूसरे के पूरक हैं। फ्लो-ओनली ट्रेनिंग डिटरमिनिस्टिक एंकर के बिना कोलैप्स हो जाती है, जबकि डिटरमिनिस्टिक-ओनली इन्फरेंस डिस्ट्रिब्यूशनल क्षमता को त्याग देता है। फ्लो सैंपलिंग विशेष रूप से निरंतर लक्ष्यों (VA) के लिए प्रभावी है जहाँ अस्पष्टता सबसे अधिक होती है।
फाइन-ट्यूनिंग की भूमिका: हालांकि बैकबोन एडैप्टेशन परफॉरमेंस गेन्स का प्रमुख कारक है, लेकिन यदि फाइन-ट्यूनिंग के दौरान फ्लो हेड को जॉइंटली रिट्यून नहीं किया जाता है, तो जेनेरेटिव पाथवे खराब हो जाता है।
दुर्लभ सिग्नल्स को अनलॉक करना: गंभीर क्लास इम्बैलेंस सीखे गए सिग्नल्स को दबा देता है लेकिन उन्हें मिटाता नहीं है। लेखक दावा करते हैं कि पोस्ट-हॉक कैलिब्रेशन शून्य के करीब F1 स्कोर वाली दुर्लभ श्रेणियों (Fear, Sadness, दुर्लभ AUs) को बिना किसी रिट्रेनिंग लागत के "अनलॉक" कर सकता है, जो सुझाव देता है कि निर्णय सीमाओं (decision boundaries) को प्रतिनिधित्व में पहले से मौजूद सिग्नल्स को सामने लाने के लिए समायोजित किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि स्टेट-ऑफ-द-आर्ट (SOTA) के अंतर को पाटने के लिए टेम्पोरल एग्रीगेशन और अधिक एक्सप्रेसिव फाइन-ट्यून्ड डिकोडिंग की आवश्यकता है, यह ध्यान रखते हुए कि उनका वर्तमान कार्य सख्ती से फ्रेम-लेवल है।