🤖 AI

See Through the Noise: Improving Domain Generalization in Gaze Estimation

यह शोध पत्र सी-थ्रू-नॉइज़ (SeeTN) फ्रेमवर्क प्रस्तुत करता है, जो एक सिमेंटिक एम्बेडिंग स्पेस का निर्माण करके और नॉइज़ी सैंपल्स को अलग करने के लिए एफिनिटी रेगुलराइजेशन को लागू करके गेज़ एस्टीमेशन में लेबल नॉइज़ को व्यापक रूप से संबोधित करने वाला पहला है, जिससे सोर्स-डोमेन सटीकता से समझौता किए बिना क्रॉस-डोमेन सामान्यीकरण को महत्वपूर्ण रूप से बढ़ाया गया है।

मूल लेखक: Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

प्रकाशित 2026-04-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि इंसानों की तरह चीजों को कैसे देखा जाता है। इसे गेज़ एस्टिमेशन (gaze estimation) कहा जाता है। रोबोट को यह सीखने की जरूरत है कि कोई व्यक्ति कहाँ देख रहा है, इसके लिए उसे आँखों की तस्वीरों की आवश्यकता होती है।

समस्या यह है कि इस रोबोट को सिखाना एक ऐसी नई भाषा सीखने जैसा है जिसका डिक्शनरी (शब्दकोश) गलतियों (typos) से भरा हुआ है।

समस्या: "शोर वाले" शिक्षक (Noisy Teachers)

वास्तविक दुनिया में, एकदम सटीक डेटा प्राप्त करना कठिन है। कभी-कभी, फोटो लेने वाला व्यक्ति ठीक उसी दिशा में नहीं देख रहा होता जहाँ लेबल बताता है। शायद उसने पलक झपकाई हो, या रोशनी अजीब रही हो, या फोटो को लेबल करने वाले व्यक्ति ने कोई गलती की हो।

इस शोध पत्र में, लेखक इन गलतियों को "लेबल नॉइज़" (label noise) कहते हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक एक छात्र को वृत्त (circle) बनाना सिखाने की कोशिश कर रहा है। लेकिन शिक्षक के अपने चित्र टेढ़े-मेढ़े और अपूर्ण हैं। यदि छात्र उन टेढ़े-मेढ़े रेखाओं को पूरी तरह से याद करने की कोशिश करता है, तो वह खराब वृत्त बनाना सीख जाएगा। जब वह छात्र एक नए कक्षा (नए वातावरण) में जाता है, तो वह असफल हो जाता है क्योंकि उसने 'वृत्त' की अवधारणा के बजाय 'गलतियों' को रट लिया था।

वर्तमान AI मॉडल अक्सर वातावरण (जैसे अलग कैमरे या लाइटिंग) को अनदेखा करने की कोशिश करते हैं, लेकिन वे यह जांचना भूल जाते हैं कि क्या "शिक्षक" (डेटा लेबल) वास्तव में उन्हें झूठ बोल रहा है। यह उन्हें एक नई जगह पर जाने पर विफल बना देता है।

समाधान: "शोर के पार देखना" (SeeTN)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जिसे SeeTN (See Through the Noise) कहा जाता है। इसे एक स्मार्ट फिल्टर के रूप में समझें जो रोबोट को एक "अच्छे सबक" और एक "बुरे सबक" के बीच अंतर करने में मदद करता है।

यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "सिमेंटिक मैप" बनाना (पड़ोस)

आमतौर पर, AI केवल तस्वीर को देखता है और कोण का अनुमान लगाता है। SeeTN कुछ अधिक स्मार्ट करता है। यह एक सिमेंटिक मैप (Semantic Map) बनाता है।

उपमा: एक विशाल पड़ोस की कल्पना करें जहाँ हर घर दृष्टि की एक विशिष्ट दिशा (जैसे, "बाईं ओर देखना," "ऊपर देखना") का प्रतिनिधित्व करता है।
एक सामान्य AI में, वे घर जो पड़ोसी होने चाहिए (जैसे "थोड़ा बाईं ओर देखना" और "बहुत बाईं ओर देखना"), दूर हो सकते हैं।
SeeTN की तरकीब: यह AI को इन घरों को इस तरह व्यवस्थित करने के लिए मजबूर करता है ताकि उनकी स्थिति मानचित्र पर इस तरह हो कि वे दृष्टि की समानता से पूरी तरह मेल खाएं। यदि दो लोग लगभग एक ही दिशा में देख रहे हैं, तो उनके "घर" उनके बिल्कुल बगल में होने चाहिए। यह आँखों के काम करने के तरीके का एक सुचारू और तार्किक मानचित्र बनाता है।

2. "स्निफ टेस्ट" (झूठ बोलने वालों को ढूँढना)

एक बार मानचित्र बन जाने के बाद, सिस्टम हर छात्र (डेटासेट में प्रत्येक फोटो) की जाँच करता है।

उपमा: सिस्टम पूछता है, "क्या इस छात्र का उत्तर उसके पड़ोसियों से मेल खाता है?"
यदि एक छात्र कहता है, "मैं चंद्रमा की ओर देख रहा हूँ!" लेकिन उसके सभी पड़ोसी (समान आंखों की बनावट वाले लोग) जमीन की ओर देख रहे हैं, तो सिस्टम जानता है कि कुछ गलत है।
यह इंडिकेटर ( $\eta$ ) है। यह "बेमेल" (mismatch) को मापता है। यदि बेमेल बहुत बड़ा है, तो सिस्टम उस फोटो को नोइज़ी (Noisy) (एक बुरा शिक्षक) के रूप में चिह्नित करता है। यदि बेमेल कम है, तो यह क्लीन (Clean) (एक अच्छा शिक्षक) है।

3. "स्मार्ट ट्यूटर" रणनीति (शोर को संभालना)

अब, AI दोनों समूहों के साथ अलग तरह से व्यवहार करता है:

क्लीन ग्रुप के लिए: यह उन्हें ध्यान से सुनता है। यह कहता है, "आप सही हैं, जो कर रहे हैं उसे करते रहें।"
नोइज़ी ग्रुप के लिए: यह उन्हें फेंक नहीं देता! ऐसा करना बर्बादी होगी। इसके बजाय, यह कहता है, "आपका लेबल शायद गलत है, लेकिन आप अभी भी एक अच्छे छात्र हैं। इसके बजाय अपने पड़ोसियों (साफ-सुथरे छात्रों) को देखें कि आपको वास्तव में क्या सीखना चाहिए।"
उपमा: एक छात्र की कल्पना करें जो गलत उत्तर दे रहा है क्योंकि उसकी पाठ्यपुस्तक में टाइपो (गलती) है। छात्र को कक्षा से बाहर निकालने के बजाय, शिक्षक कहता है, "अपनी किताब के उस पन्ने को अनदेखा करो। अपने बगल में बैठे स्मार्ट बच्चों को देखो, और उनसे सीखो।"

यह क्यों महत्वपूर्ण है

पिछले अधिकांश तरीकों ने AI के मस्तिष्क को वातावरण को अनदेखा करने के लिए ठीक करने की कोशिश की। यह पेपर कहता है, "पहले डेटा को ठीक करें।"

डेटा के शोर को साफ करके और AI को विभिन्न दृष्टियों के बीच के संबंधों (मैप) को सीखने में मदद करके, रोबोट बहुत अधिक मजबूत हो जाता है।

परिणाम: जब इस रोबोट को एक नए शहर में नए कैमरे, नई लाइटिंग और नए लोगों के साथ भेजा जाता है, तो यह भ्रमित नहीं होता है। इसने "देखने" की वास्तविक अवधारणा सीखी है, न कि केवल अपने पहले शिक्षक की विशिष्ट गलतियों को।

सारांश

समस्या: आई-ट्रैकिंग के लिए AI विफल हो जाता है क्योंकि प्रशिक्षण डेटा छिपी हुई गलतियों (शोर) से भरा होता है।
समाधान: SeeTN नामक एक नया सिस्टम दृष्टि दिशाओं का एक तार्किक मानचित्र बनाता है।
जादुई प्रक्रिया: यह पहचानता है कि कौन सा डेटा "टूटा हुआ" है और AI को "अच्छे" डेटा से सीखने में मदद करता है ताकि "बुरे" डेटा को ठीक किया जा सके, न कि केवल बुरे डेटा को अनदेखा करने में।
परिणाम: एक ऐसा AI जो दुनिया को देख सकता है और जान सकता है कि लोग कहाँ देख रहे हैं, चाहे वह कहीं भी हो या उसका डेटा कितना भी अव्यवस्थित क्यों न हो।

यहाँ शोध पत्र "See Through the Noise: Improving Domain Generalization in Gaze Estimation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: गेज़ एस्टिमेशन (नज़र का अनुमान लगाना) मानव-कंप्यूटर इंटरेक्शन और VR जैसे अनुप्रयोगों के लिए महत्वपूर्ण है। हालांकि डीप लर्निंग ने प्रदर्शन में सुधार किया है, लेकिन मॉडल अक्सर अनदेखे डोमेन (Domain Generalization) में तैनात होने पर विफल हो जाते हैं।
मुख्य मुद्दा: मौजूदा डोमेन जनरलाइजेशन विधियाँ मुख्य रूप से लेबल नॉइज़ (Label Noise) की अनदेखी करती हैं। गेज़ एस्टिमेशन में, अस्थिर मानवीय ध्यान, प्रकाश व्यवस्था और अवरोध (occlusion) के कारण सटीक ग्राउंड-ट्रुथ एनोटेशन प्राप्त करना स्वाभाविक रूप से कठिन है। यह बड़े पैमाने के डेटासेट्स (जैसे Gaze360) में महत्वपूर्ण एनोटेशन नॉइज़ का कारण बनता है।
चुनौतियाँ:

रिग्रेशन बनाम क्लासिफिकेशन: अधिकांश नॉइजी लेबल लर्निंग (NLL) विधियाँ क्लासिफिकेशन के लिए डिज़ाइन की गई हैं। गेज़ एस्टिमेशन एक रिग्रेशन कार्य है जहाँ लेबल निरंतर कोण (continuous angles) होते हैं, जिससे "साफ" (clean) और "नॉइजी" (noisy) नमूनों के बीच स्पष्ट सीमाएँ परिभाषित करना या "स्मॉल-लॉस सिलेक्शन" जैसे मानक ह्यूरिस्टिक्स का उपयोग करना कठिन हो जाता है।
क्रॉस-डोमेन जटिलता: केवल सोर्स डोमेन के भीतर नॉइजी लेबल्स को ठीक करने से टारगेट डोमेन में बेहतर जनरलाइजेशन की गारंटी नहीं मिलती है, क्योंकि यह डोमेनों के बीच वितरण अंतराल (distribution gap) को पाटने में विफल रहता है।
नॉइज़ ओवरफिटिंग: नॉइजी डेटा पर प्रशिक्षित मॉडल गलत लेबल्स पर ओवरफिट होने की प्रवृत्ति रखते हैं, जिससे वे वास्तविक गेज़ दिशा के बजाय गेज़-अप्रासंगिक विशेषताओं (जैसे हेड पोज़ या बैकग्राउंड) को सीख लेते हैं, जिससे क्रॉस-डोमेन प्रदर्शन खराब हो जाता है।

2. कार्यप्रणाली: SeeTN फ्रेमवर्क (Methodology: The SeeTN Framework)

लेखक See-Through-Noise (SeeTN) का प्रस्ताव करते हैं, जो डोमेन जनरलाइजेशन को बढ़ाने के लिए लेबल नॉइज़ को कम करता है। यह विधि तीन मुख्य चरणों में कार्य करती है:

A. सिमेंटिक मैनिफोल्ड निर्माण (Semantic Manifold Construction)

गेज़ लेबल्स की निरंतर प्रकृति को संबोधित करने के लिए, लेखक फीचर्स और लेबल्स के बीच टोपोलॉजिकल संरचना को बनाए रखने के लिए एक सिमेंटिक मैनिफोल्ड ( $M$ ) का निर्माण करते हैं।

प्रोटोटाइप ट्रांसफॉर्मेशन: फीचर्स को एक यूनिट हाइपरस्फीयर पर प्रोजेक्ट किया जाता है और एक MLP और एक्सपोनेंशियल मूविंग एवरेज (EMA) अपडेट के माध्यम से $K$ सीखने योग्य प्रोटोटाइप्स ( $\mu_k$ ) पर मैप किया जाता है।
एफिनिटी अलाइनमेंट (Affinity Alignment): विधि मैनिफोल्ड में फीचर्स के लिए एक एफिनिटी मैट्रिक्स ( $A^{(m)}$ ) और ग्राउंड-ट्रुथ गेज़ लेबल्स के लिए कोसाइन सिमिलरिटी का उपयोग करके एक एफिनिटी मैट्रिक्स ( $A^{(g)}$ ) की गणना करती है।
उद्देश्य: मॉडल $A^{(m)}$ और $A^{(g)}$ के बीच मीन एब्सोल्यूट एरर (MAE) को कम करता है। यह फीचर स्पेस को लेबल स्पेस के अनुरूप एक संरचना बनाए रखने के लिए मजबूर करता है, यह सुनिश्चित करता है कि समान गेज़ एंगल वाले नमूनों में समान फीचर प्रतिनिधित्व हों।

B. एफिनिटी विसंगति के माध्यम से शोर की पहचान (Noise Identification via Affinity Discrepancy)

लॉस मैग्नीट्यूड (जो रिग्रेशन में अविश्वसनीय है) के बजाय, SeeTN फीचर एफिनिटी और लेबल एफिनिटी के बीच विसंगति का उपयोग करके नॉइज़ का पता लगाता है।

इंडिकेटर ( $\eta$ ): प्रत्येक नमूने के लिए, विधि मैनिफोल्ड में लेबल वितरण ( $\hat{y}^{(g)}$ ) और फीचर वितरण ( $\hat{y}^{(m)}$ ) के बीच क्रॉस-एन्ट्रॉपी फॉर्मूलेशन का उपयोग करके एक विसंगति इंडिकेटर $\eta_i$ की गणना करती है।
$\eta_i = -\sum_{j=1}^{B} \hat{y}^{(g)}_{i,j} \log \hat{y}^{(m)}_{i,j}$
विभाजन (Partitioning): नमूनों को $\eta$ के आधार पर सॉर्ट किया जाता है। उच्चतम विसंगति वाले शीर्ष $t\%$ नमूनों को नॉइजी सेट ( $D_S^N$ ) के रूप में वर्गीकृत किया जाता है, और शेष क्लीन सेट ( $D_S^C$ ) बनाते हैं। कन्फर्मेशन बायस से बचने के लिए इस विभाजन को प्रशिक्षण के दौरान गतिशील रूप से अपडेट किया जाता है।

C. नॉइज़-रोबस्ट रेगुलराइजेशन (Noise-Robust Regularization)

फ्रेमवर्क सूचना के उपयोग को अधिकतम करने और नॉइज़ को दबाने के लिए क्लीन और नॉइजी सबसेट्स पर अलग-अलग लॉस फंक्शन्स लागू करता है।

क्लीन सेट ( $D_S^C$ ): यह मानक गेज़ रिग्रेशन लॉस ( $L_{gaze}$ ) और एक अलाइनमेंट लॉस ( $L_{align}^C$ ) का उपयोग करता है ताकि फीचर्स और लेबल्स के बीच एफिनिटी निरंतरता को सख्ती से लागू किया जा सके।
नॉइजी सेट ( $D_S^N$ ): इन नमជូនों को हटाने के बजाय, विधि एक सॉफ्ट अलाइनमेंट लॉस ( $L_{align}^N$ ) का उपयोग करती है। यह क्लीन नमूनों से प्राप्त एफिनिटी मैट्रिक्स का लाभ उठाती है ताकि नॉइजी नमूनों की फीचर एफिनिटी को नियंत्रित किया जा सके। यह दूषित ग्राउंड-ट्रुथ पर निर्भर किए बिना, क्लीन नमूनों से गेज़-संबंधित जानकारी को नॉइजी नमूनों में स्थानांतरित करता है।
कुल लॉस (Total Loss): $L_{all} = L_{gaze} + L_{align}^C + \lambda L_{align}^N$ ।

3. प्रमुख योगदान (Key Contributions)

नया दृष्टिकोण: गेज़ एस्टिमेशन में विशेष रूप रूप से लेबल नॉइज़ मिटिगेशन के नजरिए से डोमेन जनरलाइजेशन की जांच करने वाला पहला कार्य।
SeeTN फ्रेमवर्क: एक प्रोटोटाइप-आधारित सिमेंटिक मैनिफोल्ड प्रस्तावित करता है जो निरंतर गेज़ लेबल्स और फीचर रिप्रेजेंटेशन के बीच सेतु बनाता है। यह रिग्रेशन कार्यों में नॉइजी नमूनों को अलग करने के लिए एक नया एफिनिटी-आधारित इंडिकेटर ( $\eta$ ) और एक नॉइज़-रोबस्ट रेगुलराइजेशन रणनीति पेश करता है जो क्लीन नमूनों का उपयोग करके नॉइजी नमूनों को सुपरवाइज करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह प्रदर्शित करता है कि स्पष्ट रूप से नॉइज़ को हैंडल करने से सोर्स-डोमेन सटीकता से समझौता किए बिना बेहतर क्रॉस-डोमेन जनरलाइजेशन प्राप्त होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ResNet-18 और ResNet-50 बैकबोन का उपयोग करके चार डेटासेट्स: ETH-XGaze, Gaze360, MPIIFaceGaze, और EyeDiap पर SeeTN का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- क्रॉस-डोमेन: SeeTN बेसलाइन (ResNet-18) और अन्य स्टेट-ऑफ-द-आर्ट डोमेन जनरलाइजेशन विधियों (जैसे PureGaze, GazeCF, AGG) की तुलना में काफी बेहतर प्रदर्शन करता है।
  - उदाहरण: DG $\to$ DM (Gaze360 से MPIIFaceGaze) सेटिंग में, SeeTN ने मीन एंगुलर एरर (MAE) को 7.94° (बेसलाइन) से घटाकर 6.57° कर दिया, जो 17.2% का सुधार है।
- विदिन-डोमेन (Within-Domain): कई जनरलाइजेशन विधियों के विपरीत, जो टारगेट प्रदर्शन के लिए सोर्स सटीकता का त्याग करती हैं, SeeTN ने विदिन-डोमेन सटीकता में भी सुधार किया (जैसे सोर्स डोमेन पर त्रुटि को 3-5% कम करना)।
NLL विधियों के साथ तुलना: SeeTN ने इस कार्य के लिए अनुकूलित मौजूदा नॉइजी लेबल लर्निंग विधियों (DivideMix, SUGE) को पछाड़ दिया, जो रिग्रेशन की प्रकृति या विदिन-डोमेन बाधाओं के कारण संघर्ष कर रहे थे।
एब्लेशन स्टडीज (Ablation Studies):
- नॉइज़-रोबस्ट रेगुलराइजेशन ( $L_{align}^N$ ) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो क्लीन सुपरविजन के माध्यम से नॉइजी नमूनों के उपयोग के मूल्य को सिद्ध करता है।
- प्रस्तावित इंडिकेटर $\eta$ , नॉइज़ की पहचान करने के लिए मानक स्मॉल-लॉस क्राइटेरिया ( $L_1$ ) की तुलना में अधिक प्रभावी था।
गुणात्मक विश्लेषण (Qualitative Analysis):
- t-SNE विज़ुअलाइज़ेशन: दिखाया कि बेसलाइन मॉडल फीचर्स को हेड पोज़ द्वारा क्लस्टर करता था, जबकि SeeTN फीचर्स को गेज़ दिशा द्वारा क्लस्टर करता है, जो सफल डोमेन-इनवेरिएंट सिमेंटिक जानकारी सीखने का संकेत देता है।
- नॉइज़ डिटेक्शन: विज़ुअलाइज़ेशन ने पुष्टि की कि उच्च $\eta$ मान गलत ग्राउंड-ट्रुथ लेबल्स के साथ सह-संबंधित थे, जबकि मॉडल अभी भी इन नमूनों के लिए सही गेज़ दिशा का अनुमान लगा सकता था।

5. महत्व (Significance)

यह शोध पत्र गेज़ एस्टिमेशन में एक महत्वपूर्ण, अक्सर अनदेखी की जाने वाली बाधा को उजागर करता है: एनोटेशन नॉइज़। शुद्ध रूप से डोमेन-इनवेरिएंट फीचर्स सीखने के बजाय सक्रिय रूप से लेबल नॉइज़ को कम करने और उसका लाभ उठाने पर ध्यान केंद्रित करके, लेखक यह प्रदर्शित करते हैं कि नॉइज़ के प्रति मजबूती (robustness) प्रभावी डोमेन जनरलाइजेशन के लिए एक पूर्व शर्त है। SeeTN फ्रेमवर्क उन रिग्रेशन-आधारित कंप्यूटर विज़न कार्यों के लिए एक नया प्रतिमान प्रदान करता है जहाँ ग्राउंड ट्रुथ स्वाभाविक रूप से नॉइजी होता है, जो गेज़ ट्रैकिंग सिस्टम के अधिक विश्वसनीय वास्तविक दुनिया के परिनियोजन (deployment) का मार्ग प्रशस्त करता है।