💻 computer science

Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition

यह शोध पत्र शोरयुक्त जुड़ाव पहचान (engagement recognition) डेटासेट के लिए एक हल्का, विषय-स्तरीय मशीन अनलर्निंग फ्रेमवर्क प्रस्तावित करता है जो पूर्ण पुनर्रचना (retraining) के बिना समस्याग्रस्त विषयों के प्रभाव को प्रभावी ढंग से हटा देता है, और लगभग एक-चौथाई कम्प्यूटेशनल लागत पर एक ऑरेकल मॉडल के प्रदर्शन लाभों के 89% से अधिक को पुनः प्राप्त करता है।

मूल लेखक: Alexander Vedernikov

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Vedernikov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक स्पोर्ट्स टीम (AI मॉडल) को प्रशिक्षित कर रहे हैं ताकि वे क्लासरूम वीडियो में छात्रों के जुड़ाव (engagement) को पहचान सकें। आपने महीनों तक 100 अलग-अलग छात्रों के फुटेज का उपयोग करके अपनी टीम को प्रशिक्षित करने में बिताया है।

अब, कल्पना कीजिए कि आपको पता चलता है कि तीन विशिष्ट छात्र अपनी रिकॉर्डिंग के दौरान बहुत अजीब व्यवहार कर रहे थे। शायद लाइटिंग खराब थी, शायद उनका दिन बुरा था, या शायद वीडियो को लेबल करने वाले व्यक्ति ने उनके व्यवहार को लेकर भ्रम पैदा कर दिया था। इस कारण से, आपकी टीम ने कुछ "बुरी आदतें" सीख ली हैं।

आमतौर पर, यदि आप इसे ठीक करना चाहते हैं, तो आपको पूरी टीम को निकाल देना पड़ता है और केवल अच्छे छात्रों का उपयोग करके एक बिल्कुल नई टीम को शून्य से प्रशिक्षित करना पड़ता है। इसमें बहुत अधिक समय और पैसा लगता है।

यह पेपर एक सरल प्रश्न पूछता है: क्या हम पूरी टीम को निकालने के बजाय केवल उन तीन विशिष्ट छात्रों को "अन-ट्रेन" (un-train) कर सकते हैं?

इसे हल करने के लिए लेखकों ने जिस तरह से प्रयास किया है, उसे सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: "खराब सेब" (Bad Apple) का प्रभाव

AI की दुनिया में, डेटा अक्सर समूहों (जैसे छात्रों) में आता है। यदि एक छात्र भ्रमित करने वाला या शोर वाला (noisy) है, तो उसके वीडियो का पूरा समूह आपके मॉडल को बिगाड़ सकता है।

पुराना तरीका: यदि आपको कोई बुरा समूह मिलता है, तो आप उनके डेटा को हटा देते हैं और पूरे मॉडल को शून्य से फिर से प्रशिक्षित करते हैं। यह एक टूटी हुई ईंट के कारण पूरे घर को फिर से बनाने जैसा है।
नया विचार: क्या हम मॉडल को धीरे से "डांट" सकते हैं ताकि वह उन विशिष्ट खराब ईंटों को भूल जाए, जबकि बाकी का घर सुरक्षित रहे? इसे मशीन अनलर्निंग (Machine Unlearning) कहा जाता है।

2. विधि: "हल्का सुधार" (Lightweight Correction)

लेखकों ने पूरे मॉडल को फिर से बनाने की कोशिश नहीं की। इसके बजाय, उन्होंने एक चतुर, कम लागत वाला तरीका अपनाया:

चरण 1: दोषियों की पहचान करना। उन्होंने प्रशिक्षित मॉडल को देखा और पूछा, "किन छात्रों के साथ आपने सबसे अधिक संघर्ष किया?" उन्होंने छात्रों को उनके भ्रम की डिग्री के आधार पर रैंक किया। सबसे अधिक भ्रमित करने वाले शीर्ष 3 छात्रों को हटाने के लिए चिह्नित किया गया।
चरण 2: "हेड" (Head) सर्जरी। मॉडल के दो भाग होते हैं: एक "शरीर" (जो वीडियो की विशेषताओं को देखता है) और एक "सिर" (जो अंतिम निर्णय लेता है)। लेखकों ने शरीर को फ्रीज (freeze) कर दिया (ताकि वह जो पहले से जानता है उसे न भूले) और केवल सिर में एक त्वरित, लक्षित समायोजन किया।
चरण 3: "विपरीत पाठ" (Anti-Lesson)। उन्होंने मॉडल को उन खराब छात्रों के वीडियो फिर से दिखाए, लेकिन इस बार उन्होंने मॉडल को बताया, "इनके साथ वह विपरीत करो जो तुम आमतौर पर करते हो।" यह मॉडल को अच्छे छात्रों के ज्ञान को मिटाए बिना, बुरी आदतों से दूर धकेलता है।

3. परीक्षण: "ओरेकल" (Oracle) तुलना

यह देखने के लिए कि क्या यह काम कर रहा है, उन्होंने एक "गोल्ड स्टैंडर्ड" परीक्षण बनाया।

ओरेकल (The Oracle): उन्होंने मूल मॉडल लिया, खराब छात्रों के डेटा को फेंक दिया, और शून्य से एक बिल्कुल नया मॉडल प्रशिक्षित किया। यह "परफेक्ट" परिणाम है, लेकिन यह महंगा है।
अनलर्न्ड मॉडल (The Unlearned Model): यह वह मॉडल है जिसे अभी-अभी "हेड सर्जरी" मिली है।
परिणाम: उन्होंने दोनों की तुलना की। "अनलर्न्ड" मॉडल "ओरेकल" (जिसे शून्य से फिर से प्रशिक्षित किया गया था) जितना ही 90% अच्छा था, लेकिन इसे ठीक करने में केवल 25% समय और पैसा लगा।

4. पेच: यह इस पर निर्भर है कि आप किसे हटाते हैं

पेपर ने पाया कि यह ट्रिक तब सबसे अच्छा काम करती है जब आप खराब छात्रों की एक छोटी, विशिष्ट संख्या (जैसे 100 में से 3) को हटाते हैं।

यदि आप बहुत कम हटाते हैं (केवल 1), तो आप समस्या को पर्याप्त रूप से ठीक नहीं कर पाते।
यदि आप बहुत अधिक हटाते हैं (जैसे 5), तो आप खराब डेटा के साथ अच्छा डेटा भी बाहर निकालने लगते हैं, और मॉडल का प्रदर्शन गिरने लगता है।
सही संतुलन (Sweet Spot): "शोर वाले" विषयों के एक छोटे, लक्षित समूह को हटाना सबसे बड़ा लाभ देता है।

सारांश

इसे एक किताब को छपने के बाद संपादित करने जैसा समझें।

पुनः प्रशिक्षण (Retraining) पूरी किताब को फिर से छापने जैसा है, लेकिन इस बार खराब अध्यायों को छोड़ दिया गया है।
मशीन अनलर्निंग (इस पेपर के अनुसार) मौजूदा किताब में पेन लेकर सावधानी से खराब वाक्यों को काटने और फिर केवल सारांश पृष्ठ को फिर से लिखने जैसा है ताकि कहानी फिर से समझ में आ सके।

मुख्य बात:
आपको हमेशा पूरे मॉडल को फेंकने और फिर से शुरू करने की आवश्यकता नहीं होती है। यदि आप उन विशिष्ट "शोर वाले" लोगों की पहचान कर सकते हैं जो समस्या पैदा कर रहे हैं, तो आप उन्हें "अनलर्न" करने और लगभग वही परिणाम प्राप्त करने के लिए एक सस्ते, त्वरित अपडेट का उपयोग कर सकते हैं जो एक पूर्ण पुनर्निर्माण (full rebuild) से मिलता है। हालांकि, आपको इस बात के प्रति सावधान रहना होगा कि आप किन्हें हटा रहे हैं; यदि आप गलत लोगों को हटाते हैं, तो सुधार काम नहीं करेगा।

यहाँ शोध पत्र "Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition" का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

यह शोध पत्र एंगेजमेंट रिकग्निशन (engagement recognition) की एक व्यावहारिक चुनौती को संबोधित करता है, जो वीडियो डेटा से उपयोगकर्ता के जुड़ाव (engagement) के स्तरों को वर्गीकृत करने का एक कार्य है। एंगेजमेंट डेटासेट (जैसे DAiSEE, EngageNet) आमतौर पर सब्जेक्ट-इंडेक्स्ड (subject-indexed) होते हैं और इनमें शोर युक्त, व्यक्तिपरक पर्यवेक्षण (noisy, subjective supervision) होता है। मानक 'नॉइजी-लेबल' समस्याओं के विपरीत, जहाँ व्यक्तिगत क्लिप गलत लेबल वाली हो सकती हैं, इन डेटासेट्स में समस्याग्रस्त इकाई अक्सर पूरा विषय (entire subject) होती है। एक ही व्यक्ति के कई क्लिप साझा एनोटेशन अस्पष्टताओं, रिकॉर्डिंग आर्टिफैक्ट्स या असामान्य व्यवहार संबंधी पैटर्न को साझा कर सकते हैं जो प्रतिकूल पर्यवेक्षण उत्पन्न करते हैं।

एक बार जब एक बेसलाइन मॉडल प्रशिक्षित हो जाता है, तो किसी समस्याग्रस्त विषय को हटाने का वैचारिक रूप से सही समाधान शेष डेटा पर मॉडल को शुरू से (from scratch) फिर से प्रशिक्षित करना है। हालाँकि, यह पूर्ण पुनर्र्व huấn (full retraining) कम्प्यूटेशनल रूप से महंगा है, विशेष रूप से तब जब विषयों के कई संभावित उपसमुच्चयों (subsets) का ऑडिट करने की आवश्यकता हो। यह शोध पत्र यह प्रश्न उठाता है: क्या पहले से प्रशिक्षित मॉडल से एक पूरे समस्याग्रस्त विषय के प्रभाव को पूर्ण पुनर्र्व huấn के बिना हटाया जा सकता है?

कार्यप्रणाली (Methodology)

लेखक एक सब्जेक्ट-लेवल मशीन अनलर्निंग (subject-level machine unlearning) ढांचे का प्रस्ताव करते हैं जो एक पोस्ट-हॉक स्वच्छता तंत्र (post-hoc sanitization mechanism) के रूप में कार्य करता है। यह प्रोटोकॉल चार मुख्य चरणों से बना है:

बेसलाइन प्रशिक्षण (Baseline Training): एक निश्चित आर्किटेक्चर, TCCT-Net (टेंसर-कन्वोल्यूशन और कन्वोल्यूशन-ट्रांसफॉर्मर नेटवर्क) का उपयोग करके, पूर्ण प्रशिक्षण विषयों ( $S_{tr}$ ) पर एक बेसलाइन मॉडल ( $f_{\theta_0}$ ) को प्रशिक्षित किया जाता है।
हानिकारक विषय की पहचान (Harmful Subject Identification): ग्राउंड-ट्रुथ लेबल भ्रष्टाचार को मानने के बजाय, लेखक हानिकारकता को एक ऑपरेशनल रैंकिंग समस्या के रूप में देखते हैं। वे प्रशिक्षित बेसलाइन के तहत उस विषय के डेटा के औसत प्रति-क्लिप क्रॉस-एन्ट्रॉपी लॉस (mean per-clip cross-entropy loss) के आधार पर प्रत्येक विषय के लिए एक स्कोर ( $r_s$ ) की गणना करते हैं। शीर्ष- $K$ रैंक वाले विषय फॉरगेट-सेट (forget-set) ( $F$ ) बनाते हैं।
अनुमानित अनलर्निंग अपडेट (Approximate Unlearning Update): बेसलाइन मॉडल को एक अनलर्न्ड मॉडल ( $\tilde{f}_{\theta}$ $\tilde{f}_{θ}$ ) बनाने के लिए एक हल्का सुधार लागू किया जाता है।
- आर्किटेक्चर प्रतिबंध (Architecture Restriction): अपडेट को कुशल बनाए रखने के लिए, TCCT-Net के लोअर-लेवल फीचर एक्सट्रैक्टर को फ्रीज (frozen) कर दिया जाता है। केवल अंतिम फ्यूजन और क्लासिफिकेशन लेयर्स (द "हेड") को ही अपडेट किया जाता है।
- ऑब्जेक्टिव फंक्शन (Objective Function): अपडेट एक मिश्रित लॉस ( $L_{unl}$ $L_{u n l}$ ) को कम करता है:
  - $L_{ret}$ : कार्य उपयोगिता (task utility) को बनाए रखने के लिए रिटेन्ड डेटा ( $D_R$ ) पर क्रॉस-एन्ट्रॉपी।
  - $L_{cons}$ : अनावश्यक विचलन को रोकने के लिए रिटेन्ड डेटा पर बेसलाइन और अनलर्न्ड मॉडल के प्रेडिक्शन के बीच एक कंसिस्टेंसी टर्म (KL divergence)।
  - $L_{forg}$ : इन विषयों को फिट करने से बचने के लिए (एंटी-फिटिंग) फॉरगॉटन डेटा ( $D_F$ ) पर एक नेगेटिव क्रॉस-एन्ट्रॉपी टर्म।
  - रेगुलराइजेशन: मूल हेड पैरामीटर्स ( $\phi_0$ ) से विचलन को दंडित करने वाला एक टर्म।
ओरेकल-केंद्रित मूल्यांकन (Oracle-Centered Evaluation): अनलर्न्ड मॉडल की तुलना एक ओरेकल मॉडल ( $f^*_{\theta_F}$ ) के साथ की जाती है, जिसे केवल रिटेन्ड विषयों ( $D_R$ ) पर शुरू से पुनर्र्व huấn किया गया है। यह ओरेकल एक स्वच्छ संदर्भ (clean reference) के रूप में कार्य करता है।

मुख्य योगदान (Key Contributions)

समस्या का निरूपण (Problem Formulation): यह शोध पत्र सब्जेक्ट-लेवल पोस्ट-हॉक सैनिटाइजेशन को एंगेजमेंट रिकग्निशन के लिए एक विशिष्ट समस्या सेटिंग के रूप में परिभाषित करता है, जो सैंपल-लेवल नॉइजी-लेबल सुधार से आगे बढ़कर सब्जेक्ट-इंडेक्स्ड डेटा संशोधन को संबोधित करता है।
मूल्यांकन प्रोटोकॉल (Evaluation Protocol): यह एक ओरेकल-केंद्रित मूल्यांकन पेश करता है जो यह मापता है कि क्या एक अनलर्निंग अपडेट, मॉडल को केवल विक्षुब्ध (perturb) करने या फॉरगॉटन डेटा पर प्रदर्शन को कम करने के बजाय, रिटेन्ड डेटा पर शुरू से पुनर्र्व huấn किए गए मॉडल के समाधान के करीब पहुँचता है।
अनुभवजन्य अध्ययन (Empirical Study): DAiSEE और EngageNet पर एक नियंत्रित अध्ययन यह प्रदर्शित करता है कि सब्जेक्ट-लेवल फॉरगेटिंग कब फायदेमंद होता है, यह फॉरगेट-सेट के निर्माण पर कैसे निर्भर करता है, और फुल रिट्रेनिंग की तुलना में उपयोगिता-दक्षता ट्रेड-ऑफ क्या है।

परिणाम (Results)

अध्ययन छोटे फॉरगेट-सेट परिदृश्यों ( $K \in \{1, 3, 5\}$ ) के तहत तीन मॉडल अवस्थाओं (बेसलाइन, अनलर्न्ड, ओरेकल) का मूल्यांकन करता है।

प्रदर्शन रिकवरी (Performance Recovery):
- EngageNet ( $K=3$ ) पर, अनलर्न्ड मॉडल ने ओरेकल मॉडल द्वारा प्राप्त प्रदर्शन लाभ (बेसलाइन के सापेक्ष) का 89.3% हिस्सा पुनः प्राप्त किया।
- DAiSEE ( $K=3$ ) पर, अनलर्न्ड मॉडल ने ओरेकल लाभ का 92.5% हिस्सा पुनः प्राप्त किया।
दक्षता (Efficiency): अनलर्निंग अपडेट को पूर्ण ओरेकल पुनर्र्व huấn की तुलना में लगभग एक-चौथाई कम्प्यूटेशनल लागत की आवश्यकता थी (लगs ~0.22×–0.26× बनाम ~0.97×–0.98× वॉल-क्लॉक कॉस्ट)।
नेइव विधियों के साथ तुलना (Comparison to Naive Methods): एक "नेइव रिमूवल + शॉर्ट फाइनट्यूनिंग" दृष्टिकोण प्रस्तावित अनलर्निंग विधि की तुलना में काफी खराब रहा, जिसने ओरेकल लाभ का केवल 36.7% (EngageNet) और 23.3% (DAiSEE) ही पुनः प्राप्त किया।
फॉरगेट-सेट आकार के प्रति संवेदनशीलता (Sensitivity to Forget-Set Size):
- प्रदर्शन आम तौर पर $K=1$ से $K=3$ तक सुधरता है, जो बताता है कि हानिकारकता एक एकल आउटलायर के बजाय विषयों के एक छोटे उपसमुच्चय में वितरित है।
- $K=5$ पर, लाभ संतृप्त (saturate) होने या घटने लगता है, जो इंगित करता है कि बहुत अधिक विषयों को हटाने से उपयोगी ट्रेनिंग वेरिएबिलिटी भी हट सकती है।
- ओरेकल-गैप रिकवरी (OGR) उच्चतम $K=3$ सेटिंग में थी, जो सुझाव देती है कि अनुमानित अनलर्निंग तब सबसे प्रभावी होती है जब हटाने का शासन (removal regime) एक विशिष्ट, छोटे ऑडिट किए गए उपसमुच्चय को लक्षित करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र एक संयमित और व्यावहारिक दायरा बनाए रखता है। यह सटीक या प्रमाणित फॉरगेटिंग का दावा नहीं करता है, न ही कोई नया एंगेजमेंट बैकबोन प्रस्तावित करता है। इसके बजाय, इसका महत्व यह प्रदर्शित करने में है कि:

पोस्ट-हॉक सुधार व्यवहार्य है: अनुमानित सब्जेक्ट-लेवल अनलर्निंग, शोर युक्त एंगेजमेंट डेटा के लिए एक कम लागत वाला सुधार तंत्र बन सकता है, जो पूर्ण पुनर्र्व huấn के लाभों का एक बड़ा हिस्सा पुनः प्राप्त करता है।
ओरेकल संदर्भ महत्वपूर्ण है: अनलर्निंग को रिटेन्ड डेटा पर पुनर्र्व huấn किए गए ओरेकल के विरुद्ध मूल्यांकित करना उपयोगी सैनिटाइजेशन और केवल मॉडल विक्षोभ (perturbation) के बीच अंतर करने के लिए आवश्यक है।
रेजीम निर्भरता (Regime dependence): पद्धति की प्रभावशीलता विषय चयन की गुणवत्ता और फॉरगेट-सेट के आकार पर अत्यधिक निर्भर है। यह एक मोनोटोनिक प्रूनिंग रणनीति के बजाय हानिकारक विषयों के एक लक्षित, छोटे ऑडिट किए गए उपसमुच्चय के लिए एक लक्षित सुधार के रूप में सबसे अच्छा काम करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह विधि सभी डेटासेट्स या आर्किटेक्चर के लिए सार्वभौमिक समाधान नहीं है, फिर भी यह प्रशिक्षित एंगेजमेंट मॉडलों को संशोधित करने के लिए एक तर्कसंगत ढांचा प्रदान करती है जब पर्यवेक्षण शोर युक्त और विषयों द्वारा व्यवस्थित होता है।