🤖 machine learning

Why Does Robustness Reduce Superposition?

यह शोध पत्र अनुभवजन्य रूप से स्पष्ट करता है कि एडवरसेरियल ट्रेनिंग (adversarial training) मॉडल को गैर-मजबूत विशेषताओं (non-robust features) को त्यागने के लिए मजबूर करके सुपरपोजिशन (superposition) को कम करती है, जिससे नेटवर्क के भीतर प्रतिनिधित्व की जाने वाली कुल विशेषताओं की संख्या घट जाती है।

मूल लेखक: Adam Elimadi

प्रकाशित 2026-08-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adam Elimadi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर मॉडल्स के साथ अक्सर एक 'ब्लैक बॉक्स' की तरह व्यवहार किया जाता है: हम उन्हें डेटा देते हैं, वे हमें एक उत्तर देते हैं, लेकिन उनकी आंतरिक कार्यप्रणाली एक रहस्य बनी रहती है। वर्षों से, शोधकर्ता इन प्रणालियों में एक अजीब सी कमजोरी से हैरान रहे हैं। सबसे सटीक मॉडल भी "एडवर्सरियल एग्जेंपल्स" (adversarial examples) द्वारा चकमा दिए जा सकते हैं—किसी छवि या ध्वनि में सूक्ष्म, लगभग अदृश्य बदलाव जो कंप्यूटर को पूरी तरह से गलत निर्णय लेने पर मजबूर कर देते हैं। उदाहरण के लिए, एक पांडा की तस्वीर को कुछ पिक्सेल इस तरह बदला जा सकता है जिसे मानवीय आँख नहीं देख सकती, फिर भी कंप्यूटर अचानक यह विश्वास करने लगता है कि वह एक गिब्बन (gibbon) देख रहा है। वैज्ञानिक लंबे समय से जानते हैं कि ये मॉडल निर्णय लेने के लिए डेटा में कुछ खास पैटर्न्स पर भरोसा करते हैं, लेकिन वे पूरी तरह से नहीं समझ पाए थे कि वे पैटर्न मशीन के मस्तिष्क के भीतर कैसे संग्रहीत होते हैं, या मशीन उन्हें इतनी आसानी से क्यों नहीं समझ पाती।

हाल के कार्यों ने इस स्टोरेज समस्या को समझाने के लिए "सुपरपोजिशन" (superposition) नामक एक अवधारणा पेश की है। कल्पना कीजिए कि एक मॉडल एक ऐसे कमरे की तरह है जिसमें अलमारियों की एक निश्चित संख्या है। यदि मॉडल को उपलब्ध अलमारियों से अधिक चीजें याद रखनी हैं, तो उसे वस्तुओं को एक के ऊपर एक रखना या एक ही स्थान में ठूँसना शुरू करना होगा। यही सुपरपोजिशन है: मॉडल उन विशेषताओं (features) को रखने की कोशिश कर रहा है जिनके लिए उसके पास भौतिक स्थान कम है। शोध की एक अलग रेखा ने दिखाया है कि जब मॉडल्स को इन चालाकी भरे एडवर्सरियल एग्जेंपल्स का विरोध करने के लिए प्रशिक्षित किया जाता है, तो वे अधिक मजबूत (robust) हो जाते हैं, लेकिन वे इतनी सारी चीजों को एक साथ पैक करना भी बंद कर देते हैं। वे सुपरपोजिशन करना बंद करते हुए प्रतीत होते हैं। हालाँकि, कोई भी इस बदलाव के पीछे के तंत्र (mechanism) की व्याख्या नहीं कर सका। एक छोटी सी चाल को अनदेखा करने के लिए मॉडल को सिखाने से वह कुछ चीजों को याद रखना क्यों छोड़ देता है?

स्वतंत्र शोधकर्ता एडम एलिमाडी द्वारा एक एआई इंटरप्रिटेबिलिटी वर्कशॉप में प्रस्तुत एक नया अध्ययन इस प्रश्न का स्पष्ट उत्तर प्रदान करता है। शोधकर्ता ने उस घटनाओं की श्रृंखला का पता लगाने का प्रयास किया जो तब होती है जब एक मॉडल को मजबूत बनाने के लिए प्रशिक्षित किया जाता है। बड़े, वास्तविक दुनिया के सिस्टम के व्यवहार की नकल करने वाले सरल कंप्यूटर मॉडल्स का उपयोग करते हुए, यह अध्ययन प्रदर्शित करता है कि एडवर्सरियल ट्रेनिंग मॉडल को विशिष्ट प्रकार की जानकारी को त्यागने के लिए मजबूर करती है। मॉडल सीखता है कि डेटा के कुछ पैटर्न हमले के दौरान उपयोगी होने के लिए बहुत नाजुक (fragile) हैं। ये पैटर्न, जिन्हें "नॉन-रोबस्ट फीचर्स" (non-robust features) कहा जाता है, उन फुसफुसाहटों की तरह हैं जिन्हें शोर द्वारा आसानी से दबाया जा सकता है। जब मॉडल को शोर का सामना करने के लिए प्रशिक्षित किया जाता है, तो उसे एहसास होता है कि इन नाजुक फुसफुसाहटों को थामे रखना एक जोखिम है। फलस्वरूप, वह उन्हें पूरी तरह से छोड़ देता है। क्योंकि मॉडल को अब इन छोड़े गए फीचर्स को स्टोर करने की आवश्यकता नहीं है, इसलिए उसके पास सीमित स्थान में पैक करने के लिए कम चीजें बचती हैं, और सुपरपोजिशन की आवश्यकता स्वाभाविक रूप से समाप्त हो जाती है।

इसे सिद्ध करने के लिए, शोधकर्ता ने पहले यह देखा कि हमलों का विरोध करने के लिए प्रशिक्षित मॉडल्स ने सामान्य डेटा पर प्रशिक्षित मॉडल्स की तुलना में लगातार कम फीचर्स का प्रतिनिधित्व किया। इन प्रयोगों में, मॉडल्स को "स्पर्सिटी" (sparsity) की एक विशिष्ट मात्रा दी गई थी, जो एक सेटिंग है जो यह नियंत्रित करती है कि वे कितने फीचर्स को सक्रिय कर सकते हैं। इन सेटिंग्स की एक विस्तृत श्रृंखला में, मजबूत मॉडल्स ने हमेशा कम फीचर्स का प्रतिनिधित्व करने का विकल्प चुना। अध्ययन ने इन फीचर्स की ज्यामिति (geometry) की भी जांच की—अनिवार्य रूप से यह कि वे मॉडल के आंतरिक स्थान में कैसे स्थित हैं। इसने पाया कि मजबूत मॉडल्स ने जिन फीचर्स को छोड़ने का निर्णय लिया, वे वे थे जो आपस में सबसे अधिक हस्तक्षेप (interference) पैदा करते थे। वे वे फीचर्स थे जो, एक साथ पैक किए जाने पर, भ्रम और त्रुटियां पैदा करते थे। प्रशिक्षण से बचे मॉडल्स ने केवल उन्हीं फीचर्स को रखा जो एक-दूसरे के साथ सुचारू रूप से फिट बैठते थे, अक्सर संघर्ष को कम करने के लिए उन्हें विपरीत दिशाओं में संरेखित (align) किया, जबकि बाकी को छोड़ दिया।

अध्ययन का सबसे महत्वपूर्ण हिस्सा एक सिंथेटिक डेटासेट था जहाँ शोधकर्ता प्रशिक्षण शुरू होने से पहले ही जानता था कि कौन से फीचर्स "रोबस्ट" हैं और कौन से "नॉन-रोबस्ट" हैं। इस नियंत्रित वातावरण में, रोबस्ट फीचर्स मजबूत और स्थिर संकेत थे, जबकि नॉन-रोबस्ट फीचर्स कमजोर और आसानी से बाधित होने वाले थे। जब मॉडल को हमलों का विरोध करने के लिए प्रशिक्षित किया गया, तो उसने हर बार नॉन-रोबस्ट फीचर्स के उसी सेट को छोड़ दिया, चाहे उसके पास कितना भी स्थान उपलब्ध क्यों न हो। यहाँ तक कि जब मॉडल के पास सब कुछ स्टोर करने के लिए पर्याप्त जगह थी, तब भी एडवर्सरियल ट्रेनिंग ने उसे विश्वास दिला दिया कि नॉन-रोबस्ट फीचर्स को रखना बहुत खतरनाक है। अध्ययन पुष्टि करता है कि सुपरपोजिशन में कमी एक यादृच्छिक (random) दुष्प्रभाव नहीं है, बल्कि उन विशिष्ट, नाजुक फीचर्स को हटाने का सीधा परिणाम है जो इसे धोखा देने के प्रति संवेदनशील बनाते हैं।

यह खोज आर्टिफिशियल इंटेलिजेंस में सुरक्षा और दक्षता के बीच के संबंध को समझने का एक नया तरीका प्रदान करती है। यह सुझाव देती है कि एक मॉडल को मजबूत बनाना केवल अधिक रक्षात्मक उपाय जोड़ने के बारे में नहीं है, बल्कि मौलिक रूप से इस बारे में है कि मॉडल क्या याद रखने योग्य समझता है। मॉडल को उसके अपने ज्ञान की नाजुकता का सामना करने के लिए मजबूर करके, एडवर्सरियल ट्रेनिंग इसकी आंतरिक संरचना को सरल बना देती है। मॉडल हर संभव पैटर्न को थामे रखने की कोशिश करना छोड़ देता है और केवल उन्हीं पर ध्यान केंद्रित करता है जो स्थिर और विश्वसनीय हैं। हालांकि ये निष्कर्ष सरल 'टॉय मॉडल्स' का उपयोग करके स्थापित किए गए थे, फिर भी वे एक स्पष्ट, यांत्रिक स्पष्टीकरण प्रदान करते हैं जो पहले एक रहस्य था। शोधकर्ताओं के लिए अगला कदम यह देखना होगा कि क्या फीचर्स को छोड़ने और सुपरपोजिशन को कम करने की यही प्रक्रिया उन जटिल, वास्तविक दुनिया के मॉडल्स में भी होती है जो आधुनिक तकनीक को संचालित करते हैं।

तकनीकी सारांश: मजबूती (Robustness) सुपरपोजिशन को क्यों कम करती है?

समस्या विवरण
एडवर्सरियल उदाहरणों (adversarial examples)—जो सटीक मॉडलों को भ्रमित करने वाले सूक्ष्म परिवर्तन हैं—का अस्तित्व एक खुला शोध प्रश्न बना हुआ है। जबकि इल्यास एट अल. (2019) ने स्थापित किया कि मॉडल "नॉन-रोबस्ट फीचर्स" (ऐसे पैटर्न जो स्वच्छ डेटा पर भविष्यवाणात्मक हैं लेकिन व्यवधान के तहत नाजुक होते हैं) पर निर्भर करते हैं, इस विवरण ने इन फीचर्स के आंतरिक प्रतिनिधित्व की व्याख्या नहीं की। हालिया कार्य द्वारा गॉर्टन और लुइस (2025) ने एडवर्सरियल संवेदनशीलता को सुपरपोजिशन (एक प्रतिनिधित्व में आयामों की तुलना में अधिक फीचर्स को पैक करना) से जोड़ा और अनुभवजन्य रूप से प्रदर्शित किया कि एडवर्सरियल ट्रेनिंग सुपरपोजिशन को कम करती है। हालाँकि, गॉर्टन और लुइस (2025) यह स्पष्टीकरण देने में विफल रहे कि क्यों व्यवधानों के विरुद्ध प्रशिक्षण मॉडल को उन फीचर्स की संख्या कम करने के लिए क्यों प्रेरित करता है जिन्हें वह चुनता है। यह शोध पत्र उस लापता यांत्रिक स्पष्टीकरण (mechanistic explanation) को प्रदान करने का लक्ष्य रखता है।

कार्यप्रणाली (Methodology)
लेखक एक सरलीकृत टॉय मॉडल सेटअप (एल्हेज एट अल., 2022; गॉर्टन और लुइस, 2025) का उपयोग करता है जिसमें $n=20$ छिपे हुए आयाम (hidden dimensions) और $m=100$ इनपुट फीचर्स वाला एक लीनियर ऑटोएनकोडर शामिल है। मॉडल को मीन स्क्वेर्ड एरर (MSE) लॉस के तहत स्पार्स इनपुट $x$ को पुनर्गठित (reconstruct) करने के लिए प्रशिक्षित किया जाता है।

प्रशिक्षण शासन (Training Regimes): अध्ययन दो प्रोटोकॉल की तुलना करता है:
- मानक प्रशिक्षण (Standard Training): स्वच्छ डेटा पर लॉस को कम करना।
- एडवर्सरियल प्रशिक्षण (Adversarial Training): स्वच्छ और एडवर्सरियल उदाहरणों के मिश्रण पर एक भारित लॉस $L_{adv} = \alpha L(x) + (1-\alpha) L(x_{adv})$ को कम करना, जहाँ $x_{adv}$ को एक-चरणीय $\ell_2$ ग्रेडिएंट अटैक के माध्यम से उत्पन्न किया जाता है।
स्पैरसिटी स्वीप (Sparsity Sweep): सुपरपोजिशन पर फीचर घनत्व के प्रभावों को अलग करने के लिए विभिन्न स्पैरसिटी थ्रेशोल्ड ( $S \in \{0.78, 0.80, 0.88, 0.90\}$ ) की एक श्रृंखला में प्रयोग किए जाते हैं।
मेट्रिक्स:
- सुपरपोजिशन ( $\Phi$ ): प्रति आयाम भार के स्क्वेर्ड फ्रोबेनियस नॉर्म ( $\|W\|_F^2 / n$ ) के रूप में मापा गया।
- प्रतिनिधित्व शक्ति (Representational Power, $P$ ): कुल स्क्वेर्ड फ्रोबेनियस नॉर्म ( $\|W\|_F^2$ )।
- फीचर ड्रॉपिंग (Feature Dropping): फीचर्स को तब "ड्रॉप" किया गया माना जाता है यदि उनका वेट कॉलम नॉर्म $\|W_{:,i}\|_2$ थ्रेशोल्ड $\tau = 0.01$ से कम हो जाता है।
- इंटरफेरेंस (Interference): ग्राम मैट्रिक्स $G = WW^\top$ के ऑफ-डायगोनल तत्वों के माध्यम से गणना की गई, जो फीचर दिशाओं के बीच गैर-ऑर्थोगोनैलिटी (non-orthogonality) की डिग्री को मापता है।
सिंथेटिक ग्राउंड ट्रुथ: यह परीक्षण करने के लिए कि क्या ड्रॉप किए गए फीचर्स और मजबूती के बीच संबंध है, लेखक एक सिंथेटिक डेटासेट का निर्माण करता है जहाँ फीचर्स को इल्यास एट अल. (2019) और ली एंड ली (2025) के वर्गीकरण के आधार पर पहले से ही "रोबस्ट" (उच्च आयाम, $a_r=6.0$ ) या "नॉन-रोबस्ट" (निम्न आयाम, $a_{nr}=0.2$ ) के रूप में लेबल किया गया है।

मुख्य योगदान और परिणाम

एडवर्सरियल ट्रेनिंग फीचर की संख्या को कम करती है:
अध्ययन पुष्टि करता है कि एडवर्सरियल रूप से प्रशिक्षित मॉडल स्पैरसिटी स्वीप के दौरान मानक रूप से प्रशिक्षित मॉडलों की तुलना में लगातार कम सुपरपोजिशन और कम प्रतिनिधित्व शक्ति प्रदर्शित करते हैं। यह कमी इस तथ्य से प्रेरित है कि एडवर्सरियल रूप से प्रशिक्षित मॉडल अपने मानक समकक्षों की तुलना में काफी अधिक फीचर्स को ड्रॉप करते हैं।
ड्रॉप किए गए फीचर्स की ज्यामितीय लागत (Geometric Cost):
एडवर्सरियल रूप से प्रशिक्षित मॉडलों द्वारा ड्रॉप किए गए फीचर्स यादृच्छिक नहीं हैं; वे वे फीचर्स हैं जिनका इंटरफेरेंस ज्योमेट्री सबसे अधिक "लागत वाली" (costly) है।
- ड्रॉप किए गए फीचर्स, रिटेन (बचे हुए) फीचर्स की तुलना में उच्च औसत कुल इंटरफेरेंस (या कम नकारात्मक इंटरफेरेंस) प्रदर्शित करते हैं।
- रिटेन किए गए फीचर्स $\approx -1$ के इंटरफेरेंस मान के पास क्लस्टर होते हैं, जो एंटीपोडल दिशाओं (antipodal directions) के अनुरूप है जो क्रॉस-फीचर एक्टिवेशन और स्प्यूरियस रिकंस्ट्रक्शन को कम करते हैं।
- यह सुझाव देता है कि एडवर्सरियल ट्रेनिंग उन फीचर्स को छाँटने (prune) के लिए मजबूर करती है जो हानिकारक इंटरफेरेंस पैदा करते हैं, जिससे एक ऐसी कॉन्फ़िगरेशन को प्राथमिकता मिलती है जो ऑर्थोगोनैलिटी (या एंटी-ऑर्थोगोनैलिटी) को अधिकतम करती है।
नॉन-रोबस्ट फीचर्स के साथ सीधा संबंध:
ज्ञात ग्राउंड-ट्रुथ पार्टीशन वाले सिंथेटिक डेटासेट का उपयोग करते हुए, लेखक एक सटीक पत्राचार प्रदर्शित करता है: एडवर्सरियल रूप से प्रशिक्षित मॉडलों द्वारा ड्रॉप किए गए फीचर्स ठीक वही सेट हैं जो डेटा जनरेशन प्रक्रिया में नॉन-रोबस्ट फीचर्स के रूप में परिभाषित किए गए हैं।
- उन स्पैरसिटी स्तरों पर भी जहाँ मानक मॉडल सभी फीचर्स को बनाए रखते हैं, एडवर्सरियल रूप से प्रशिक्षित मॉडल लगातार पूरे नॉन-रोबस्ट फीचर्स ( $|N|=70$ ) को ड्रॉप करते हैं।
- यह व्यवहार स्पैरसिटी स्तरों के प्रति अपरिवर्तनीय है, जो बताता है कि मॉडल एडवर्सरियल ऑब्जेक्टिव को कम करने के लिए विशेष रूप से नॉन-रोबस्ट फीचर्स को लक्षित करता है।

यांत्रिक स्पष्टीकरण (Mechanistic Explanation)
यह पेपर सुपरपोजिशन में कमी की व्याख्या करने वाला एक कारण श्रृंखला (causal chain) प्रस्तावित करता है:

एडवर्सरियल ट्रेनिंग नॉन-रोबस्ट फीचर्स को त्याग देती है: नॉन-रोबस्ट फीचर्स अत्यधिक संवेदनशील होते हैं; हमले के तहत उनके मान बदल जाते हैं, जिससे रिकंस्ट्रक्शन लॉस ( $L_{adv}$ ) में सीधा उछाल आता है।
प्रतिनिधinden के लिए कम कुल फीचर्स: एडवर्सरियल लॉस को कम करने के लिए, मॉडल इन उच्च-लागत वाले, नॉन-रोबस्ट फीचर्स को पूरी तरह से छोड़ने के लिए सीखता है।
कम सुपरपोजिशन: एक ही निश्चित-आयामी स्थान में प्रतिनिधित्व के लिए कम फीचर्स की आवश्यकता होने के कारण, प्रति आयाम फीचर्स का घनत्व कम हो जाता है, जिसके परिणामस्वरूप कम सुपरपोजिशन होता है।

महत्व और सीमाएं
यह पेपर दावा करता है कि यह सुपरपोजिशन में कमी के लिए पहला अनुभवजन्य और यांत्रिक स्पष्टीकरण प्रदान करता है, जो इल्यास एट अल. (2019) के फीचर वर्गीकरण और गॉर्टन एवं लुइस (2025) द्वारा देखे गए प्रतिनिधित्व संबंधी ज्यामिति के बीच के अंतर को पाटता है। निष्कर्ष बताते हैं कि मजबूती केवल भार (weights) को समायोजित करके नहीं, बल्कि नॉन-रोबस्ट, इंटरफेरेंस-प्रोन घटकों को समाप्त करने के लिए फीचर सेट को मौलिक रूप से छाँटकर प्राप्त की जाती है।

लेखक नोट करता है कि ये परिणाम रिकंस्ट्रक्शन लॉस को अनुकूलित करने वाले एक टॉय मॉडल सेटिंग तक सीमित हैं। वे पहचानते हैं कि इस सिद्धांत का मैकेनिस्टिक इंटरप्रिटेबिलिटी टूल्स (जैसे स्पार्स ऑटोएनकोडर) का उपयोग करके वास्तविक दुनिया के मॉडलों पर सत्यापन करना अगला आवश्यक कदम है। यह पेपर एडवर्सरियल रोबस्टनेस की व्यापक समस्या को हल करने का दावा नहीं करता है, बल्कि मजबूत प्रशिक्षण के आंतरिक प्रतिनिधित्व संबंधी परिणामों को स्पष्ट करता है।

इसी तरह के और पेपर