🤖 machine learning

Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

यह शोधपत्र मैनिफोल्ड-कंस्ट्रेंड एडवर्सरियल ट्रेनिंग (MCAT) का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो मैनिफोल्ड बाधाओं के माध्यम से सिमेंटिक वैधता को लागू करके और ETF-प्रेरित नियमितीकरण के माध्यम से संतुलित ज्यामितीय पृथक्करण को बढ़ावा देकर लॉन्ग-टेल्ड एडवर्सरियल मजबूती को बढ़ाता है, जिससे सभी क्लास डिस्ट्रीब्यूशन्स में मजबूती में सुधार होता है।

मूल लेखक: Guanmeng Xian, Ning Yang, Philip S. Yu

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guanmeng Xian, Ning Yang, Philip S. Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुरक्षा गार्ड (एक AI मॉडल) को प्रशिक्षित कर रहे हैं ताकि वह इमारत में प्रवेश करने वाले विभिन्न प्रकार के लोगों को पहचान सके। एक आदर्श दुनिया में, आपके पास समान संख्या में VIP, नियमित कर्मचारी और डिलीवरी ड्राइवर होते हैं। लेकिन वास्तविक दुनिया में, आपके पास हजारों VIP ("हेड" क्लासेस) हैं और केवल कुछ ही डिलीवरी ड्राइवर ("टेल" क्लासेस) हैं।

यह शोध पत्र, जिसका शीर्षक "Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment" है, इस समस्या से निपटता है जहाँ एक सुरक्षा गार्ड तब बुरी तरह विफल हो जाता है जब उसे किसी बुरे व्यक्ति (एक "एडवर्सरियल अटैक") द्वारा चकमा दिया जाता है, विशेष रूप से दुर्लभ डिलीवरी ड्राइवरों को पहचानने के मामले में।

समस्या और समाधान का विवरण, सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है।

समस्या: "भीड़भाड़ वाला कमरा" और "खोया हुआ ड्राइवर"

लेखकों ने पाया कि जब आप इस असंतुलित डेटा पर एक मानक AI को प्रशिक्षित करते हैं, तो दो बुरी चीजें होती हैं:

VIP अन्य सभी को किनारे धकेल देते हैं (ज्यामितीय असंतुलन - Geometric Imbalance):
कल्पना कीजिए कि AI का "मन" एक कमरा है जहाँ वह समान लोगों को एक साथ समूह में रखता है। क्योंकि बहुत सारे VIP हैं, वे कमरे का अधिकांश हिस्सा ले लेते हैं और कुछ ही डिलीवरी ड्राइवरों को एक छोटे, तंग कोने में धकेल देते हैं। "निर्णय सीमा" (डिसीजन बाउंड्री - वह अदृश्य रेखा जिसका उपयोग गार्ड यह कहने के लिए करता है कि "आप एक VIP हैं" बनाम "आप एक ड्राइवर हैं") दब जाती है और विकृत हो जाती है। गार्ड VIPs के बारे में बहुत आश्वस्त हो जाता है लेकिन ड्राइवरों के बारे में पूरी तरह भ्रमित हो जाता है।
बुरे अभिनेता अंतराल में छिप जाते हैं (ऑफ-मैनिफोल्ड ड्रिफ्ट - Off-Manifold Drift):
एक "बुरे अभिनेता" (Bad Actor) को गार्ड को चकमा देने की कोशिश करते हुए देखते हैं, जो फोटो में सूक्ष्म, लगभग अदृश्य बदलाव (जैसे कुछ पिक्सेल का शोर जोड़ना) करके किया जाता है। एक मानक प्रशिक्षण सेटअप में, AI इन ट्रिक्स के खिलाफ बचाव करना सीखता है, उन सभी संभावित बदलावों को देखकर जो वास्तविक दुनिया में तर्कसंगत नहीं हैं।

उपमा: कल्पना कीजिए कि "वास्तविक दुनिया" एक अच्छी तरह से बना हुआ फुटपाथ (मैनीफोल्ड - Manifold) है। बुरा अभिनेता डिलीवरी ड्राइवर को फुटपाथ से नीचे गिराकर कीचड़ भरे, झाड़ियों वाले घास के मैदान (लो-डेंसिटी क्षेत्र) में धकेलने की कोशिश करता है जहाँ गार्ड को पता ही नहीं होता कि क्या करना है। चूंकि डिलीवरी ड्राइवरों की बहुत कम तस्वीरें हैं, इसलिए गार्ड ने "फुटपाथ" को इतनी अच्छी तरह से नहीं सीखा है कि वह जान सके कि कीचड़ भरा घास का मैदान नकली है। गार्ड घबरा जाता है और ड्राइवर की गलत पहचान कर लेता है।

समाधान: MCAT (एक "स्मार्ट गार्ड" फ्रेमवर्क)

लेखक एक नया प्रशिक्षण तरीका प्रस्तावित करते हैं जिसे MCAT (मैनिफोल्ड-कंस्ट्रेंड एडवर्सरियल ट्रेनिंग) कहा जाता है। यह ऊपर दी गई दोनों समस्याओं को दो मुख्य उपकरणों का उपयोग करके ठीक करता है:

1. "फुटपाथ का नियम" (मैनिफोल्ड कंस्ट्रेंट)

AI को किसी भी जगह जाने देने के बजाय, MCAT मजबूर करता है कि AI केवल उन ट्रिक्स पर विचार करे जो "फुटपाथ" पर ही रहती हैं।

कैसे काम करता है: AI यह सीखता है कि एक वास्तविक डिलीवरी ड्राइवर कैसा दिखता है (सिमेंटिक मैनीफोल्ड)। जब कोई बुरा अभिनेता AI को धोखा देने की कोशिश करता है, तो सिस्टम जाँचता है: "क्या यह ट्रिक एक वास्तविक डिलीवरी ड्राइवर जैसी दिखती है?" यदि ट्रिक इमेज को "कीचड़ भरी घास" (ऑफ-मैनिफोल्ड) में धकेल देती है, तो AI उसे अस्वीकार कर देता है।
परिणाम: AI केवल यथार्थवादी ट्रिक्स के खिलाफ मजबूत होने के लिए सीखता है, जो इसे निरर्थक इनपुट से भ्रमित होने से रोकता है।

2. "परफेक्ट सर्कल" व्यवस्था (ज्यामितिक संरेखण - Geometric Alignment)

"VIPs द्वारा दूसरों को किनारे धकेलने" की समस्या को ठीक करने के लिए, MCAT AI को समूहों को एक पूर्णतः संतुलित तरीके से व्यवस्थित करने के लिए मजबूर करता है, जैसे कि एक तारे या वृत्त पर बिंदु (गणितीय रूप से जिसे ETF संरचना कहा जाता है)।

कैसे काम करता है: यह एक नियम जोड़ता है जो कहता है, "चाहे आपके पास कितने भी VIP हों, आपको डिलीवरी ड्राइवरों को VIPs के बीच की दूरी के समान ही स्थान और दूरी देनी होगी।"
परिणाम: निर्णय सीमाएं (Decision Boundaries) चिकनी और निष्पक्ष हो जाती हैं। गार्ड अब डिलीवरी ड्राइवरों को कोने में नहीं दबाता है; हर किसी को अपना उचित स्थान मिलता है।

परिणाम

शोध पत्र का दावा है कि इन दो नियमों को जोड़कर:

AI दुर्लभ डिलीवरी ड्राइवरों (Tail classes) को पहचानने में बहुत बेहतर हो जाता है, भले ही उन्हें चकमा देने की कोशिश की जा रही हो।
AI अपनी VIPs (Head classes) को पहचानने की क्षमता नहीं खोता है।
समग्र प्रणाली अधिक स्थिर और निष्पक्ष है, चाहे डेटा कितना भी असंतुलित क्यों न हो।

एक वाक्य में सारांश

लेखकों ने एक प्रशिक्षण प्रणाली बनाई है जो AI को अपने "निर्णय रेखाओं" को पूरी तरह से संतुलित रखने और केवल "यथार्थवादी" ट्रिक्स से सीखने के लिए मजबूर करती है, जिससे यह सुनिश्चित होता है कि भीड़ में दुर्लभ वस्तुओं की पहचान करते समय वह भ्रमित न हो।

तकनीकी सारांश: ज्यामितीय संरेखण के माध्यम से लॉन्ग-टेल्ड रोबस्टनेस के लिए मैनिफोल्ड-प्रतिबंधित एडवरसैरियल ट्रेनिंग (MCAT)

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क, विजुअल रिकग्निशन में सफल होने के बावजूद, एडवरसैरियल परटर्बेशन (adversarial perturbations) के प्रति संवेदनशील बने रहते हैं। हालांकि एडवरसैरियल ट्रेनिंग (AT) एक अग्रणी रक्षा है, लेकिन लॉन्ग-टेल्ड क्लास डिस्ट्रीब्यूशन (जहाँ हेड क्लासेस प्रचुर मात्रा में होती हैं और टेल क्लासेस दुर्लभ होती हैं) के तहत इसकी प्रभावकारिता काफी घट जाती है। ऐसे परिवेश में, मानक AT दो जुड़े हुए विफल तंत्रों (failure mechanisms) से ग्रस्त होता है:

ज्यामितीय गलत संरेखण (Geometric Misalignment): हेड-क्लास-प्रभुत्व वाला अनुकूलन (optimization) फीचर स्पेस को संकुचित कर देता है, जिससे टेल क्लासेस के लिए इंटर-क्लास मार्जिन कम हो जाता है और नाजुक, अस्थिर निर्णय सीमाएं (decision boundaries) बन जाती हैं।
ऑफ-मैनिफोल्ड एडवरसैरियल ड्रिफ्ट (Off-Manifold Adversarial Drift): टेल सैंपल्स की कमी के कारण, अनियंत्रित एडवरसैरियल ऑप्टिमाइजेशन फीचर स्पेस के निम्न-घनत्व (low-density), अर्थहीन क्षेत्रों का लाभ उठाता है। इसके कारण एडवरसैरियल उदाहरण वास्तविक डेटा सपोर्ट से दूर चले जाते हैं, जिससे स्प्यूरियस (spurious) निर्णय सीमाएं बनती हैं और टेल क्लासेस के लिए रोबस्ट मार्जिन ढह जाता है।

मौजूदा दृष्टिकोण मुख्य रूप से लॉस रीवेटिंग, मार्जिन रीबैलेंसिंग, या नॉलेज डिस्टिलेशन के माध्यम से इसे संबोधित करते हैं। हालांकि, वे अक्सर सीखे गए रिप्रजेंटेशन की ज्यामिति को स्पष्ट रूप से विनियमित करने या एडवरसैरियल उदाहरणों की सिमेंटिक वैधता सुनिश्चित करने में विफल रहते हैं।

2. कार्यप्रणाली: मैनिफोल्ड-प्रतिबंधित एडवरसैरियल ट्रेनिंग (MCAT)

लेखक MCAT प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो ज्यामितीय असंतुलन और सिमेंटिक वैधता दोनों को दो पूरक तंत्रों के माध्यम से संबोधित करता है:

A. क्लास-कंडीशनल सिमेंटिक मैनिफोल्ड कंस्ट्रेंट्स
एडवरसैरियल ड्रिफ्ट को निम्न-घनत्व वाले क्षेत्रों में जाने से रोकने के लिए, MCAT फीचर स्पेस में क्लास-कंडीशनल सिमेंटिक मैनिफोल्ड्स ( $\mathcal{M}_y$ ) के करीब रहने के लिए परटर्बेशन को प्रतिबंधित करता है।

कार्यान्वयन (Implementation): मैनिफोल्ड्स को स्पष्ट रूप से रिकवर करने के बजाय, यह विधि हल्के क्लास-कंडीशनल जनरेटरों $\{G_y\}$ (MLPs) का उपयोग करती है जिन्हें लेटेंट कोड्स को प्रत्येक क्लास के फीचर स्पेस में मैप करने के लिए प्रशिक्षित किया गया है। ये जनरेटर क्लीन फीचर्स पर प्री-ट्रेन किए जाते हैं और एडवरसैरियल ट्रेनिंग के दौरान फ्रीज कर दिए जाते हैं।
पेनल्टी (Penalty): एक एम्बेडिंग $u$ के लिए एक ऑफ-मैनिफोल्ड डेविएशन मेट्रिक $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$ की गणना की जाती है। यह पेनल्टी लॉस के 'इनर मैक्सिमाइजेशन' स्टेप के दौरान घटा दी जाती है, जो एडवरसैरियल सर्च को उच्च-घनत्व, सिमेंटिक रूप से वैध क्षेत्रों की ओर निर्देशित करती है।
ऑप्टिमाइजेशन: इनर मैक्सिमाइजेशन को मैनिफोल्ड-सपोर्टेड PGD (MS-PGD) का उपयोग करके हल किया जाता है, जो मैनिफोल्ड ग्रेडिएंट के माध्यम से सर्च दिशा को बायस (bias) करते हुए परटर्बेशन को $\ell_\infty$ बजट के भीतर प्रोजेक्ट करता है।

B. ETF-प्रेरित ज्यामितीय रेगुलाइजेशन
टेल-क्लास मार्जिन के संकुचन का मुकाबला करने के लिए, MCAT क्लासिफायर वेट्स में एक संतुलित ज्यामिति लागू करता है।

कार्यान्वयन: क्लासिफायर वेट मैट्रिक्स $W$ को एक सिम्प्लेक्स इक्विएंगुलर टाइट फ्रेम (ETF) संरचना की ओर रेगुलेट किया जाता है। यह ग्राम मैट्रिक्स $W^\top W$ को $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$ के रूप से विचलन को दंडित करके प्राप्त किया जाता है।
प्रभाव: यह सभी क्लास वेक्टर्स के बीच समान कोणीय पृथक्करण (angular separation) को प्रोत्साहित करता है, जिससे न्यूनतम इंटर-क्लास एंगल ( $\theta_{\min}$ ) अधिकतम होता है और हेड क्लासेस को फीचर स्पेस की ज्यामिति पर हावी होने से रोका जाता है।

C. एकीकृत उद्देश्य (Unified Objective)
ट्रेनिंग ऑब्जेक्टिव मानक रोबस्ट लॉस, मैनिफोल्ड पेनल्टी और ज्यामितीय रेगुलाइजेशन को जोड़ता है:
$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$
जहाँ $\lambda$ सिमेंटिक कंसिस्टेंसी को नियंत्रित करता है और $\beta$ ज्यामितीय संतुलन को नियंत्रित करता है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर दो प्रमुख सैद्धांतिक परिणाम प्रदान करता है:

ज्यामितीय पृथक्करण रोबस्ट मार्जिन को दर्शाता है (Geometric Separation Implies Robust Margin): लेखक सिद्ध करते हैं कि एक बड़ा न्यूनतम इंटर-क्लास एंगल ( $\theta_{\min}$ ) सीधे तौर पर सर्टिफिएबल रोबस्ट मार्जिन पर एक निचली सीमा (lower bound) को दर्शाता है। चूंकि ETF संरचना $\theta_{\min}$ को अधिकतम करती है, इसलिए यह रोबस्टनेस के लिए एक प्रमाण योग्य गारंटी प्रदान करती है, विशेष रूप से उन टेल क्लासेस के लिए जिनके मार्जिन अन्यथा संकुचित हो जाते हैं।
मैनिफोल्ड कंस्ट्रेंट रोबस्ट रिस्क को नियंत्रित करता है: लेखक दिखाते हैं कि MCAT ऑब्जेक्टिव उच्च-घनत्व वाले सिमेंटिक क्षेत्रों में वास्तविक रोबस्ट रिस्क को अपर-बाउंड (upper-bound) करता है। मैनिफोल्ड पेनल्टी ऑफ-मैनिफोल्ड ड्रिफ्ट को दबा देती है, यह सुनिश्चित करती है कि रोबस्टनेस को निम्न-घनत्व वाले आर्टिफैक्ट्स के बजाय सिमेंटिक रूप से वैध क्षेत्रों के भीतर सीखा जाए।

4. प्रायोगिक परिणाम (Experimental Results)

विभिन्न इम्बैलेंस रेश्यो (IR) के साथ मानक लॉन्ग-टेल्ड बेंचमार्क (CIFAR-10-LT, CIFAR-100-LT, Tiny-ImageNet-LT) पर प्रयोग किए गए।

समग्र रोबस्टनेस (Overall Robustness): MCAT लगातार सभी डेटासेट्स और अटैक टाइप्स (PGD-20, AutoAttack) पर मानक AT बेसलाइन्स (TRADES, MART, AWP) और स्टेट-ऑफ-द-आर्ट लॉन्ग-टेल्ड रोबस्ट मेथड्स (RoBal, REAT, TAET, Self-Distillation) को पछाड़ता है।
टेल और बैलेंस्ड परफॉरमेंस: महत्वपूर्ण रूप से, MCAT क्लीन एक्यूरेसी से समझौता किए बिना टेल-क्लास रोबस्टनेस और बैलेंस्ड रोबस्टनेस (औसत प्रति-क्लास एक्यूरेसी) में महत्वपूर्ण सुधार करता है। उदाहरण के लिए, CIFAR-100-LT (IR=100) पर, MCAT ने टेल-AA रोबस्टनेस को ~16% (Self-Distill) से बढ़ाकर 20.0% कर दिया।
एब्लेशन स्टडीज (Ablation Studies):
- केवल मैनिफोल्ड कंस्ट्रेंट जोड़ने से ऑफ-मैनिफोल्ड ड्रिफ्ट को कम करके टेल रोबस्टनेस में उल्लेखनीय वृद्धि होती है।
- केवल ज्यामितीय संरेखण (geometric alignment) जोड़ने से ज्यामितीय पूर्वाग्रह को ठीक करके बैलेंस्ड मेट्रिक्स में सुधार होता है।
- दोनों का संयोजन सर्वोत्तम परिणाम देता है, जो दोनों मुद्दों को संबोधित करने की आवश्यकता की पुष्टि करता है।
मैकेनिज्म वेरिफिकेशन: एम्पिरिकल डायग्नोस्टिक्स पुष्टि करते हैं कि MCAT बेसलाइन्स की तुलना में बड़े इंटर-क्लास एंगल्स को बनाए रखता है और ऑफ-मैनिफोल्ड ड्रिफ्ट को काफी कम करता है, जो सैद्धांतिक भविष्यवाणियों के अनुरूप है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि लॉन्ग-टेल्ड डिस्ट्रीब्यूशन के तहत एडवरसैरियल रोबस्टनेस प्राप्त करने के लिए एक दोहरे दृष्टिकोण की आवश्यकता है: निर्णय स्थान (decision space) की ज्यामिति को ठीक करना और एडवरसैरियल उदाहरणों की सिमेंटिक वैधता सुनिश्चित करना।

नवीनता (Novelty): लॉस डिजाइन या ऑप्टिमाइजेशन ह्यूरिस्टिक्स पर ध्यान केंद्रित करने वाले पिछले कार्यों के विपरीत, MCAT स्पष्ट रूप से रिप्रजेंटेशन ज्यामिति को नियंत्रित करता है और एडवरसैरियल उदाहरणों को सिमेंटिक मैनिफोल्ड्स तक सीमित करता है।
अंतर्दृष्टि (Insight): लेखकों ने "ज्यामितीय गलत संरेखण" और "ऑफ-मैनिफोल्ड एडवरसैरियल ड्रिफ्ट" को लॉन्ग-टेल्ड सेटिंग्स में रोबस्टनेस विफलता के मौलिक कारणों के रूप में पहचाना है।
प्रभाव (Impact): ETF-प्रेरित रेगुलाइजेशन को मैनिफोल्ड कंस्ट्रेंट्स के साथ एकीकृत करके, MCAT निर्णय सीमाओं को स्थिर करता है और टेल क्लासेस के लिए रोबस्ट मॉडल्स की विश्वसनीयता और निष्पक्षता (fairness) को काफी बढ़ाता है, जो वास्तविक दुनिया के परिनियोजन परिदृश्यों (deployment scenarios) में एक महत्वपूर्ण अंतर को संबोधित करता है जहाँ डेटा असंतुलन प्रचलित है।