🤖 machine learning

Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space

यह शोध पत्र "शॉर्टकट इनवैरिएंस" (Shortcut Invariance) का प्रस्ताव करता है, जो एक लक्षित जैकोबियन नियमितीकरण (Jacobian regularization) विधि है जो एक विलगित लेटेंट स्पेस (disentangled latent space) में एनिसोट्रोपिक शोर (anisotropic noise) को इंजेक्ट करके आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण में सुधार करती है ताकि शॉर्टकट-संरेखित अक्षों के साथ निर्णय सीमाओं को सपाट बनाया जा सके, जिससे स्पष्ट शॉर्टकट लेबल या संघर्षपूर्ण प्रशिक्षण नमूनों की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Shivam Pal, Sakshi Varshney, Piyush Rai

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shivam Pal, Sakshi Varshney, Piyush Rai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "शॉर्टकट इनवेरिएंस: टार्गेटेड जैकोबियन रेगुलराइजेशन इन डिसेंटैंगल्ड लेटेंट स्पेस" (SITAR) का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: "चीट शीट" वाला छात्र

कल्पना कीजिए कि आप एक छात्र (एक AI) को तस्वीरों में जानवरों को पहचानना सिखा रहे हैं।

लक्ष्य: छात्र को यह सीखना चाहिए कि एक शेर की गर्दन पर अयाल (mane) होती है और एक बाघ की शरीर पर धारियाँ होती हैं।
चीटिंग (धोखा): आपके प्रशिक्षण चित्रों (training photos) में, हर शेर संयोग से सूखी घास पर खड़ा है, और हर बाघ नदी के किनारे पर खड़ा है।

छात्र बुद्धिमान है, लेकिन आलसी है। असली चीज़ों (जैसे फर के पैटर्न) को पहचानने की मेहनत करने के बजाय, वह एक आसान शॉर्टकट सीख लेता है: "अगर घास है, तो यह शेर है। अगर पानी है, तो यह बाघ है।"

यह आपके क्लासरूम (ट्रेनिंग डेटा) में पूरी तरह काम करता है। लेकिन यदि आप उस छात्र को एक चिड़ियाघर में ले जाते हैं जहाँ एक शेर पत्थर पर खड़ा है, तो वह पूरी तरह विफल हो जाता है। उसने असली चीज़ (जानवर) के बजाय शॉर्टकट (बैकग्राउंड) पर भरोसा किया था।

AI की दुनिया में, इसे शॉर्टकट लर्निंग (Shortcut Learning) कहा जाता है। इसके कारण AI नई स्थितियों (Out-of-Distribution) में विफल हो जाता है।

पुराने समाधान: वे क्यों काम नहीं आए

पिछले तरीकों ने इसे ठीक करने के दो तरीके आजमाए, लेकिन दोनों में कमियां थीं:

"ग्रुप लेबल" विधि: शिक्षक को मैन्युअल रूप से हर फोटो को "घास पर शेर" या "पानी पर बाघ" के रूप में लेबल करने के लिए कहना ताकि AI समझ सके कि घास को अनदेखा करना है। समस्या: वास्तविक दुनिया में (जैसे मेडिकल इमेजिंग में), हमारे पास ऐसे लेबल अक्सर नहीं होते।
"कट और पेस्ट" विधि: AI के दिमाग से "बैकग्राउंड" वाले हिस्से को भौतिक रूप से काटने और उसे फेंकने की कोशिश करना। समस्या: यह एक केक से एक विशिष्ट सामग्री को बिना पूरे केक को खराब किए निकालने जैसा है। "शॉर्टकट" को "असली फीचर्स" से पूरी तरह अलग करना कठिन है।

नया समाधान: SITAR (द "ब्लाइंडफोल्डेड" ट्रेनर)

लेखक SITAR नामक एक नई विधि प्रस्तावित करते हैं। AI के दिमाग से शॉर्टकट को काटने के बजाय, वे AI को शॉर्टकट के प्रति प्रतिरोधी (immune) बनना सिखाते हैं।

SITAR इस प्रकार काम करता है, चरण-दर-चरण:

1. "डिसेंटैंगल्ड" दिमाग (द सॉर्टिंग हैट)

सबसे पहले, AI को अपने विचारों को एक व्यवस्थित सूची (एक डिसेंटैंगल्ड लेटेंट स्पेस) में व्यवस्थित करने के लिए प्रशिक्षित किया जाता है।

कल्पना करें कि AI का दिमाग 100 दराजों वाला एक फाइलिंग कैबिनेट है।
एक सामान्य AI में, सभी फाइलें मिली-जुली होती हैं।
SITAR में, AI सीखता है कि "आकार" (Shape) को दराज 1 में, "रंग" (Color) को दराज 2 में और "बैकग्राउंड" (Background) को दराज 50 में कैसे रखा जाए।
जादू: AI को यह बताने की ज़रूरत नहीं है कि कौन सी दराज कौन सी है। वह स्वाभाविक रूप से उन्हें छाँट लेता है।

2. "डिटेक्टिव" चरण (चीट को खोजना)

AI अपने खुद के फाइलिंग कैबिनेट को देखता है। वह पूछता है: "कौन सी दराज उत्तर कुंजी (answer key) से सबसे अच्छी तरह मेल खाती है?"

यदि दराज 50 (बैकग्राउंड) हमेशा "घास" होती है जब उत्तर "शेर" होता है, तो AI समझ जाता है: "आह, दराज 50 चीट शीट है!"
उसे यह जानने के लिए किसी इंसान की ज़रूरत नहीं है; वह सह-संबंध (correlation) को देखकर इसे खुद समझ जाता है।

3. "ब्लाइंडफोल्ड" ट्रेनिंग (टारगेटेड नॉइज़)

यही मुख्य नवाचार है। AI को अब एक विशेष नियम के साथ प्रशिक्षित किया जाता है:

नियम: "मैं दराज 50 (चीट शीट) को बहुत ज़ोर से हिलाने जा रहा हूँ और तुम उत्तर देने की कोशिश करोगे। यदि तुम फिर भी सही उत्तर दे पाते हो, तो इसका मतलब है कि तुम असली चीज़ सीख रहे हो।"
उपमा: कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं।
- सामान्य ट्रेनिंग: आप एक चिकने रास्ते पर चलते हैं।
- SITAR ट्रेनिंग: कोई आपकी आँखों पर पट्टी बाँध देता है, लेकिन केवल उस हिस्से के लिए जो चीट शीट (घास) जैसा दिखता है, जबकि बाकी रास्ते के लिए आपकी आँखें खुली रहती हैं।
- यदि आप "घास" के हिलने और धुंधला होने के बावजूद भी संतुलन बना सकते हैं और स्टीयरिंग कर सकते हैं, तो आप वास्तव में साइकिल चलाना सीख रहे हैं, न कि सिर्फ घास को याद कर रहे हैं।

4. परिणाम: फंक्शनल इनवेरिएंस (Functional Invariance)

शॉर्टकट दराजों को हिलाकर और AI को उन्हें अनदेखा करने के लिए मजबूर करके, AI अन्य दराजों (आकार, धारियाँ, असली फीचर्स) पर भरोसा करने के लिए मजबूर हो जाता है।

यह "घास" वाली दराज को हटाता नहीं है; यह बस यह सीखता है कि दराज को हिलाने से उत्तर नहीं बदलता।
यह AI को शॉर्टकट के प्रति "इनवेरिएंट" (अपरिवर्तनीय) बनाता है। यह मजबूत (robust) बन जाता है।

यह एक बड़ी बात क्यों है

चीट शीट की ज़रूरत नहीं: आपको AI को यह बताने की ज़रूरत नहीं है कि शॉर्टकट क्या है। वह अपने दिमाग के "तेज़" संकेतों को देखकर इसे खुद ढूंढ लेता है।
जब चीटिंग "परफेक्ट" हो तब भी काम करता है: कई वास्तविक मामलों में (जैसे अलग-अलग अस्पतालों से ली गई मेडिकल स्कैन), हर ट्रेनिंग उदाहरण में शॉर्टकट मौजूद होता है। वहाँ सच्चाई दिखाने के लिए कोई "काउंटर-एग्जांपल" नहीं होता। SITAR यहाँ काम करता है क्योंकि इसे सच्चाई जानने की ज़रूरत नहीं है; इसे बस यह समझने की ज़रूरत है कि शॉर्टकट "शोर" (noisy) और अविश्वसनीय है।
मेडिकल चमत्कार: लेखकों ने इसका परीक्षण मेडिकल इमेज (ट्यूमर का पता लगाने) पर किया। वहाँ शॉर्टकट बैकग्राउंड नहीं था; बल्कि एक विशिष्ट अस्पताल द्वारा उपयोग किया जाने वाला विशिष्ट "स्टेनिंग" रंग था। SITAR ने समझ लिया कि अस्पताल का रंग एक चीट था और उसे अनदेखा कर दिया, जिससे AI नए अस्पतालों के डेटा पर भी सही ढंग से काम करने में सक्षम हुआ।

सारांश उपमा

कल्पना कीजिए कि आप एक क्लब के सुरक्षा गार्ड हैं।

बुरा गार्ड (पुराना AI): केवल उन्हीं लोगों को अंदर जाने देता है जिन्होंने लाल टोपी पहनी हो। (शॉर्टकट)। यदि कोई वीआईपी नीली टोपी पहनकर आता है, तो उसे बाहर निकाल दिया जाता है।
SITAR गार्ड: हम गार्ड को प्रशिक्षित करते हैं कि वह रैंडम तरीके से हर किसी पर लाल टोपी पहनाए और उसे हिलाए। हम गार्ड से कहते हैं, "टोपी को अनदेखा करो। चेहरे को देखो।"
परिणाम: गार्ड चेहरे को देखना सीख जाता है (मुख्य फीचर) और टोपी को अनदेखा कर देता (शॉर्टकट)। अब, चाहे वीआईपी लाल टोपी पहने, नीली टोपी पहने, या कोई टोपी न पहने, गार्ड उसे अंदर आने देता है।

SITAR केवल AI को दुनिया के "लाल टोपियों" पर निर्भर रहने के बजाय उनके नीचे छिपे "चेहरों" को देखना सिखाने का एक तरीका है।

यहाँ शोध पत्र "Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space" (SITAR) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) के माध्यम से प्रशिक्षित डीप न्यूरल नेटवर्क अक्सर कारण संबंधी अर्थपूर्ण विशेषताओं (causal semantic features) के बजाय प्रशिक्षण डेटा में मौजूद शॉर्टकट्स (भ्रामक सहसंबंधों/spurious correlations) को सीख लेते हैं। जबकि ये शॉर्टकट इन-डिस्ट्रीब्यूशन (ID) सटीकता प्रदान करते हैं, वे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) वितरण बदलावों के तहत व्यवस्थित विफलता का कारण बनते हैं।

पूर्व कार्य की सीमाएँ:

इनपुट-स्पेस रीवेटिंग (Input-Space Reweighting): Group DRO, IRM और JTT जैसे तरीके या तो स्पष्ट शॉर्टकट ग्रुप लेबल पर निर्भर करते हैं या हीयुरिस्टिक्स (जैसे प्रति-नमूना लॉस) के माध्यम से उनका अनुमान लगाते हैं। महत्वपूर्ण बात यह है कि वे यह मान लेते हैं कि प्रशिक्षण सेट में शॉर्टकट-विरोधी उदाहरण (ऐसे नमूने जहाँ शॉर्टकट और लेबल आपस में असहमत हों) मौजूद हैं। कई वास्तविक दुनिया के परिदृश्यों में (जैसे विभिन्न अस्पतालों से एकत्रित मेडिकल इमेजिंग), ऐसे विरोधी उदाहरण पूरी तरह से अनुपस्थित हो सकते हैं।
रिप्रेजेंटेशन-आधारित दृष्टिकोण: जो विधियाँ लेटेंट स्पेस को "कोर" और "शॉर्टकट" घटकों में विभाजित करने का प्रयास करती हैं, उन्हें अक्सर स्पष्ट शॉर्टकट लेबल की आवश्यकता होती है, वे सख्त पृथक्करण (separability) धारणाओं पर निर्भर करती हैं जो शायद ही कभी लागू होती हैं, या वे विफल हो जाती हैं जब शॉर्टकट उच्च-आयामी होते हैं और अर्थपूर्ण सामग्री के साथ उलझे (entangled) होते हैं।

2. कार्यप्रणाली: SITAR

लेखक SITAR (Targeted Anisotropic Regularization के माध्यम से शॉर्टकट इनवेरिएंस) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो बिना शॉर्टकट लेबल या विरोधी नमूनों की आवश्यकता के, एक डिसेंटैंगल्ड लेटेंट स्पेस के भीतर क्लासिफायर स्तर पर शॉर्टकट के प्रति कार्यात्मक अपरिवर्तनीयता (functional invariance) लागू करता है।

मुख्य परिकल्पना (Core Hypothesis)

एक डिसेंटैंगल्ड लेटेंट रिप्रेजेंटेशन में, शॉर्टकट फीचर्स को एनकोड करने वाले आयाम (dimensions), कोर सिमेंटिक फीचर्स को एनकोड करने वाले आयामों की तुलना में लेबल के साथ एक मजबूत सहसंबंध प्रदर्शित करते हैं। यह सहसंबंध अंतराल (correlation gap) शॉर्टकट अक्षों (axes) की पहचान करने के लिए एक अनसुपरवाइज्ड प्रॉक्सी के रूप में कार्य करता है।

एल्गोरिदम अवलोकन (Algorithm Overview)

डिसेंटैंगल्ड रिप्रेजेंटेशन: इनपुट $x$ को एक $\beta$ -VAE (वेरिएशनल ऑटोएनकोडर) का उपयोग करके लेटेंट स्पेस $z$ में मैप किया जाता है। $\beta > 1$ हाइपरपैरामीटर डिसेंटैंगलमेंट को प्रोत्साहित करता है।
शॉर्टकट पहचान (अनसुपरवाइज्ड):
- प्रत्येक इनपुट के लिए माध्य लेटेंट वेक्टर $\mu$ की गणना करें।
- प्रत्येक लेटेंट आयाम $j$ और लेबल $y$ के बीच पूर्ण सहसंबंध $v_j = |\text{Corr}(\mu_j, y)|$ की गणना करें।
- वेक्टर $v$ एक संवेदनशीलता मानचित्र (sensitivity map) के रूप में कार्य करता है; उच्च $v_j$ एक शॉर्टकट-संरेखित अक्ष को इंगित करता है; निम्न $v_j$ एक कोर फीचर अक्ष को इंगित करता है।
टारगेटेड एनिसोट्रोपिक रेगुलराइजेशन (Targeted Anisotropic Regularization):
- प्रशिक्षण के दौरान, लेटेंट वेक्टर में एनिसोट्रोपिक गॉसियन शोर इंजेक्ट किया जाता है: $\bar{z} = z + \alpha \cdot (v \odot \epsilon)$ , जहाँ $\epsilon \sim \mathcal{N}(0, I)$ ।
- उच्च सहसंबंध वाले आयामों (शॉर्टकट्स) को उच्च-विचरण (high-variance) वाला शोर प्राप्त होता है; कोर आयामों को काफी हद तक अप्रतिबंधित रखा जाता है।
प्रशिक्षण उद्देश्य (Training Objective):
क्लासिफायर $f_\theta$ $f_{θ}$ को एक संयुक्त लॉस को कम करने के लिए प्रशिक्षित किया जाता है:
$\mathcal{L} = \mathcal{L}_{\text{VAE}} + \mathbb{E}[\ell_{\text{CE}}(f_\theta(\bar{z}), y)] + \lambda \mathbb{E}[\|f_\theta(z) - f_\theta(\bar{z})\|^2]$
- मजबूत भविष्यवाणी (Robust Prediction): विक्षेपित (perturbed) लेटेंट $\bar{z}$ पर क्रॉस-एन्ट्रॉपी मॉडल को कोर फीचर्स (जो शोर के तहत स्थिर रहते हैं) पर निर्भर रहने के लिए मजबूर करती है।
- कार्यात्मक निरंतरता (Functional Consistency): एक $\ell_2$ पेनल्टी यह सुनिश्चित करती है कि क्लासिफायर का आउटपुट स्वच्छ लेटेंट $z$ और विक्षेपित $\bar{z}$ के बीच सुसंगत रहे। यह विशेष रूप से उच्च-सहसंबंध (शॉर्टकट) अक्षों के साथ संवेदनशीलता को दंडित करता है।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight)

लेखक सिद्ध करते हैं (थ्योरम 1) कि छोटे शोर $\alpha$ के लिए, SITAR ऑब्जेक्टिव विश्लेतिक रूप से ERM लॉस को एक टारगेटेड जैकोबियन और कर्वेचर रेगुलराइज़र के साथ जोड़ने के समान है:
$\mathcal{L}_{\text{total}} \approx \ell_{\text{CE}} + \alpha^2 \sum_{i} v_i^2 \left( \text{Jacobian Penalty}_i + \text{Curvature Penalty}_i \right)$
मानक यूनिफॉर्म जैकोबियन रेगुलराइजेशन के विपरीत, SITAR $v_i^2$ द्वारा भारित (weighted) गैर-समान रूप से दंड लागू करता है। यह प्रभावी रूप से शॉर्टकट आयामों के साथ निर्णय सीमा (decision boundary) को "सपाट" करता है जबकि कोर फीचर्स के प्रति संवेदनशीलता को बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

लेबल-मुक्त शॉर्टकट शमन (Label-Free Shortcut Mitigation): एक ऐसी विधि जो बिना किसी स्पष्ट शॉर्टकट लेबल या प्रशिक्षण डेटा में शॉर्टकट-विरोधी नमूनों की उपस्थिति के, कार्यात्मक अपरिवर्तनीयता लागू करती है।
सैद्धांतिक औचित्य: यह औपचारिक प्रमाण कि प्रस्तावित कंसिस्टेंसी ऑब्जेक्टिव एक लक्षित जैकोबियन और कर्वेचर रेगुलराइजेशन को प्रेरित करता है, जो गणितीय रूप से शॉर्टकट अक्षों पर क्लासिफायर की संवेदनशीलता को दबा देता है।
चरम स्थितियों में मजबूती: उन परिदृश्यों में सामान्यीकरण करने की प्रमाणित क्षमता जहाँ प्रशिक्षण डेटा में केवल शॉर्टकट-संरेखित उदाहरण (पूर्ण सहसंबंध) होते हैं, एक ऐसा क्षेत्र जहाँ अधिकांश पूर्व विधियाँ पूरी तरह विफल हो जाती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर SITAR का मूल्यांकन किया, जिसमें बिना शॉर्टकट-विरोधी नमूनों वाले परिदृश्य भी शामिल थे।

ColorMNIST (नियंत्रित):
- सत्यापित किया कि डिसेंटैंगल्ड स्पेस में लेबल सहसंबंध शॉर्टकट आयाम की सही पहचान करता है।
- दिखाया कि डिसेंटैंगलमेंट ( $\beta \ge 1$ ) एक आवश्यक पूर्व शर्त है।
- सिद्ध किया कि एनिसोट्रोपिक (लक्षित) शोर महत्वपूर्ण है; आइसोट्रोपिक शोर OOD प्रदर्शन में सुधार करने में विफल रहता है।
- परिणाम: जब $\rho=1.0$ (100% शॉर्टकट संरेखण) था, तब भी ~70% OOD सटीकता बनाए रखी, जबकि ERM और अन्य बेसलाइन 0% पर गिर गए।
वास्तविक दुनिया के बेंचमार्क (Pixel Space और Pretrained):
- CelebA और Waterbirds: SITAR ने स्टेट-ऑफ-द-आर्ट (SOTA) वर्स्ट-ग्रुप (WG) सटीकता प्राप्त की।
  - CelebA (Blond/Gender): 58.88% WG (Chroma-VAE के 54.40% के मुकाबले)।
  - Waterbirds: 31.04% WG (ERM के 23.85% के मुकाबले)।
- Pretrained Representations: जब इसे फ्रोजन ResNet फीचर्स पर लागू किया गया, तो SITार ने Waterbirds पर 87.3% WG प्राप्त किया, जो डिफ्यूजन-आधारित विधियों और JTT से बेहतर है।
- तुलना: Chroma-VAE से बेहतर प्रदर्शन किया, जो स्पष्ट लेटेंट विभाजन पर निर्भर करता है और तब संघर्ष करता है जब शॉर्टकट उच्च-आयामी या उलझे हुए होते हैं।
मेडिकल इमेजिंग (Camelyon17-WILDS):
- कार्य: ट्यूमर डिटेक्शन जहाँ शॉर्टकट मूल अस्पताल (स्टेनिंग प्रोटोकॉल) है।
- परिणाम: SITAR ने 83.26% OOD सटीकता प्राप्त की, जो ERM (+1.6%) और JTT (+1.5%) से बेहतर है। इसने बिना ग्रुप लेबल के गैर-सिमेंटिक डोमेन आर्टिफैक्ट्स को सफलतापूर्वक दबा दिया।

5. महत्व (Significance)

व्यावहारिक प्रयोज्यता: SITAR मेडिकल इमेजिंग और अन्य डोमेन में एक महत्वपूर्ण अंतर को संबोधित करता है जहाँ डेटा विविध स्रोतों से एकत्रित किया जाता है, जिसके परिणामस्वरूप अक्सर ऐसे प्रशिक्षण सेट बनते हैं जिनमें कोई विरोधी उदाहरण नहीं होते हैं।
तंत्र में बदलाव (Mechanism Shift): शॉर्टकट फीचर्स को "हटाने" या "प्रोजेक्ट आउट" करने के बजाय (जिससे सिमेंटिक जानकारी खोने का जोखिम होता है), SITAR क्लासिफायर को उनके प्रति असंवेदनशील (desensitizes) बनाता है। यह पूर्ण रिप्रजेंटेशनल क्षमता को सुरक्षित रखते हुए निर्णय फलन को स्प्यूरियस संकेतों के प्रति अपरिवर्तनीय बनाता है।
सरलता: यह विधि कम्प्यूटेशनल रूप से कुशल है, इसके लिए किसी एडवरसैरियल ट्रेनिंग या जेनेरेटिव सिंथेसिस की आवश्यकता नहीं है, और यह विविध डेटासेटों में हाइपरपैरामीटर चयन के प्रति मजबूत है।

संक्षेप में, SITAR डिसेंटैंगल्ड लेटेंट स्पेस के ज्यामिति (geometry) का लाभ उठाकर लक्षित रेगुलराइजेशन लागू करके शॉर्टकट लर्निंग के लिए एक सैद्धांतिक रूप से आधारित, लेबल-मुक्त समाधान प्रदान करता है, जो चुनौतीपूर्ण, वास्तविक दुनिया के परिदृश्यों में OOD सामान्यीकरण में महत्वपूर्ण सुधार करता है।