🤖 AI

Learning Robust Intervention Representations with Delta Embeddings

यह शोध पत्र इनवेरिएंट (invariant) और स्पार्स (sparse) "कॉज़ल डेल्टा एम्बेडिंग्स" (Causal Delta Embeddings) को सीखकर लेटेंट स्पेस में हस्तक्षेपों (interventions) को निरूपित करने की एक विधि प्रस्तावित करता है, जो आउट-ऑफ-डिस्ट्रीब्यूशन रोबस्टनेस (out-of-distribution robustness) में सुधार करती है और इमेज पेयर्स (image pairs) से कॉज़ल रिप्रेजेंटेशन्स के अनसुपरवाइज्ड लर्निंग को सक्षम बनाती है, जो सिंथेटिक और वास्तविक दुनिया के बेंचमार्क दोनों में बेसलाइन्स से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Panagiotis Alimisis, Christos Diou

प्रकाशित 2026-03-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Panagiotis Alimisis, Christos Diou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: AI क्यों भ्रमित हो जाता है

कल्पना कीजिए कि आप एक रोबोट को एक लाल दराज (red drawer) खोलने के लिए सिखाते हैं। वह इसे पूरी तरह सीख लेता है। लेकिन फिर, आप उससे एक नीली तिजोरी (blue safe) खोलने के लिए कहते हैं। रोबोट ठिठक जाता है और विफल हो जाता है।

क्यों? क्योंकि अधिकांश AI मॉडल उन छात्रों की तरह होते हैं जो अवधारणा (concept) समझने के बजाय केवल उत्तर कुंजी (answer key) को रट लेते हैं। रोबोट ने यह सीखा कि "लाल + हैंडल = खोलना"। उसने "किसी चीज़ को खोलने के लिए खींचने" की अमूर्त अवधारणा नहीं सीखी। जब रंग या वस्तु बदल जाती है (एक ऐसी स्थिति जिसे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) शिफ्ट कहा जाता है), तो रोबोट घबरा जाता है क्योंकि उसने पहले कभी उस विशिष्ट संयोजन को नहीं देखा होता।

समाधान: "डेल्टा" जासूस (The "Delta" Detective)

लेखक AI को सिखाने का एक नया तरीका प्रस्तावित करते हैं: पूरी तस्वीर को रटने के बजाय, उसे यह पहचानना सिखाएं कि क्या बदला है।

वे इसे कॉज़ल डेल्टा एम्बेडिंग (Causal Delta Embedding - CDE) कहते हैं। इसे एक "परिवर्तन का जासूस" (Change Detective) समझें।

उपमा: "पहले और बाद" का फोटो एल्बम

कल्पना कीजिए कि आपके पास दो तस्वीरें हैं:

फोटो A: एक बंद दराज।
फोटो B: वही दराज, अब खुली हुई।

अधिकांश AI फोटो A और फोटो B को अलग-अलग देखते हैं और क्रिया का अनुमान लगाने की कोशिश करते हैं। यह अव्यवस्थित है क्योंकि बैकग्राउंड, लाइटिंग और दराज का रंग अलग-अलग हो सकता है।

CDE दृष्टिकोण अलग है। यह फोटो A और फोटो B को लेता है और पूछता है: "यदि मैं फोटो B में से फोटो A को घटा दूँ, तो क्या बचेगा?"

बैकग्राउंड (दीवार, फर्श) दोनों में समान है, इसलिए वह कट जाता है (शून्य हो जाता है)।
दराज का रंग भी समान है, इसलिए वह भी कट जाता है।
क्या शेष रहता है? केवल हैंडल की हलचल (movement) और वह खाली जगह (gap) जहाँ पहले दरवाजा था।

वह शेष "अंतर" ही डेल्टा (Delta) है। यह क्रिया (खोलना) का एक शुद्ध, स्पष्ट प्रतिनिधित्व है, जो सभी भटकाने वाले विवरणों (वस्तु का रंग, कमरे की रोशनी) से मुक्त है।

"डेल्टा" की तीन महाशक्तियाँ

इस "परिवर्तन के जासूस" के प्रभावी होने के लिए, लेखक कहते हैं कि क्रिया के प्रतिनिधित्व में तीन महाशक्तियाँ होनी चाहिए:

स्वतंत्रता (Independence - "आँखों पर पट्टी" का नियम):
क्रिया का प्रतिनिधित्व इस बात की परवाह नहीं करता कि किस वस्तु पर क्रिया की जा रही है। चाहे आप दरवाजा, बॉक्स या लैपटॉप खोल रहे हों, "खोलने" की क्रिया गणितीय रूप से एक जैसी दिखनी चाहिए। यह वस्तु की पहचान के प्रति अंधा होना चाहिए और केवल परिवर्तन पर ध्यान केंद्रित करना चाहिए।
स्पैरसिटी (Sparsity - "न्यूनतमवाद" का नियम):
वास्तविक दुनिया की क्रियाएं आमतौर पर कुछ ही चीजों को बदलती हैं। जब आप एक दराज खोलते हैं, तो आप दीवारों का रंग या कमरे का तापमान नहीं बदलते। गणित को इसे दर्शाना चाहिए: "डेल्टा" वेक्टर में ज्यादातर शून्य होने चाहिए, केवल कुछ ही नंबर बदलने चाहिए। यह प्रतिनिधित्व को सरल और कुशल रखता है।
इनवेरिएंस (Invariance - "यूनिवर्सल ट्रांसलेटर" का नियम):
"खोलने" की क्रिया एक सुरक्षित (safe) या एक सूटकेस पर लागू होने पर भी एक जैसी दिखनी चाहिए। यदि AI सीखता है कि "खोलना" हर वस्तु के लिए अलग दिखता है, तो वह सामान्यीकरण (generalize) नहीं कर पाएगा। डेल्टा "खोलने" के लिए एक सार्वभौमिक प्रतीक होना चाहिए जो हर जगह काम करे।

उन्होंने AI को कैसे सिखाया

शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो छवियों के जोड़े (पहले/बाद) को देखता है और एक विशेष "स्कोरकार्ड" (लॉस फंक्शन) का उपयोग करके AI को ये नियम सीखने के लिए मजबूर करता है:

क्विज़: "क्या आपने सही क्रिया का अनुमान लगाया?" (Cross-Entropy Loss)।
ग्रुपिंग गेम: "सभी 'खोलने' वाली क्रियाएं एक जैसी दिखनी चाहिए, और 'बंद करने' की क्रियाओं से अलग होनी चाहिए।" (Contrastive Loss)।
मिनिमलिस्ट चैलेंज: "अपना उत्तर छोटा रखें! केवल उन्हीं नंबरों को बदलें जिन्हें बदलना अत्यंत आवश्यक है।" (Sparsity Loss)।

परिणाम: एक नया विश्व रिकॉर्ड

उन्होंने इसे कॉज़ल ट्रिपलेट चैलेंज (Causal Triplet Challenge) पर परखा, जो AI के लिए एक कठिन परीक्षा है जिसमें शामिल हैं:

सरल दृश्य: एक नकली कमरे में एक वस्तु।
जटिल दृश्य: एक नकली कमरे में कई वस्तुएं।
वास्तविक जीवन: वास्तविक रसोई (Epic-Kitchens) के वीडियो जहाँ लाइटिंग अजीब है, कैमरे हिल रहे हैं और चीजें बिखरी हुई हैं।

परिणाम: उनके "डेल्टा जासूस" मॉडल ने प्रतियोगिता को पछाड़ दिया।

वास्तविक दुनिया की किचन टेस्ट में, यह पिछले मॉडलों की तुलना में काफी बेहतर था।
इससे भी बेहतर, AI ने तर्क को अपने आप खोज लिया। जब शोधकर्ताओं ने गणित को देखा, तो उन्होंने पाया कि AI ने समझ लिया था कि "खोलना" और "बंद करना" एक दूसरे के सटीक विपरीत हैं (गणितीय रूप से, वे विपरीत दिशाओं में संकेत करते हैं)। उसने यह बिना किसी के बताए खुद सीख लिया, केवल बदलावों को देखकर।

मुख्य निष्कर्ष

यह पेपर AI को "पोशाक" (विशिष्ट वस्तु या बैकग्राउंड) को रटने के बजाय "कथानक" (क्रिया स्वयं) को समझना सिखाने के बारे में है।

डेल्टा (अंतर) पर ध्यान केंद्रित करके, AI सामान्यीकरण (generalization) का उस्ताद बन जाता है। यह एक लाल दराज खोलने के बारे में जो सीखा है, उसे तुरंत एक नीली तिजोरी, एक हरे फ्रिज या यहाँ तक कि एक वीडियो गेम में वर्चुअल दरवाजे को खोलने के ज्ञान पर लागू कर सकता है, क्योंकि यह अंततः खोलने के सार (essence) को समझता है।

यहाँ शोध पत्र "Learning Robust Intervention Representations with Delta Embeddings" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डीप लर्निंग की एक महत्वपूर्ण सीमा को संबोधित करता है: मॉडल की आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परिदृश्यों में सामान्यीकरण (generalize) करने में असमर्थता, विशेष रूप से तब जब वस्तुओं के वर्गों (object classes) या क्रिया-वस्तु संयोजनों (action-object combinations) में परिवर्तन के कारण अंतर्निहित डेटा वितरण बदल जाता है।

संदर्भ: जबकि कॉज़ल रिप्रेजेंटेशन लर्निंग (CRL) ने लेटेंट वेरिएबल्स (latent variables) को अलग करने (disentangle) में प्रगति की है, अधिकांश मौजूदा कार्य दृश्य की अवस्था (variables $z$ ) को रिकवर करने पर केंद्रित हैं, न कि स्वयं हस्तक्षेपों (interventions/actions $a$ ) पर।
अंतराल (The Gap): वर्तमान मॉडल अक्सर वस्तुओं और क्रियाओं के बीच भ्रामक सहसंबंधों (spurious correlations) पर निर्भर करते हैं। जब वे नवीन वस्तुओं या अनदेखे क्रिया-वस्तु युग्मों (compositional shifts) या पूरी तरह से नई वस्तु श्रेणियों (systematic shifts) का सामना करते हैं, तो प्रदर्शन काफी गिर जाता है।
लक्ष्य: लेखक एक ऐसे हस्तक्षेप (intervention) के प्रतिनिधित्व को सीखने का लक्ष्य रखते हैं जो:
1. दृश्य के प्रति अपरिवर्तनीय (Invariant) हो (वस्तु-स्वतंत्र)।
2. विरल (Sparse) हो (केवल कुछ कारण तंत्रों को प्रभावित करे)।
3. वितरण परिवर्तनों के प्रति मजबूत (Robust) हो, जिससे एजेंट अनदेखी वस्तुओं पर क्रियाओं के परिणामों की भविष्यवाणी कर सकें।

2. कार्यप्रणाली: कॉज़ल डेल्टा एम्बेडिंग्स (CDE)

मुख्य प्रस्ताव कॉज़ल डेल्टा एम्बेडिंग (CDE) है, जो एक फ्रेमवर्क है जो हस्तक्षेप को "पहले" और "बाद" की अवस्था के लेटेंट रिप्रेजेंटेशन के बीच वेक्टर अंतर के रूप में दर्शाता है।

2.1 सैद्धांतिक आधार

एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) पर आधारित जहाँ एक अवलोकन $x$ लेटेंट वेरिएबल्स $z$ (दृश्य स्तर $z_s$ और वस्तु स्तर $z_n$ ) द्वारा उत्पन्न होता है, एक क्रिया $a$ विशिष्ट वस्तु वेरिएबल्स $z_a$ पर हस्तक्षेप करती है।
लेखक डेल्टा एम्बेडिंग $\delta_a$ को इस प्रकार परिभाषित करते हैं:
$\delta_a = \phi(\tilde{x}) - \phi(x)$
जहाँ $\phi$ एक एनकोडर है जो छवियों को लेटेंट स्पेस में मैप करता है, $x$ हस्तक्षेप-पूर्व छवि है, और $\tilde{x}$ हस्तक्षेप-पश्चात छवि है।

एक वैध कॉज़ल (Causal) डेल्टा एम्बेडिंग होने के लिए, $\delta_a$ को तीन गुणों को संतुष्ट करना चाहिए, जो कॉज़ल धारणाओं (ICM और Sparse Mechanism Shift) से प्राप्त हुए हैं:

स्वतंत्रता (Independence): $\delta_a$ को दृश्य के गुणों और उन वस्तुओं से स्वतंत्र होना चाहिए जो क्रिया से प्रभावित नहीं होती हैं।
विरलता (Sparsity): $\delta_a$ को विरल होना चाहिए, जो केवल उन विशिष्ट कॉज़ल तंत्रों को प्रभावित करे जो क्रिया द्वारा बदले गए हैं।
अपरिवर्तनीयता (Invariance): एक क्रिया (जैसे, "खोलना") का प्रतिनिधित्व वस्तु के संदर्भ से स्वतंत्र रहना चाहिए (जैसे, एक दरवाजे बनाम एक बॉक्स पर कार्य करना)।

2.2 मॉडल आर्किटेक्चर

शोध पत्र दो मॉडल वेरिएंट प्रस्तावित करता है (चित्र 3):

ग्लोबल कॉज़ल डेल्टा मॉडल (Global Causal Delta Model): यह एक विजन ट्रांसफॉर्मर (ViT) बैकबोन (DINO, MAE, या CLIP के साथ प्री-ट्रेन किया गया) का उपयोग करता है। यह ग्लोबल [CLS] टोकन निकालता है, उसे एक कॉज़ल प्रोजेक्टर (MLP) के माध्यम से भेजता है, और $\delta$ बनाने के लिए "पहले" और "बाद" के टोकन के बीच अंतर की गणना करता है।
पैच-वाइज डेल्टा मॉडल (Patch-Wise Delta Model): इसे कई वस्तुओं वाले जटिल दृश्यों के लिए डिज़ाइन किया गया है। एक ग्लोबल टोकन के बजाय, यह प्रत्येक इमेज पैच के लिए डेल्टा एम्बेडिंग की गणना करता है। इसके बाद यह एक टॉप-के एगोिगेशन (Top-K Aggregation) रणनीति लागू करता है, जो सबसे बड़े L2-नॉर्म परिवर्तनों वाले $k$ पैच का चयन करता है (यह मानते हुए कि क्रिया स्थानीयकृत है) ताकि अंतिम लॉस की गणना की जा सके।

2.3 लर्निंग ऑब्जेक्टिव (Learning Objective)

मॉडल को एक मल्टी-ऑब्जेक्टिव लॉस फंक्शन का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है:
$\mathcal{L}_{total} = \mathcal{L}_{CE} + \alpha_{contrast}\mathcal{L}_{contrast} + \alpha_{sparsity}\mathcal{L}_{sparsity}$

क्रॉस-एन्ट्रॉपी लॉस ( $\mathcal{L}_{CE}$ ): मानक क्लासिफिकेशन लॉस ताकि यह सुनिश्चित हो सके कि डेल्टा एम्बेडिंग सही एक्शन लेबल की भविष्यवाणी करता है।
सुपरवाइज्ड कॉन्ट्रास्टिव लॉस ( $\mathcal{L}_{contrast}$ ): यह अपरिवर्तनीयता (Invariance) गुण को लागू करता है। यह एक ही एक्शन क्लास के एम्बेडिंग्स को करीब लाता है और अलग-अलग क्लासेस को दूर धकेलता है, चाहे वस्तु का संदर्भ कुछ भी हो।
स्पैरसिटी रेगुलराइज़र ( $\mathcal{L}_{sparsity}$ ): डेल्टा वेक्टर पर एक $\ell_1$ पेनल्टी, जो विरलता (Sparsity) गुण को लागू करने के लिए है, जिससे मॉडल को लेटेंट स्पेस में केवल कुछ आयामों को बदलने के लिए प्रोत्साहित किया जाता है।

3. मुख्य योगदान (Key Contributions)

कॉज़ल डेल्टा एम्बेडिंग (CDE): एक नया फ्रेमवर्क जो ध्यान को कॉज़ल वेरिएबल्स को सीखने से हटाकर सीधे डेल्टा वेक्टर्स के रूप में कॉज़ल हस्तक्षेपों को सीखने की ओर ले जाता है।
मल्टी-ऑब्जेक्टिव लर्निंग स्ट्रैटेजी: एक विशिष्ट लॉस फॉर्मूलेशन जो कॉज़ल ग्राफ पर स्पष्ट पर्यवेक्षण (supervision) के बिना स्वतंत्रता, अपरिवर्तनीयता और विरलता को लागू करने के लिए क्लासिफिकेशन, कॉन्ट्रास्टिव लर्निंग और स्पैरसिटी रेगुलराइजेशन को जोड़ता है।
स्टेट-ऑफ-द-आर्ट OOD प्रदर्शन: यह विधि Causal Triplet चैलेंज पर नए बेंचमार्क स्थापित करती है, जो सिंथेटिक और वास्तविक दुनिया दोनों सेटिंग्स में बेसलाइन से काफी बेहतर प्रदर्शन करती है।
सिमेंटिक डिस्कवरी (Semantic Discovery): मॉडल हस्तक्षेप स्पेस में सिमेंटिक संरचनाओं को स्वायत्त रूप से खोजता है, विशेष रूप से एंटी-पैरेलल संबंधों (anti-parallel relationships) को सीखता है (जैसे, "खोलने" का वेक्टर "बंद करने" का सटीक नेगेटिव है) बिना किसी स्पष्ट पर्यवेक्षण के।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन सेटिंग्स को कवर करते हुए Causal Triplet बेंचमार्क पर CDE का मूल्यांकन किया:

सिंगल-ऑब्जेक्ट सिंथेटिक (ProcTHOR):
- परिणाम: ग्लोबल CDE मॉडल ने OOD जनरलाइजेशन गैप को ~0.56 (बेसलाइन्स) से घटाकर 0.21 कर दिया।
- OOD सटीकता: सिस्टमैटिक शिफ्ट्स (अनदेखी वस्तुओं) पर 75% प्राप्त की, जबकि पिछले SOTA तरीकों के लिए यह ~47-54% थी।
मल्टी-ऑब्जेक्ट सिंथेटिक (ProcTHOR):
- पैच-वाइज मॉडल ने सभी बेसलाइन्स को पछाड़ दिया, जिसमें "ऑरेकल-मास्क" (Oracle-mask) विधियाँ भी शामिल हैं जो ग्राउंड-ट्रुथ सेगमेंटेशन मास्क का उपयोग करती हैं।
- OOD सटीकता: 48% (ViT-CLIP बैकबोन) बनाम ResNet बेसलाइन्स के लिए 30%।
रियल-वर्ल्ड (Epic-Kitchens):
- कैमरा मोशन और ऑक्लूजन (occlusions) के साथ जटिल, अनियंत्रित वातावरण में मजबूती प्रदर्शित की।
- OOD सटीकता: 34% (ViT-CLIP) बनाम सर्वश्रेष्ठ बेसलाइन (GroupViT) के लिए 27%।

एब्लेशन स्टडीज (Ablation Studies):

कॉन्ट्रास्टिव लॉस को हटाने से OOD सटीकता में 7 अंकों की गिरावट आई, जो इसकी अपरिवर्तनीयता के लिए आवश्यकता को सिद्ध करता है।
स्पैरसिटी लॉस को हटाने से 2 अंकों की गिरावट आई।
ViT बैकबोन (DINO/MAE/CLIP) का उपयोग करने से ResNet-18 की तुलना में काफी बेहतर प्रदर्शन हुआ, जो विलगित (disentangled) फीचर एक्सट्रैक्शन के महत्व को उजागर करता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

महत्व:

मजबूती (Robustness): CDE स्थिर दृश्य के बजाय परिवर्तन के तंत्र (mechanism of change) को स्पष्ट रूप से मॉडल करके वितरण परिवर्तनों को संभालने का एक सिद्धांतवादी तरीका प्रदान करता है।
सामान्यीकरण (Generalization): यह एजेंटों को सीखे गए कार्यों को पूरी तरह से नई वस्तुओं पर लागू करने में सक्षम बनाता है, जो वास्तविक दुनिया की रोबोटिक्स और एम्बॉडीड AI के लिए एक महत्वपूर्ण कदम है।
व्याख्यात्मकता (Interpretability): एंटी-पैरेलल एक्शन वेक्टर्स की खोज यह सुझाव देती है कि मॉडल एक्शन स्पेस की मानव-व्याख्या योग्य ज्यामितीय संरचना को सीख रहा है।

सीमाएं और भविष्य की दिशाएं:

वास्तविक दुनिया की सटीकता: हालांकि इसमें सुधार हुआ है, लेकिन वास्तविक दुनिया के डेटासेट (Epic-Kitchens) पर पूर्ण सटीकता अभी भी कम (~34%) है, जो उच्च शोर (noise) और ऑक्लूजन की चुनौतियों को दर्शाता है।
संदर्भ स्वतंत्रता (Context Independence): वर्तमान "यूनिवर्सल" डेल्टा एम्बेडिंग यह मानती है कि एक क्रिया सभी संदर्भों में समान होती है, जो जटिल, संदर्भ-निर्भर रूपांतरों के लिए सही नहीं हो सकती है।
भविष्य का कार्य: लेखक वीडियो स्ट्रीम के लिए CDE को विस्तारित करने, बढ़ते शोर/ऑक्लूजन को संभालने, और मल्टी-स्टेप हस्तक्षेपों के लिए कम्पोजिशनल गुणों की जांच करने का प्रस्ताव करते हैं।

संक्षेप में, यह शोध पत्र यह प्रदर्शित करके कॉज़ल रिप्रेजेंटेशन लर्निंग में एक महत्वपूर्ण प्रगति प्रस्तुत करता है कि हस्तक्षेपों को विरल, अपरिवर्तनीय डेल्टा वेक्टर्स के रूप में मॉडल करना गतिशील वातावरण में मजबूत सामान्यीकरण प्राप्त करने के लिए एक अत्यधिक प्रभावी रणनीति है।