🤖 machine learning

Martingale-Consistent Self-Supervised Learning

यह शोधपत्र एक मार्टिंगेल-संगत (martingale-consistent) स्व-पर्यवेक्षित शिक्षण ढांचे को प्रस्तुत करता है जो आंशिक अवलोकन के तहत मोटे (coarse) और परिष्कृत (refined) भविष्यवाणियों के बीच सामंजस्य लागू करता है, जिससे मानक अपरिवर्तनीयता-आधारित उद्देश्यों की तुलना में मॉडल की मजबूती और अंशांकन (calibration) में सुधार होता है।

मूल लेखक: Moritz Gögl, Hanwen Xing, Christopher Yau

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Moritz Gögl, Hanwen Xing, Christopher Yau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "डगमगाता हुआ क्रिस्टल बॉल" (The Shaky Crystal Ball)

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं।

परिदृश्य A: आप खिड़की से बाहर देखते हैं और काले बादल देखते हैं। आप अनुमान लगाते हैं, "शायद बारिश हो सकती है।"
परिदृश्य B: पाँच मिनट बाद, आप एक रडार ऐप देखते हैं और देखते हैं कि एक बड़ा तूफान आ रहा है। आप अपने अनुमान को अपडेट करते हैं, "निश्चित रूप से बारिश होगी।"

यह सामान्य है। जैसे-जैसे आपको अधिक जानकारी मिलती है, आपकी भविष्यवाणी बदलनी चाहिए।

हालाँकि, यह शोध पत्र वर्तमान AI मॉडल (विशेष रूप से "सेल्फ-सुपरवाइज्ड लर्निंग" मॉडल) के प्रशिक्षण में एक अजीब खामी की ओर इशारा करता है। इन मॉडलों को अक्सर अलग-अलग मात्रा में जानकारी के आधार पर भविष्यवाणियां करने के लिए कहा जाता है: कभी वे पूरी तस्वीर देखते हैं, कभी केवल आधा हिस्सा, और कभी केवल एक छोटा सा टुकड़ा।

समस्या यह है कि ये मॉडल अक्सर एक डगमगाते हुए क्रिस्टल बॉल की तरह व्यवहार करते हैं।

जब वे केवल काले बादल देखते हैं (कम जानकारी), तो वे कह सकते हैं, "बारिश की 50% संभावना है।"
जब वे रडार देखते हैं (बहुत सारी जानकारी), तो वे कह सकते हैं, "90% संभावना है।"
खामी: यदि आपने मॉडल से रडार देखने से पहले पूछा होता, "रडार देखने के बाद आपकी भविष्यवाणी क्या होगी?" तो एक समझदार मॉडल को कहना चाहिए था, "मुझे उम्मीद है कि यह 50% के आसपास ही रहेगी।" उसे गुप्त रूप से 90% तक उछलने या 10% तक गिरने की उम्मीद नहीं करनी चाहिए। यदि ऐसा करता है, तो इसका मतलब है कि मॉडल "ड्रिफ्ट" (भटक) रहा है या असंगत है। यह उस छात्र की तरह है जो क्विज़ में एक रैंडम उत्तर देता है, फिर बाद में उसे सही उत्तर में बदल देता है, लेकिन दावा करता है कि उसे सही उत्तर पहले से पता था।

समाधान: "मार्टिंगेल" नियम (The Martingale Rule)

लेखक "मार्टिंगेल कंसिस्टेंसी" (Martingale Consistency) नामक एक अवधारणा पेश करते हैं। सरल भाषा में, यह एक नियम है जो कहता है: "आपका वर्तमान अनुमान, आपके सभी भविष्य के अनुमानों का औसत होना चाहिए।"

इसे एक खजाने की खोज (Treasure Hunt) की तरह समझें:

धुंधला दृश्य (कम जानकारी): आप शुरुआती रेखा पर खड़े हैं। आपके पास एक नक्शा है जो सामान्य क्षेत्र दिखाता है। आप अनुमान लगाते हैं कि खजाना "उत्तर के मैदान" (North Field) में है।
परिष्कृत दृश्य (अधिक जानकारी): आप करीब जाते हैं। अब आप एक विशिष्ट पेड़ देखते हैं। आप अपने अनुमान को अपडेट करते हैं: "खजाना उस विशिष्ट ओक के पेड़ के नीचे है।"
मार्टिंगेल नियम: पेड़ के पास जाने से पहले, आपका "उत्तर के मैदान" वाला अनुमान उन सभी विशिष्ट स्थानों का औसत होना चाहिए जहाँ आप अंततः खुद को देख सकते थे। यदि आपका शुरुआती अनुमान "उत्तर का मैदान" था, लेकिन आप गुप्त रूप से उम्मीद करते थे कि करीब पहुँचने पर आप "दक्षिण पर्वत" (South Mountain) की ओर देख रहे होंगे, तो आपका शुरुआती अनुमान गलत था।

शोध पत्र का तर्क है कि मानक AI प्रशिक्षण इस नियम की परवाह नहीं करता है। यह बस AI को तब सही होने के लिए सिखाता है जब उसके पास पूरी जानकारी होती है, और तब भी सही होने के लिए जब उसके पास कुछ जानकारी होती है, बिना यह जांचे कि क्या वे दोनों उत्तर आपस में तर्कसंगत हैं।

उन्होंने इसे कैसे ठीक किया

शोधकर्ताओं ने एक नया प्रशिक्षण तरीका बनाया जो AI को इस "मार्टिंगेल" नियम का पालन करने के लिए मजबूर करता है। इसे एक शेफ (Chef) के उदाहरण से समझते हैं:

सेटअप: कल्पना कीजिए कि एक शेफ (AI) सूप में मौजूद सामग्रियों का अनुमान लगाने की कोशिश कर रहा है।
आंशिक दृश्य: शेफ की आँखों पर पट्टी बंधी है और उसे केवल सूप को सूंघने की अनुमति है (कोर्स व्यू)। वह अनुमान लगाता है, "यह शायद टमाटर का सूप है।"
परिष्करण: शेफ अपनी आँखों की पट्टी हटा देता है और पूरे बर्तन को देखता है (रिफाइंड व्यू)। वह अनुमान लगाता है, "यह निश्चित रूप से तुलसी (basil) वाला टमाटर का सूप है।"
ट्रिक (द इम्प्यूटर): शेफ को प्रशिक्षित करने के लिए, शोधकर्ता एक "जादुई सहायक" (इम्प्यूटर) का उपयोग करते हैं। यह सहायक अंधे शेफ के अनुमान को लेता है और कल्पना करता है कि पूर्ण सूप के दो अलग-अलग संस्करण कैसे दिख सकते हैं।
- कल्पना A: बहुत सारी तुलसी वाला सूप।
- कल्पना B: थोड़ी सी तुलसी वाला सूप।
टेस्ट: शोधकर्ता शेफ से पूछते हैं: "यदि आपको केवल गंध के आधार पर पूर्ण सूप का अनुमान लगाना होता, तो क्या आपका अनुमान कल्पना A और कल्पना B के औसत से मेल खाता?"
- यदि शेफ का "गंध वाला अनुमान" दो "पूर्ण सूप" के अनुमानों के औसत से बहुत अलग था, तो AI को दंड (penalty) मिलता है।
- यह AI को यह सीखने के लिए मजबूर करता है कि उसके शुरुआती अनुमान उसके भविष्य के अधिक विस्तृत अनुमानों के लिए एक स्थिर "केंद्र बिंदु" होने चाहिए।

उन्हें क्या मिला

टीम ने कई प्रकार के डेटा पर इसका परीक्षण किया:

टाइम सीरीज़ (Time Series): जैसे शेयर की कीमतें या हृदय गति मॉनिटर (जहाँ आप डेटा के कुछ सेकंड मिस कर सकते हैं)।
टेबुलर डेटा (Tabular Data): जैसे मेडिकल रिकॉर्ड या बैंक फॉर्म (जहाँ कुछ कॉलम गायब हो सकते हैं)।
इमेज (Images): जैसे किसी तस्वीर को देखना जिसका आधा हिस्सा काले बॉक्स से ढका हुआ है।

परिणाम:

बेहतर स्थिरता: जब AI को मार्टिंगेल नियम का पालन करने के लिए मजबूर किया गया, तो यह बहुत अधिक स्थिर हो गया। जब जानकारी गायब थी, तो इसने अपनी भविष्यवाणियों में घबराहट या बड़े उतार-चढ़ाव नहीं दिखाए।
बेहतर कैलिब्रेशन: AI अपने आत्मविश्वास के बारे में अधिक ईमानदार हो गया। यदि इसने कहा "50% संभावना है," तो यह वास्तव में 50% बार सही था, भले ही उसके पास सारा डेटा न हो।
हर जगह काम करता है: यह तब भी काम आया जब AI लेबल के साथ सीख रहा था (supervised) या बिना लेबल के (self-supervised), और चाहे वह नंबरों को देख रहा हो या तस्वीरों को।

मुख्य निष्कर्ष (The Takeaway)

शोध पत्र का दावा है कि इस "कंसिस्टेंसी चेक" (यह सुनिश्चित करना कि AI के शुरुआती अनुमान उसके बाद के अनुमानों का तार्किक औसत हैं) को जोड़कर, हम ऐसे AI मॉडल बना सकते हैं जो अधूरे डेटा के साथ काम करते समय अधिक मजबूत और विश्वसनीय होते हैं। यह एक छात्र को केवल अंतिम उत्तर रटने के बजाय, यह समझने के लिए सिखाने जैसा है कि तथ्य सीखने के साथ उनका चिंतन कैसे विकसित होता है।

तकनीकी सारांश: मार्टिंगेल-संगत स्व-पर्यवेक्षित शिक्षण (Martingale-Consistent Self-Supervised Learning)

समस्या विवरण (Problem Statement)

स्व-पर्यवेक्षित शिक्षण (Self-supervised learning - SSL) को उन परिदृश्यों में व्यापक रूप से तैनात किया जाता है जहाँ सूचना की उपलब्धता गतिशील होती है, जैसे कि संक्षिप्त इतिहास, लुप्त विशेषताओं (missing features), या आंशिक रूप से प्रेक्षित छवियों (partially observed images) के साथ काम करते समय। इन सेटिंग्स में, एक मॉडल को कई "सूचना सेटों" (जैसे, मोटे बनाम परिष्कृत दृश्य) के तहत क्वेरी किया जाता है। ऐसे मॉडलों के लिए एक मौलिक आवश्यकता सुसंगति (coherence) है: एक मोटे सूचना सेट के तहत किया गया पूर्वानुमान, परिशोधन (refinement) के बाद अपेक्षित पूर्वानुमान के समान होना चाहिए।

गणितीय रूप से, यदि $F_1 \subseteq F_2$ नेस्टेड सूचना सेटों का प्रतिनिधित्व करते हैं (जहाँ $F_2$ में $F_1$ की तुलना में अधिक जानकारी है), और $g_\phi(x_F)$ एक प्रेडिक्टर है, तो मार्टिंगेल गुण (martingale property) यह निर्धारित करता है:
$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$
इसका तात्पर्य यह है कि अतिरिक्त जानकारी देखने से पहले, मॉडल को व्यवस्थित रूप से यह अपेक्षा नहीं करनी चाहिए कि उसके भविष्य के पूर्वानुमान ऊपर या नीचे की ओर विचलित होंगे। मानक SSL उद्देश्य (जैसे, कंट्रास्टिव लर्निंग, मास्क्ड रिकंस्ट्रक्शन) आमतौर पर व्यक्तिगत दृश्यों के लिए स्वतंत्र रूप से प्रेडिक्टर्स को प्रशिक्षित करते हैं या अपरिवर्तनीयता (invariance) को लागू करते हैं (दृश्यों को समान बनाना)। वे इस दिशात्मक निरंतरता को लागू नहीं करते हैं, जिससे मॉडल विशिष्ट दृश्यों पर अच्छा प्रदर्शन कर सकते हैं लेकिन नेस्टेड सूचना सेटों में वैश्विक सुसंगति की कमी हो सकती है।

कार्यप्रणाली (Methodology)

लेखक एक मार्टिंगेल-संगत SSL फ्रेमवर्क प्रस्तावित करते हैं जो मार्टिंगेल गुण को एक प्रशिक्षण उद्देश्य के रूप में लागू करता है।

1. उद्देश्य फलन (Objective Function)

कुल लॉस फंक्शन एक मानक प्रेडिक्टिव लॉस और एक मार्टिंगेल कंसिस्टेंसी पेनल्टी को जोड़ता है:
$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$

प्रेडिक्टिव टर्म ( $\mathcal{L}_{pred}$ ): एक मानक SSL लॉस (जैसे, क्लासिफिकेशन क्रॉस-एन्ट्रॉपी या रिकंस्ट्रक्शन MSE) जिसे परिष्कृत (पूर्ण) दृश्य पर लागू किया जाता है।
मार्टिंगेल टर्म ( $\mathcal{L}_{mart}$ ): यह टर्म मार्टिंगेल पहचान से विचलन को दंडित करता है। इसके लिए नेस्टेड सूचना सेट $F_1 \subseteq F_2$ का नमूना लेना आवश्यक है। लॉस को इस प्रकार परिभाषित किया गया है:
$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$
इम्प्यूटेशन लॉस ( $\mathcal{L}_{imp}$ ): एक सहायक लॉस जिसका उपयोग एक इम्प्यूटर नेटवर्क $q_\psi$ को प्रशिक्षित करने के लिए किया जाता है जो आंशिक दृश्य के दिए गए पूर्ण इनपुट के कंडीशनल डिस्ट्रीब्यूशन का अनुमान लगाता है।

2. निष्पक्ष दो-नमूना मोंटे कार्लो अनुमानक (Unbiased Two-Sample Monte Carlo Estimator)

कंडीशनल एक्सपेक्टेशन $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ की सीधी गणना करना अव्यवहार्य है। एक साधारण मोंटे कार्लो औसत वेरिएंस के कारण बायस (bias) पेश करता है। लेखक एक निष्पक्ष दो-नमूना अनुमानक प्रस्तावित करते हैं:

एक मोटे दृश्य $x_{F_1}$ के लिए, सीखे गए इम्प्यूटर $q_\psi$ का उपयोग करके दो सशर्त स्वतंत्र परिशोधन $x^{(a)}_{F_2}$ और $x^{(b)}_{F_2}$ का नमूना लें।
मोटे प्रेडिक्शन $u = g_\phi(x_{F_1})$ और परिष्कृत प्रेडिक्शन $v_a = g_\phi(x^{(a)}_{F_2})$ , $v_b = g_\phi(x^{(b)}_{F_2})$ की गणना करें।
अनुमानक है:
$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$
सैद्धांतिक विश्लेषण (Appendix B.1) सिद्ध करता है कि यह अनुमानक मार्टिंगेल पहचान के स्क्वेर्ड एरर के लिए निष्पक्ष (unbiased) है।

3. कार्यान्वयन वेरिएंट (Implementation Variants)

इस फ्रेमवर्क को दो प्राथमिक स्थानों में स्थापित किया गया है:

प्रेडिक्शन-स्पेस (Prediction-Space): मार्टिंगेल पेनल्टी सीधे मॉडल के आउटपुट प्रेडिक्शन पर लागू होती है।
लेटेंट-स्पेस (Latent-Space): पेनल्टी एनकोडर के लेटेंट रिप्रेजेंटेशन ( $z_{F_1}$ बनाम $z_{F_2}$ ) पर लागू होती है। यह विशेष रूप से उच्च-आयामी डेटा (छवियां, लंबी अनुक्रम) के लिए उपयोगी है जहाँ ऑब्जर्वेशन स्पेस में निरंतरता लागू करना अव्यवहार्य है।
EMA टारगेट्स: प्रशिक्षण को स्थिर करने के लिए, परिष्कृत टारगेट्स ( $v_a, v_b$ या $z_a, z_b$ ) को नेटवर्क की एक एक्सपोनेंशियल मूविंग एवरेज (EMA) कॉपी का उपयोग करके कंप्यूट किया जा सकता है, जो मूविंग-टारगेट अस्थिरता को रोकता है।

मुख्य योगदान (Key Contributions)

एक संरचनात्मक अंतराल की पहचान: पेपर पहचान करता है कि मानक SSL प्रेडिक्टर्स को सूचना सेटों द्वारा इंडेक्स किए गए कंडीशनल एक्सपेक्टेशन के एक परिवार के रूप में मानते हैं, लेकिन वे आवश्यक निरंतरता संबंधों (मार्टिंगेल प्रॉपर्टी) को लागू करने में विफल रहते हैं।
व्यावहारिक प्रशिक्षण रेसिपी: लेखक बिना मोडैलिटी-विशिष्ट पुनर्गठन के मार्टिंगेल निरंतरता को लागू करने का एक तरीका पेश करते हैं। इसमें प्रेडिक्शन- और लेटेंट-स्पेस पेनल्टी और स्टोकेस्टिक रिफाइनमेंट पर आधारित एक निष्पक्ष दो-नमूना मोंटे कार्लो अनुमानक शामिल है।
अनुभवजन्य सत्यापन: फ्रेमवर्क का मूल्यांकन टाइम-सीरीज, टैबुलर और इमेज बेंचमार्क पर सेमी-सेल्फ-सुपरवाइज्ड (लेबल के साथ) और पूरी तरह से सेल्फ-सुपरवाइज्ड (लेबल-रहित) सेटिंग्स में किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का परीक्षण सिंथेटिक और वास्तविक दुनिया के डेटासेट सहित टाइम-सीरीज (UCI HAR, Traffic, Stock), टैबुलर डेटा (Adult, Bank Marketing), और इमेज (CIFAR-10, STL-10) पर किया गया।

आंशिक अवलोकन के तहत मजबूती (Robustness under Partial Observation): मार्टिंगेल निरंतरता को लागू करने से कम पूर्णता स्तरों ( $c \in \{0.05, 0.2, \dots, 0.8\}$ $c \in {0.05, 0.2, \dots, 0.8}$ ) पर भी डाउनस्ट्रीम प्रोब सटीकता में लगातार सुधार हुआ।
- टाइम-सीरीज: सेमी-सेल्फ-सुपरवाइज्ड सेटिंग में, मार्टिंगेल वेरिएंट्स ने सभी 7 डेटासेट पर सर्वश्रेष्ठ औसत सटीकता प्राप्त की, जिसमें महत्वपूर्ण सापेक्ष लाभ देखे गए (जैसे, कैरेक्टर ट्राजेक्टरीज पर +155.6%, T-SIM-RC पर +30.9%)।
- टैबुलर: मार्टिंगेल वेरिएंट्स ने सभी 5 स्टैटिक टैबुलर डेटासेट पर बेसलाइन को पछाड़ दिया, जिसमें सिंथेटिक डेटा पर +34.1% तक का लाभ मिला।
- इमेज: CIFAR-10 पर, लेटेंट-मार्टिंगेल वेरिएंट ने बेस मॉडल की तुलना में औसत सटीकता को 0.311 से बढ़ाकर 0.383 (+23.2%) कर दिया।
कैलिब्रेशन (Calibration): मार्टिंगेल निरंतरता के साथ प्रशिक्षित मॉडल आंशिक अवलोकन के तहत मानक SSL की तुलना में काफी बेहतर कैलिब्रेशन (कम एक्सपेक्टेड कैलिब्रेशन एरर और एनीटाइम रिग्रेट) दिखाते हैं।
उल्लंघन में कमी (Violation Reduction): प्रशिक्षण उद्देश्य ने मार्टिंगेल उल्लंघनों (मोटे प्रेडिक्शन और अपेक्षित परिष्कृत प्रेडिक्शन के बीच विसंगति) को सफलतापूर्वक कम किया, विशेष रूप से कम-पूर्णता वाले शासन (low-completeness regimes) में।
अपरिवर्तनीयता (Invariance) से तुलना: मानक निरंतरता उद्देश्यों के विपरीत जो दृश्यों को समान बनाने के लिए मजबूर करते हैं (इनवेरिएंस), मार्टिंगेल निरंतरता भविष्यवाणियों को सूचना प्रकट होने के साथ अपडेट होने की अनुमति देती है जबकि व्यवस्थित विचलन को रोकती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि मार्टिंगेल निरंतरता विभिन्न मास्किंग पैटर्न या कॉन्टेक्स्ट लेंथ के तहत तैनात SSL मॉडलों के लिए एक संभाव्यता दृष्टिकोण (probabilistic perspective) प्रदान करती है। सूचना परिशोधन के तहत अपेक्षा में सहमति को लागू करके, यह विधि भविष्यवाणियों को नए डेटा के आगमन के साथ स्वाभाविक रूप से अपडेट होने की अनुमति देती है जबकि व्यवस्थित विचलन को रोकती है।

लेखक इसे एक संरचनात्मक इंडक्टिव बायस (structural inductive bias) के रूप में प्रस्तुत करते हैं जो उन सूचनाओं को कैप्चर करता है जो SimCLR या BYOL जैसे मानक उद्देश्यों द्वारा अनियंत्रित छोड़ी गई हैं। उनका सुझाव है कि यह फाउंडेशन मॉडल्स के लिए विशेष रूप से प्रासंगिक है, जिन्हें नियमित रूप से विविध कॉन्टेक्स्ट लेंथ और अपूर्ण अवलोकनों के तहत क्वेरी किया जाता है, फिर भी मौजूदा उद्देश्य उस सुसंगतता को स्पष्ट रूप से लागू नहीं करते हैं जिसकी गतिशील तैनाती के लिए आवश्यकता होती है। यह कार्य प्रदर्शित करता है कि इस अंतर को पाटने से मजबूती, कैलिब्रेशन और रिप्रेजेंटेशन स्थिरता में सुधार होता है, जो स्व-पर्यवेक्षित शिक्षण में आंशिक सूचना शासन को संभालने का एक सिद्धांतपूर्ण तरीका प्रदान करता है।