🤖 machine learning

How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule

यह शोध पत्र वितरण परिवर्तनों की सूक्ष्मता (fineness) को पहचान के लिए आवश्यक बहुपद डिग्री (polynomial degree) से जोड़ने वाला एक सैद्धांतिक स्केल लॉ स्थापित करता है, जो यह प्रदर्शित करता है कि एक बैंडविड्थ-कैलिब्रेटेड कर्नेल परीक्षण उच्च-आयामी एम्बेडिंग परिवर्तनों की पहचान करने में मोमेंट-आधारित सांख्यिकी और टोपोलॉजिकल विधियों दोनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Adel Kaleche

प्रकाशित 2026-08-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adel Kaleche

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुरक्षा गार्ड हैं जो लोगों की एक विशाल, घूमती हुई भीड़ को देख रहे हैं। आपका काम सिरों की गिनती करना नहीं है; बल्कि यह देखना है कि भीड़ का आकार अचानक कब बदल जाता है। शायद लोगों का एक समूह जो एक तंग घेरे में खड़ा था, अचानक टूटकर बीच में खाली जगह वाला एक छल्ला बन जाए, या लोगों की एक लंबी कतार खुद पर वापस मुड़कर एक 'फिगर-एट' (आठ के आकार की आकृति) बना ले। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "लोग" एम्बेडिंग्स (embeddings) नामक डेटा पॉइंट्स हैं—जो वाक्यों, छवियों या ध्वनियों जैसी चीजों के गणितीय प्रतिनिधित्व हैं। जब दुनिया के प्रति AI की समझ बदलती है (जिसे "डिस्ट्रीब्यूशन शिफ्ट" कहा जाता है), तो ये पॉइंट्स इधर-उधर घूमने लगते हैं।

लंबे समय से, वैज्ञानिक इन बदलावों को पकड़ने के लिए सरल सांख्यिकी (statistics) का उपयोग करने की कोशिश कर रहे हैं, जैसे कि भीड़ की औसत स्थिति (मीन/mean) या उनका फैलाव (वेरिएंस/variance)। लेकिन क्या होगा अगर भीड़ अपना आकार इस तरह बदल ले कि उसका औसत और फैलाव बिल्कुल समान रहे? यहीं पर टोपोलॉजी (topology) काम आती है। टोपोलॉजी को "छेद" (holes) और "लूप" (loops) के अध्ययन के रूप में सोचें। एक कॉफी मग और एक डोनट टोपोलॉजिकल रूप से एक ही हैं क्योंकि दोनों में एक छेद होता है; एक गेंद में शून्य छेद होते हैं। टोपोलॉजिकल डेटा एनालिसिस (TDA) यह देखने की कोशिश करता है कि क्या डेटा में बदलाव आया है। बड़ा सवाल यह है: क्या इन "छेदों" को खोजना, भीड़ के फैलाव के गणित की जांच करने की तुलना में परेशानी पकड़ने का एक बेहतर तरीका है? और यदि ऐसा है, तो हम अपने उपकरणों को उन्हें देखने के लिए कैसे ट्यून करें?

यह शोध पत्र, जिसे स्वतंत्र शोधकर्ता अद्ल कालेचे (Adel Kaleche) ने लिखा है, इसी सवाल में गहराई तक जाता है। लेखक एक उच्च-दांव वाले चूहे-बिल्ली के खेल को तैयार करता है। एक तरफ, एक "डिफेंडर" (रक्षक) है जो डेटा स्ट्रीम में बदलावों को पकड़ने की कोशिश कर रहा है। दूसरी ओर, एक चतुर "एडवर्सरी" (विरोधी) है जो बिना अलार्म बजाए बदलाव को छिपाने की कोशिश कर रहा है। यह शोध पत्र एक नया "स्केल लॉ" (Scale Law) पेश करता है—एक नियम जो एक भौतिकी नियम की तरह काम करता है कि किसी बदलाव को देखना कितना कठिन है।

मुख्य खोज इस टोपोलॉजिकल दृष्टिकोण के लिए एक वास्तविकता की जाँच (reality check) की तरह है। यह पत्र सिद्ध करता है कि एक विशिष्ट विशेषता (जैसे छेद या लूप) का पता लगाना पूरी तरह से इस बात पर निर्भर करता है कि वह विशेषता कितनी सूक्ष्म या छोटी है, न कि इस पर कि कितनी विशेषताएं हैं। कल्पना कीजिए कि रेत के ढेर में एक छोटे कंकड़ को ढूंढना। यदि कंकड़ बड़ा है, तो आप उसे आसानी से देख सकते हैं। यदि वह सूक्ष्म है, तो आपको बहुत शक्तिशाली सूक्ष्मदर्शी की आवश्यकता होगी। यह पत्र दिखाता है कि $\epsilon$ आकार के सूक्ष्म फीचर को पहचानने के लिए, आपको एक विशिष्ट स्तर की शक्ति वाले गणितीय "लेंस" (टेस्ट) की आवश्यकता होती है। यदि फीचर बहुत छोटा है, तो उसे देखने के लिए आवश्यक गणित अविश्वसनीय रूप से महंगा और जटिल हो जाता है।

लेखक इस "स्केल लॉ" का परीक्षण "होल-काउंटिंग" पद्धति (परसिस्टेंट होमोलॉजी) के विरुद्ध करता है और पाता है कि AI डेटा में देखे जाने वाले बदलावों के लिए, टोपोलॉजिकल पद्धति अक्सर ज़रूरत से ज़्यादा (overkill) है। वास्तव में, यह पत्र एक आश्चर्यजनक ट्रिक प्रकट करता है: बदलाव को पकड़ने का सबसे अच्छा तरीका हमेशा एक जटिल छेद-गिनने वाला एल्गोरिदम नहीं होता है। इसके बजाय, "स्केल लॉ" भविष्यवाणी करता है कि एक सरल उपकरण—एक कर्नेल टेस्ट (विशेष रूप से एक गॉसियन कर्नेल का उपयोग करके MMD टेस्ट)—सबसे कुशल जासूस है, लेकिन केवल तभी जब आप इसके "ज़ूम लेवल" (बैंडविड्थ) को सही ढंग से सेट करें। यह पत्र इसे मापता है और पाता है कि आदर्श ज़ूम लेवल लगभग बदलाव के आकार के बराबर ही है (लगभग 1.12 का अनुपात)।

यहाँ मोड़ आता है: यह पत्र स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि टोपोलॉजिकल सारांश सभी डेटा शिफ्ट के लिए एक जादुई समाधान है। कठोर परीक्षणों की एक श्रृंखला के माध्यम से, लेखक दिखाता है कि:

सरल गणित अक्सर जीतता है: "कोर्स" (बड़े, स्पष्ट) बदलावों के लिए, सरल सांख्यिकी जैसे कि कर्टोसिस (kurtosis) (जो यह मापता है कि वितरण कितना "नुकीला" या "सपाट" है) टोपोलॉजिकल विधियों के समान ही प्रभावी काम करते हैं।
"छेद" एक जाल है: यह पत्र एक काउंटर-एग्जांपल प्रदान करता है जहाँ डेटा का एक रिंग (जिसमें एक छेद है) गणितीय रूप से एक ठोस डिस्क (जिसमें कोई छेद नहीं है) के समान दिखता है, जब आप मीन, वेरिएंस और यहाँ तक कि चौथे-क्रम के मोमेंट्स (fourth-order moments) की जांच करते हैं। यह सिद्ध करता है कि आप केवल यह नहीं कह सकते कि "चौथे-क्रम का गणित सभी छेदों को देख लेता है।" कभी-कभी, छेद मानक गणित के लिए अदृश्य होता है, लेकिन यह पत्र तर्क देता है कि वास्तविक दुनिया के AI हमलों में, बदलाव एक ऐसे पैटर्न का पालन करते हैं जहाँ सरल गणित काम करता है।
लागत मायने रखती है: टोपोलॉजिकल पद्धति अविश्वसनीय रूप से महंगी है। यह पत्र गणना करता है कि टोपोलजिकल सारांश (विशेष रूप से "फर्स्ट लैंडस्केप") का उपयोग करने में कर्टोसिस का उपयोग करने की तुलना में लगभग 116 गुना अधिक कंप्यूटिंग पावर खर्च होती है, फिर भी यह अक्सर प्रदर्शन में कमतर होता है। यहाँ तक कि बेहतर टोपोलॉजिकल सारांश ("टोटल पर्सिस्टेंस") भी सस्ते गणितीय तरीकों के बराबर पहुँचता है, लेकिन उन्हें महत्वपूर्ण रूप से हरा नहीं पाता, जबकि वह भारी लागत भी वसूलता है।
एडवर्सरी हर उस चीज़ को हरा देता है जिसे ट्यून्ड कर्नेल नहीं पकड़ पाता: जब "एडवर्सरी" इतना स्मार्ट होता है कि वह मीन, वेरिएस, डेंसिटी और यहाँ तक कि कर्टोसिस को भी धोखा दे सके, तो टोपोलॉजिकल विधियाँ पूरी तरह विफल हो जाती हैं। केवल कर्नेल टेस्ट ही बदलाव को पकड़ पाता है, लेकिन केवल तभी जब शोधकर्ता इसके बैंडविड्थ (ज़ूम) को बदलाव के आकार के साथ मिलाता है।

यह पत्र अपने दावों के बारे में बहुत सावधान है। यह यह नहीं कहता कि टोपोलॉजिकल विधियाँ हमेशा के लिए बेकार हैं। यह कहता है कि AI डेटा स्ट्रीम की निगरानी करने के विशेष कार्य के लिए, वे वर्तमान में एक बेहतर-ट्यून्ड कर्नेल टेस्ट द्वारा लागत और प्रदर्शन के मामले में पीछे छोड़ दिए गए हैं। "स्केल लॉ" हमें बताता है क्यों: बारीक विवरणों को पहचानना कठिन है, और टोपोलॉजिकल पद्धति एक साथ सब कुछ देखने की कोशिश करती है, जो अक्षम है। पत्र निष्कर्ष निकालता है कि यदि आप किसी बदलाव को पकड़ना चाहते हैं, तो केवल एक जटिल टोपोलॉजिकल जाल न फेंकें; इसके बजाय, स्केल लॉ का उपयोग यह पता लगाने के लिए करें कि बदलाव कितना बड़ा है, और अपने सरल डिटेक्टर को उसी सटीक आकार के लिए ट्यून करें। यह अपने दुश्मन के आकार को जानने और सही उपकरण चुनने का एक सबक है, न कि केवल सबसे महंगे उपकरण का उपयोग करने का।

तकनीकी सारांश: वितरण परिवर्तन (Distribution Shift) का पता लगाने के लिए एक स्केल लॉ (Scale Law)

समस्या विवरण (Problem Statement)
यह शोध पत्र उच्च-आयामी एम्बेडिंग्स (high-dimensional embeddings) के प्रवाह में वितरण परिवर्तन का पता लगाने की चुनौती को संबोधित करता है। जबकि मानक दृष्टिकोण इसे सांख्यिकी के चुनाव (जैसे कोवेरिएंस ड्रिफ्ट, डेंसिटी एस्टीमेशन, या पर्सिस्टेंट होमोलॉजी जैसे टोपोलॉजिकल सारांश) के रूप में देखते हैं, लेखक का तर्क है कि किसी भी मोमेंट-आधारित डिटेक्टर की प्रभावकारिता मौलिक रूप से परिवर्तन के स्थानिक पैमाने ( $\varepsilon$ ) और उसके द्वारा ले जाए जाने वाले द्रव्यमान अंश ( $f$ ) द्वारा सीमित होती है, न कि फीचर्स की संख्या या स्पेस की आयात्मकता (dimensionality) द्वारा। यह कार्य विशेष रूप से इस बात की जांच करता है कि क्या टोपोलॉजिकल विधियाँ (पर्सिस्टेंट होमोलॉजी) मोमेंट-आधारित सांख्यिकी की तुलना में एक विशिष्ट लाभ प्रदान करती हैं, विशेष रूप से प्रतिकूल परिस्थितियों (adversarial conditions) के तहत।

कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)
इस शोध पत्र का मुख्य भाग एक स्केल लॉ (Scale Law) का व्युत्पन्न और अनुभवजन्य सत्यापन (empirical validation) है, जो जटिलता के नियम को नियंत्रित करता है।

स्केल लॉ (निचली सीमा/Lower Bound):
- लेखक सिद्ध करता है कि स्थानिक पैमाने $\varepsilon$ वाले फीचर को, जो द्रव्यमान अंश $f$ वहन करता है, प्रमाणित करने के लिए $N^*$ डिग्री के बहुपद परीक्षणों (polynomial tests) की आवश्यकता होती है, जो निम्नलिखित को संतुष्ट करते हैं:
  $N^* \ge \frac{\log(1/f)}{2\varepsilon}$
- यह सीमा चेबिशेव एक्सट्रीमल समस्या (Chebyshev extremal problem) के माध्यम से व्युत्पन्न की गई है। इसका तात्पर्य यह है कि पता लगाने की लागत फीचर्स की संख्या से नहीं, बल्कि फीचर की सूक्ष्मता (fineness) से निर्धारित होती है।
- जटिलता $b$ वाली टोपोलॉजी (जैसे $b$ लूप्स) के लिए, गाउस क्वाड्रैचर तर्कों का उपयोग करके एक निचली सीमा $N^* \ge 4b - 1$ स्थापित की गई है।
ऊपरी सीमा और कैलिब्रेशन नियम (Upper Bound and Calibration Rule):
- जबकि बहुपद परीक्षणों के लिए निचली सीमा सख्त है, शोध पत्र पहचान करता है कि गौसियन टेस्ट फंक्शन (एक RBF कर्नेल के RKHS विटनेस) $N^* \propto \log(1/f)/\varepsilon$ की दर प्राप्त कर सकते हैं।
- इससे एक व्यावहारिक कैलिब्रेशन नियम मिलता है: मैक्सिमम मीन डिसक्रीपेंसी (MMD) टेस्ट के बैंडविड्थ ( $\sigma$ ) को फीचर स्केल से मेल खाने के लिए सेट किया जाना चाहिए ( $\sigma \approx \varepsilon$ )।
प्रति-उदाहरण और सीमाएं (Counterexamples and Limitations):
- यह नियम एकतरफा (one-sided) है: यह आवश्यक क्रम (order) की एक निचली सीमा प्रदान करता है, लेकिन कभी भी पर्याप्तता (sufficiency) को प्रमाणित नहीं करता है।
- एक विशिष्ट प्रति-उदाहरण बनाया गया है: एक एनुलस (annulus) जिसमें गैर-शून्य मोटाई है, वह गैर-तुच्छ प्रथम होमोलॉजी ( $H_1 \neq 0$ ) वहन करता है, फिर भी वह एक भरे हुए डिस्क के साथ अपने माध्य (mean), कोवेरिएंस और चौथे क्रम तक के सभी मोमेंट्स साझा करता है। यह इस विचार का खंडन करता है कि "चौथे-क्रम की जानकारी सभी मामलों में कैनोनिकल टोपोलॉजिकल परिवर्तन को नियंत्रित करती है।"
अनुभवजन्य मूल्यांकन (Empirical Evaluation):
- डेटासेट्स: 20 न्यूज़ग्रुप्स और AG न्यूज़ कॉर्पोरा से वास्तविक एम्बेडिंग स्ट्रीम्स (MiniLM, bge-1024)।
- एडवर्सरी (Adversary): एक ग्रेडिएंट-आधारित एडवर्सरी जिसे विशिष्ट डिफेंडर सांख्यिकी ( $\mu, \Sigma$ , k-NN, कर्टोसिस) से बचने के लिए अनुकूलित किया गया है, जबकि लक्षित टोपोलॉजी को सुरक्षित रखा गया है।
- बेसलाइन्स: कोवेरिएंस ड्रिफ्ट, महलानोबिस डिस्टेंस, k-NN डेंसिटी, मर्डिया कर्टोसिस (Mardia kurtosis), और विभिन्न टोपोलॉजिकल सारांश (First Persistence Landscape, Total Persistence, आदि)।
- प्रोटोकॉल: स्लाइडिंग विंडोज़ ( $W=200$ ), इंट्रिन्सिक डायमेंशन के लिए PCA रिडक्शन, और निश्चित फॉल्स पॉजिटिव रेट (FPR) एवं औसत रन लेंथ (ARL) पर मूल्यांकन।

प्रमुख परिणाम (Key Results)

स्केल लॉ का सत्यापन:
- प्रयोग पुष्टि करते हैं कि इष्टतम MMD बैंडविड्थ $\sigma^*$ लगभग फीचर स्केल $\varepsilon$ के बराबर है (मीडियन अनुपात $\sigma^*/\varepsilon = 1.12$ , IQR $[1.01, 1.52]$ )।
- $\varepsilon$ के डेटा-संचालित अनुमान के साथ, MMD टेस्ट $\text{AUC} \ge 0.95$ तक पहुँच सकता है।
- $\{\mu, \Sigma, \text{k-NN}, \text{kurtosis}\}$ के विरुद्ध अनुकूलित एक एडेप्टिव एडवर्सरी के खिलाफ, वे सभी सांख्यिकी विफल हो जाती हैं। केवल बैंडविड्थ-मैच्ड कर्नेल टेस्ट (MMD-RBF) ही शिफ्ट का सफलतापूर्वक पता लगा पाता है।
पर्सिस्टेंट होमोलॉजी (PH) का प्रदर्शन:
- सारांश का चयन महत्वपूर्ण है: PH का प्रदर्शन उसके सारांश सांख्यिकी (summary statistic) के चुनाव से संचालित होता है।
  - फर्स्ट पर्सिस्टेंस लैंडस्केप (First Persistence Landscape): खराब प्रदर्शन करता है (AUC $\approx 0.75$ , FPR=1% पर रिकॉल 0.00)। इसका प्रदर्शन एम्बिएंट डायमेंशन के साथ घटता है और रिडक्शन डायमेंशन के प्रति संवेदनशील है।
  - टोटल पर्सिस्टेंस (Total Persistence): काफी बेहतर प्रदर्शन करता है (AUC $\approx 0.99$ , FPR=1% पर रिकॉल 0.75), जो गैर-एडवर्सरियल सेटिंग्स में कर्टोसिस के प्रदर्शन से मेल खाता है।
- अतिरेक (Redundancy): "टोटल पर्सिस्टेंस" सारांश संरचनात्मक रूप से एक लो-ऑर्डर मोमेंट (रेडियल प्रोफाइल का एक रीडआउट) की तरह व्यवहार करता है। मोटे, सिंगल-स्केल परिवर्तनों (जो इस अध्ययन का केंद्र है) के शासन में, यह कर्टोसिस के साथ रेडंडेंट है, लेकिन इसमें भारी कम्प्यूटेशनल लागत (कर्टोसिस से 116 $\times$ ) आती है।
- एडवर्सरियल विफलता: एक एडेप्टिव एडवर्सरी के विरुद्ध, टोटल पर्सिस्टेंस और कर्टोसिस दोनों एक साथ विफल हो जाते हैं। केवल जीवित रहने वाला डिटेक्टर बैंडविड्थ-मैच्ड कर्नेल टेस्ट है।
लागत बनाम शक्ति (Cost vs. Power):
- इस विशिष्ट कार्य के लिए PH वह क्या पकड़ लेता है जो मोमेंट्स मिस कर देते, ऐसा कोई "पावर गैप" नहीं है; बल्कि, यहाँ एक कॉस्ट गैप (लागत का अंतर) है।
- PH (सर्वश्रेष्ठ सारांश के साथ भी) कर्टोसिस की तुलना में लगभग 116 गुना अधिक लागत लेता है और समान एडवर्सरियल स्थितियों में विफल हो जाता है।
- एम्बिएंट डायमेंशन के साथ देखा गया "क्षय" (degradation) कुछ मेट्रिक्स का गुण है, न कि पर्सिस्टेंट होमोलॉजी का।

महत्व और दावे (Significance and Claims)

शोध पत्र एक विनम्र लेकिन सटीक सेट के दावे के साथ समाप्त होता है:

स्केल लॉ: यह एक दिए गए स्केल के फीचर्स का पता लगाने के लिए आवश्यक मोमेंट ऑर्डर की एक सैद्धांतिक निचली सीमा स्थापित करता है, यह सिद्ध करता है कि डिटेक्शन कॉस्ट फीचर की संख्या नहीं, बल्कि फीचर की सूक्ष्मता (fineness) का फलन है।
कैलिब्रेशन नियम: यह कर्नेल टू-सैंपल टेस्ट के बैंडविड्थ को सेट करने के लिए एक ठोस, अनुभवजन्य रूप से सत्यापित नियम प्रदान करता है ( $\sigma \approx \varepsilon$ ), जो एडैप्टिव एडवर्सरीज के खिलाफ उनकी सफलता के लिए महत्वपूर्ण है।
टोपोलॉजी पर निर्णय: यह शोध पत्र यह दावा नहीं करता कि टोपोलॉजिकल सारांश बेकार हैं। हालाँकि, यह निष्कर्ष निकालता है कि कोर्स, सिंगल-स्केल मॉनिटरिंग (प्रयोगों का शासन) के लिए, टोपोलॉजिकल सारांश लागत के मामले में कर्नेल टेस्ट द्वारा हावी (dominated) हैं।
- वह सारांश जो काम करता है (टोटल पर्सिस्टेंस), अनिवार्य रूप से एक मोमेंट की तरह कार्य करता है, जो स्केल लॉ के पूर्वानुमान के अनुरूप है कि मोटे फीचर्स के लिए लो-ऑर्डर मोमेंट्स पर्याप्त होते हैं।
- शोध पत्र सुझाव देता है कि पर्सिस्टेंट होमोलॉजी का वास्तविक मूल्य सूक्ष्म या मल्टी-स्केल संरचनाओं का पता लगाने में है जहाँ समकक्ष मोमेंट ऑर्डर अत्यधिक उच्च होगा, एक ऐसा शासन जो परीक्षण किए गए एम्बेडिंग शिफ्ट्स में मौजूद नहीं था।

संक्षेप में, यह कार्य तर्क देता है कि एम्बेडिंग्स में वितरण परिवर्तन का पता लगाने के लिए, सांख्यिकी का चुनाव शिफ्ट के स्केल द्वारा सीमित होता है। इष्टतम व्यावहारिक दृष्टिकोण एक कर्नेल टेस्ट है जिसका बैंडविड्थ उस स्केल से मेल खाता हो ( $\sigma \approx \varepsilon$ ), जबकि टोपोलॉजिकल विधियाँ परीक्षण किए गए मोटे विरूपणों (coarse deformations) के लिए लागत या शक्ति में कोई लाभ नहीं देती हैं।

इसी तरह के और पेपर