⚡ electrical engineering

Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control

यह शोध पत्र लूपज़ीरो (Loopzero) को प्रस्तुत करता है, जो एक पुनरुत्पादनीय (reproducible) और असत्यता-परीक्षण योग्य (falsifiable) बेंचमार्क ढांचा है जो एक सख्त 'इक्वल-फॉल्स-पॉजिटिव' अनुबंध के तहत रिकर्सिव-कोलैप्स चेतावनी दावों का मूल्यांकन करता है, यह प्रदर्शित करते हुए कि सार्वजनिक-बाजार और अनुशंसा-प्रणाली (recommender-system) बेंचमार्क पर न तो मानक तुलनात्मक मॉडल और न ही इसका अपना पूर्व-पंजीकृत डिटेक्टर स्वीकृत ऑपरेटिंग पॉइंट प्राप्त कर सका, बावजूद इसके कि प्रस्तावित विफलता पैटर्न के साथ देखी गई दिशात्मक संरेखण (directional alignment) मौजूद थी।

मूल लेखक: David Mullett

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Mullett

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: किसी सिस्टम के "बिखरने" से पहले उसे पकड़ना

कल्पना कीजिए कि आप कार चला रहे हैं। आमतौर पर, यदि इंजन खराब होने लगता है, तो आपको एक तेज़ आवाज़ सुनाई देती है या धुआं दिखाई देता है। लेकिन क्या होगा अगर कार चुपचाप खराब होने लगे? क्या होगा अगर इंजन अपने आप तेज़ होने लगे, स्टीयरिंग एक ही दिशा में फंस जाए, और कार बाएं या दाएं मुड़ने की अपनी क्षमता खो दे, जबकि स्पीडोमीटर सामान्य दिख रहा हो?

यह पेपर एक विशिष्ट प्रकार की विफलता के बारे में है जिसे "रिकर्सिव कोलैप्स" (Recursive Collapse) कहा जाता है। यह उन सिस्टम में होता है जहाँ आउटपुट वापस इनपुट में फीड होता है (जैसे माइक्रोफ़ोन का स्पीकर के बहुत करीब होना, जिससे एक चीखने वाली लूप बन जाती है)। लेखक तर्क देते हैं कि इन सिस्टमों के पूरी तरह क्रैश होने से पहले, वे तीन विशिष्ट चेतावनी संकेत दिखाते हैं:

गेन (Gain - G): सिस्टम छोटी-छोटी बदलावों को बहुत अधिक बढ़ाना (एम्प्लीफाई करना) शुरू कर देता है (जैसे चीख का तेज़ होता जाना)।
परसिस्टेंस (Persistence - p): सिस्टम अपने हालिया इतिहास में "फंस" जाता है, आगे बढ़ने या उबरने में असमर्थ हो जाता है (जैसे कीचड़ में पहिए घुमाती हुई कार)।
डाइवर्सिटी (Diversity - 𝛿): सिस्टम नए विकल्पों को तलाशना बंद कर देता है और केवल कुछ दोहराव वाले पैटर्न तक सीमित हो जाता है (जैसे एक ड्राइवर जो केवल अपने ठीक सामने की सड़क देख सकता है, किनारों को अनदेखा कर देता है)।

समस्या: गलत अलार्म बनाम वास्तविक खतरा

लेखक इन सिस्टमों के लिए एक "स्मोक डिटेक्टर" (धुआं पकड़ने वाला यंत्र) बनाना चाहते थे। लेकिन एक पेच है: यदि आपका स्मोक डिटेक्टर ब्रेड टोस्ट करते समय भी बजने लगे, तो आप घर में असली आग लगने पर उसे अनदेखा कर देंगे। इसे फॉल्स पॉजिटिव (False Positive) कहा जाता है।

कई मौजूदा चेतावनी प्रणालियाँ बहुत संवेदनशील होती हैं, लेकिन वे बहुत बार "आग लगी है!" चिल्लाती हैं। लेखक यह परीक्षण करना चाहते थे कि क्या उनकी नई विधि (Loopzero) बिना बेवजह शोर मचाए खतरे को पहचान सकती है, लेकिन उन्हें अन्य डिटेक्टर्स के मुकाबले इसकी तुलना करने के लिए एक निष्पक्ष तरीका चाहिए था।

प्रयोग: एक सख्त "कोई गलत अलार्म नहीं" अनुबंध

परीक्षण को निष्पक्ष बनाने के लिए, लेखकों ने एक सख्त नियम बनाया, जैसे कि बॉक्सिंग मैच में एक रेफरी:

नियम: प्रत्येक डिटेक्टर (नया और पुराने दोनों) को बिल्कुल एक ही "फॉल्स अलार्म बजट" पर टेस्ट किया जाना चाहिए।
बजट: उन्होंने 3% से 7% के बीच का फॉल्स अलार्म रेट तय किया। यदि कोई डिटेक्टर 3% से नीचे जाता, तो वह बहुत शांत (चीजों को मिस करने वाला) था। यदि वह 7% से ऊपर जाता, तो वह बहुत शोर मचाने वाला (बेवजह चिल्लाने वाला) था।
लक्ष्य: यह देखना कि क्या कोई भी डिटेक्टर इस विशिष्ट बजट के भीतर रहते हुए "कोलैप्स" (पतन) की घटनाओं को सफलतापूर्वक पकड़ सकता है।

उन्होंने इसका परीक्षण दो वास्तविक दुनिया के "फ्रोजन" डेटासेट्स पर किया (जैसे लाइव खेलने के बजाय गेम की रिकॉर्डिंग को फिर से चलाना):

शेयर बाजार: 2018 के "वोल्मेजेडन" (Volmageddon) क्रैश और 2020 के कोविड मार्केट पैनिक को देखना।
मूवी रिकमेंडेशन: मूवी रेटिंग्स के एक विशाल डेटासेट को देखना कि क्या रिकमेंडेशन सिस्टम खतरनाक रूप से अपने विकल्पों को सीमित कर रहा है।

(उन्होंने एक माध्यमिक जांच के रूप में AI ट्रेनिंग डेटा को भी देखा, लेकिन अभी तक उस पर पूर्ण सख्त परीक्षण नहीं चलाया है।)

परिणाम: नया डिटेक्टर नहीं जीता, और न ही पुराने जीते

पेपर का चौंकाने वाला हिस्सा यहाँ है:

चेतावनी के संकेत मौजूद थे: जब उन्होंने क्रैश से पहले के डेटा को देखा, तो तीन चेतावनी संकेत (गेन, परसिस्टेंस और कम डाइवर्सिटी) दिखाई दिए। सिस्टम वास्तव में ऐसे व्यवहार कर रहे थे जैसे वे टूटने ही वाले हों। "धुआं" वास्तविक था।
डिटेक्टर्स विफल रहे: हालाँकि, जब उन्होंने उन संकेतों का उपयोग करके अलार्म बजाने के लिए एक डिटेक्टर बनाने की कोशिश की, तो कुछ भी काम नहीं आया।
- लेखकों का अपना नया डिटेक्टर (Loopzero) बहुत रूढ़िवादी (conservative) था। वह गलत अलार्म से बचने के लिए चुप रहा, इसलिए उसने क्रैश को मिस कर दिया।
- पुराने, मानक डिटेक्टर (जैसे वेरिएंस चेक या ऑटोकोरिलेशन) बहुत शोर मचाने वाले थे। क्रैश को पकड़ने के लिए, उन्हें अपनी संवेदनशीलता इतनी अधिक रखनी पड़ी कि वे बहुत अधिक गलत अलार्म देने लगे, जिससे 7% का बजट भी पार हो गया।

उपमा (Analogy): कल्पना कीजिए कि आप संग्रहालय में चोर को पकड़ने की कोशिश कर रहे हैं।

चेतावनी के संकेत चोर के पैरों के निशान हैं। वे स्पष्ट रूप रूप से वहाँ हैं।
Loopzero डिटेक्टर एक गार्ड है जो तब तक नहीं चिल्लाता जब तक वह 100% सुनिश्चित न हो जाए। वह पैरों के निशान देखता है लेकिन चुप रहता है क्योंकि वह गलत होने से डरता है। परिणाम: चोर भाग निकलता है।
पुराने डिटेक्टर वे गार्ड हैं जो हर बार बिल्ली के चलने पर "चोर! चोर!" चिल्लाते हैं। वे चोर को पकड़ तो लेते हैं, लेकिन वे दिन में 50 बार बिना किसी कारण के चिल्लाते भी हैं। संग्रहालय का मालिक (ऑपरेटर) उन्हें शोर के कारण बंद कर देता है।

निष्कर्ष: विफलता को मापने का एक नया तरीका

इस पेपर का मुख्य योगदान कोई ऐसा वर्किंग अलार्म सिस्टम नहीं है जिसे आप आज खरीद सकें। इसके बजाय, यह विफलता को मापने और रिपोर्ट करने का एक नया तरीका है।

"गैर-स्वीकृति" (Non-Acceptance) स्वयं एक परिणाम है: लेखक इस तथ्य को एक वैध वैज्ञानिक खोज मानते हैं कि कोई भी डिटेक्टर टेस्ट पास नहीं कर सका। यह साबित करता है कि इन रिकर्सिव कोलैप्स को पकड़ना अविश्वसनीय रूप से कठिन है।
फ्रेमवर्क: उन्होंने एक "स्कोरकार्ड" (Loopzero फ्रेमवर्क) बनाया जो शोधकर्ताओं को ईमानदार रहने के लिए मजबूर करता है। आप सिर्फ यह नहीं कह सकते कि "मेरा डिटेक्टर काम करता है!" आपको यह साबित करना होगा कि यह काम करता है बिना बहुत अधिक गलत अलार्म पैदा किए।
मुख्य बात: हम जानते हैं कि चेतावनी के संकेत मौजूद हैं (टूटने से पहले सिस्टम तेज़, स्थिर और संकीर्ण हो जाता है), लेकिन वर्तमान में हमारे पास ऐसा टूल नहीं है जो बिना सबको परेशान किए विश्वसनीय रूप से अलार्म बजा सके।

संक्षेप में: इस पेपर ने एक बहुत ही सख्त टेस्ट बनाया, साबित किया कि चेतावनी के संकेत वास्तविक हैं, और दिखाया कि कोई भी वर्तमान टूल इस टेस्ट को पास नहीं कर सकता। यह भविष्य के शोध के लिए एक बेहतर डिटेक्टर बनाने हेतु एक उच्च मानक स्थापित करता है।

तकनीकी सारांश: मैचड फॉल्स-पॉजिटिव कंट्रोल के तहत रिकर्सिव-कोलैप्स चेतावनी दावों का बेंचमार्किंग

समस्या विवरण
रिकर्सिव सिस्टम—जहाँ वर्तमान अवस्थाएँ भविष्य की अवस्थाओं को आकार देती हैं और स्थानीय अपडेट निरंतरता को सुदृढ़ करते हैं—"कोलैप्स-जैसे" (collapse-like) शासन में प्रवेश कर सकते हैं, जो स्पष्ट विफलता से पहले स्व-सुदृढ़ीकरण प्रवर्धन (self-reinforcing amplification), निरंतर पुनरावृत्ति (persistent recursion), और घटती विविधता द्वारा पहचाने जाते हैं। जबकि जटिल प्रणालियों के साहित्य में क्रिटिकल ट्रांजिशन (जैसे वेरिएंस ग्रोथ, ऑटोकोरिलेशन शिफ्ट) के लिए अर्ली-वार्निंग सिग्नल्स (EWS) स्थापित हैं, वे अक्सर नॉन-स्टेशनरी फोर्सिंग के तहत फॉल्स-पॉजिटिव कमजोरियों से ग्रस्त होते हैं। यह शोध पत्र इस बात के परीक्षण के लिए एक पुनरुत्पादनीय (reproducible) और फाल्सिफिएबल (falsifiable) बेंचमार्क की कमी को संबोधित करता है कि क्या विशिष्ट रिकर्सिव विफलताएं एक दिशात्मक टेलीमेट्री पैटर्न (बढ़ता हुआ गेन, बढ़ती हुई पर्सिस्टेंस, घटती हुई विविधता) का पालन करती हैं, जो एक सख्त, मैचड फॉल्स-पॉजिटिव (FP) अनुबंध के अंतर्गत हो। मुख्य चुनौती वास्तविक कोलैप्स सिग्नेचर को शोर या डोमेन-विशिष्ट आर्टिफैक्ट्स से अलग करना है, बिना डिटेक्टरों को केवल फॉल्स अलार्म को अलग तरह से खर्च करके "जीतने" की अनुमति दिए।

कार्यप्रणाली (Methodology)
यह शोध पत्र Loopzero नामक एक क्लेम-बाउंडेड बेंचमार्क फ्रेमवर्क पेश करता है जो औपचारिक विनिर्देश (formal specification) को अनुभवजन्य मूल्यांकन (empirical evaluation) से अलग करता है।

फॉर्मल ऑब्स्ट्रक्शन (Lean): लेखक रिकर्सिव फीडबैक सिस्टम के लिए एक "नो-प्रोग्रेस ऑब्स्ट्रक्शन" को Lean थ्योरम प्रूवर में औपचारिक रूप देते हैं। यह एक संरचनात्मक स्थिति को परिभाषित करता है जहाँ एक सिस्टम वैध स्थानीय कदम उठाता है लेकिन 'मोनोटोन टेथर्स' (वे मात्राएँ जो स्थिर रह सकती हैं या बिगड़ सकती हैं लेकिन पुनः प्राप्त नहीं हो सकतीं) के कारण सार्थक प्रगति खो देता है। Lean आर्टिफैक्ट इस एब्स्ट्रैक्ट ऑब्स्ट्रक्शन और एक स्कीमैटिक टेलीमेट्री स्पेशलाइजेशन को सत्यापित करता है, लेकिन यह स्पष्ट रूप से सत्यापित नहीं करता है कि वास्तविक दुनिया का डेटा मेजरमेंट मैप को संतुष्ट करता है या नहीं।
कंडीशनल टेलीमेट्री ब्रिज: फ्रेमवर्क एक कंडीशनल ब्रिज का प्रस्ताव करता है: यदि कोई सिस्टम फॉर्मल ऑब्स्ट्रक्शन प्रदर्शित करता है, तो उसे कोलैप्स से पहले तीन दृश्यमान साक्षी (witnesses) दिखने चाहिए:
- बढ़ता हुआ गेन ( $G$ ): गड़बड़ी का प्रवर्धन (Amplification of perturbations)।
- बढ़ती हुई रिकर्सिव पर्सिस्टेंस ( $p$ ): आंतरिक रूप से उत्पन्न अवस्थाओं पर बढ़ती निर्भरता (इसे नॉन-रिलैक्सेशन गेट के रूप में संचालित किया गया है)।
- घटती हुई विविधता ( $\delta$ ): प्रभावी स्टेट स्पेस का संकुचन।
मैच्ड फॉल्स-पॉजिटिव कॉन्ट्रैक्ट: निष्पक्ष तुलना सुनिश्चित करने के लिए, सभी डिटेक्टरों (Loopzero के अपने प्री-रजिस्टर्ड क्वांटाइल डिटेक्टर और मानक तुलनात्मकों सहित) का मूल्यांकन एक लॉक समान-फॉल्स-पॉजिटिव बैंड के तहत किया जाता है: FP $\in$ [0.03, 0.07]। एक कॉन्फ़िगरेशन को केवल तभी "स्वीकृत" माना जाता है यदि इसकी फॉल्स-पॉजिटिव दर इस अंतराल के भीतर आती है। यह डिटेक्टरों को प्रदर्शन बढ़ाने के लिए मनमाने थ्रेशोल्ड तक ट्यून करने से रोकता है।
बेंचमार्क्स: मूल्यांकन दो फ्रोजन पब्लिक-आर्टिफैक्ट बेंचमार्क्स पर किया जाता है:
- पब्लिक मार्केट्स: 2018 Volmageddon और 2020 COVID मार्केट-वाइड सर्किट ब्रेकर घटनाओं से खंडित डेटा (38 कंट्रोल यूनिट्स, 16 इवेंट यूनिट्स)।
- रेकमेंडर सिस्टम्स: कोलाबोरेटिव-फिल्टरिंग इंजन का उपयोग करते हुए MovieLens-25M यूजर ट्रेजेक्टरीज का ऑफलाइन डिटरमिनिस्टिक रीप्ले (4,755 कंट्रोल यूनिट्स, 35,584 इवेंट यूनिट्स, क्षितिज $h=50$ पर)।
- सेकेंडरी चेक: दिशात्मक निरंतरता के लिए केवल Shumailov et al. (2024) के LLM ट्रेनिंग-लूप कोलैप्स से डिजिटाइज की गई ट्रेजेक्टरीज का उपयोग किया गया है, मैचड-FP मूल्यांकन के लिए नहीं।

प्रमुख परिणाम

डिटेक्टर नॉन-एक्सेप्टेंस: लॉक किए गए FP कॉन्ट्रैक्ट के तहत, कोई भी परीक्षित तुलनात्मक कॉन्फ़िगरेशन (जिसमें AC1, मैट्रिक्स प्रोफाइल, परम्यूटेशन एंट्रॉपी, CUSUM, और पेज-हिंकले जैसे मानक परिवार शामिल हैं) और Loopzero के प्री-रजिस्टर्ड क्वांटाइल डिटेक्टर का कोई भी ऑपरेटिंग पॉइंट दोनों कैनोनिकल बेंचमार्क पर स्वीकृत ऑपरेटिंग पॉइंट प्राप्त करने में विफल रहा।
- मार्केट्स: निकटतम गैर-तुच्छ तुलनात्मक (AC1) का FP 0.132 था (बैंड से ऊपर); स्लो फैमिली या तो ट्रिवियल-साइलेंट (FP=0) थीं या बैंड से बहुत ऊपर थीं।
- रेकमेंडर: निकटतम तुलनात्मक (Matrix Profile) का FP 0.014 था (बैंड से नीचे); कोई भी कॉन्फ़िगरेशन गैर-शून्य इवेंट रिकवरी के साथ [0.03, 0.07] बैंड तक नहीं पहुँच सका।
डायरेक्शनल विटनेस एलाइनमेंट: डिटेक्टर स्वीकृति की कमी के बावजूद, कैनोनिकल बेंचमार्क्स पर डायरेक्शनल ब्रिज क्राइटेरियन बना रहा। कोलैप्स-पूर्व विंडो में, इवेंट यूनिट्स ने कंट्रोल्स की तुलना में उच्च $G$ $G$ , उच्च $p$ $p$ , और निम्न $\delta$ $δ$ दिखाया।
- रेकमेंडर बेंचमार्क ( $h=50$ ) पर, तीनों विटनेस अनुमानित दिशा में संरेखित थे (कॉहेन का $d \approx +0.10$ $G$ के लिए, $+0.08$ $p$ के लिए, और $-0.17$ $\delta$ के लिए)।
- यह संरेखण क्षितिज (horizon) के प्रति संवेदनशील था: $h=40$ पर, $G$ की दिशा बदल गई; $h=60$ पर, $p$ और $\delta$ शून्य (null) की ओर गिर गए।
एनवेलप-बाउंड्री एनालिसिस: Loopzero के डिटेक्टर के लिए सेंसिटिविटी ग्रिड (क्वांटाइल थ्रेशोल्ड $q$ को बदलकर) का विस्तार करते समय, लेखकों ने पाया कि मानक EWS तुलनात्मक, विस्तारित ग्रिड के माध्यम से Loopzero के पर्सेंटाइल-आधारित डिटेक्टर की तुलना में संरचनात्मक रूप से उच्च फॉल्स-पॉजिटिव रिजीम में काम करते हैं। हालांकि, यह संरचनात्मक अंतर किसी भी डिटेक्टर के लिए सख्त कॉन्ट्रैक्ट के तहत स्वीकृत ऑपरेटिंग पॉइंट में नहीं बदला।

दावे और महत्व
यह शोध पत्र जानबूझकर एक न्यूनतम और विनम्र वैज्ञानिक दावा करता है: रिकर्सिव कोलैप्स के लिए एक औपचारिक रूप से निर्दिष्ट ऑब्स्ट्रक्शन एक कंडीशनल, मापने योग्य प्री-कोलैप्स सिग्नेचर को स्वीकार करता है, लेकिन एक सख्त समान-फॉल्स-पॉजिटिव निष्पक्षता अनुबंध के तहत, कोई भी परीक्षित मानक डिटेक्टर (या प्रस्तावित Loopzero डिटेक्टर) कैनोनिकल बेंचमार्क्स पर स्वीकृत ऑपरेटिंग पॉइंट प्राप्त नहीं करता है।

महत्व इन निष्कर्षों के संयोजन में निहित है:

फाल्सिफिएबिलिटी: यह फ्रेमवर्क स्पष्ट रूप से फाल्सिफिएबल है। दावा तब कमजोर होता यदि कोलैप्स इवेंट्स $G/p/\delta$ पैटर्न के बिना होते, या यदि तुलनात्मकों ने समान अनुबंध के तहत स्वीकृत ऑपरेटिंग पॉइंट प्राप्त कर लिए होते।
नॉन-एक्सेप्टेंस एक परिणाम के रूप में: शोध पत्र "नॉन-एक्सेप्टेंस" को एक प्रथम-श्रेणी के वैज्ञानिक परिणाम के रूप में मानता है। यह प्रदर्शित करता है कि रिकर्सिव कोलैप्स का पता लगाने की कठिनाई केवल थ्रेशोल्ड ट्यूनिंग का मामला नहीं है, बल्कि एक संरचनात्मक चुनौती है जहाँ वर्तमान डिटेक्टर एक वैध ऑपरेटिंग पॉइंट खोजने में विफल रहते हैं।
डोमेन-रिजॉल्व्ड एम्पिरिकल प्रोग्राम: यह कार्य एक एकल-डोमेन डिटेक्टर के बजाय एक स्पष्ट रूप से बंधे हुए एम्पिरिकल प्रोग्राम का समर्थन करता है। डायरेक्शनल सिग्नेचर विभिन्न डोमेन (मार्केट्स, रेकमेंडर्स, LLMs) में सुसंगत प्रतीत होता है, जो रिकर्सिव विफलता के सार्वभौमिक संरचनात्मक गुण का सुझाव देता है, भले ही व्यावहारिक पहचान अभी भी कठिन हो।

लेखक स्पष्ट रूप से कहते हैं कि Lean आर्टिफैक्ट वास्तविक टेलीमेट्री को सत्यापित नहीं करता है, और उनके अनुभवजन्य दावे ब्रिज प्रोटोकॉल पर निर्भर हैं, न कि औपचारिक प्रमाण पर। शोध पत्र इस निष्कर्ष के साथ समाप्त होता है कि अगला वैज्ञानिक कदम अतिरिक्त डोमेन और व्यापक तुलनात्मक वर्गों के माध्यम से स्ट्रेस-टेस्टिंग है, न कि एक तैनात परिचालन डिटेक्टर के निर्माण का दावा करना।

मुख्य विचार: किसी सिस्टम के "बिखरने" से पहले उसे पकड़ना

समस्या: गलत अलार्म बनाम वास्तविक खतरा

प्रयोग: एक सख्त "कोई गलत अलार्म नहीं" अनुबंध

परिणाम: नया डिटेक्टर नहीं जीता, और न ही पुराने जीते

निष्कर्ष: विफलता को मापने का एक नया तरीका

इसी तरह के और पेपर