🤖 machine learning

Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

यह शोधपत्र वेरिएशनल ऑटोएनकोडर्स (variational autoencoders) में ध्रुवीकृत शासन (polarised regime) को चित्रित करने के लिए एक एंट्रॉपी-आधारित सूचना-सैद्धांतिक मानदंड प्रस्तावित करता है, जो विविध मॉडल वर्गों में इसकी प्रभावशीलता को प्रदर्शित करता है और यह स्पष्ट करता है कि सक्रिय (active) से मिश्रित (mixed) आयामों को अलग करने के लिए माध्य एंट्रॉपी को विचरण संकेतों (variance signals) के साथ संयोजित करने की आवश्यकता है।

मूल लेखक: Peter Clapham, Lisa Bonheme, Marek Grzes

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peter Clapham, Lisa Bonheme, Marek Grzes

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय को व्यवस्थित करने में मदद करने के लिए 100 सहायकों की एक टीम को काम पर रख रहे हैं। आप उन्हें एक विशिष्ट नियम देते हैं: "अपने नोट्स को जितना संभव हो सके उतना सरल और शांत रखें, केवल वही लिखें जो बिल्कुल आवश्यक हो।"

मशीन लर्निंग की दुनिया में, यह इस बात के समान है कि वेरिएशनल ऑटोएनकोडर्स (VAEs) कैसे काम करते हैं। ये वे AI मॉडल हैं जिन्हें डेटा (जैसे छवियों) का वर्णन करने के लिए एक छोटे, छिपे हुए "लेटेंट वेरिएबल्स" (हमारे सहायकों) का उपयोग करने के लिए डिज़ाइन किया गया है।

हालाँकि, अक्सर एक अजीब चीज़ होती है। सभी 100 सहायकों के मिलकर काम करने के बजाय, टीम तीन अलग-अलग समूहों में विभाजित हो जाती है, जिसे यह शोध पत्र "पोलराइज्ड रिजीम" (Polarised Regime) कहता है:

"सक्रिय" (Active) सहायक: ये मेहनती लोग हैं। वे लगातार पुस्तकालय के बारे में महत्वपूर्ण विवरण लिख रहे हैं क्योंकि केवल उन्हें ही बोलने की अनुमति है।
"निष्क्रिय" (Passive) सहायक: ये वे लोग हैं जो शांत हो गए हैं। उन्होंने कुछ भी न कहना अधिक सुरक्षित समझा और बस "डिफ़ॉल्ट" नियम पुस्तिका (प्रायर) की नकल करना चुना। वे लगभग कोई जानकारी योगदान नहीं देते हैं।
"मिश्रित" (Mixed) सहायक: ये उतार-चढ़ाव वाले लोग हैं। कभी-कभी वे तब बोलते हैं जब कोई विशिष्ट पुस्तक सामने आती है, और अन्य समय में वे शांत हो जाते हैं।

पुराने तरीके के साथ समस्या

पहले, वैज्ञानिक यह पता लगाने की कोशिश करते थे कि कौन काम कर रहा है और कौन काम से जी चुरा रहा है, यह जाँचकर कि क्या कोई सहायक एक विशिष्ट "गौसियन" (बेल-कर्व) नियम पुस्तिका का पालन कर रहा है। यदि किसी सहायक के नोट्स उस विशिष्ट वक्र से मेल नहीं खाते थे, तो उन्हें "सक्रिय" माना जाता था।

दोष क्या है? यह तरीका केवल तभी काम करता है जब AI को उसी विशिष्ट प्रकार की नियम पुस्तिका का उपयोग करके बनाया गया हो। यदि आप मॉडल या नियम पुस्तिका बदल देते हैं, तो पुराना तरीका टूट जाता है। यह एक शेफ के खाना पकाने के कौशल को केवल यह जाँचकर आंकने जैसा है कि क्या उन्होंने नमक का उपयोग किया है, यह नज़रअंदाज़ करते हुए कि शायद वे ऐसा व्यंजन बना रहे हैं जिसमें नमक की आवश्यकता ही नहीं है।

नया समाधान: "एंट्रॉपी" मीटर

लेखक एंट्रॉपी (Entropy) की अवधारणा का उपयोग करके गतिविधि को मापने के एक नए, सार्वभौमिक तरीके का प्रस्ताव करते हैं।

एंट्रॉपी को अराजकता या विविधता के माप के रूप में समझें।

यदि किसी सहायक के नोट्स हमेशा एक ही उबाऊ वाक्य (जैसे, "आकाश नीला है") होते हैं, तो उनकी एंट्रॉपी कम है। वे निष्क्रिय हैं।
यदि किसी सहायक के नोट्स जंगली, विविध और अप्रत्याशित विवरणों (जैसे, "आकाश नीला है, बिल्ली नारंगी है, कार लाल है...") से भरे हैं, तो उनकी एंट्रॉपी उच्च है। वे सक्रिय हैं।

यह शोध पत्र तर्क देता है कि आपको यह जानने की आवश्यकता नहीं है कि AI किस नियम पुस्तिका पर प्रशिक्षित किया गया था। आपको बस सहायकों द्वारा लिखे जा रहे नोट्स की विविधता को देखने की आवश्यकता है। यदि नोट्स बहुत अधिक भिन्न होते हैं, तो सहायक सक्रिय है। यदि वे उबाऊ रूप से स्थिर हैं, तो वे निष्क्रिय हैं।

उन्होंने क्या पाया

शोधकर्ताओं ने इस "एंट्रॉपी मीटर" का परीक्षण विभिन्न प्रकार के AI मॉडलों (कुछ संभाव्य, कुछ नियतत्ववादी) पर किया और पाया:

यह हर जगह काम करता है: ठीक वैसे ही जैसे एक थर्मामीटर तापमान को मापता चाहे आप उबलते पानी को गर्म कर रहे हों या कमरे को, यह एंट्रॉपी विधि सभी अलग-अलग AI मॉडलों में सक्रिय और निष्क्रिय सहायकों की सफलतापूर्वक पहचान करती है जिनका उन्होंने परीक्षण किया।
"शांत" रहने वाले पूरी तरह से बेकार नहीं हैं: यहाँ एक आश्चर्यजनक मोड़ है। "निष्क्रिय" सहायकों (जिनकी एंट्रॉपी कम है) को पूरी तरह से बेकार माना जाता था। हालाँकि, शोधकर्ताओं ने पाया कि यदि आप उनके छोटे, शांत नोट्स को नॉर्मलाइज़ (स्केल को समायोजित) करते हैं, तो वे वास्तव में भविष्य के कार्यों के लिए AI के प्रदर्शन में एक छोटा लेकिन निरंतर सुधार प्रदान करते हैं।
- उपमा: यह महसूस करने जैसा है कि कमरे में सबसे शांत सहायक भी एक छोटा, उपयोगी संकेत दे रहा है। यदि आप उनकी फुसफुसाहट की आवाज़ को थोड़ा सा बढ़ा दें, तो यह टीम को पहेली को बेहतर ढंग से सुलझाने में मदद करता है। चुप्पी में "कोलैप्स" होना सूचना का पूर्ण नुकसान नहीं था; यह केवल स्केल (पैमाने) का मामला था।

सीमाएँ

यह शोध पत्र ईमानदार है कि यह नया टूल क्या नहीं कर सकता है:

"मिश्रित" भ्रम: केवल उनके नोट्स की विविधता को देखकर एक "सक्रिय" सहायक और एक "मिश्रित" सहायक के बीच अंतर करना कठिन है। दोनों में उच्च विविधता हो सकती है, लेकिन अलग-अलग कारणों से।
थ्र्रेसहोल्ड (सीमा): शोधकर्ताओं को एक मनमाना "कटऑफ लाइन" चुनने के लिए मजबूर होना पड़ा कि क्या उच्च विविधता और निम्न विविधता के रूप में गिना जाए। अभी तक कोई भी आदर्श, सार्वभौमिक संख्या नहीं है जो हर स्थिति में काम करे।

बड़ी तस्वीर

मुख्य निष्कर्ष यह है कि "पोलराइज्ड रिजीम" (जहाँ AI के कुछ हिस्से काम करते हैं और अन्य शांत हो जाते हैं) केवल एक विशिष्ट गणितीय सूत्र का अजीब ग्लिच नहीं है। यह AI मॉडल को कुशल और सरल बनाने के प्रयास का एक स्वाभाविक परिणाम है।

एंट्रॉपी (सूचना की विविधता) का उपयोग करके, बजाय कठोर नियम-जाँच के, हम बेहतर ढंग से समझ सकते हैं कि AI का कौन सा हिस्सा वास्तव में सोच रहा है और कौन सा हिस्सा केवल औपचारिकता निभा रहा है। और, आश्चर्यजनक रूप से, "सोते हुए" हिस्सों के पास भी थोड़ा मूल्य बचा हो सकता है यदि हम सुनना जानते हों।

तकनीकी सारांश: लेटेंट वेरिएबल मॉडल्स में पोलराइज्ड रिजीम का एंट्रॉपी-आधारित लक्षण वर्णन

समस्या विवरण
वेरिएशनल ऑटोएनकोडर्स (VAEs) और संबंधित लेटेंट वेरिएबल मॉडल्स अक्सर एक "पोलराइज्ड रिजीम" (ध्रुवीकृत अवस्था) प्रदर्शित करते हैं, जहाँ लेटेंट डाइमेंशन्स तीन अलग-अलग उपसमूहों में विभाजित हो जाते हैं: एक्टिव (अधिकतम डेटा भिन्नता को एनकोड करने वाले), पैसिव (प्रायर की ओर कोलैप होने वाले और नगण्य सूचना एनकोड करने वाले), और मिक्सड (इनपुट के आधार पर एक्टिव और पैसिव अवस्थाओं के बीच स्विच करने वाले)। इन उपसमूहों की पहचान करना मॉडल के व्यवहार को समझने के लिए महत्वपूर्ण है, विशेष रूप से "पोस्टीरियर कोलैप्स" (posterior collapse) के संबंध में, जहाँ मॉडल लेटेंट स्पेस का प्रभावी ढंग से उपयोग करने में विफल रहता है।

एक्टिव से पैसिव डाइमेंशन्स को अलग करने के मौजूदा तरीके मुख्य रूप से विशिष्ट प्रायर (priors) पर निर्भर करते हैं, जो आमतौर पर गॉसियन (Gaussian) होते हैं। सामान्य दृष्टिकोणों में कुलबैक-लीब्लर (KL) डाइवर्जेंस पर थ्रेशोल्ड सेट करना या मानक गॉसियन प्रायर के सापेक्ष माध्य और वेरिएंस रिप्रेजेंटेशन ( $\mu$ और $\sigma$ ) के सांख्यिकीय विश्लेषण शामिल हैं। ये विधियाँ सीमित हैं क्योंकि ये मॉडल-अज्ञेय (model-agnostic) नहीं हैं; वे नियतात्मक आर्किटेक्चर (जैसे स्टैंडर्ड ऑटोएनकोडर्स) या गैर-गॉसियन प्रायर वाले मॉडल्स (जैसे आइडेंटिफिएबल VAEs) पर लागू होने में संघर्ष करती हैं। इसके अलावा, हाल के निष्कर्ष बताते हैं कि "पैसिव" वेरिएबल्स अन्य वेरिएबल्स के साथ सूक्ष्म सहसंबंध बनाए रख सकते हैं, जिसका अर्थ है कि सख्त प्रायर-आधारित मानदंडों के आधार पर उन्हें हटाने से उपयोगी जानकारी हट सकती है। लेटेंट गतिविधि को लक्षणबद्ध करने के लिए एक सिद्धांतगत, प्रायर-अज्ञेय मानदंड की आवश्यकता है।

कार्यप्रणाली
लेखक लेटेंट डाइमेंशन्स के मीन रिप्रेजेंटेशन की एंट्रॉपी ( $H(\mu_i)$ ) पर आधारित एक सूचना-सैद्धांतिक ढांचा प्रस्तावित करते हैं।

एंट्रॉपी मानदंड: प्रायर से विचलन (KL डाइवर्जेंस के माध्यम से) मापने के बजाय, यह विधि प्रत्येक लेटेंट डाइमेंशन के मीन आउटपुट ( $\mu_i$ ) के एम्पिरिकल मार्जिनल डिस्ट्रीब्यूशन की अव्यवस्था या अनिश्चितता को मापती है।
- एक्टिव: $H(\mu_i) > \tau$ (उच्च एंट्रॉपी, जो डेटा पॉइंट्स के बीच महत्वपूर्ण भिन्नता को दर्शाती है)।
- पैसिव: $H(\mu_i) \le \tau$ (कम एंट्रॉपी, जो दर्शाता है कि डाइमेंशन लगभग स्थिर है)।
- मिक्सड: वे डाइमेंशन्स जो कुछ डेटा उपसमूहों के लिए उच्च एंट्रॉपी और अन्य के लिए कम एंट्रॉपी प्रदर्शित करते हैं।
सैद्धांतिक विश्लेषण: पेपर इस एंट्रॉपी-आधारित मानदंड और मौजूदा परिभाषाओं के बीच एक सैद्धांतिक संबंध स्थापित करता है:
- एंट्रॉपी बनाम KL डाइवर्जेंस: एंट्रॉपी-वेरिएंस असमानताओं (विशेष रूप से $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$ ) का उपयोग करते हुए, लेखक दिखाते हैं कि मीन रिप्रेजेंटेशन में उच्च एंट्रॉपी, KL डाइवर्जेंस के लिए एक निचली सीमा (lower bound) निर्धारित करती है। इस प्रकार, उच्च एंट्रॉपी "एक्टिव" अवस्था के साथ सह-संबंधित है जिसे उच्च KL योगदान द्वारा परिभाषित किया गया है।
- एंट्रॉपी बनाम बोनहेम का मानदंड: लेखक अपने दृष्टिकोण को बोनहेम और ग्रज़ेस की परिभाषा से जोड़ते हैं, जो $\mu$ और $\sigma$ के वेरिएंस पर निर्भर करती है। वे प्रदर्शित करते हैं कि $H(\mu)$ उसी सांख्यिकीय भिन्नता को कैप्चर करता है जिसे $\text{Var}(\mu)$ द्वारा दर्शाया जाता है, लेकिन एक सूचना-सैद्धांतिक तरीके से।
- सीमाएँ: विश्लेषण स्पष्ट करता है कि मीन की एंट्रॉपी अकेले एक्टिव और मिक्सड डाइमेंशन्स के बीच विश्वसनीय रूप से अंतर नहीं कर सकती है, क्योंकि दोनों ही मीन में उच्च अनिश्चितता प्रदर्शित कर सकते हैं। इसके लिए वेरिएंस रिप्रेजेंटेशन से अतिरिक्त संकेतों की आवश्यकता होती है।
अनुमान (Estimation): एम्पिरिकल मूल्यांकन के लिए, लेखक मैट्रिक्स-आधारित रेनी $\alpha$ -एंट्रॉपी एस्टिमेटर का उपयोग करते हैं। यह दृष्टिकोण स्पष्ट घनत्व अनुमान (explicit density estimation) से बचता है, जिससे यह उच्च-आयामी लेटेंट स्पेस के लिए उपयुक्त और निरंतर वेरिएबल्स को सीधे ग्राम मैट्रिसेस (Gram matrices) के माध्यम से संभालने में सक्षम बनता है।

प्रायोगिक मूल्यांकन
लेखकों ने चार अलग-अलग मॉडल क्लासेज में एंट्रॉपी मानदंड का मूल्यांकन किया:

$\beta$ -VAEs: KL पेनल्टी की शक्ति को नियंत्रित करने के लिए $\beta$ हाइपरपैरामीटर वाले मॉडल्स।
आइडेंटिफिएबल VAEs (iVAEs): आइडेंटिफिएबिलिटी को लागू करने के लिए सहायक जानकारी का उपयोग करने वाले मॉडल्स।
लीस्ट-वॉल्यूम ऑटोएनकोडर्स (LV-AEs): लेटेंट स्पेस के वॉल्यूम द्वारा नियमित (regularized) किए गए नियतात्मक मॉडल्स।
L2-रेगुलराइज्ड ऑटोएनकोडर्स (L2-AEs): लेटेंट कोड्स पर L2 पेनल्टी वाले नियतात्मक बेसलाइन।

प्रमुख परिणाम

पोलराइज्ड रिजीम की रिकवरी: एंट्रॉपी मानदंड ने सभी परीक्षण किए गए आर्किटेक्चर में पोलराइज्ड रिजीम (उच्च-एंट्रॉपी एक्टिव और लगभग शून्य-एंट्रॉपी पैसिव डाइमेंशन्स में विभाजन) को लगातार रिकवर किया, जिसमें नियतात्मक मॉडल्स भी शामिल हैं जहाँ KL-आधारित परिभाषाएं लागू नहीं होती हैं।
अन्य मापों के साथ सामंजस्य: एंट्रॉपी, वेरिएंस और म्यूचुअल इंफॉर्मेशन ( $I(X; \mu)$ ) को प्रशिक्षण के दौरान सुसंगत रूप से विकसित होते पाया गया। म्यूचुअल इंफॉर्मेशन के अनुमान के कम्प्यूटेशनल ओवरहेड की तुलना में एंट्रॉपी को इसकी मजबूती और कम भार के कारण प्राथमिक मीट्रिक के रूप में चुना गया।
सामान्यीकरण क्षमता (Generalizability):
- LV-AEs में, एंट्रॉपी मानदंड ने वॉल्यूम रेगुलाइजेशन द्वारा प्रेरित पोलराइज्ड रिजीम की सफलतापूर्वक पहचान की, जिससे पुष्टि हुई कि पोलराइजेशन नियमित किए गए रिप्रेजेंटेशन लर्निंग की एक सामान्य घटना है, न कि केवल एक वेरिएशनल आर्टिफैक्ट।
- iVAEs में, हालांकि कुल पोस्टीरियर कोलैप्स से बचा गया (आइडेंटिफिएबिलिटी थ्योरी के अनुरूप), एंट्रॉपी मानदंड ने सिलेक्टिव कोलैप्स (पोलराइजेशन) का पता लगाया। महत्वपूर्ण रूप से, iVAEs में "कोलैप्स्ड" यूनिट्स ने छोटी लेकिन गैर-शून्य एंट्रॉपी बनाए रखी, जो दमन (suppression) के अनुभवजन्य अवलोकन और पूर्ण कोलैप्स की सैद्धांतिक असंभवता के बीच सामंजस्य स्थापित करती है।
डाउनस्ट्रीम उपयोगिता: जब लेटेंट कोड्स का उपयोग डाउनस्ट्रीम लॉजिस्टिक रिग्रेशन कार्यों के लिए किया गया, तो कच्चे (raw) लेटेंट वेक्टर्स के साथ प्रशिक्षित मॉडल्स ने सक्रिय वेरिएबल्स के शामिल होने के बाद सटीकता (accuracy) में ठहराव देखा। हालांकि, जब लेटेंट कोड्स को नॉर्मलाइज किया गया, तो "पैसिव" वेरिएबल्स को शामिल करने से सटीकता में छोटी लेकिन निरंतर सुधार हुआ। यह सुझाव देता है कि पैसिव डाइमेंशन्स पूरी तरह से सूचना रहित नहीं हैं, बल्कि उनके स्केल को दबाया गया है।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित एंट्रॉपी-आधारित मानदंड लेटेंट गतिविधि को लक्षणबद्ध करने के लिए एक मॉडल-अज्ञेय और प्रायर-अज्ञेय उपकरण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सार्वभौमिकता: यह वेरिएशनल और नियतात्मक दोनों आर्किटेक्चर पर लागू होता है, जो गॉसियन प्रायर से जुड़े KL-आधारित ह्यूरिस्टिक्स की सीमाओं को दूर करता है।
सैद्धांतिक आधार: यह सूचना सिद्धांत (एंट्रॉपी) और पोलराइज्ड रिजीम को चलाने वाले तंत्रों (KL मिनिमाइजेशन और वेरिएंस बाधाएं) के बीच एक व्यवस्थित लिंक प्रदान करता है।
कोलैप्स की सूक्ष्म समझ: निष्कर्ष पोस्टीरियर कोलैप्स के बाइनरी (द्विआधारी) दृष्टिकोण को चुनौती देते हैं। लेखक तर्क देते हैं कि कोलैप्स अक्सर पूर्ण सूचना हटाने के बजाय स्केल का मामला होता है, क्योंकि "पैसिव" डाइमेंशन्स पता लगाने योग्य एंट्रॉपी और उचित नॉर्मलाइजेशन के साथ डाउनस्ट्रीम उपयोगिता बनाए रखते हैं।

सीमाएँ
लेखक विनम्रतापूर्वक कुछ सीमाओं को स्वीकार करते हैं:

मिक्सड वेरिएबल्स: मीन की एंट्रॉपी अकेले एक्टिव और मिक्सड वेरिएबल्स के बीच स्पष्ट अंतर नहीं कर सकती; इसके लिए अतिरिक्त वेरिएंस संकेतों की आवश्यकता होती है।
थ्रेशोल्ड ह्यूरिस्टिक: गतिविधि को वर्गीकृत करने के लिए थ्रेशोल्ड $\tau$ एक ह्यूरिस्टिक है और इसमें विभिन्न डेटासेट्स और आर्किटेक्चर के लिए सार्वभौमिक रूप से इष्टतम, सिद्धांतगत चयन विधि का अभाव है।
दायरा: अनुभवजन्य सत्यापन वर्तमान में इमेज डेटासेट्स और विशिष्ट ऑटोएनकोडर आर्किटेक्चर तक सीमित है। अनुक्रमिक मॉडल्स (sequential models) या डिफ्यूजन-आधारित आर्किटेक्चर में व्यवहार एक खुला प्रश्न बना हुआ है।
व्यावहारिक उपयोगिता: हालांकि पैसिव वेरिएबल्स डाउनस्ट्रीम कार्यों में छोटे लाभ प्रदान करते हैं, सुधार मामूली हैं, जो यह सुझाव देता है कि मानदंड मुख्य रूप से डायग्नोस्टिक विश्लेषण और लेटेंट स्ट्रक्चर को समझने के लिए मूल्यवान है, न कि प्रत्यक्ष प्रदर्शन अनुकूलन उपकरण के रूप में।