🤖 machine learning

Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels

यह शोध पत्र न्यूरल कोडबुक चैनल $K_{e\to d}$ और एक संगत बर्नौली-KL (Bernoulli-KL) प्रमाण-पत्र प्रस्तुत करता है ताकि वेरिएशनल ऑटोएन्कोडर्स (Variational Autoencoders) में मिसमैच्ड डिकोडिंग (mismatched decoding) के महत्वपूर्ण विफलता मोड का निदान और सीमा निर्धारण किया जा सके, जो उन मानक मेट्रिक्स द्वारा छोड़े गए अंतराल को संबोधित करता है जो केवल कोड उपयोग की पुष्टि करते हैं न कि एनकोडर-डिकोडर संरेखण (encoder-decoder alignment) की।

मूल लेखक: Yusuke Hayashi

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yusuke Hayashi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक टूटा हुआ टेलीफ़ोन गेम (Broken Telephone Game)

कल्पना कीजिए कि आप एक रोबोट के साथ "टेलीफ़ोन" गेम खेल रहे हैं।

एन्कोडर (भेजने वाला): आप रोबोट को एक गुप्त बात फुसफुसाते हैं। रोबोट आपके गुप्त संदेश को एक विशिष्ट कोड (जैसे एक नंबर या प्रतीक) में बदलता है और उसे कागज़ पर लिख देता है।
लेटेंट स्पेस (कागज़): यह कागज़ वह "कोड" है। यही एकमात्र चीज़ है जिसे रोबोट अगले चरण में भेजता है।
डिकोडर (प्राप्तकर्ता): रोबोट उस कागज़ को लेता है, कोड को पढ़ता है, और उस कोड का जो अर्थ वह समझता है, उसके आधार पर आपके मूल गुप्त संदेश को फिर से बनाने की कोशिश करता है।

एक आदर्श दुनिया में, यदि रोबोट "कोड 5" लिखता है, तो इसका अर्थ उस भाग के लिए भी बिल्कुल वही होना चाहिए जिसने इसे लिखा है, जैसा कि उस भाग के लिए है जो इसे पढ़ रहा है।

समस्या:
कई AI मॉडलों (जिन्हें वेरिएशनल ऑटोएनकोडर्स या VAEs कहा जाता है) में, "भेजने वाला" (Sender) और "प्राप्तकर्ता" (Receiver) अक्सर एक ही भाषा की अलग-अलग बोलियाँ बोलते हैं।

भेजने वाला "कोड 5" का अर्थ "बिल्ली की तस्वीर" के रूप में लिख सकता है।
प्राप्तकर्ता "कोड 5" को पढ़ सकता है और सोच सकता है, "ओह, इसका मतलब कुत्ते की तस्वीर है।"

AI अभी भी एक अच्छी दिखने वाली तस्वीर बना सकता है (एक धुंधला कुत्ता जो थोड़ा बिल्ली जैसा दिखता है), इसलिए मानक परीक्षण कहते हैं, "बहुत बढ़िया! मॉडल काम कर रहा है!" लेकिन मॉडल वास्तव में भ्रमित है। यह एक ऐसा कोडबुक इस्तेमाल कर रहा है जहाँ भेजने वाला और प्राप्तकर्ता परिभाषाओं पर सहमत नहीं हैं।

यह पेपर क्या करता है: "ऑडिट" (The Audit)

इस पेपर के लेखकों ने महसूस किया कि इन AI मॉडलों के लिए मानक परीक्षण केवल यह जाँचते हैं कि कोड का उपयोग किया जा रहा है या नहीं, लेकिन वे यह नहीं जाँचते कि भेजने वाला और प्राप्तकर्ता उन कोड्स के अर्थ पर सहमत हैं या नहीं।

उन्होंने एक नया नैदानिक उपकरण बनाया जिसे न्यूरल कोडबुक चैनल (Neural Codebook Channel) कहा जाता है। इसे एक अनुवादक का ऑडिट रिपोर्ट समझें।

केवल यह पूछने के बजाय कि "क्या रोबोट ने कोड 5 का उपयोग किया?", यह नया उपकरण पूछता है:

"जब भेजने वाले ने 'कोड 5' लिखा, तो क्या प्राप्तकर्ता ने वास्तव में इसे 'कोड 5' के रूप में पढ़ा?"

मुख्य अवधारणाएं (सरल भाषा में)

1. "कोडबुक समझौता" (The Score)

पेपर एक सरल स्कोर पेश करता है जिसे कोडबुक एग्रीमेंट (Codebook Agreement - $A$ ) कहा जाता है।

100% समझौता: हर बार जब भेजने वाला एक कोड लिखता है, तो प्राप्तकर्ता उसे बिल्कुल उसी तरह समझता है। पूर्ण संचार।
कम समझौता: भेजने वाला और प्राप्तकर्ता लगातार एक-दूसरे की बात समझे बिना बात कर रहे हैं। भेजने वाला सोचता है कि वह "बिल्ली" भेज रहा है, लेकिन प्राप्तकर्ता उसे "कुत्ता" सुनता रहता है।

2. "मार्जिनल इम्पॉसिबिलिटी" (पुरानी जाँच क्यों विफल होती है)

पेपर एक आश्चर्यजनक तथ्य सिद्ध करता है: आप केवल उनकी व्यक्तिगत सूचियों को देखकर यह पता नहीं लगा सकते कि भेजने वाला और प्राप्तकर्ता सहमत हैं या नहीं।

उपमा: कल्पना कीजिए कि आपके पास उन सभी नंबरों की एक सूची है जो भेजने वाले ने लिखे थे (जैसे, "मैंने 5 दस बार लिखा")। आपके पास उन सभी नंबरों की भी एक सूची है जो प्राप्तकर्ता ने पढ़े (जैसे, "मैंने 5 दस बार पढ़ा")।
पेंच: भले ही दोनों सूचियाँ समान दिखें, लेकिन भेजने वाला "5" का अर्थ "बिल्ली" के रूप में लिख सकता था, जबकि प्राप्तकर्ता ने "5" को "कुत्ता" के रूप में पढ़ा होगा।
पेपर का दावा: मानक AI परीक्षण केवल इन व्यक्तिगत सूचियों (मार्जिन्स) को देखते हैं। वे दोनों के बीच के महत्वपूर्ण संबंध को मिस कर देते हैं। आपको सच्चाई देखने के लिए जॉइंट टेबल (जो भेजा गया बनाम जो पढ़ा गया की विशिष्ट जोड़ी) को देखना ही होगा।

3. "वेरिएशनल गैप" (सुरक्षा जाल)

हमें कैसे पता चलेगा कि यह असहमति एक बड़ी समस्या है या एक छोटी समस्या? पेपर वेरिएशनल गैप (Variational Gap) से जुड़ी एक गणितीय ट्रिक का उपयोग करता है।

उपमा: "वेरिएशनल गैप" को सिस्टम में कुल "शोर" (noise) या "त्रुटि" (error) के रूप में समझें।
लेखकों ने सिद्ध किया: भेजने वाले और प्राप्तकर्ता के बीच भ्रम की मात्रा सिस्टम में कुल शोर से अधिक नहीं हो सकती।
यदि कुल शोर कम है, तो भेजने वाला और प्राप्तकर्ता निश्चित रूप से काफी हद तक सहमत होंगे। यदि कुल शोर अधिक है, तो वे पूरी तरह से भ्रमित हो सकते हैं।
यह शोधकर्ताओं को एक "प्रमाणपत्र" या गारंटी देता है: "हम जानते हैं कि भ्रम निश्चित रूप से X से अधिक नहीं है।"

उन्होंने क्या पाया (साक्ष्य)

लेखकों ने कई डेटासेट्स (जैसे अंकों, वाइन के प्रकारों और चेहरों की छवियां) पर इसका परीक्षण किया:

"मिसमैच" (Mismatch) वास्तविक है: कई मानक मॉडलों में, भेजने वाला और प्राप्तकर्ता वास्तव में असहमत होते हैं। प्राप्तकर्ता अक्सर भेजने वाले के कोडों की गलत व्याख्या करता है, भले ही मॉडल ठीक से काम करता हुआ दिखाई दे।
प्रमाणपत्र काम करता है: उन्होंने दिखाया कि उनके नए "ऑडिट" ने भ्रम के स्तर की सही भविष्यवाणी की। कुछ मामलों में, वे गणितीय रूप से सिद्ध कर सके कि भ्रम एक विशिष्ट, छोटी संख्या द्वारा सीमित था।
"परफेक्ट" मामला: उन्होंने एक विशेष प्रकार के मॉडल (VQ-VAE) का परीक्षण किया जिसे सहमति बनाए रखने के लिए डिज़ाइन किया गया है। जैसा कि अनुमान था, इस मॉडल ने 100% समझौता हासिल किया, जिससे सिद्ध हुआ कि उनका टूल यह पहचानने में सक्षम है कि चीजें पूरी तरह से काम कर रही हैं।

"टेकअवे" (मुख्य निष्कर्ष) का सारांश

यह पेपर यह दावा नहीं करता कि AI बेहतर चित्र बनाता है या बेहतर कहानियाँ लिखता है। इसके बजाय, यह इस बात को ठीक करता है कि हम AI का निदान (diagnose) कैसे करते हैं।

पुराना तरीका: "AI ने एक चित्र बनाया। यह ठीक लग रहा है। अच्छा काम किया।"
नया तरीका (यह पेपर): "AI ने एक चित्र बनाया, लेकिन आइए जाँचें कि क्या इसके आंतरिक 'भेजने वाले' और 'प्राप्तकर्ता' वास्तव में निर्देशों पर सहमत थे। ओह, वे अलग-अलग भाषाएँ बोल रहे थे! यहाँ एक रिपोर्ट है जो दिखाती है कि वे एक-दूसरे को कितना गलत समझे।"

यह महसूस करने जैसा है कि एक निर्माण दल ने एक घर बनाया जो बाहर से तो ठीक दिखता है, लेकिन वास्तुकार (architect) और निर्माता (builder) अलग-अलग ब्लूप्रिंट का उपयोग कर रहे थे। यह पेपर हमें घर में रहने से पहले ब्लूप्रिंट की आपस में जाँच करने का उपकरण देता है।

तकनीकी सारांश: अनुवाद में खो गया और मिला (Lost and Found in Translation): न्यूरल कोडबुक चैनल्स के लिए वेरिएशनल डायग्नोस्टिक्स

समस्या विवरण (Problem Statement)
वेरिएशनल ऑटोएनकोडर्स (VAEs) एक एनकोडर $q_\phi(z|x)$ और एक डिकोडर $p_\theta(x|z)$ को संयुक्त रूप से प्रशिक्षित करते हैं, जो अक्सर परिणामी लेटेंट स्पेस को क्लस्टरिंग, कंडीशनल जनरेशन और मैकेनिस्टिक इंटरप्रिटेबिलिटी जैसे कार्यों के लिए एक डिस्क्रीट कोड के रूप में उपयोग करते हैं। हालाँकि, मानक VAE डायग्नोस्टिक्स—जैसे कि ELBO, एक्टिव यूनिट्स, म्यूचुअल इंफॉर्मेशन, और मार्जिनल कोड हिस्टोग्राम—केवल यह प्रमाणित करते हैं कि लेटेंट स्पेस का उपयोग किया जा रहा है या नहीं। वे इस युग्मित प्रश्न का उत्तर देने में विफल रहते हैं: क्या डिकोडर लेटेंट स्पेस के उस क्षेत्र की व्याख्या उसी कोड के तहत करता है जिसका उपयोग एनकोडर ने वहां द्रव्यमान (mass) रखने के लिए किया था?

विफलता का यह मोड, जिसे शास्त्रीय संचार सिद्धांत (classical communication theory) में मिसमैच्ड डिकोडिंग (mismatched decoding) के रूप में जाना जाता है, तब होता है जब ट्रांसमिटर (एनकोडर) और रिसीवर (डिकोडर) असंगत ऑपरेशनल कोडबुक्स का उपयोग करते हैं। मौजूदा डायग्नोस्टिक्स इसे पकड़ने में विफल रहते हैं क्योंकि वे मार्जिनल या एग्रीगेट मात्राएं हैं; वे एनकोडर के कोड मैप और डिकोडर के रीडिंग मैप के बीच के कपलिंग (coupling) का निरीक्षण नहीं करते हैं। फलस्वरूप, एक डिकोडर एनकोडर क्षेत्रों को पुनर्व्यवस्थित (permute) कर सकता है, कई क्षेत्रों को एक में मिला सकता है, या मामूली सांख्यिकी (marginal statistics) स्वस्थ दिखने के बावजूद, स्वाभाविक रूप से एक ही कोड पर कोलैप्स हो सकता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र न्यूरल कोडबुक चैनल (Neural Codebook Channel), जिसे $K_{e \to d}(j | i)$ द्वारा दर्शाया गया है, पर केंद्रित एक नया डायग्नोस्टिक फ्रेमवर्क प्रस्तुत करता है।

ऑपरेशनल कोड मैप्स (Operational Code Maps): फ्रेमवर्क एनकोडर और डिकोडर के लिए मापने योग्य हार्ड-कोड मैप्स $c^*_{enc}: Z \to \{1, \dots, K\}$ और $c^*_{dec}: Z \to \{1, \dots, K\}$ को परिभाषित करता है। ये मैप्स साझा लेटेंट स्पेस $Z$ पर ऑपरेशनल पार्टिशन (partitions) उत्पन्न करते हैं।
- एनकोडर मैप: इसे एग्रीगेट पोस्टीरियर के GMM (Gaussian Mixture Model) सारांश से व्युत्पन्न एक एडिटिवली-वेटेड वोरोनोई नियम (additively-weighted Voronoi rule) के रूप में स्थापित किया गया है।
- डिकोडर मैप: इसे डिकोडर-आउटपुट स्पेस में एक टाइप-1 ब्रेगमैन वोरोनोई नियम (Type-1 Bregman Voronoi rule) के रूप में स्थापित किया गया है, जिसे लेटेंट स्पेस में वापस खींचा (pulled back) गया है।
डायग्नोस्टिक ऑब्जेक्ट (The Diagnostic Object):
- संयुक्त तालिका (Joint Table): $P_{ed}(i, j) = \Pr[c^*_{enc}(Z)=i, c^*_{dec}(Z)=j]$ एनकोडर और डिकोडर लेबल के संयुक्त वितरण को रिकॉर्ड करता है।
- चैनल (Channel): $K_{e \to d}(j | i)$ वह रो-नॉर्मलाइज्ड चैनल है जो यह दर्शाता है कि एनकोडर कोड्स को डिकोडर द्वारा कैसे पढ़ा जाता है।
- कोडबुक समझौता (Codebook Agreement - $A$ ): चैनल का विकर्ण द्रव्यमान (diagonal mass), $A = \sum_i P_{ed}(i, i)$ , उस प्रायिकता को मापता है जहाँ एक एकल लेटेंट ड्रॉ को एनकोडर और डिकोडर दोनों से समान लेबल प्राप्त होता है।
- प्रभावी कोड दर (Effective Code Rate - $R_{eff}$ ): म्यूचुअल इंफॉर्मेशन $I(C_{enc}; C_{dec})$ ।
मार्जिनल असंभवता परिणाम (Marginal Impossibility Result):
यह शोध पत्र सिद्ध करता है (प्रपोजिशन 4) कि मानक स्केलर डायग्नोस्टिक्स (मार्जिनल हिस्टोग्राम, एंट्रॉपी, एक्टिव कोड काउंट्स, म्यूचुअल इंफॉर्मेशन) संयुक्त चैनल $K_{e \to d}$ को निर्धारित करने के लिए अपर्याप्त हैं। विशेष रूप से, किसी भी $K \ge 2$ के लिए, ऐसे दो युग्मित चैनल मौजूद हैं जिनके मार्जिनल्स और म्यूचुअल इंफॉर्मेशन समान हैं, लेकिन विपरीत रॉ एग्रीमेंट ( $A=1$ बनाम $A=0$ ) रखते हैं। यह स्थापित करता है कि $K_{e \to d}$ एक पूर्णतः नया, गैर-अतिरेक (non-redundant) डायग्नोस्टिक यूनिट है।
वेरिएशनल ऑडिट सर्टिफिकेट (Variational Audit Certificate):
यह पेपर ऑफ-डायगोनल मास (इंटर-कोड इंटरफेरेंस, $1-A$ ) के लिए एक एक-आयामी ऑडिट बाउंड (one-dimensional audit bound) को VAE वेरिएशनल गैप ( $\bar{\Delta}$ ) का उपयोग करके व्युत्पन्न करता है। बाइनरी डिसएग्रीमेंट इवेंट $E = \{c^*_{enc} \neq c^*_{dec}\}$ पर डिस्क्रीटाइजेशन के तहत KL चेन रूल लागू करके, औसत वेरिएशनल गैप इस प्रकार विभाजित होता है:
$\bar{\Delta} = d_{bin}(1 - A \parallel \bar{\eta}_p) + J_E + \bar{\rho}_E$
जहाँ:
- $d_{bin}$ देखे गए डिसएग्रीमेंट रेट ( $1-A$ ) और मॉडल-पोस्टीरियर रेफरेंस रेट ( $\bar{\eta}_p$ ) के बीच बर्नौली-KL डायवर्जेंस है।
- $J_E$ एक जेन्सन रेसिडुअल (Jensen residual) है (प्रति-उदाहरण मिसमैच औसत में रद्द हो जाता है)।
- $\bar{\rho}_E$ एक विदिन-सेल रेसिडुअल (within-cell residual) है (कोड मैप के फाइबर्स के भीतर छिपा हुआ मिसमैच)।
इससे यह सर्टिफिकेट प्राप्त होता है: $d_{bin}(1 - A \parallel \bar{\eta}_p) \le \bar{\Delta}$ । जब $\bar{\Delta}$ और $\bar{\eta}_p$ को नियंत्रित किया जाता है (जैसे कि एक सीमित ग्रिड पर सटीक गणना या इम्पॉर्टेंस सैंपलिंग बाउंड्स के माध्यम से), तो ऑफ-डायगोनल मास को प्रमाणित रूप से बाधित (constrained) किया जा सकता है।

मुख्य परिणाम (Key Results)
फ्रेमवर्क का ऑडिट चार लो-डायमेंशनल sklearn डेटासेट्स (digits, wine, breast cancer, two moons) और MNIST पर किया गया:

फाइनाइट-ग्रिड सटीक ऑडिट (Finite-Grid Exact Audits): चार डेटासेट्स पर पांच सीड्स (कुल 20 जोड़े) के साथ, बर्नौली-KL सर्टिफिकेट संतुष्ट पाया गया। यह बाउंड गैर-तुच्छ (non-vacuous) था, जिसमें देखा गया डिसएग्रीमेंट वेरिएशनल गैप द्वारा सीमित था।
MNIST ऑडिटेड रिजीम (MNIST Audited Regime): IWAE और SNIS का उपयोग करके गैप को बाउंड करने के बाद, फ्रेमवर्क ने इंटर-कोड इंटरफेरेंस का पता लगाया। एक Conv-VAE के लिए, बाउंड $\sim 160\times$ के स्लैक (slack) के साथ बना रहा (जो रेसिडुअल बजट और IWAE लूज़नेस द्वारा डोमिनेटेड था)।
VQ-VAE लिमिट (VQ-VAE Limit): MNIST पर एक VQ-VAE ने कोडबुक समझौता $\hat{A} = 1.000$ (10,000/10,000 सटीक सहमति) प्राप्त किया, जो प्रेडिक्टेड टियर-3 लिमिट को प्राप्त करता है जहाँ कोडबुक एक प्रिमिटिव वेरिएशनल ऑब्जेक्ट है।
डायनामिक्स (Dynamics): एक लॉन्ग-होरिज़न सेटिंग (Setting 1-long) में, चैनल ज्योमेट्री ने 200,000 एपॉक्स के दौरान एनकोडर वोरोनोई सेल्स और डिकोडर ब्रेगमैन सेल्स के प्रगतिशील संरेखण (alignment) को दिखाया, जिसमें स्केलर डायग्नोस्टिक्स ( $A, I_{code}, R_{eff}$ ) इस संरेखण को ट्रैक करते हैं।

महत्व और दावे (Significance and Claims)
यह शोध पत्र एक विनम्र, थ्योरी-फर्स्ट योगदान देता है:

एक अंतराल की पहचान (Identification of a Gap): यह औपचारिक रूप से पहचानता है कि मानक VAE डायग्नोस्टिक्स एनकोडर-डिकोडर निरंतरता (consistency) के प्रश्न को खुला छोड़ देते हैं। यह सिद्ध करता है कि मार्जिनल सारांश मिसमैच्ड डिकोडिंग का पता नहीं लगा सकते (प्रपोजिशन 4)।
नया डायग्नोस्टिक यूनिट (New Diagnostic Unit): यह न्यूरल कोडबुक चैनल ( $K_{e \to d}$ ) और कोडबुक समझौता ( $A$ ) को एक पोर्टेबल, ऑडिट-रेडी रिपोर्टिंग यूनिट के रूप में प्रदान करता है। यह यूनिट किसी भी डाउनस्ट्रीम कार्य (क्लस्टरिंग, रिट्रीवल, इंटरप्रिटेबिलिटी) के लिए आवश्यक है जो लेटेंट स्पेस को एक डिस्क्रीट कोड के रूप में मानता है।
ऑडिटेबल बाउंड (Auditable Bound): यह वेरिएशनल गैप का उपयोग करके एनकोडर-डिकोडर डिसएग्रीमेंट की प्रायिकता को बाउंड करने के लिए क्लासिकल KL चेन रूल को स्पेशलाइज करता है। यह "मिसमैच्ड डिकोडिंग" के फेल्योर मोड को एक एकल डीप जनरेटिव मॉडल के भीतर दृश्यमान और मापने योग्य बनाता है।
दायरा (Scope): लेखक स्पष्ट रूप से कहते हैं कि वे स्टेट-ऑफ-द-आर्ट जनरेशन, एक यूनिवर्सल ट्रेनिंग-डायनामिक्स प्रमेय, या उच्च समझौते (high agreement) मात्र से उभरते हुए प्रतीकों (emergent symbols) के प्रमाण का दावा नहीं करते हैं। दावा विशुद्ध रूप से डायग्नोस्टिक है: जब एक VAE लेटेंट स्पेस को एक कोड के रूप में माना जाता है, तो युग्मित चैनल (coupled channel) वह लुप्त वस्तु है, और वेरिएशनल गैप निर्दिष्ट करता है कि उसका मिसमैच सर्टिफिकेट गणितीय रूप से लाइसेंस प्राप्त कब है।

यह फ्रेमवर्क VAE विश्लेषण को "क्या कोड्स का उपयोग किया जा रहा है?" से बदलकर "क्या कोड्स को लगातार पढ़ा जा रहा है?" में पुनर्गठित करता है, जो उन संरचनात्मक विसंगतियों का पता लगाने के लिए एक कठोर उपकरण प्रदान करता है जिन्हें स्केलर मेट्रिक्स मिस कर देते हैं।