🤖 AI

JADAI: Jointly Amortizing Adaptive Design and Bayesian Inference

JADAI एक एंड-टू-एंड प्रशिक्षित फ्रेमवर्क है जो सूचना लाभ को अधिकतम करने और पैरामीटर अनुमान कार्यों में बेहतर प्रदर्शन प्राप्त करने के लिए डिफ्यूजन-आधारित पोस्टीरियर एस्टिमेटर्स का उपयोग करके बेयसियन एडेप्टिव डिज़ाइन और इन्फरेंस को संयुक्त रूप से एमोर्टाइज़ करता है।

मूल लेखक: Niels Bracher*, Lars Kühmichel*, Desi R. Ivanova, Xavier Intes, Paul-Christian Bürkner, Stefan T. Radev, * equal contribution

प्रकाशित 2026-07-07✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Niels Bracher*, Lars Kühmichel*, Desi R. Ivanova, Xavier Intes, Paul-Christian Bürkner, Stefan T. Radev, * equal contribution

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आप केवल अपराध स्थल को देख ही नहीं सकते। इसके बजाय, आपके पास एक जादुई मशीन है जो यह सिम्युलेट (अनुकरण) कर सकती है कि क्या होगा यदि आप एक विशिष्ट प्रश्न पूछें या एक विशिष्ट दिशा में देखें। हालाँकि, यह मशीन धीमी है, और आपके पास समय समाप्त होने से पहले केवल कुछ ही प्रश्न पूछने की सीमित संख्या है।

आपका लक्ष्य दोहरा है:

जासूसी का काम (Inference): मिले हुए सुरागों के आधार पर सच्चाई (छिपे हुए पैरामीटर्स) का पता लगाना।
रणनीति (Design): यह तय करना कि अगला सबसे उपयोगी सुराग पाने के लिए कहाँ देखना है।

आमतौर पर, वैज्ञानिक इन दोनों को दो अलग-अलग कामों के रूप में देखते हैं: एक टीम यह तय करती है कि कहाँ देखना है, और दूसरी टीम सभी सुराग एकत्र होने के बाद पहेली को हल करने की कोशिश करती है। यह पेपर JADAI नामक एक नया फ्रेमवर्क पेश करता है जो इन दोनों कामों को एक ही सुपर-एफिशिएंट (अति-कुशल) टीम में मिला देता है।

यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:

1. "एमोर्टाइज्ड" टीम (एक ही जगह सब कुछ उपलब्ध)

पुराने तरीके में, हर बार जब आप कोई नया रहस्य सुलझाना चाहते थे, तो आपको शुरुआत से शुरू करना पड़ता था: "ठीक है, मुझे कहाँ देखना चाहिए? चलिए इसकी गणना करते हैं। अब, मुझे सुरागों का विश्लेषण करने दें। ठीक है, अब मैं उत्तर जानता हूँ।" यह धीमा है।

JADAI एक अनुभवी जासूसी एजेंसी की तरह है जिसने लाखों नकली रहस्यों पर प्रशिक्षण प्राप्त किया है। हर बार शून्य से रणनीति और समाधान की गणना करने के बजाय, उन्होंने सीखने की प्रक्रिया को "एमोर्टाइज" (फैलाया) किया है। उन्होंने तीन विशिष्ट AI "एजेंट्स" को प्रशिक्षित किया है जो तुरंत मिलकर काम करते हैं:

रणनीतिकार (Strategist/Policy): तय करता है कि आगे कहाँ देखना है।
लेखक (Scribe/History Network): याद रखता है कि अब तक क्या हुआ है और उसे एक संक्षिप्त नोट में सारांशित करता है।
समाधानकर्ता (Solver/Inference Network): उस नोट को देखता है और तुरंत उत्तर का अनुमान लगाता है।

2. "डिफ्यूजन" सॉल्वर (एक मूर्तिकार)

पहेली को सुलझाने के लिए, "सॉल्वर" एजेंट एक डिफ्यूजन मॉडल का उपयोग करता है। एक मूर्तिकार की कल्पना करें जो शोर (static) से ढले हुए संगमरमर के एक ब्लॉक से शुरुआत करता है। वे धीरे-धीरे, कदम-दर-कदम, शोर को हटाते हैं, जब तक कि एक स्पष्ट मूर्ति उभर न आए।

J-ADAI में, "मूर्ति" रहस्य का उत्तर है।
"शोर को हटाना" सुरागों के आधार पर अपने अनुमान को परिष्कृत करने की AI की प्रक्रिया है।
यह शक्तिशाली है क्योंकि यह जटिल और उलझे हुए उत्तरों (जैसे दो सिरों वाली मूर्ति या टेढ़ा-मेढ़ा आकार) को भी संभाल सकता है जिन्हें सरल तरीके छोड़ देते।

3. "टेलीस्कोपिंग" ट्रेनिंग (यात्रा से सीखना)

आप इन तीनों एजेंटों को एक साथ काम करना कैसे सिखाएंगे? आप केवल उन्हें यह नहीं कह सकते कि, "अंत में सही उत्तर दें।" यह बहुत कठिन है।

इसके बजाय, JADAI एक टेलीस्कोपिंग लॉस (telescoping loss) का उपयोग करता है। एक पहाड़ पर चढ़ने की कल्पना करें।

पुराना तरीका: आपको केवल तभी इनाम मिलता है जब आप बिल्कुल शिखर पर पहुँच जाते हैं। यदि आप शुरुआत में गलत मोड़ लेते हैं, तो आपको तब तक पता नहीं चलता जब तक आप ऊपर फंस नहीं जाते।
JADAI का तरीका: आपको यात्रा के हर एक कदम पर एक छोटा सा "पीठ थपथपाना" (इनाम का संकेत) मिलता है। यदि आप ऐसा कदम उठाते हैं जिससे दृश्य अधिक स्पष्ट हो जाता है (अनिश्चितता कम होती है), तो आपको इनाम मिलता है। यदि आप ऐसा कदम उठाते हैं जिससे चीजें भ्रमित करने वाली हो जाती हैं, तो आपको दंड मिलता है।

यह रणनीतिकार को सबसे अच्छा रास्ता चुनने के लिए प्रशिक्षित करता है और समाधानकर्ता को रास्ते में ही बेहतर अनुमान लगाने के लिए सिखाता है। वे बिना "सही उत्तर" की जांच किए, अंत-से-अंत तक एक साथ सीखते हैं।

4. परिणाम: स्मार्ट और तेज़

इस पेपर ने तीन अलग-अलग "रहस्यों" पर इसका परीक्षण किया:

छिपे हुए स्रोतों को खोजना: जैसे कमरे में अलग-अलग जगहों पर सुनकर दो छिपे हुए स्पीकरों का स्थान पता लगाना। JADAI ने दोनों स्पीकरों को तेजी से और अधिक सटीकता से खोजने के लिए यह पता लगाया कि कहाँ सुनना चाहिए।
उपभोक्ता विकल्प: यह पता लगाना कि कोई व्यक्ति वस्तुओं की टोकरियों के बीच चयन करते समय क्या पसंद करता है। सवाल पूछने का "स्वीट स्पॉट" बहुत संकीरा है, लेकिन JADM ने इसे पूरी तरह से नेविगेट करना सीख लिया।
छवियों का पुनर्निर्माण (Image Reconstruction): कल्पना कीजिए कि आप किसी अंक (जैसे "7") का अनुमान लगाने की कोशिश कर रहे हैं केवल उसके छोटे, धुंधले हिस्सों को एक-एक करके देखकर। JADAI ने सबसे अधिक जानकारी देने वाले हिस्सों को पहले चुनने का कौशल सीखा, जिससे इसने अन्य तरीकों की तुलना में छवि को बहुत बेहतर तरीके से पुनर्गठित किया, भले ही सिग्नल में "शोर" (static) मौजूद था।

निष्कर्ष

JADAI एक ऐसा फ्रेमवर्क है जो AI को सही प्रश्न पूछने और पहेली को हल करने के लिए एक साथ प्रशिक्षित करता है। प्रक्रिया के हर चरण में सुधार करने के लिए उन्हें एक साथ प्रशिक्षित करके, यह जटिल, उच्च-आयामी समस्याओं (जैसे छिपी हुई वस्तुओं को खोजना या छवियों का पुनर्निर्माण करना) को उन तरीकों की तुलना में बहुत तेज़ी से और अधिक सटीकता से हल कर सकता है जो "पूछने" और "जवाब देने" को अलग-अलग कार्यों के रूप में देखते हैं।

यह एक ऐसे जासूस से अपग्रेड करने जैसा है जिसे हर बार नया सुराग मिलने पर पूरे मामले की फिर से जांच करनी पड़ती है, से एक ऐसे जासूस तक, जिसके पास बेहतरीन याददाश्त, बेहतरीन रणनीति और बेहतरीन अंतर्ज्ञान है, जो सब कुछ पूर्ण तालमेल में काम कर रहे हैं।

तकनीकी सारांश: JADAI – संयुक्त रूप से अमोर्टाइजिंग एडेप्टिव डिज़ाइन और बायेसियन इन्फरेंस

समस्या विवरण
कई वैज्ञानिक और इंजीनियरिंग डोमेन में जटिल सिम्युलेटर्स द्वारा उत्पन्न अवलोकनों $x$ से अनऑब्जर्व पैरामीटर्स $\theta$ का अनुमान लगाना शामिल होता है। जबकि सिमुलेशन-आधारित इन्फरेंस (SBI) ने स्पष्ट लाइकलीहुड मूल्यांकन के बिना पोस्टीरियर वितरण $p(\theta|x)$ को अनुमानित करने की क्षमता को उन्नत किया है, ये विधियाँ आमतौर पर एक निश्चित प्रयोगात्मक डिज़ाइन मानती हैं। इसके विपरीत, बायेसियन एक्सपेरिमेंटल डिज़ाइन (BED) और एडेप्टिव डिज़ाइन (BAD) डिज़ाइन वेरिएबल्स $\xi$ को सूचना लाभ (जैसे, एक्सपेक्टेड इंफॉर्मेशन गेन, EIG) को अधिकतम करने के लिए चुनने पर ध्यान केंद्रित करते हैं, लेकिन अक्सर डेटा संग्रह के बाद एक अलग, कम्प्यूटेशनल रूप से महंगे चरण के रूप में इन्फरेंस को देखते हैं। मौजूदा दृष्टिकोण अक्सर इन कार्यों को अलग करते हैं: BAD विधियाँ अक्सर धीमी, नॉन-अमोर्टाइज्ड इन्फरेंस या सरल पैरामेट्रिक परिवारों पर निर्भर करती हैं, जबकि SBI विधियाँ डेटा अधिग्रहण को अनुकूलित नहीं करती हैं। यह अलगाव, विशेष रूप से उच्च-आयामी या मल्टीमॉडल सेटिंग्स में, सब-ऑप्टिमल सूचना लाभ और कम्प्यूटेशनल अक्षमता की ओर ले जाता है।

कार्यप्रणाली
लेखक JADAI (जॉइंटली अमोर्टाइजिंग एडेप्टिव डिज़ाइन एंड बायेसियन इन्फरेंस) पेश करते हैं, जो एडेप्टिव डिज़ाइन और पोस्टीरियर इन्फरेंस को एक एकल, एंड-टू-एंड ट्रेन करने योग्य सिस्टम में एकीकृत करता है। मुख्य नवाचार तीन घटकों का संयुक्त अमोर्टाइजेशन है:

एक पॉलिसी नेटवर्क ( $\pi_\phi$ ): वर्तमान प्रयोगात्मक इतिहास के आधार पर अगला डिज़ाइन $\xi_t$ प्रस्तावित करता है।
एक हिस्ट्री/समरी नेटवर्क ( $\eta_\omega$ ): पिछले डिज़ाइन-अवलोकन युग्मों $\{(\xi_k, x_k)\}_{k=1}^t$ को एक निश्चित-आयामी सारांश सांख्यिकी $h_t$ में एनकोड करता है।
एक इन्फरेंस नेटवर्क ( $q_\psi$ ): प्रयोगात्मक अनुक्रम के प्रत्येक चरण पर पोस्टीरियर वितरण $p(\theta|h_t)$ को अनुमानित करता है।

अनुकूलन उद्देश्य (Optimization Objective)
JADAI एक जेनेरिक लॉस फंक्शन को कम करता है जो प्रयोगात्मक अनुक्रमों के साथ पोस्टीरियर एरर में वृद्धिशील कमी को एकत्रित करता है। सीधे EIG को अधिकतम करने के बजाय—जिसके लिए डेंसिटी इवैल्यूएशन की आवश्यकता होती है—फ्रेमवर्क पोस्टीरियर लॉस के टेलिस्कोपिंग सम (telescoping sum) का उपयोग करता है।

प्रशिक्षण उद्देश्य (training objective) टोटल एक्सपेक्टेड इंफॉर्मेशन गेन (TEIG) के वेरिएशनल लोअर बाउंड से प्राप्त किया गया है।
स्टेप $t$ पर लॉस, $\ell_t$ , पोस्टीरियर एस्टिमेटर (जैसे, डिफ्यूजन या फ्लो मैचिंग लॉस) द्वारा परिभाषित है।
यूटिलिटी फंक्शन $u_T$ को क्रमिक लॉस के अंतरों के योग के रूप में बनाया गया है: $u_T = \sum (\ell^*_{t-1} - \ell_t)$ , जहाँ $\ell^*$ पिछले लॉस का एक डिटैच्ड (स्टॉप-ग्रेडिएंट) संस्करण है।
यह फॉर्मूलेशन सुनिश्चित करता है कि पॉलिसी और समरी नेटवर्क को हर चरण पर पोस्टीरियर लॉस में कमी को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जो स्पष्ट डेंसिटी इवैल्यूशन के बिना प्रभावी रूप से सूचना लाभ को अधिकतम करता है।

प्रमुख आर्किटेक्चरल विकल्प

डिफ्यूजन मॉडल्स: इन्फरेंस नेटवर्क $q_\psi$ को डिफ्यूजन मॉडल्स (या फ्लो मैचिंग) का उपयोग करके स्थापित किया गया है, जिससे फ्रेमवर्क हर प्रयोगात्मक चरण पर उच्च-आयामी और मल्टीमॉडल पोस्टीरियर्स को अनुमानित कर सकता है, जो कि नॉर्मलाइजिंग फ्लो पर सीमित पिछले BAD तरीकों की एक क्षमता है।
प्रशिक्षण स्थिरता (Training Stability): नेस्टेड बैकप्रोपैगेशन थ्रू टाइम (BPTT) से बचने और स्थिर प्रशिक्षण सुनिश्चित करने के लिए, फ्रेमवर्क निम्नलिखित का उपयोग करता है:
- डिटैच्ड हिस्ट्री स्टेट्स: डिज़ाइन एक डिटैच्ड समरी स्टेट से उत्पन्न होते हैं ताकि पॉलिसी और हिस्ट्री नेटवर्क के बीच चक्रीय ग्रेडिएंट पाथ को रोका जा सके।
- करिकुलम लर्निंग: प्रशिक्षण के दौरान रोलआउट लेंथ को धीरे-धीरे बढ़ाया जाता है, और केवल सीखे गए पॉलिसी पर निर्भर करने से पहले नेटवर्क को विविध डिज़ाइनों के संपर्क में लाने के लिए एक "डिज़ाइन प्रायर मिक्स-इन" रणनीति का उपयोग किया जाता है।

परिणाम
JADAI का मूल्यांकन तीन बेंचमार्क पर किया गया जो पॉलिसी और पोस्टीरियर संरचना में बढ़ती जटिलता को दर्शाते हैं:

लोकेशन फाइंडिंग (LF): एक कार्य जिसमें शोर वाले तीव्रता मापों से स्रोत स्थानों का अनुमान लगाना आवश्यक है। JADAI ने लंबे हॉरिजन ( $T > 10$ ) के लिए अत्याधुनिक बेसलाइन्स (जैसे, DAD, iDAD, RL-BOED) की तुलना में बेहतर या प्रतिस्पर्धी sPCE (सीक्वेंशियल प्रायर कॉन्ट्रास्टिव एस्टीमेशन) स्कोर प्राप्त किया। सीखी गई पॉलिसी ने अन्वेषण (exploration) और दोहन (exploitation) के बीच प्रभावी ढंग से संतुलन बनाया, और डिफ्यूजन-आधारित पोस्टीरियर ने स्रोतों की मल्टीमॉडल और एक्सचेंजएबल प्रकृति को सही ढंग से कैप्चर किया।
कांस्टेंट इलास्टिसिटी ऑफ सब्स्टीट्यूशन (CES): वरीयता अनुमान से जुड़ा एक चुनौतीपूर्ण डिज़ाइन समस्या जहाँ सूचनात्मक डिज़ाइन एक संकीर्ण "स्वीट स्पॉट" में स्थित होते हैं। JADAI ने मानक हॉरिजन $T=10$ पर सभी मौजूदा बेसलाइन्स को पछाड़ दिया, जो उन परिदृश्यों में मजबूती प्रदर्शित करता है जहाँ रैंडम डिज़ाइन अनइन्फॉर्मेटिव होते हैं।
MNIST इमेज डिस्कवरी: एक उच्च-आयामी कार्य जहाँ लक्ष्य आंशिक मापों से एक छवि को पुनर्गठित करना है। JADमा JADAI ने अत्याधुनिक SSIM और NRMSE स्कोर प्राप्त किया, जो CoDiff बेसलाइन से बेहतर है। पद्धति ने सफलतापूर्वक डिजिट क्लासों की पहचान जल्दी की और स्थानीय विवरणों को परिष्कृत किया, और एडिटिव मेजरमेंट नॉइज़ के तहत भी प्रदर्शन बनाए रखा।

महत्व और दावे
यह पेपर दावा करता है कि JADAI डिज़ाइन और इन्फरेंस को एकीकृत करके एक महत्वपूर्ण कदम है, जिससे अनुकूलन प्रक्रिया के दौरान अलग, महंगे इन्फरेंस चरणों की आवश्यकता समाप्त हो जाती है। प्रमुख योगदान शामिल हैं:

संयुक्त अमोर्टाइजेशन (Joint Amortization): यह पहला फ्रेमवर्क है जो डेंसिटी इवैल्यूशन की आवश्यकता के बिना, एक सामान्य यूटिलिटी का उपयोग करके अडैप्टिव डिज़ाइन और पोस्टीरियर इन्फरेंस को संयुक्त रूप से अमोर्टाइज करता है।
जटिल पोस्टीरियर्स के लिए स्केलेबिलिटी: डिफ्यूजन मॉडल्स का लाभ उठाकर, JADAI हर प्रयोगात्मक चरण पर उच्च-आयामी और मल्टीमॉडल पोस्टीरियर्स को संभाल सकता है, जो नॉर्मलाइजिंग फ्लो या गॉसियन मिक्सचर पर निर्भर पिछले तरीकों की अभिव्यक्ति सीमाओं को पार करता है।
प्रदर्शन: फ्रेमवर्क विविध बेंचमार्क, जिसमें उच्च-आयामी इमेज रिकंस्ट्रक्शन शामिल है, में बेहतर या प्रतिस्पर्धी प्रदर्शन प्राप्त करता है, जबकि तैनाती (deployment) के दौरान कम्प्यूटेशनल दक्षता बनाए रखता है (रोलआउट मिलीसेकंड में पूरे होते हैं)।

लेखक नोट करते हैं कि हालांकि JADAI वर्तमान में डिफरेंशिएबल सिम्युलेटर्स पर निर्भर है, यह दृष्टिकोण डिफरेंशिएबल सिमुलेशन फ्रेमवर्क्स के बढ़ते परिदृश्य के लिए उपयुक्त है। वे स्वीकार करते हैं कि उच्च-आयामी मामलों में सब-सेकंड डिप्लॉयमेंट के लिए पोस्टीरियर सैंपलिंग एक बाधा बनी हुई है, लेकिन वे पोस्ट-हॉक डिस्टिलेशन को एक संभावित भविष्य की दिशा के रूप में सुझाते हैं। यह कार्य यह दावा नहीं करता है कि यह बिना ग्रेडिएंट्स के ब्लैक-बॉक्स सिम्युलेटर ऑप्टिमाइजेशन को हल करता है, बल्कि इसे उन डिफरेंशिएबल सेटिंग्स के लिए एक मजबूत समाधान के रूप में प्रस्तुत करता है जहाँ क्लासिकल पाइपलाइन कम्प्यूटेशनल रूप से अव्यावहारिक हैं।

1. "एमोर्टाइज्ड" टीम (एक ही जगह सब कुछ उपलब्ध)

2. "डिफ्यूजन" सॉल्वर (एक मूर्तिकार)

3. "टेलीस्कोपिंग" ट्रेनिंग (यात्रा से सीखना)

4. परिणाम: स्मार्ट और तेज़

निष्कर्ष

इसी तरह के और पेपर