📊 statistics

A Differentiable Bayesian Relaxation for Latent Partial-Order Inference

यह शोध पत्र एक अवकलनीय बेयसियन रिलैक्सेशन (differentiable Bayesian relaxation) प्रस्तुत करता है जो लेटेंट पार्शियल-ऑर्डर इन्फरेंस में विच्छिन्न बाधाओं (discontinuous constraints) को सुचारू सरोगेट्स (smooth surrogates) से बदल देता है, जिससे पार्शियल-ऑर्डर सिमेंटिक्स को संरक्षित करते हुए और विभिन्न डेटासेट्स पर बेहतर रनटाइम-सटीकता ट्रेड-ऑफ प्रदर्शित करते हुए कुशल ग्रेडिएंट-आधारित इन्फरेंस सक्षम होता है।

मूल लेखक: Dongqing Li, Geoff K. Nicholls, Shiyi Sun, You Luo

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dongqing Li, Geoff K. Nicholls, Shiyi Sun, You Luo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप केवल लोगों को खेलते हुए देखकर किसी जटिल खेल के नियमों को समझने की कोशिश कर रहे हैं। आप देखते हैं कि वे मोहरों को एक विशिष्ट क्रम में चला रहे हैं: "पहले वे नाइट (Knight) को चलते हैं, फिर बिशप (Bishop) को, फिर रूक (Rook) को।"

लेकिन यहाँ एक पेच है: शायद नाइट और बिशप को किसी भी क्रम में चलाया जा सकता था, या रूक पहले चला जा सकता था। खिलाड़ियों ने बस एक विशिष्ट क्रम चुना। यह शोध पत्र तर्क देता है कि यदि आप यह मान लेते हैं कि क्रम में मौजूद हर एक चाल का अगला कदम होने से पहले होना ही अनिवार्य है, तो आप एक ऐसा नियम पुस्तिका तैयार कर लेंगे जो बहुत अधिक सख्त है और जिसमें नकली नियम भरे हुए हैं। वास्तविक संरचना संभवतः एक आंशिक क्रम (partial order) है—नियमों का एक जाल जहाँ कुछ चीजों का होना दूसरों से पहले होना अनिवार्य है, लेकिन अन्य चीजें किसी भी क्रम में होने के लिए स्वतंत्र हैं।

समस्या यह है कि रैखिक चालों (linear moves) की एक सूची से इस छिपे हुए नियमों के जाल को समझना कंप्यूटर के लिए अविश्वध रूप से कठिन है। यह एक विशाल जिग्सॉ पहेली को हल करने जैसा है जहाँ टुकड़े अपना आकार बदलते रहते हैं, और कंप्यूटर को एक-एक करके अरबों संभावनाओं की जांच करनी पड़ती है। इसे ही यह शोध पत्र "Hard-PO" (हार्ड पार्शियल ऑर्डर) इन्फरेंस कहता है। यह सटीक तो है लेकिन बेहद धीमा है।

मुख्य विचार: एक स्विच को डिमर (Dimmer) में बदलना

लेखक एक चतुर तकनीक पेश करते हैं जिसे "डिफरेंशिएबल बेयसियन रिलैक्सेशन" (Differentiable Bayesian Relaxation) कहा जाता है।

सोचिए कि पुराना तरीका (Hard-PO) करने का तरीका एक लाइट स्विच की तरह है। एक चाल या तो चालू (ON) है (उसे अगले कदम से पहले होना ही चाहिए) या बंद (OFF) है (वह नहीं है)। आप लाइट को "थोड़ा सा चालू" नहीं कर सकते। क्योंकि यह एक स्विच है, इसलिए आप सुचारू, फिसलने वाली गणित (smooth math) का उपयोग करके उत्तर नहीं खोज सकते; आपको एक स्विच सेटिंग से दूसरी सेटिंग पर कूदना पड़ता है, जो धीमा और उबड़-खाबड़ है।

नया तरीका उस स्विच को एक डिमर (Dimmer) में बदल देता है। यह कहने के बजाय कि "हाँ, A को B से पहले होना चाहिए," कंप्यूटर कहता है, "इस बात की 90% संभावना है कि A, B से पहले होगा, और 10% संभावना है कि यह इसके विपरीत होगा।"

नियमों को "धुंधला" या "सुचारू" (गणितीय रूप से "डिफरेंशिएबल") बनाकर, कंप्यूटर अब शक्तिशाली, तेज़ फिसलने वाली तकनीकों (जैसे ग्रेडिएंट डिसेंट) का उपयोग कर सकता है ताकि वह कूदने के बजाय सही उत्तर की ओर फिसल सके।

यह कैसे काम करता है (उपमा)

एम्बेडिंग (निर्देशांक): कल्पना कीजिए कि आपकी सूची में प्रत्येक आइटम (जैसे "नाइट," "बिशप," "रूक") एक बहु-आयामी स्थान (multi-dimensional space) में एक बिंदु है।
कठोर नियम (The Hard Rule): पुराने मॉडल में, आइटम A के आइटम B से पहले आने के लिए, A का प्रत्येक निर्देशांक (coordinate) B से अधिक होना आवश्यक था। यदि A एक आयाम में अधिक था लेकिन दूसरे में कम, तो नियम टूट जाता था। यह सख्त है और "कठोर" सीमाएं बनाता है।
कोमल नियम (The Soft Rule): नया मॉडल एक "सॉफ्ट मिनिमम" का उपयोग करता है। यह निर्देशांकों को देखता है और कहता है, "A ज्यादातर B से अधिक है, इसलिए इसे पहले आने की उच्च संभावना दें, लेकिन 100% नहीं।" यह उन तीखे किनारों को सुचारू बनाता है जहाँ पुराने नियम टूट जाते थे।
फ्रंटियर (कतार): इन खेलों में, आप केवल उपलब्ध विकल्पों के "फ्रंटियर" (वे चीजें जिनके लिए कोई पूर्व शर्त बाकी नहीं है) में से अगला कदम चुन सकते हैं। पुराना मॉडल कहता था, "यदि यह फ्रंटियर पर नहीं है, तो संभावना शून्य है।" नया मॉडल कहता है, "यदि यह फ्रंटियर पर नहीं है, तो संभावना बहुत कम है, लेकिन शून्य नहीं।" यह थोड़ी सी गुंजाइश गणित को सुचारू रूप से बहने देती है।

उन्होंने क्या पाया

लेखकों ने इस "डिमर स्विच" दृष्टिकोण का परीक्षण तीन प्रकार के डेटा पर किया:

नकली डेटा (Fake Data): उन्होंने ज्ञात नियमों वाले खेल बनाए।
इतिहास डेटा (History Data): उन्होंने 12वीं शताब्दी के इंग्लैंड के शाही दरबारों के गवाहों की सूचियों (जो लाइन में कहाँ खड़े थे) को देखा।
क्लाउड डेटा (Cloud Data): उन्होंने कंप्यूटर एजेंटों द्वारा कार्य करने के लॉग्स को देखा।

परिणाम:

सटीकता (Accuracy): छोटी समस्याओं पर, नए "डिमर" तरीके ने बिल्कुल वही उत्तर दिया जो धीमे, पुराने "स्विच" तरीके ने दिया था। इसने साबित किया कि नियमों को धुंधला बनाने से उत्तर खराब नहीं हुआ; इसने बस उत्तर खोजना आसान बना दिया।
गति (Speed): बड़ी समस्याओं पर, पुराना तरीका पूरा होने के लिए बहुत धीमा था। नया तरीका बहुत तेज़ (कभी-कभी हजारों गुना तेज़) था और फिर भी एक बहुत अच्छा उत्तर खोजने में सक्षम था।
बेहतर भविष्यवाणियाँ (Better Predictions): चूंकि नया तरीका अनिश्चितता (धुंधलेपन) को ट्रैक रखता है, इसलिए यह अनुक्रम में अगले कदम की भविष्यवाणी करने में वास्तव में बेहतर था, भले ही यह सटीक नियम पुस्तिका को पूरी तरह से पुनर्गठित करने में पूर्ण न हो।

निष्कर्ष

यह शोध पत्र कंप्यूटर को यह सिखाने के बारे में है कि घटनाओं के क्रम को समझने के लिए थोड़ा कम कठोर कैसे बना जाए। सख्त "हाँ/नहीं" नियमों को "शायद/ज्यादातर" की संभावनाओं से बदलकर, उन्होंने उन समस्याओं को हल करने के लिए शक्तिशाली, आधुनिक गणितीय उपकरणों का उपयोग करने की क्षमता खोल दी जो पहले बहुत धीमी थीं।

उन्होंने यह दावा नहीं किया कि यह बीमारियों का इलाज करेगा या शेयर बाजार की भविष्यवाणी करेगा। उन्होंने केवल यह दिखाया कि किसी भी ऐसी स्थिति के लिए जहाँ आपके पास चरणों की एक सूची है और आप उनके बीच के छिपे हुए संबंधों (जैसे सॉफ्टवेयर वर्कफ़्लो या सामाजिक पदानुक्रम) को जानना चाहते हैं, यह "सुचारू" दृष्टिकोण समस्या के मूल तर्क को खोए बिना काम करने का एक तेज़, अधिक व्यावहारिक तरीका है।

तकनीकी सारांश: लेटेंट पार्शियल-ऑर्डर इन्फरेंस के लिए एक डिफरेंशिएबल बेयसियन रिलैक्सेशन

समस्या विवरण

रैंकिंग, एजेंट ट्रेसेस और वर्कफ़्लो से जुड़े कई डेटासेट रैखिक अनुक्रमों (टोटल ऑर्डर्स) के रूप में रिकॉर्ड किए जाते हैं। हालाँकि, इन अनुक्रमों को नियंत्रित करने वाले अंतर्निहित प्रतिबंध अक्सर केवल आंशिक रूप से व्यवस्थित (पार्शियल ऑर्डर्स या पोसेट्स) होते हैं। ऐसे परिवेश में, एक प्रेक्षित रैखिक क्रम किसी भी मनमाने रैखिकीकरण (linearization), शेड्यूलिंग या लॉगिंग आर्टिफैक्ट्स को दर्शा सकता है, न कि वास्तविक पूर्व-आवश्यकता संबंधों (prerequisite relations) को। सभी प्रेक्षित पूर्ववर्ती संबंधों (precedences) को वास्तविक पूर्व-आवश्यकताओं के रूप में मानने से अत्यधिक क्रमिक और अवास्तविक संरचनाएं उत्पन्न होती हैं, विशेष रूप से जटिल वर्कफ़्लो या LLM-एजेंट सेटिंग्स में जहाँ अनावश्यक क्रमबद्धता अनावश्यक निष्पादन चरणों (execution steps) को प्रेरित करती है।

मुख्य चुनौती शोरयुक्त रैखिक विस्तारों (linear extensions) से लेटेंट पार्शियल ऑर्डर का अनुमान लगाना है। जबकि अनिश्चितता को संभालने के लिए बेयसियन इन्फरेंस स्वाभाविक है, वर्तमान विधियाँ एक गंभीर कम्प्यूटेशनल बाधा का सामना करती हैं। मौजूदा "hard-PO" दृष्टिकोण पार्शियल ऑर्डर्स के असतत स्थान (discrete space) को खोजने के लिए कॉम्बिनेटोरियल MCMC पर निर्भर करते हैं। यह कम्प्यूटेशनल रूप से निषेधात्मक है क्योंकि एक पोसेट के रैखिक विस्तारों की गणना करना #P-complete है। इसके अलावा, हार्ड प्रिसिडेंस बाधाओं की विच्छिन्न प्रकृति (discontinuous nature) कुशल ग्रेडिएंट-आधारित इन्फरेंस विधियों (जैसे ग्रेडिएंट MCMC या वेरिएशनल इन्फरेंस) के उपयोग को रोकती है, जिससे इसकी स्केलेबिलिटी छोटे उदाहरणों तक ही सीमित रह जाती है।

कार्यप्रणाली

लेखक एक डिफरेंशिएबल बेयसियन रिलैक्सेशन प्रस्तावित करते हैं जो असतत, कॉम्बिनेटोरियल इन्फरेंस समस्या को एक निरंतर अनुकूलन (continuous optimization) समस्या में बदल देता है, जबकि मूल हार्ड मॉडल की सिमेंटिक संरचना को सुरक्षित रखता है।

1. लेटेंट प्रोडक्ट-ऑर्डर पैरामीट्राइजेशन

पार्शियल ऑर्डर्स को सीधे सैंपल करने के बजाय, मॉडल लेटेंट स्ट्रक्चर को एक एम्बेडिंग मैट्रिक्स $U \in \mathbb{R}^{M \times d}$ का उपयोग करके पैरामीट्राइज करता है, जहाँ प्रत्येक आइटम $x$ को एक लेटेंट वेक्टर $u_x$ सौंपा जाता है। हार्ड प्रिसिडेंस संबंध को एक प्रोडक्ट ऑर्डर के माध्यम से परिभाषित किया जाता है: $z \succ_U x$ यदि और केवल यदि $u_{z,k} > u_{x,k}$ सभी आयामों $k=1,\dots,d$ के लिए। यह इनकम्पैरेबिलिटी (जब वे सभी आयामों में सख्ती से डोमिनेटेड नहीं होते हैं) की अनुमति देता है और पार्शियल ऑर्डर ज्योमेट्री को एनकोड करता है।

2. हार्ड बाधाओं का डिफरेंशिएबल रिलैक्सेशन

ग्रेडिएंट-आधारित इन्फरेंस को सक्षम करने के लिए, लेखक हार्ड फ्रंटियर-कंस्ट्रेंड लाइकलीहुड के विच्छिन्न घटकों को स्मूथ सरोगेट्स (smooth surrogates) से बदलते हैं:

सॉफ्ट प्रिसिडेंस: हार्ड इंडिकेटर $1[z \succ_U x]$ को एक सॉफ्ट स्कोर $D_U(z, x) = \sigma(\gamma M_U(z, x))$ द्वारा प्रतिस्थापित किया जाता है। यहाँ हार्ड मिनिमम मार्जिन $m_U(z, x) = \min_k (u_{z,k} - u_{x,k})$ को एक सॉफ्ट-मिनिमम फंक्शन $smin_\tau$ द्वारा अनुमानित किया जाता है, और इंडिकेटर को शार्पनेस पैरामीटर $\gamma$ के साथ सिग्मॉइड फंक्शन $\sigma$ के माध्यम से स्मूथ किया जाता है।
सॉफ्ट फ्रंटियर: हार्ड फ्रंटियर (अधिकतम तत्वों का सेट जो चयन के लिए उपलब्ध हैं) को एक सॉफ्ट फ्रंटियर वेट $\tilde{F}_t(x; U)$ द्वारा प्रतिस्थापित किया जाता है। यह वेट सभी शेष आइटम्स $z$ के लिए $(1 - D_U(z, x))$ का उत्पाद है, जो उन आइटम्स को कम वेट देता है जो दूसरों द्वारा दृढ़ता से पूर्ववर्ती (preceded) हैं, लेकिन ऑफ-फ्रंटियर चॉइस के लिए गैर-शून्य संभावना की अनुमति देता है।
रिलैक्स्ड लाइकलीहुड: मूल फ्रंटियर-सॉफ्टमैक्स लाइकलीहुड, जो नॉन-फ्रंटियर आइटम्स को शून्य संभावना प्रदान करता है, उसे एक रिलैक्स्ड वर्जन द्वारा प्रतिस्थापित किया जाता है जो ऑफ-फ्रंटियर आइटम्स को छोटा लेकिन गैर-शून्य संभाव्यता प्रदान करता है। इसके परिणामस्वरूप एम्बेडिंग पैरामीटर्स $U$ के सापेक्ष एक निरंतरतः डिफरेंशिएबल ऑब्जेक्टिव फंक्शन प्राप्त होता है।

3. सैद्धांतिक गारंटी

पेपर रिलैक्सेशन के संबंध में कई सैद्धांतिक प्रमाण प्रदान करता है:

सॉफ्ट ट्रांजिटिविटी: रिलैक्स्ड स्कोर सॉफ्ट ट्रांजिटिविटी गुण ( $\text{logit } D_U(z, x) \ge \text{logit } D_U(z, y) + \text{logit } D_U(y, x)$ ) को संतुष्ट करते हैं), जो स्मूथिंग पैरामीटर्स के अपने लिमिट्स की ओर बढ़ने पर हार्ड ट्रांजिटिविटी में परिवर्तित हो जाते हैं।
शार्प-लिमिट रिकवरी: जैसे-जैसे तापमान $\tau \to 0$ और शार्पनेस $\gamma \to \infty$ होता है, रिलैक्स्ड फ्रंटियर वेट्स और लाइकलीहुड हार्ड फ्रंटियर-कंस्ट्रेंड मॉडल में अभिसरित (converge) होते हैं।
मार्जिनल कंसिस्टेंसी: रिलैक्स्ड पार्शियल ऑर्डर्स पर प्रायर मार्जिनली कंसिस्टेंट है, जो यह सुनिश्चित करता है कि सब-ऑर्डर्स पर वितरण ग्लोबल डिस्ट्रीब्यूशन के साथ सुसंगत है।

4. इन्फरेंस रणनीतियाँ

निरंतर पोस्टीरियर (continuous posterior) कुशल इन्फरेंस एल्गोरिदम के अनुप्रयोग की अनुमति देता है:

रिलैक्स्ड-MCMC: रिलैक्स्ड पोस्टीरियर से सैंपल करने के लिए हैमिल्टोनियन मोंटे कार्लो (NUTS) का उपयोग करता है।
FullRank-VI: ऑटोमैटिक डिफरेंशिएशन वेरिएशनल इन्फरेंस (ADVI) के साथ फुल-रैंक गौसियन एप्रोक्सिमेशन का उपयोग करता है।
Flow-VI: पोस्टीरियर डिस्ट्रीब्यूशन को मॉडल करने के लिए नॉर्मलाइजिंग फ्लो का उपयोग करता है, जो गौसियन एप्रोक्सिमेशंस की तुलना में अधिक लचीलापन प्रदान करता है।

मुख्य योगदान

डिफरेंशिएबल रिलैक्सेशन: लेटेंट पार्शियल-ऑर्डर इन्फरेंस के लिए एक डिफरेंशिएबल बेयसियन रिलैक्सेशन का परिचय, जो पहले डिस्क्रीट कॉम्बिनेटोरियल सर्च तक सीमित समस्या के लिए ग्रेडिएंट-आधारित MCMC और वेरिएशनल इन्फरेंस के उपयोग को सक्षम बनाता है।
स्मूथ फ्रंटियर-कंस्ट्रेंड लाइकलीहुड: एक स्मूथ लाइकलीहुड का विकास जो हार्ड मॉडल के फ्रंटियर सिमेंटिक्स (फेसिबल बनाम इनफीसिबल एक्शन के बीच अंतर करना) को सुरक्षित रखता है, जबकि डिस्क्रीट बाधाओं को निरंतर सरोगेट्स से बदल देता है।
सैद्धांतिक अभिसरण (Theoretical Convergence): प्रमाण जो दर्शाते हैं कि रिलैक्स्ड मॉडल शार्प लिमिट में हार्ड मॉडल में अभिसरित होता है और सॉफ्ट ट्रांजिटिविटी प्रदर्शित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो दिखाते हैं कि रिलैक्स्ड विधियाँ छोटे उदाहरणों पर हार्ड MCMC के प्रति उच्च पोस्टीरियर फिडेलिटी प्राप्त करती हैं और बड़े समस्याओं पर बेहतर रनटाइम-एक्यूरेसी ट्रेड-ऑफ प्रदान करती हैं।

प्रयोगात्मक परिणाम

लेखकों ने तीन डेटासेट्स पर अपनी विधि का मूल्यांकन किया: सिंथेटिक डेटा, बिशॉप्स विटनेस-लिस्ट कॉर्पस (ऐतिहासिक सामाजिक प्रभुत्व), और क्लाउड एजेंट ट्रेसेस (LLM-जनरेटेड वर्कफ़्लो)।

सिंथेटिक डेटा: 100 आइटम्स तक के उदाहरणों पर, रिलैक्स्ड विधियाँ (Relaxed-MCMC, FullRank-VI, Flow-VI) हार्ड-MCMC (पेयरवाइज प्रिसिडेंस प्रोबेबिलिटीज के मीन एब्सोल्यूट एरर द्वारा मापा गया) की पोस्टीरियर फिडेलिटी के करीब पहुँचती हैं, जबकि वे कई गुना तेज़ हैं। हार्ड-MCMC $n > 30$ के लिए कॉम्बिनेटोरियल विस्फोट के कारण अव्यवहार्य हो गया, जबकि Flow-VI $n=100$ तक कुशलतापूर्वक स्केल हुआ।
बिशॉप्स कॉर्पस: 45 एक्टर्स के साथ 68 विटनेस लिस्ट पर, Relaxed-MCMC ने सर्वश्रेष्ठ प्रेडिक्टिव फिट (सबसे कम WAIC) प्राप्त किया, जिसने Plackett-Luce मिश्रण बेसलाइन्स को काफी पीछे छोड़ दिया। FullRank-VI ने सबसे अच्छा व्यावहारिक ट्रेड-ऑफ दिया, जो 70 मिनट के Hard-MCMC की तुलना में केवल 5.5 मिनट में चला, और तुलनीय WAIC प्रदान किया।
क्लाउड एजेंट ट्रेसेस: 54 वर्कफ़्लो ट्रेसेस पर, Relaxed-MCMC ने स्ट्रक्चरल रिकवरी (क्लोजर F1) में Hard-MCMC के लगभग बराबर प्रदर्शन किया और सर्वश्रेष्ठ प्रेडिक्टिव परफॉरमेंस (सबसे कम Step NLL) प्राप्त किया। FullRank-VI ने मजबूत स्ट्रक्चरल रिकवरी के साथ सबसे तेज़ इन्फरेंस प्रदान किया, जबकि Flow-VI ने थोड़े कमजोर स्ट्रक्चरल रिकवरी के बावजूद Hard-MCMC की तुलना में बेहतर प्रेडिक्टिव कैलिब्रेशन दिखाया।

महत्व और दावे

यह पेपर दावा करता है कि यह कार्य हार्ड पार्शियल-ऑर्डर इन्फरेंस की सिमेंटिक शुद्धता और ग्रेडिएंट-आधारित विधियों की स्केलेबिलिटी के बीच के अंतर को पाटता है। डिस्क्रीट बाधाओं को रिलैक्स करके, लेखक लेटेंट पार्शियल ऑर्डर्स पर बेयशियन इन्फरेंस को सक्षम बनाते हैं जो पहले कम्प्यूटेशनल रूप से कठिन थे।

लेखक इस बात पर जोर देते हैं कि रिलैक्स्ड पोस्टीरियर केवल गति के लिए एक अनुमान नहीं है, बल्कि "अपने आप में एक अच्छा मॉडल" है जो पूर्व-आवश्यकताओं की व्याख्या करने के लिए आवश्यक फ्रंटियर-कंस्ट्रेंड सिमेंटिक्स को सुरक्षित रखता है। वे नोट करते हैं कि जबकि यह विधि $M=100$ तक स्केल करती है, यह सॉफ्ट-प्रिसिडेंस मैट्रिक्स के $O(M^2)$ स्टोरेज के कारण $M=200$ पर मेमोरी सीमाओं का सामना करती है। यह कार्य एजेंट ट्रेसेस और वर्कफ़्लो में व्याख्या योग्य संरचनाओं को इन्फर करने के लिए एक व्यावहारिक समाधान के रूप में खुद को स्थापित करता है, जो डिस्क्रीट कॉम्बिनेटोरियल सर्च की कम्प्यूटेशनल लागत के बिना स्थिर पूर्व-आवश्यकताओं को पुन: क्रमबद्ध (reorderable) क्रियाओं से अलग करता है।