🤖 machine learning

Learning Permutation from Structure Without Supervision

यह शोधपत्र एक एंट्रॉपी-अनुकूली (entropy-adaptive) गमबेल-सिंकहॉर्न (Gumbel-Sinkhorn) फॉर्मूलेशन पेश करता है जो छिपे हुए क्रमों (hidden orderings) से जुड़े अनसुपरवाइज्ड लर्निंग कार्यों में प्रशिक्षण स्थिरता और क्रमपरिवर्तन गुणवत्ता (permutation quality) में सुधार करने के लिए असाइनमेंट अनिश्चितता के आधार पर स्थानीय रूप से तापमान को नियंत्रित करता है, जिससे बड़े पैमाने की समस्याओं में वैश्विक तापमान नियंत्रण की सीमाओं को दूर किया जा सके।

मूल लेखक: Ran Eisenberg, Ofir Lindenbaum

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ran Eisenberg, Ofir Lindenbaum

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास पहेली के टुकड़ों का एक विशाल, बिखरा हुआ ढेर है, या ताश की एक फटी हुई गड्डी है, या संख्याओं की एक सूची है जो बेतरतीब क्रम में है। आपका लक्ष्य उन्हें सही क्रम में वापस रखना है। लेकिन यहाँ एक पेच है: आपके पास डिब्बे पर बनी तस्वीर नहीं है, और न ही आपके पास कोई उत्तर कुंजी (answer key) है। आप केवल यह जानते हैं कि एक बार जब टुकड़े सही जगह पर आ जाएंगे, तो तस्वीर चिकनी दिखेगी, कार्ड व्यवस्थित हो जाएंगे, या संख्याएं छोटी से बड़ी की ओर बढ़ेंगी।

यह वह समस्या है जिसे यह शोध पत्र (paper) संबोधित करता है: आप कंप्यूटर को यह कैसे सिखाएं कि उसे सही क्रम खोजने के लिए केवल अंतिम परिणाम के "अहसास" (vibe) के आधार पर अनुमान लगाना होगा?

पुराना तरीका: "एक ही आकार का" थर्मोस्टेट (One-Size-Fits-All Thermostat)

इसे हल करने के लिए, कंप्यूटर एक गणितीय ट्रिक का उपयोग करते हैं जिसे गंबेल-सिंकहॉर्न (Gumbel-Sinkhorn) कहा जाता है। इसे इस तरह समझें कि यह कंप्यूटर को बिना अटके अलग-अलग क्रम "आज़माने" का एक तरीका देता है।

पुराने तरीके में, कंप्यूटर एक एकल नियंत्रण नॉब का उपयोग करता है जिसे तापमान (temperature) कहा जाता है।

उच्च तापमान (High Temperature): कंप्यूटर बहुत "भ्रमित" होता है। वह कई अलग-अलग व्यवस्थाओं को आज़माता है, अपने विकल्प खुले रखता है। यह उस छात्र की तरह है जो अभी भी मंथन कर रहा है और अभी तक किसी उत्तर पर निर्णय नहीं ले पाया है।
कम तापमान (Low Temperature): कंप्यूटर "निर्णायक" हो जाता है। वह एक विशिष्ट व्यवस्था चुनता है और उसी पर टिका रहता है।

पुराने तरीके के साथ समस्या यह है कि यह पूरे कमरे के लिए एक ही थर्मोस्टेट का उपयोग करता है।

यदि आप कंप्यूटर को निर्णायक बनाने के लिए गर्मी कम करते हैं, तो सब कुछ एक साथ निर्णायक हो जाता है।
लेकिन वास्तव में, पहेली के कुछ हिस्से हल करना आसान होता है (जैसे कोने के टुकड़े), जबकि अन्य हिस्से बहुत कठिन होते हैं (जैसे नीले आसमान का एक हिस्सा जो हर जगह एक जैसा दिखता है)।
यदि आप कंप्यूटर को बहुत जल्दी निर्णायक होने के लिए मजबूर करते हैं, तो वह कठिन हिस्सों पर गलतियाँ लॉक कर देता है। यदि आप उसे बहुत लंबे समय तक भ्रमित रखते हैं, तो वह आसान हिस्सों को कभी पूरा नहीं कर पाता। यह एक निराशाजनक संतुलन है।

नया तरीका: "स्मार्ट थर्मोस्टेट" (The Smart Thermostat)

इस शोध पत्र के लेखकों ने एक नया तरीका पेश किया जिसे एन्ट्रॉपी-एडेप्टिव गंबेल-सिंकहॉर्न (Entropy-Adaptive Gumbel-Sinkhorn) कहा जाता है। एक ही कमरे के लिए एक एकल थर्मोस्टेट के बजाय, उन्होंने कंप्यूटर को एक स्मार्ट, मल्टी-ज़ोन थर्मोस्टेट दिया जो पहेली के हर एक टुकड़े को व्यक्तिगत रूप से देखता है।

यह एक सरल उपमा (analogy) का उपयोग करके काम करता है:

कल्पना कीजिए कि आप एक अस्त-व्यस्त पुस्तकालय को व्यवस्थित कर रहे हैं।

आसान गलियारा (कम अनिश्चितता - Low Uncertainty): आप किताबों की एक पंक्ति देखते हैं जो स्पष्ट रूप से गलत जगह पर हैं। आप जानते हैं कि वे कहाँ जाएँगी।
- पुराना तरीका: थर्मोस्टेट कहता है, "रुको, चलो सोचते रहते हैं!" और पूरे पुस्तकालय को भ्रम की स्थिति में रखता है।
- नया तरीका: स्मार्ट थर्मोस्टेट देखता है कि यह गलियारा स्पष्ट है और कहता है, "बहुत बढ़िया, इस गलियारे को तुरंत अपनी जगह पर लॉक कर दो!" यह यहाँ समय बर्बाद करना बंद कर देता है।
कठिन गलियारा (उच्च अनिश्चितता - High Uncertainty): आप किताबों का एक ऐसा खंड देखते हैं जो दिखने में बिल्कुल एक जैसा है। आप अनिश्चित हैं कि कौन सी किताब कहाँ जाएगी।
- पुराना तरीका: थर्मोस्टेट कहता है, "ठीक है, अब सब कुछ लॉक कर दो," जिससे आपको इन एक जैसी दिखने वाली किताबों पर अनुमान लगाने के लिए मजबूर होना पड़ता है। संभावना है कि आप गलत होंगे।
- नया तरीका: स्मार्ट थर्मोस्टेट भ्रम को देखता है और कहता है, "ठहरिए, यह क्षेत्र कठिन है। यहाँ विभिन्न विकल्पों को तलाशना जारी रखें। इसे अभी लॉक न करें।"

उन्होंने क्या पाया?

शोधकर्ताओं ने इस "स्मार्ट थर्मोस्टेट" का तीन अलग-अलग कार्यों पर परीक्षण किया:

संख्याओं को क्रम में रखना: संख्याओं की एक सूची को क्रम में व्यवस्थित करना।
जिग्सॉ पहेली (Jigsaw Puzzles): एक बिखरी हुई छवि को फिर से जोड़ना।
ट्रैवलिंग सेल्समैन (Traveling Salesman): कई शहरों की यात्रा करने के लिए सबसे छोटा मार्ग खोजना।

परिणाम:

जब समस्याएँ छोटी और आसान थीं, तो नया तरीका पुराने तरीके के लगभग समान रूप से काम करता था।
लेकिन जब समस्याएँ बड़ी और भ्रमित करने वाली हो गईं, तो पुराना तरीका विफल होने लगा। या तो वह गलतियों पर अटक गया या समाधान खोजने में असमर्थ रहा।
नया तरीका बहुत बेहतर था। इसने कठिन हिस्सों को लचीला रखते हुए आसान हिस्सों को सफलतापूर्वक जल्दी हल किया। यह अधिक स्थिर था और इसने उच्च-गुणवत्ता वाले परिणाम दिए, विशेष रूप से तब जब पहेलियाँ बड़ी होती गईं।

निष्कर्ष (The Bottom Line)

यह शोध पत्र यह दावा नहीं करता है कि यह दुनिया की हर समस्या को हल कर देगा, लेकिन यह मशीन लर्निंग की एक विशिष्ट समस्या को हल करता है: यह कैसे संभालें जहाँ समस्या के कुछ हिस्से आसान हैं और कुछ कठिन।

कंप्यूटर को जहाँ वह निश्चित है वहाँ निर्णायक और जहाँ वह अनिश्चित है वहाँ जिज्ञासु बनने की अनुमति देकर, उन्होंने संरचना से सीखने की प्रक्रिया को अधिक विश्वसनीय बनाया है, बिना किसी मानव द्वारा उन्हें उत्तर बताए।

तकनीकी सारांश: बिना पर्यवेक्षण के संरचना से क्रमचय (Permutation) सीखना

समस्या विवरण

कई शिक्षण कार्यों में ऐसा डेटा शामिल होता है जो स्वाभाविक रूप से अवलोकित समय पर अवक्रमित (unordered) होता है, जिसके लिए अंतर्निहित संरचना को प्रकट करने हेतु एक छिपे हुए क्रमचय (permutation) को पुनः प्राप्त करने की आवश्यकता होती है। उदाहरणों में सॉर्टिंग (क्रमबद्धता को पुनः प्राप्त करना), जिग्सॉ पुनर्निर्माण (स्थानिक निरंतरता को पुनः प्राप्त करना), और रूटिंग समस्याएं जैसे ट्रैवलिंग सेल्समैन प्रॉब्लम (TSP) शामिल हैं। इन सेटिंग्स में, वास्तविक क्रमचय (ground-truth permutations) अक्सर उपलब्ध नहीं होते हैं, जिससे लेबल पर्यवेक्षण के बजाय कार्य-विशिष्ट संरचनात्मक गुणों (जैसे कि सुगमता, एकतलता, या ज्यामितीय सुसंगतता) द्वारा संचालित अनसुपरवाइज्ड लर्निंग (unsupervised learning) की आवश्यकता होती है।

डिफरेंशिएबल क्रमचय लर्निंग (differentiable permutation learning) में हालिया प्रगति, विशेष रूप से गमबेल-सिंकहॉर्न (Gumbel–Sinkhorn) विधि, क्रमचयों को निरंतर रिलैक्सेशन (continuous relaxations) के माध्यम से अनुकूलित किए जाने वाले लेटेंट ऑपरेटर्स के रूप में उपचार करने की अनुमति देती है। ये विधियाँ बिर्कहॉफ पॉलीटोप (Birkhoff polytope) के भीतर डबली स्टोकेस्टिक मैट्रिसेस का उपयोग करके विविक्त क्रमचय मैट्रिसेस (discrete permutation matrices) का अनुमान लगाती हैं, जिसे एक वैश्विक तापमान पैरामीटर $\tau$ (या व्युत्क्रम तापमान $\beta$ ) द्वारा नियंत्रित किया जाता है। हालाँकि, जैसे-जैसे समस्या का आकार और अस्पष्टता बढ़ती है, एक महत्वपूर्ण सीमा उत्पन्न होती है: असाइनमेंट मैट्रिक्स के विभिन्न भाग अलग-अलग दरों पर हल होते हैं। कुछ पंक्तियाँ/स्तंभ प्रशिक्षण के दौरान जल्दी ही नियतात्मक (deterministic) हो जाते हैं, जबकि अन्य समरूपता (symmetry) या कमजोर संरचनात्मक संकेतों के कारण अस्पष्ट बने रहते हैं। एक एकल वैश्विक तापमान सभी असाइनमेंट को एक साथ तीक्ष्ण (sharpen) या विसरित (diffuse) होने के लिए मजबूर करता है, जिससे स्थिरता और विवक्तीकरण (discretization) के बीच एक अपरिहार्य समझौता पैदा होता है। आक्रामक एनीलिंग (annealing) प्रारंभिक त्रुटियों को लॉक कर देती है, जबकि रूढ़िवादी एनीलिंग बड़े, अस्पष्ट क्रमचयों को अभिसरण (converge) करने से रोकती है।

कार्यप्रणाली

लेखक एक एन्ट्रॉपी-अनुकूली गमबेल-सिंकहॉर्न (entropy-adaptive Gumbel–Sinkhorn) फॉर्मूलेशन का प्रस्ताव करते हैं जो एकल वैश्विक तापमान को पंक्ति- और स्तंभ-निर्भर व्युत्क्रम-तापमान क्षेत्र (inverse-temperature field) से बदल देता है। यह दृष्टिकोण वर्तमान सॉफ्ट असाइनमेंट एन्ट्रॉपी की अनिश्चितता के आधार पर तापमान को नियंत्रित करता है।

मुख्य तंत्र

एन्ट्रॉपी अनुमान: प्रत्येक प्रशिक्षण चरण में, एक आधार व्युत्क्रम तापमान $\beta_0(t)$ का उपयोग करके एक नियतात्मक सॉफ्ट असाइनमेंट $Q$ की गणना की जाती है:
$Q = \text{Sinkhorn}(\beta_0(t) \cdot \text{stopgrad}(S))$
जहाँ $S$ संगतता स्कोर (compatibility scores) का प्रतिनिधित्व करता है। 'Stop-gradient' यह सुनिश्चित करता है कि एन्ट्रॉपी नियंत्रक स्वयं तापमान अनुमान के माध्यम से बैकप्रोपैगेट न हो।
अनिश्चितता गणना: $Q$ से सामान्यीकृत पंक्ति और स्तंभ एन्ट्रॉपी ( $H^{\text{row}}_i$ और $H^{\text{col}}_j$ ) की गणना की जाती है। शून्य के करीब मान आत्मविश्वासी असाइनमेंट दर्शाते हैं, जबकि एक के करीब मान उच्च अनिश्चितता दर्शाते हैं।
अनुकूली तापमान क्षेत्र: एक एंट्रीवाइज़ व्युत्क्रम-तापमान क्षेत्र $\beta \in \mathbb{R}^{n \times n}$ का निर्माण किया जाता है। उच्च-एन्ट्रॉपी वाली पंक्तियों या स्तंभों के लिए, अन्वेषण (exploration) को बनाए रखने के लिए व्युत्क्रम तापमान को कम कर दिया जाता है। कम-एन्ट्रॉपी वाले क्षेत्रों के लिए, व्युत्क्रम तापमान आधार स्तर पर रहता है ताकि विवक्तीकरण को बढ़ावा मिले।
$\beta^{\text{row}}_i = \frac{\beta_0(t)}{1 + b(H^{\text{row}}_i)}, \quad \beta^{\text{col}}_j = \frac{\beta_0(t)}{1 + b(H^{\text{col}}_j)}$
जहाँ $b(\cdot)$ एक बाउंडेड, मोनोटोन फंक्शन है जो $H_0$ थ्रेशोल्ड से अधिक एन्ट्रॉपी होने पर सक्रिय होता है। अंतिम एंट्रीवाइज़ क्षेत्र औसत है: $\beta_{ij} = \frac{1}{2}(\beta^{\text{row}}_i + \beta^{\text{col}}_j)$ ।
सैंपलिंग: अंतिम सॉफ्ट क्रमचय $P$ को इस अनुकूली क्षेत्र का उपयोग करके सैंपल किया जाता है:
$P = \text{Sinkhorn}(\beta \odot (S + g))$
जहाँ $g$ गमबेल शोर (Gumbel noise) है और $\odot$ एलिमेंटवाइज़ गुणन को दर्शाता है।

सैद्धांतिक व्याख्या

यह शोध पत्र स्थापित करता है कि एक एंट्रीवाइज़ व्युत्क्रम-तापमान क्षेत्र के साथ सिंकहॉर्न नॉर्मलाइजेशन लागू करना, स्थानीय रूप से पुनर्गठित लागतों (locally rescaled costs) के साथ एक एंट्रोपिकली रेगुलराइज्ड असाइनमेंट समस्या को हल करने के समान है। यह एक ऑप्टिमल ट्रांसपोर्ट व्याख्या प्रदान करता है जहाँ अनुकूली तापमान नियंत्रण अस्पष्ट क्षेत्रों में सिमेट्री ब्रेकिंग को विलंबित करता है, जबकि आत्मविश्वासी क्षेत्रों को केंद्रित होने देता है, और साथ ही वैश्विक डबली स्टोकेस्टिक बाधाओं को बनाए रखता है।

मुख्य योगदान

एकीकृत ढांचा (Unified Framework): एक ऐसा ढांचा जो पुनर्व्यवस्थित डेटा पर कार्य-विशिष्ट संरचनात्मक नुकसान (structural losses) से सीधे क्रमचयों को लेटेंट ऑपरेटर्स के रूप में सीखने की अनुमति देता है, जिससे ग्राउंड-थ्रuth क्रमचयों के बिना अनसुपरवाइज्ड लर्निंग संभव होती है।
एन्ट्रॉपी-अनुकूली गमबेल-सिंकहॉर्न: एक नया संस्करण जो वैश्विक तापमान को असाइनमेंट एन्ट्रॉपी से प्राप्त होने वाले स्थानीय रूप से परिवर्तनशील क्षेत्र से बदल देता है। यह आत्मविश्वासी असाइनमेंट को जल्दी विवक्त (discretize) होने देता है जबकि अस्पष्ट क्षेत्रों में अन्वेषण को बनाए रखता है।
ऑप्टिमल ट्रांसपोर्ट व्याख्या: एक प्रमाण कि अनुकूली तापमान नियंत्रण बिर्कहॉफ पॉलीटोप पर स्थानीय लागत पुनर्गठन (local cost rescaling) के समान है, जो विधि के व्यवहार के लिए एक सैद्धांतिक आधार प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सॉर्टिंग, जिग्सॉ पुनर्निर्माण और अनसुपरवाइज्ड TSP पर प्रदर्शन का प्रदर्शन कि एन्ट्रॉपी-अनुकूली नियंत्रण, फिक्स्ड या ग्लोबली एनेल्ड बेसलाइन्स की तुलना में अधिक विश्वसनीय अभिसरण और उच्च-गुणवत्ता वाले क्रमचय प्रदान करता है, विशेष रूप से जब समस्या का आकार ( $n$ ) और असाइनमेंट की अस्पष्टता बढ़ती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन प्राथमिक कार्यों पर किया गया:

लिस्ट सॉर्टिंग: उच्च अस्पष्टता वाले डेटासेट ( $[10, 11]$ में मान) पर, एन्ट्रॉपी-अनुकूली तापमान ने ग्लोबल एनीलिंग और न्यूरलसॉर्ट (NeuralSort) को लगातार पछाड़ दिया। जैसे-जैसे $n$ बढ़कर 300 हुआ, प्रदर्शन का अंतर बढ़ गया, और अनुकूली विधि ने काफी उच्च केंडल $\tau$ (Kendall $\tau$ ) स्कोर बनाए रखा।
जिग्सॉ पुनर्निर्माण: ग्रिड (अधिकतम $7 \times 7$ ) में विभाजित सेलेबए-टेस्ट (CelebA-Test) छवियों पर, अनुकूली विधि ने ग्लोबल एनीलिंग की तुलना में उच्च केंडल $\tau$ और रैंडम सीड्स के बीच अधिक स्थिर अभिसरण प्राप्त किया। सुधार सबसे अधिक बड़े पहेलियों के लिए स्पष्ट थे जहाँ सीमा निरंतरता (boundary consistency) के संकेत अस्पष्ट होते हैं।
अनसुपरवाइज्ड TSP: UTSP प्रोटोकॉल पर लागू, विधि ने (डिग्री-उल्लंघन-आधारित अनुकूलन संस्करण का उपयोग करते हुए) मानक गमबेल-सिंकहॉर्न और UTSP बेसलाइन्स की तुलना में टूर लंबाई और ऑप्टिमलिटी गैप को कम किया, विशेष रूप से बड़े नोड काउंट ( $n=500, 1000$ ) के लिए।

इन सभी मामलों में, अनुकूली विधि ने हाइपरपैरामीटर चयन (एन्ट्रॉपी थ्रेशोल्ड $H_0$ और मैक्स बूस्ट $b_{\text{max}}$ ) के प्रति मजबूती प्रदर्शित की और उच्च-अस्पष्टता वाले शासन में वैश्विक तापमान शेड्यूल्स से जुड़ी अस्थिरता से बच गई।

महत्व और दावे

शोध पत्र का दावा है कि संरचना से प्रभावी क्रमचय सीखना इस बात पर निर्भर करता है कि अनुकूलन के दौरान एन्ट्रॉपी कहाँ और कब समाप्त होती है। यह स्वीकार करते हुए कि असाइनमेंट अनिश्चितता विषम (heterogeneous) है, प्रस्तावित विधि वैश्विक तापमान शेड्यूल्स में निहित स्थिरता-विवक्तीकरण के समझौते को हल करती है।

लेखक इस कार्य को गमबेल-सिंकहॉर्न परिवार के एक हल्के विस्तार के रूप में प्रस्तुत करते हैं जो मूल रिलैक्सेशन ज्योमेट्री या अभिसरण गुणों को बदले बिना स्केलेबिलिटी और स्थिरता में सुधार करता है। वे नोट करते हैं कि जबकि विधि अनुकूलन स्थिरता में सुधार करती है, यह अत्यधिक समरूप या कमजोर सूचनात्मक उद्देश्यों में मौलिक अस्पष्टताओं को हल नहीं करती है, और जिग्सॉ पहेलियों में एंकर टाइल्स (anchor tiles) जैसी किसी प्रकार की सिमेट्री ब्रेकिंग की आवश्यकता अभी भी हो सकती है।

सुझाए गए भविष्य के दिशा-निर्देशों में एन्ट्रॉपी-अनुकूली नियंत्रण को एंड-टू-एंड सीखना और जटिल कॉम्बिनेटोरियल संरचनाओं और मल्टीमॉडल मैचिंग समस्याओं में अनिश्चितता-जागरूक विवक्तीकरण को विस्तारित करना शामिल है।