🤖 machine learning

AvAtar: Learning to Align via Active Optimal Transport

यह शोध पत्र AvAtar का प्रस्ताव करता है, जो ऑप्टिमल ट्रांसपोर्ट-आधारित संरेखण (alignment) के लिए एक सिद्धांत-आधारित सक्रिय शिक्षण (active learning) ढांचा है, जो ग्रेडिएंट प्रोपेगेशन के माध्यम से उम्मीदवार सूचनात्मकता (informativeness) को परिमाणित करके उच्च-गुणवत्ता वाली पर्यवेक्षण (supervision) की कुशलतापूर्वक पहचान करता है, और रैखिक जटिलता (linear complexity) तथा गारंटीकृत अभिसरण (convergence) प्राप्त करने के लिए एडजॉइंट-स्टेट विधि (adjoint-state method) का लाभ उठाता है।

मूल लेखक: Qi Yu, Ruizhong Qiu, Zhichen Zeng, My T. Thai, Huan Liu, Hanghang Tong

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qi Yu, Ruizhong Qiu, Zhichen Zeng, My T. Thai, Huan Liu, Hanghang Tong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो विशाल, अस्त-व्यस्त पुस्तकालय हैं। एक अंग्रेजी की किताबों से भरा है, और दूसरा फ्रांसीसी किताबों से भरा है। आपका लक्ष्य यह पता लगाना है कि कौन सी अंग्रेजी किताब किस फ्रांसीसी किताब से मेल खाती है ताकि आप एक आदर्श द्विभाषी कैटलॉग बना सकें। मशीन लर्निंग में इसे "अलाइनमेंट" (alignment) कहा जाता है।

आमतौर पर, यह करने के लिए, आपको एक लाइब्रेरियन (विशेषज्ञ) की आवश्यकता होती है जो आपको बताए, "हाँ, किताब A, किताब B के समान है।" लेकिन हर एक किताब के लिए लाइब्रेरियन को काम पर रखना महंगा है और इसमें बहुत समय लगता है। आप केवल तभी लाइब्रेरियन की मदद लेना चाहते हैं जब वास्तव में इसकी आवश्यकता हो।

यह शोध पत्र ठीक इसी समस्या को हल करने के लिए AVATAR नामक एक नया टूल पेश करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: अंधेरे में अनुमान लगाना

पारंपरिक तरीके किताबों के कवर (डेटा) को देखकर उन्हें मिलाने की कोशिश करते हैं और अनुमान लगाते हैं। कभी-कभी वे सही होते हैं, लेकिन अक्सर वे फंस जाते हैं। बेहतर होने के लिए, उन्हें "सुपरविजन" (लाइब्रेरियन के उत्तरों) की आवश्यकता होती है।

पुराना तरीका: लाइब्रेरियन से यादृच्छिक (random) प्रश्न पूछना, या उन किताबों के बारे में पूछना जो सबसे अधिक भ्रमित करने वाली दिखती हैं।
समस्या: यह शोध पत्र तर्क देता है कि मौजूदा तरीके एक ऐसे छात्र की तरह हैं जो यह अनुमान लगाने की कोशिश कर रहा है कि उसे शिक्षक से किस गणित के सवाल के बारे में पूछना चाहिए। वे शायद ऐसे सवाल पूछ सकते हैं जो वास्तव में उन्हें पूरी कक्षा को बेहतर ढंग से समझने में मदद न करें। उन्हें यह नहीं पता होता कि एक एकल उत्तर उनके अंतिम ग्रेड को कैसे बदल देगा।

2. समाधान: AVATAR (एक "सुपर-स्टूडेंट")

AVATAR एक स्मार्ट फ्रेमवर्क है जो एक सुपर-स्टूडेंट की तरह कार्य करता है। लाइब्रेरियन से प्रश्न पूछने से पहले, यह भविष्य का अनुकरण (simulate) करता है।

उपमा: लहर का प्रभाव (The Ripple Effect)
कल्पना कीजिए कि आप एक तालाब में कंकड़ गिराते हैं। आप जानना चाहते हैं: "यदि मैं इस कंकड़ को यहाँ गिराता हूँ, तो इसकी लहर कितनी बड़ी होगी?"

AVATM का तरीका: केवल कंकड़ (किताब) को देखने के बजाय, यह उत्तर के लहर प्रभाव (ripple effect) की गणना करता है। यह पूछता है: "यदि मुझे इस विशिष्ट पुस्तक के लिए उत्तर मिलता है, तो यह मेरी पूरी लाइब्रेरी की समझ को कितना बदल देगा?"
यह ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) नामक एक गणितीय अवधारणा का उपयोग करता है। इसे एक मानचित्र के रूप में सोचें जो यह दिखाता है कि सभी किताबों को एक शेल्फ से दूसरे शेल्फ तक ले जाने का सबसे कुशल तरीका क्या है। AVATAR इस मानचित्र को देखता है और गणना करता है कि जानकारी का एक नया टुकड़ा (लाइब्रेरियन का उत्तर) पूरे मानचित्र को कैसे बदल देगा।

3. यह गणित कैसे करता है (बिना थके)

एक पूरे पुस्तकालय को एक उत्तर से कैसे बदला जा सकता है, इसकी गणना करना आमतौर पर अविश्वसनीय रूप से कठिन और धीमा होता है, जैसे कि दस लाख टुकड़ों वाली पहेली को हाथ से हल करने की कोशिश करना।

नवाचार: लेखकों ने एक चतुर गणितीय शॉर्टकट (जिसे एडजॉइंट-स्टेट मेथड (adjoint-state method) कहा जाता है) का उपयोग किया है।
रूपक: हर बार एक नया संकेत मिलने पर पूरी पहेली को फिर से हल करने के बजाय, वे बदलाव के पथ को तुरंत ट्रेस करने के लिए एक विशेष "लेजर पॉइंटर" का उपयोग करते हैं। यह उन्हें एक पल में किसी भी प्रश्न के प्रभाव की गणना करने की अनुमति देता है, जिससे यह प्रक्रिया विशाल पुस्तकालयों (बड़े पैमाने के डेटा) को संभालने के लिए पर्याप्त तेज़ हो जाती है।

4. परिणाम: स्मार्ट प्रश्न, बेहतर परिणाम

शोधकर्ताओं ने तीन अलग-अलग प्रकार के "पुस्तकालयों" पर AVATAR का परीक्षण किया:

सोशल नेटवर्क: विभिन्न सोशल मीडिया प्लेटफॉर्मों पर लोगों का मिलान करना।
इमेज-टेक्स्ट रिट्रीवल: किसी फोटो के लिए सही कैप्शन ढूंढना।
इमेज-टेक्स्ट ग्राउंडिंग: यह पता लगाना कि फोटो का कौन सा हिस्सा किसी विशिष्ट शब्द को संदर्भित करता है (जैसे, "लाल गेंद" कोने में स्थित गेंद की ओर इशारा करती है)।

उन्होंने क्या पाया:

बेहतर प्रदर्शन: AVATAR ने अन्य तरीकों की तुलना में लगातार बेहतर मिलान पाया, भले ही लाइब्रेरियन से समान संख्या में प्रश्न पूछे गए हों।
गति: यह पिछले "स्मार्ट" तरीकों की तुलना में बहुत तेज़ था। कुछ मामलों में, यह बेहतर परिणाम प्राप्त करते हुए भी 25 गुना तेज़ था।
दक्षता: इसने वह "स्वीट स्पॉट" खोज लिया जहाँ आप कम से कम प्रयास में सबसे अधिक सुधार प्राप्त कर सकते हैं।

सारांश

संक्षेप में, AVATAR एक ऐसा सिस्टम है जो यह सीखता है कि सही प्रश्न कैसे पूछे जाते हैं। यह केवल यह अनुमान लगाने के बजाय कि कौन सी जानकारी सबसे सहायक है, गणितीय रूप से भविष्यवाणी करता है कि एक एकल उत्तर पूरे सिस्टम की समझ में कितना सुधार करेगा। यह इसे तेजी से और सटीकता से करता है, जिससे यह विभिन्न प्रकार के डेटा को अलाइन करने के लिए एक शक्तिशाली उपकरण बन जाता है, जिसमें मानवीय जांच की आवश्यकता नहीं होती है।

तकनीकी सारांश: AVATAR – एक्टिव ऑप्टिमल ट्रांसपोर्ट के माध्यम से संरेखण सीखना

1. समस्या की परिभाषा

संरेखण (Alignment) मशीन लर्निंग में एक मौलिक कार्य है, जिसमें मल्टी-नेटवर्क विश्लेषण, मल्टीमॉडल लर्निंग और पॉइंट क्लाउड रजिस्ट्रेशन शामिल हैं। इसका लक्ष्य डेटा बिंदुओं के दो सेटों के बीच सार्थक पत्राचार (correspondences) की पहचान करना है। हाल ही में, एक कॉस्ट फंक्शन और मार्जिनल बाधाओं (marginal constraints) से प्राप्त ट्रांसपोर्ट प्लान से ऑब्जेक्ट-लेवल संरेखण का अनुमान लगाने के लिए ऑप्टिमल ट्रांसपोर्ट (OT) एक मजबूत ढांचे के रूप में उभरा है।

हालाँकि, OT-आधारित संरेखण विधियाँ पर्यवेक्षण (supervision) की मात्रा और गुणवत्ता के प्रति अत्यधिक संवेदनशील होती हैं। व्यवहार में, उच्च-गुणवत्ता वाले पर्यवेक्षण (जैसे, ग्राउंड-ट्रुथ पत्राचार) प्राप्त करना अक्सर महंगा या अव्यवहारिक होता है, जिससे स्पार्स (sparse) पर्यवेक्षण पर निर्भरता बढ़ जाती है। जबकि एक्टिव लर्निंग सबसे अधिक सूचनात्मक नमूनों को चुनने का लक्ष्य रखती है, मौजूदा एक्टिव अलाइनमेंट विधियाँ OT पर लागू होने पर तीन प्रमुख सीमाओं से ग्रस्त हैं:

OT-विशिष्ट अनुकूलन का अभाव: मौजूदा विधियाँ OT के प्रमुख घटकों (जैसे, कॉस्ट फंक्शन, मार्जिनल बाधाएं) का प्रभावी ढंग से उपयोग नहीं करती हैं।
सिद्धांतिक प्रभाव मात्रा निर्धारण का अभाव: ऐसा कोई कठोर तरीका नहीं है जो यह माप सके कि एक नया पर्यवेक्षण संकेत कैसे एक बाधित OT फॉर्मूलेशन के माध्यम से वैश्विक संरेखण परिणाम को प्रभावित करता है।
खराब सामान्यीकरण क्षमता: पूर्ववर्ती एक्टिव अलाइनमेंट रणनीतियाँ अक्सर कार्य-विशिष्ट (जैसे, केवल नेटवर्क निरंतरता के लिए डिज़ाइन की गई) होती हैं और अन्य OT-आधारित कार्यों या डोमेन में अच्छी तरह से सामान्यीकृत नहीं होती हैं।

यह शोध पत्र एक्टिव OT-आधारित संरेखण की समस्या को संबोधित करता है: शेष अनलेबल ऑब्जेक्ट्स के लिए संरेखण प्रदर्शन में सुधार को अधिकतम करने के लिए एक ऑरेकल (जैसे, एक मानव एनोटेटर) से सोर्स ऑब्जेक्ट्स को क्वेरी करने के लिए एक निश्चित बजट चुनना।

2. कार्यप्रणाली: AVATAR

लेखक AVATAR (Active Optimal Transport via Alignment via Active Optimal Transport) प्रस्तावित करते हैं, जो विशेष रूप से OT-आधारित संरेखण के लिए डिज़ाइन किया गया एक सिद्धांतपूर्ण ढांचा है। इसका मुख्य नवाचार एक उम्मीदवार क्वेरी की सूचनात्मकता (informativeness) को ग्रेडिएंट प्रोपेगेशन के माध्यम से वैश्विक संरेखण परिणाम पर इसके पोस्टीरियर प्रभाव को मापकर आंकना है।

2.1. ग्रेडिएंट-आधारित क्वेरी प्रभाव

AVATAR एक उम्मीदवार सोर्स ऑब्जेक्ट $x_i$ का मूल्यांकन यह अनुमान लगाकर करता है कि उसकी वास्तविक संरेखण को क्वेरी करने से एक वैश्विक उपयोगिता फलन (utility function) $f(T)$ में क्या परिवर्तन होगा, जहाँ $T$ एक ट्रांसपोर्ट प्लान है।

पेयरवाइज (Pairwise) प्रभाव: एक विशिष्ट जोड़ी $(x_i, y_j)$ को क्वेरी करने के प्रभाव को पर्यवेक्षण सिग्नल $H_{i,j}$ के सापेक्ष उपयोगिता फलन के ग्रेडिएंट के रूप में परिभाषित किया गया है (अर्थात, $\nabla_{H_{i,j}} f$ )।
चेन रूल डिकंपोजिशन: इस ग्रेडिएंट को कॉस्ट मैट्रिक्स ( $\nabla_{H_{i,j}} \tilde{C}$ ) पर पर्यवेक्षण के प्रभाव और उपयोगिता फलन पर कॉस्ट मैट्रिक्स के प्रभाव ( $\nabla_{\tilde{C}} f$ ) में विभाजित किया गया है।
चुनौती: OT फॉर्मूलेशन के माध्यम से डिफरेंशिएशन करना कठिन है क्योंकि ट्रांसपोर्ट प्लान $T$ , कॉस्ट मैट्रिक्स $\tilde{C}$ का एक इम्प्लिसिट (implicit) फंक्शन है, जो एक बड़े पैमाने के बाधित अनुकूलन समस्या द्वारा परिभाषित है। स्पष्ट रूप से जैकोबियन $\frac{dT}{d\tilde{C}}$ की गणना करना कम्प्यूटेशनल रूप से अव्यवहारक ( $O((nm)^2)$ ) है।

2.2. एडजॉइंट-स्टेट मेथड और लीनियर सिस्टम्स

डिफरेंशिएशन की चुनौती से निपटने के लिए, AVATAR ग्रेडिएंट गणना को पुनर्गठित करने के लिए एडजॉइंट-स्टेट मेथड का उपयोग करता है।

लीनियर सिस्टम पुनर्गठन: एक विशाल जैकोबियन को उलटने (inverting) के बजाय, यह विधि एडजॉइंट वेक्टर्स $y_\alpha$ और $y_\beta$ के साथ $(n+m)$ आकार का एक लीनियर सिस्टम व्युत्पन्न करती है। ग्रेडिएंट $\nabla_{\tilde{C}} f$ को इस प्रकार गणना किया जाता है:
$\nabla_{\tilde{C}} f = \frac{1}{\epsilon} T \odot (y_\alpha \mathbf{1}_m^\top + \mathbf{1}_n y_\beta^\top - \nabla_T f)$
जहाँ $\epsilon$ एंट्रोपिक रेगुलराइजेशन वेट है।
सिस्टम को हल करना: इस लीनियर सिस्टम का कोएफिशिएंट मैट्रिक्स सिंगुलर लेकिन पॉजिटिव-सेमीडेफिनेट है। लेखक सिद्ध करते हैं कि कंजुगेट ग्रेडिएंट (CG) विधि इस सिस्टम को ग्लोबल ऑप्टिमम तक गारंटीकृत अभिसरण (convergence) के साथ हल कर सकती है।
जटिलता: ट्रांसपोर्ट प्लान $T$ की स्पर्सिटी (sparsity) का लाभ उठाकर (जो आमतौर पर OT अनुप्रयोगों में स्पार्स होता है), CG विधि प्रति क्वेरी बैच $O(K(n+m))$ का लीनियर टाइम कॉम्प्लेक्सिटी प्राप्त करती है, जहाँ $K$ CG इटरेशन की संख्या है।

2.3. पोस्टीरियर ऑब्जेक्ट क्वेरी प्रभाव

एक सोर्स ऑब्जेक्ट $x_i$ के लिए, कुल प्रभाव संभावित लक्ष्यों पर वर्तमान ट्रांसपोर्ट प्लान संभावनाओं $T_{i,j}$ (जो संभावित लक्ष्यों पर एक पोस्टीरियर वितरण के रूप में कार्य करता है) द्वारा भारित पेयरवाइज प्रभावों का एकत्रीकरण है:
$I(p_i) = \sum_{j=1}^m T_{i,j} I(p_{ij})$
यह AVATAR को वैश्विक संरेखण गुणवत्ता पर उच्चतम अपेक्षित प्रभाव वाले सोर्स ऑब्जेक्ट को चुनने की अनुमति देता है।

2.4. उपयोगिता फलन (Utility Functions)

AVATAR कार्य-अज्ञेय (task-agnostic) है, जो संरेखण गुणवत्ता को एनकोड करने के लिए प्रभावी उपयोगिता फलनों $f(T)$ का उपयोग करता है:

$f_{L2}$ : एक नियत (deterministic) संरेखण को प्रोत्साहित करता है (परम्यूटेशन मैट्रिक्स का अनुमान लगाना)।
$f_{entropy}$ : एंट्रोपी-रेगुलराइज्ड OT ऑब्जेक्ट के अनुरूप संरेखण को प्रोत्साहित करता है।
$f_{consist}$ : नेटवर्क अलाइनमेंट के लिए विशेष रूप से डिज़ाइन किया गया है, जो निरंतरता सिद्धांतों को लागू करता है जहाँ संरेखित नोड्स के पड़ोसी समान संरेखण परिणाम साझा करने चाहिए।

3. मुख्य योगदान

समस्या का औपचारिकीकरण: यह शोध पत्र विशेष रूप से OT-आधारित संरेखण के लिए एक्टिव लर्निंग को औपचारिक रूप देने वाला पहला पेपर है।
नवीन विधि (AVATAR): एंट्रोपिक-रेगुलराइज्ड OT फॉर्मूलेशन के माध्यम से ग्रेडिएंट प्रोपेगेशन का उपयोग करके उम्मीदवार सूचनात्मकता को मापने के लिए एक विधि प्रस्तावित करता है, जो इम्प्लिसिट बाधाओं को संभालने के लिए एडजॉइंट-स्टेट मेथड का उपयोग करती है।
सैद्धांतिक विश्लेषण: ग्रेडिएंट गणना की शुद्धता, समाधान की लीनियर टाइम कॉम्प्लेक्सिटी, और उपयोग किए गए कंजुगेट ग्रेडिएंट मेथड की लीनियर कन्वर्जेंस रेट को स्थापित करने वाले प्रमाण प्रदान करता है।
अनुभवजन्य सत्यापन: तीन विविध संरेखण कार्यों: नेटवर्क अलाइनमेंट (NA), इमेज-टेक्स्ट रिट्रीवल, और इमेज-टेक्स्ट ग्राउंडिंग पर प्रभावशीलता का प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

8 डेटासेट्स पर 4 OT-आधारित अलाइनमेंट एल्गोरिदम और 9 बेसलाइन एक्टिव लर्निंग विधियों का उपयोग करके प्रयोग किए गए।

प्रभावशीलता: AVATAR ने समान क्वेरी बजट के तहत मौजूदा एक्टिव लर्निंग दृष्टिकोणों (रैंडम, एंट्रॉपी, मार्जिन और GibbsMatchings जैसे कार्य-विशिष्ट तरीकों सहित) को लगातार पछाड़ दिया।
- नेटवर्क अलाइनमेंट में, AVATAR ने बेसलाइन्स की तुलना में MRR में 2.8% तक सुधार किया।
- इमेज-टेक्स्ट कार्यों में, AVATAR ने स्टेट-ऑफ-द-आर्ट रिकॉल@1 प्राप्त किया, जो अक्सर बेसलाइन्स से 2.6% तक बेहतर रहा।
दक्षता और स्केलेबिलिटी: AVATARD ने प्रदर्शन और दक्षता के बीच एक मजबूत संतुलन प्रदर्शित किया। इसने कुछ बेसलाइन्स (जैसे, TopMatchings) की तुलना में क्वेरी समय में 25x तक की तेजी हासिल की और साथ ही MRR में 8.1% तक सुधार किया। सिंथेटिक ग्राफ्स पर स्केलेबिलिटी परीक्षणों ने नोड्स की संख्या के संबंध में लीनियर स्केलिंग की पुष्टि की।
अभिसरण (Convergence): अनुभवजन्य विश्लेषण ने दिखाया कि एडजॉइंट सिस्टम को हल करने के लिए उपयोग किया जाने वाला कंजुगेट ग्रेडिएंट मेथड तेजी से अभिसरित होता है और स्वयं OT सॉल्वर के लिए उपयोग किए जाने वाले सिंकहॉर्न एल्गोरिदम की तुलना में एंट्रोपिक रेगुलराइजेशन वेट $\epsilon$ के प्रति कम संवेदनशील है।
एब्लेशन अध्ययन:
- स्पार्स बनाम डेंस: स्पार्स मैट्रिक्स ऑपरेशन्स के उपयोग ने सटीकता से समझौता किए बिना दक्षता में काफी सुधार किया (8.6x तक की तेजी)।
- पोस्टीरियर एकत्रीकरण: एकत्रीकरण के लिए पोस्टीरियर वेट के रूप में ट्रांसपोर्ट प्लान $T$ का उपयोग करना यूनिफॉर्म एकत्रीकरण की तुलना में श्रेष्ठ साबित हुआ।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि AVATAR ऑप्टिमल ट्रांसपोर्ट के संदर्भ में एक्टिव लर्निंग के लिए एक सिद्धांतपूर्ण, कार्य-अज्ञेय ढांचा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को भरना: यह स्पष्ट रूप से OT फॉर्मूलेशन के माध्यम से पर्यवेक्षण के प्रसार को मॉडल करके मौजूदा एक्टिव अलाइनमेंट विधियों की महत्वपूर्ण सीमा को संबोधित करता है।
स्केलेबिलिटी: ग्रेडिएंट गणना को लीनियर कॉम्प्लेक्सिटी वाले एक समाधान योग्य लीनियर सिस्टम में पुनर्गठित करके, यह एक्टिव लर्निंग को बड़े पैमाने की अलाइनमेंट समस्याओं के लिए व्यवहार्य बनाता है जहाँ पिछली विधियाँ कम्प्यूटेशनल रूप से अत्यधिक महंगी थीं।
सामान्यीकरण क्षमता: यह ढांचा केवल उपयोगिता फलन को बदलकर विविध संरेखण कार्यों (नेटवर्क, मल्टीमॉडल डेटा) के लिए लागू किया जा सकता है, जिससे कार्य-विशिष्ट क्वेरी ह्यूरिस्टिक्स की आवश्यकता नहीं रहती।

लेखक निष्कर्ष निकालते हैं कि AVATAR न्यूनतम पर्यवेक्षण के साथ संरेखण प्रदर्शन को प्रभावी ढंग से सुधारता है, जो उन परिदृश्यों के लिए एक मजबूत समाधान प्रदान करता जहाँ उच्च-गुणवत्ता वाले लेबल दुर्लभ या महंगे होते हैं।