From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर आश्चर्यजनक प्रवाह के साथ देखना और पढ़ना सीख गए हैं। विजन-लैंग्वेज मॉडल के रूप में जाने जाने वाले सिस्टम किसी तस्वीर को देख सकते हैं और उसका वर्णन कर सकते हैं, या किसी वाक्य को पढ़कर उससे मेल खाती छवि ढूंढ सकते हैं, और यह सब वे बिना उस विशिष्ट कार्य के लिए स्पष्ट रूप से सिखाए गए बिना कर सकते हैं। वे चित्रों और शब्दों को एक साझा गणितीय भाषा में अनुवाद करना सीखकर यह उपलब्धि हासिल करते हैं, जो एक सामान्य स्थान है जहाँ एक बिल्ली की तस्वीर और शब्द "बिल्ली" बिल्कुल एक साथ स्थित होते हैं। यह क्षमता उन्हें उन वस्तुओं को पहचानने की अनुमति देती है जिन्हें उन्होंने पहले कभी नहीं देखा है, जिसे ज़ीरो-शॉट लर्निंग (zero-shot learning) कहा जाता है। हालाँकि, ये मॉडल नाजुक होते हैं। जब वास्तविक दुनिया बदलती है—जब कोई फोटो धुंधली होती है, खराब मौसम में ली गई होती है, या डिजिटल शोर (digital noise) से विकृत होती है—तो वह साझा भाषा टूट जाती है। छवि और शब्द के बीच का संबंध ढीला पड़ जाता है, और मॉडल का आत्मविश्वास बिखर जाता है, जिससे ऐसी गलतियाँ होती हैं जो स्वायत्त ड्राइविंग (autonomous driving) या चिकित्सा निदान जैसे महत्वपूर्ण अनुप्रयोगों में खतरनाक हो सकती हैं।

शोधकर्ताओं ने मॉडल को काम करते समय ऑन-द-फ्लाई (on the fly) सीखने देने की कोशिश की है, जिसे टेस्ट-टाइम अडैप्टेशन (test-time adaptation) कहा जाता है। विचार सरल है: जैसे-जैसे मॉडल नई, अव्यवस्थित छवियों का सामना करता है, उसे उन्हें समझने के लिए अपनी आंतरिक सेटिंग्स को समायोजित करना चाहिए। लेकिन इसके पिछले प्रयासों ने एक मौलिक समस्या पर ठोकर खाई है। सीखने के लिए, मॉडल को यह जानने की आवश्यकता है कि वह क्या देख रहा है, लेकिन इन वास्तविक दुनिया के परिदृश्यों में, कोई भी सही उत्तर प्रदान नहीं करता है। मॉडल को अपने स्वयं के लेबल का अनुमान लगाना पड़ता है, और ये अनुमान अक्सर गलत होते हैं। जब मॉडल अपने ही गलत अनुमानों से सीखने की कोशिश करता है, तो यह शोर को बढ़ा देता है, जिससे वह और भी खराब हो जाता है। इसके अलावा, पुराने तरीकों ने इन त्रुटियों को व्यापक श्रेणियों को देखकर सुचारू बनाने की कोशिश की, जिससे एक समूह में प्रत्येक छवि को समान माना गया। इस मोटे दृष्टिकोण ने व्यक्तिगत चित्रों के अद्वितीय विवरणों की अनदेखी की, जिससे मॉडल एक विशेष छवि और उसके विवरण के बीच के विशिष्ट संबंध को वास्तव में समझने में विफल रहा।

शोधकर्ताओं ने अब इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है, एक विधि जिसे वे ORIGIN कहते हैं। मॉडल के कच्चे, अक्सर भ्रमित अनुमानों पर भरोसा करने के बजाय, वे इस समस्या को एक मिलान खेल (matching game) के रूप में देखते हैं जिसे वैश्विक तर्क (global logic) के साथ हल किया जाना चाहिए। कल्पना कीजिए कि एक कमरा लोगों से भरा है और दूसरा कमरा नामों से; लक्ष्य प्रत्येक व्यक्ति को सही नाम के साथ जोड़ना है। यदि आप केवल प्रत्येक व्यक्ति को व्यक्तिगत रूप से देखते हैं, तो आप गलती कर सकते हैं। लेकिन यदि आप एक बार में पूरे कमरे को देखते हैं, तो आप इस तथ्य का उपयोग कर सकते हैं कि प्रत्येक नाम का ठीक एक बार उपयोग किया जाना चाहिए ताकि आप अपनी गलतियों को सुधार सकें। शोधकर्ता ठीक यही करने के लिए 'ऑप्टिमल ट्रांसपोर्ट' (optimal transport) नामक एक गणितीय ढांचे का उपयोग करते हैं। यह मॉडल को छवियों और पाठ विवरणों के पूरे बैच को एक साथ देखने के लिए मजबूर करता है, जिससे उन्हें आपस में जोड़ने का सबसे तार्किक तरीका मिलता है। यह वैश्विक दृष्टिकोण शोर को छान देता है और छवियों के बारे में बहुत अधिक विश्वसनीय अनुमान प्रदान करता है।

एक बार जब मॉडल के पास ये विश्वसनीय अनुमान होते हैं, तो वह इनका उपयोग स्वयं को सिखाने के लिए करता है। शोधकर्ताओं ने पाया कि इन नई, शोर वाली छवियों से सीखने का सबसे अच्छा तरीका वह विधि है जो बारीकी से इस बात की नकल करती है कि मॉडल को मूल रूप से कैसे प्रशिक्षित किया गया था। वे मॉडल को अपनी आंतरिक सेटिंग्स को समायोजित करने के लिए निर्देशित करते हैं ताकि वह विशिष्ट छवि उस साझा गणितीय स्थान में अपने सही विवरण के करीब आ जाए, जबकि गलत विवरणों से दूर चली जाए। यह एक सूक्ष्म-स्तरीय (fine-grained) दृष्टिकोण है; यह प्रत्येक एकल चित्र के अद्वितीय विवरणों की परवाह करता है, न कि केवल एक समूह के औसत की। ऐसा करके, मॉडल बदलती दुनिया के साथ खुद को पुनर्गठित करना सीखता है, जिससे विकृत छवियों के बावजूद स्पष्ट रूप से देखने की उसकी क्षमता बहाल हो जाती है।

इस नए दृष्टिकोण की श्रेष्ठता इस तथ्य में निहित है कि यह दो अलग-अलग चरणों को एकीकृत करता है जिन्हें पहले अलग माना जाता था। शोधकर्ताओं ने दिखाया कि प्रारंभिक अनुमान लगाने के लिए उपयोग किया जाने वाला तर्क और उनसे सीखने के लिए उपयोग किया जाने वाला तर्क वास्तव में एक ही सिक्के के दो पहलू हैं। वह विधि जो सर्वोत्तम मिलान जोड़े पाती है, गणितीय रूप से उसी विधि के समान है जो मॉडल को सुधारने के लिए सिखाती है। इसका अर्थ है कि अनुमान लगाने की प्रक्रिया और सीखने की प्रक्रिया एक-दूसरे से लड़ नहीं रही हैं; वे एक-दूसरे की मदद कर रही हैं। बेहतर अनुमान, बेहतर शिक्षण, और बेहतर शिक्षण, भविष्य के अनुमानों को अधिक सटीक बनाता है। यह सुधार का एक चक्र बनाता है जहाँ मॉडल हर कदम के साथ स्मार्ट और अधिक मजबूत होता जाता है।

जब इसे उन मानक बेंचमार्क पर परखा गया जहाँ छवियों को जानबूझकर शोर, धुंधलेपन और मौसम के प्रभावों के साथ विकृत किया गया था, तो यह नई विधि पहले की किसी भी विधि की तुलना में काफी अधिक प्रभावी सिद्ध हुई। कम-रिज़ॉल्यूशन वाली छोटी छवियों के एक डेटासेट पर, इसने मौजूदा सर्वोत्तम तरीकों की तुलना में सटीकता में 7.4 प्रतिशत तक सुधार किया। अधिक जटिल छवियों के एक बड़े डेटासेट पर, इसने प्रतिस्पर्धा को बड़े अंतर से पीछे छोड़ दिया। शायद उतना ही महत्वपूर्ण यह है कि इसने सिस्टम को धीमा किए बिना यह किया। सर्वोत्तम मिलान खोजने के लिए आवश्यक अतिरिक्त गणनाएँ इतनी कुशल थीं कि उन्होंने प्रक्रिया में लगभग कोई देरी नहीं की। मॉडल वास्तविक समय में अनुकूलन कर सकता था, उच्च प्रदर्शन बनाए रखते हुए डेटा के प्रवाह के साथ तालमेल बिठा सकता था।

शोधकर्ताओं ने यह भी पता लगाया कि यह इतना अच्छा क्यों काम कर रहा था, इसके लिए उन्होंने अपने सिस्टम के विभिन्न हिस्सों का विश्लेषण किया। उन्होंने पाया कि प्रारंभिक अनुमान उत्पन्न करने के लिए वैश्विक मिलान तर्क का उपयोग करना महत्वपूर्ण था; इसके बिना, मॉडल शोर वाले डेटा से सीखने में संघर्ष करता। उन्होंने यह भी खोजा कि एक सूक्ष्म-स्तरीय शिक्षण विधि का उपयोग करना, जो व्यक्तिगत छवि-पाठ जोड़ों पर ध्यान केंद्रित करती थी, उन पुराने तरीकों की तुलना में कहीं अधिक श्रेष्ठ था जो केवल व्यापक श्रेणियों को देखते थे। जब उन्होंने इन दोनों तत्वों को मिलाया, तो परिणाम लगातार सर्वश्रेष्ठ रहे। सिस्टम ने केवल वितरण परिवर्तनों (distribution shifts) का सामना ही नहीं किया, बल्कि उनमें फला-फूला भी, यह प्रदर्शित करते हुए कि मॉडल के सोचने के तरीके को उसके सीखने के तरीके के साथ संरेखित करके, हम वास्तव में लचीला आर्टिफिशियल इंटेलिजेंस बना सकते हैं जो वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित प्रकृति के प्रति सक्षम हो।