PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment
यह शोध पत्र परसेप्शन-एन्हांस्ड अलाइनमेंट डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (PEA-DPO) प्रस्तुत करता है, जो एक नया ढांचा है जो विजुअल प्रेफरेंस सिग्नल्स का स्पष्ट रूप से लाभ उठाकर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की विजुअल असंवेदनशीलता को संबोधित करता है, जिससे भाषा क्षमताओं को सुरक्षित रखते हुए मल्टिमोडल अलाइनमेंट में सुधार होता है और मतिभ्रम (hallucinations) को काफी कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, प्रणालियों की एक नई पीढ़ी उभरी है जो एक ही समय में देख और बोल सकती है। ये मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (multimodal large language models) किसी छवि को देखने और उसका वर्णन करने, या किसी तस्वीर के बारे में सवालों के जवाब देने के लिए प्रशिक्षित किए जाते हैं। इन मशीनों के वास्तव में उपयोगी और सुरक्षित होने के लिए, उन्हें मानवीय मूल्यों के अनुरूप होना चाहिए, जिसका अर्थ है कि उनके उत्तर सटीक, सहायक और उनके सामने प्रस्तुत दृश्य वास्तविकता पर आधारित होने चाहिए। इन प्रणालियों को सिखाने में एक बड़ी चुनौती 'हैलुसिनेशन' (hallucination) की प्रवृत्ति रही है, यानी आत्मविश्वास के साथ उन वस्तुओं या क्रियाओं का वर्णन करना जो वहां मौजूद ही नहीं हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने 'डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन' (direct preference optimization) नामक एक तकनीक की ओर रुख किया है, जो मॉडल को उत्तरों के जोड़े दिखाकर सिखाती है—एक अच्छा और एक बुरा—और उससे यह पूछती है कि पहला वाला बेहतर क्यों है। यह दृष्टिकोण केवल टेक्स्ट-आधारित मॉडल्स के लिए चमत्कारिक रहा है, लेकिन जब इसे उन प्रणालियों पर लागू किया गया जो छवियों को भी प्रोसेस करती हैं, तो एक छिपे हुए दोष का पता चला जिसने उन्हें एक स्पष्ट फोटो और एक ऐसी फोटो के बीच का अंतर देखने से रोका, जिसमें सबसे महत्वपूर्ण विवरण धुंधले या छिपे हुए हों।
चाइना यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और नेशनल यूनिवर्सिटी ऑफ सिंगापुर के शोधकर्ताओं की एक टीम ने इस विशिष्ट कमजोरी की पहचान की है और इसे ठीक करने के लिए एक नया ढांचा विकसित किया है। उन्होंने पाया कि मानक प्रशिक्षण विधियां अक्सर छवि को केवल एक पृष्ठभूमि (backdrop) के रूप में मान लेती हैं, जो बातचीत के लिए एक स्थिर सेटिंग की तरह है, न कि प्राथमिक सत्य के स्रोत के रूप में जिस पर मॉडल को निर्भर रहना चाहिए। इस कारण, मॉडल्स 'विजुअली इनसेंसिटिव' (visually insensitive) यानी दृष्टि के प्रति असंवेदनशील हो गए। अपने प्रयोगों में, शोधकर्ताओं ने दिखाया कि ये मॉडल्स लोगों के पिकनिक मनाने वाली तस्वीर और लोगों के पढ़ने वाली तस्वीर के बीच अंतर नहीं कर सके, भले ही एक के लिए दृश्य प्रमाण पूरी तरह से हटा दिया गया था। मॉडल्स दोनों के लिए लगभग समान प्रतिक्रियाएं उत्पन्न कर रहे थे, जिससे यह पता चलता था कि वे महत्वपूर्ण दृश्य संकेतों को पहचानने में विफल रहे। वे एक ही छवि के भीतर विशिष्ट वस्तुओं के बीच अंतर करने में भी संघर्ष कर रहे थे, जैसे कि एक टॉयलेट ब्रश को एक सामान्य उपकरण समझने में भ्रमित होना, क्योंकि वे उस महत्वपूर्ण दृश्य संकेतों पर पर्याप्त ध्यान नहीं दे रहे थे जो उस वस्तु को परिभाषित करते हैं।
इसे हल करने के लिए, शोधकर्ताओं ने एक विधि बनाई जिसे वे 'परसेप्शन-एनहैंस्ड एलाइनमेंट' (Perception-Enhanced Alignment) कहते हैं। केवल मॉडल को बेहतर टेक्स्ट उत्तर चुनना सिखाने के बजाय, उन्होंने प्रशिक्षण प्रक्रिया को इस तरह से पुनर्गठित किया कि मॉडल को स्वयं विजुअल कॉन्टेक्स्ट (दृश्य संदर्भ) पर ध्यान केंद्रित करने के लिए मजबूर किया जा सके। उन्होंने एक स्पष्ट छवि लेकर और उसके बाद उसके कई परिवर्तित संस्करण बनाकर शुरुआत की, जहाँ यादृच्छिक (random) हिस्सों को मास्क (छिपा) दिया गया था। एक अलग, अत्यधिक संवेदनशील विजुअल सिस्टम का उपयोग करके, उन्होंने पहचाना कि किस परिवर्तित संस्करण में सबसे महत्वपूर्ण जानकारी खो गई थी, जिससे प्रभावी रूप रूप से एक "अस्वीकृत" (rejected) छवि तैयार हुई जिसमें प्रश्न का सही उत्तर देने के लिए आवश्यक मुख्य विवरण गायब थे। फिर उन्होंने इस अधूरी जानकारी वाली छवि को मूल, पूर्ण छवि के साथ जोड़ा। प्रशिक्षण के दौरान, मॉडल को एक ही प्रश्न और एक ही टेक्स्ट उत्तर दिखाया गया, लेकिन पहले पूर्ण छवि के साथ और फिर अधूरी छवि के साथ। मॉडल को यह सिखाया गया कि उसे पूर्ण दृश्य साक्ष्य होने पर उत्तर को अधिक प्राथमिकता देनी चाहिए, और उसे यह पहचानना चाहिए कि जब मुख्य दृश्य संदर्भ गायब हो, तो वह उत्तर कम विश्वसनीय है।
इस दोहरे दृष्टिकोण ने मॉडल को एक साथ दो चीजें सिखाईं। पहला, इसने मॉडल को एक अच्छे टेक्स्ट रिस्पॉन्स और एक बुरे के बीच अंतर करना सिखाया, जैसा कि पहले किया गया था। दूसरा, और अधिक महत्वपूर्ण बात यह है कि इसने मॉडल को यह पहचानना सिखाया कि कब दृश्य साक्ष्य किसी दावे का समर्थन करने के लिए अपर्याप्त हैं। शोधकर्ताओं ने इस नई विधि का परीक्षण दो अलग-अलग आकार के इमेज-टेक्स्ट मॉडल्स पर किया, एक सात बिलियन पैरामीटर्स वाला और दूसरा तेरह बिलियन वाला। परिणाम आश्चर्यजनक थे। मानक परीक्षणों पर, जिन्हें यह मापने के लिए डिज़ाइन किया गया था कि ये मॉडल्स कितनी बार मनगढ़ंत बातें बनाते हैं, इस नई विधि ने हैलुसिनेशन को महत्वपूर्ण अंतर से कम कर दिया। छोटे मॉडल के लिए, एक प्रमुख बेंचमार्क पर मनगढ़ंत विवरणों की दर लगभग एक-तिहाई कम हो गई, और दूसरे पर नब्बे प्रतिशत से अधिक कम हो गई। बड़े मॉडल ने समान सुधार दिखाए, जो अक्सर उपलब्ध कुछ सबसे उन्नत वाणिज्यिक प्रणालियों से भी बेहतर प्रदर्शन करते हैं। मॉडल्स चित्र में जो कुछ भी था उसका सटीक वर्णन करने में बहुत बेहतर हो गए, जैसे कि किसी पुस्तक के शीर्षक या किसी विशिष्ट उपकरण की सही पहचान करना, बजाय इसके कि वे सामान्य ज्ञान के आधार पर अनुमान लगाएं।
शोधकर्ताओं ने यह भी जांचा कि क्या दृश्य सटीकता पर इस नए ध्यान ने मॉडल्स को अन्य कार्यों में कमजोर बना दिया है। उन्होंने पाया कि मॉडल्स ने निर्देशों का पालन करने और सामान्य प्रश्नों के उत्तर देने की अपनी क्षमता बनाए रखी, और कुछ मामलों में, इन सामान्य कार्यों पर उनका प्रदर्शन वास्तव में थोड़ा सुधरा है। एकमात्र ध्यान देने योग्य समझौता यह था कि मॉडल्स थोड़े अधिक रूढ़िवादी (conservative) हो गए; वे अनिश्चित होने पर अनुमान लगाने में कम सक्षम थे, जिसका अर्थ था कि वे कभी-कभी कुल मिलाकर कम विवरण प्रदान करते थे, लेकिन जो विवरण वे प्रदान करते थे वे सत्य होने की बहुत अधिक संभावना रखते थे। दृश्य साक्ष्य को टेक्स्ट के समान महत्व देने के लिए मॉडल को स्पष्ट रूप से प्रशिक्षित करके, शोधकर्ताओं ने प्रदर्शित किया कि यह एक ऐसा आर्टिफिशियल इंटेलिजेंस बनाने के लिए संभव है जो केवल एक तस्वीर को देखता ही नहीं है, बल्कि वास्तव में उसे देखता (समझता) भी है। यह कार्य बताता है कि मशीनों के लिए दृश्य दुनिया को समझने में विश्वसनीय साथी बनने के लिए, उन्हें यह महसूस करने के लिए प्रशिक्षित किया जाना चाहिए कि जानकारी का अभाव कितना महत्वपूर्ण है, जिससे यह सुनिश्चित हो सके कि उनका आत्मविश्वास हमेशा उनकी आंखों के सामने मौजूद स्पष्टता के अनुरूप हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।