Direct Visual Grounding by Directing Attention of Visual Tokens
यह शोध पत्र एक नवीन KL अटेंशन लॉस (KLAL) प्रस्तावित करता है जो विजन लैंग्वेज मॉडल्स में प्रासंगिक लैंग्वेज टोकन्स के प्रति विजुअल टोकन्स के अटेंशन को सीधे तौर पर सुपरवाइज करता है, जिससे मानक नेक्स्ट-टोकन प्रेडिक्शन द्वारा प्रदान किए गए अपर्याप्त अटेंशन सिग्नल्स की समस्या को हल करते हुए विजुअल ग्राउंडिंग कार्यों पर प्रदर्शन में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर किसी तस्वीर को देख सकते हैं और उसके बारे में बात कर सकते हैं, ठीक वैसे ही जैसे आप और मैं अपने फोन पर फोटो के बारे में चैट करते हैं। यह विज़न-लैंग्वेज मॉडल्स (VLMs) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो इस बात के बीच के अंतर को पाटने की कोशिश करती है कि एक कैमरा क्या देखता है और एक इंसान क्या कहता है। इन मॉडल्स को सुपर-स्मार्ट अनुवादकों के रूप में सोचें जो एक छवि को लेते हैं, उसे "विजुअल टोकन्स" नामक छोटे डिजिटल पहेली के टुकड़ों में तोड़ते हैं, और फिर शब्दों के साथ उन्हें मिला देते हैं ताकि "बिल्ली का रंग क्या है?" या "वहाँ कितने सेब हैं?" जैसे सवालों के जवाब दिए जा सकें।
लंबे समय तक, वैज्ञानिकों को लगा कि ये मॉडल्स इसमें बहुत माहिर हो रहे हैं। लेकिन एक अनसुलझा रहस्य था: कभी-कभी, भले ही उत्तर सही हो, कंप्यूटर पूरी तरह से तस्वीर को अनदेखा करता हुआ प्रतीत होता था। यह ऐसा था जैसे कोई छात्र परीक्षा दे रहा हो, प्रश्न पढ़ रहा हो, आरेख (डायग्राम) पर एक नज़र डाल रहा हो, और फिर पूरी तरह से उस चीज़ के आधार पर उत्तर दे रहा हो जो उसे पाठ्यपुस्तक से याद थी, और सामने मौजूद विशिष्ट रेखाओं और आकृतियों को देखना पूरी तरह भूल गया हो। शोधकर्ताओं के लिए बड़ा सवाल यह था: कंप्यूटर का "दिमाग" अंतिम उत्तर देने के समय दृश्य संकेतों (visual clues) पर ध्यान देना क्यों बंद कर देता है? यह शोध पत्र उसी समस्या की गहराई में जाता है, यह पता लगाने की कोशिश करता है कि क्या हम इन AI मॉडल्स को वास्तवं में बोलने के समय छवि के सही हिस्सों पर देखने के लिए सिखा सकते हैं।
समस्या: मशीन में "भूत" (The "Ghost" in the Machine)
विज़न-लैंग्वेज मॉडल से मिलिए। आप इसे एक बहुत ही बातूनी रोबोट के रूप में समझ सकते हैं जिसने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। जब आप उससे किसी छवि के बारे में सवाल पूछते हैं, तो वह छवि को छोटे वर्गों (विजुअल टोकन्स) के ग्रिड में तोड़ देता है और उन्हें उन शब्दों के साथ मिला देता है जो आपने टाइप किए हैं।
यहाँ अजीब बात यह है: शोध पत्र ने पाया कि सोचने के अंतिम क्षणों में, उत्तर टाइप करने से ठीक पहले, वह अक्सर तस्वीर देखना बंद कर देता है। यह एक ऐसे शेफ की तरह है जिसके पास काउंटर पर सभी सामग्रियां मौजूद हैं, लेकिन जब डिश को परोसने का समय आता है, तो वह खाने को अनदेखा करने और केवल उस रेसिपी के आधार पर अनुमान लगाने का फैसला करता है जिसे उसने याद किया था। शोधकर्ताओं ने पाया कि कंप्यूटर द्वारा छवि के सबसे महत्वपूर्ण हिस्सों (जैसे दो रेखाओं का प्रतिच्छेदन या एक विशिष्ट वस्तु) को दिया जाने वाला "अटेंशन" (ध्यान) लगभग शून्य है। यह ऐसा है जैसे दृश्य संकेत—सिस्टम में मौजूद हैं, लेकिन उस मस्तिष्क के लिए अदृश्य हैं जो उत्तर लिखता है।
शोध पत्र का तर्क है कि इन मॉडल्स को प्रशिक्षित करने का मानक तरीका (जिसे "नेक्स्ट-टोकन प्रेडिक्शन" कहा जाता है) एक ऐसे शिक्षक की तरह है जो केवल अंतिम निबंध को ग्रेड देता है लेकिन कभी यह नहीं जाँचता कि छात्र ने वास्तव में संदर्भ तस्वीरों को देखा भी था या नहीं। कंप्यूटर अगला शब्द सही ढंग से अनुमान लगाना सीख जाता है, लेकिन वह यह नहीं सीख पाता कि वह शब्द क्यों सही है या छवि का कौन सा हिस्सा उसे सही बनाता है।
समाधान: ध्यान के लिए एक "लेजर पॉइंटर" (A "Laser Pointer" for Attention)
इसे ठीक करने के लिए, लेखकों ने एक चतुर नया प्रशिक्षण तरीका निकाला जिसे KL अटेंशन लॉस (KLAL) कहा जाता है।
कल्पना कीजिए कि आप एक कुत्ते को गेंद लाने (fetch) के लिए सिखा रहे हैं। पुराने तरीके में, जब वह गेंद वापस लाता है तो आप बस कहेंगे "गुड डॉग!", लेकिन कुत्ता शायद बेतरतीब ढंग से इधर-उधर दौड़ रहा होगा और संयोग से गेंद पकड़ लेगा। इस पेपर द्वारा प्रस्तावित नए तरीके में, आप लेजर पॉइंटर का उपयोग करते हैं। हर बार जब कुत्ता गेंद की ओर देखता है, तो आप उस पर रोशनी डालते हैं और कहते हैं, "हाँ! बिल्कुल वहीं देखो!"
कंप्यूटर की दुनिया में, "लेजर पॉइंटर" एक विशेष गणितीय संकेत है जो मॉडल को छवि के उन विशिष्ट पिक्सेल पर ध्यान केंद्रित करने के लिए मजबूर करता है जो उत्तर के लिए महत्वपूर्ण हैं।
- यदि प्रश्न है "ये रेखाएं कितनी बार एक-दूसरे को काटती हैं?", तो लेजर पॉइंटर ठीक उन स्थानों पर चमकता है जहाँ रेखाएं आपस में मिलती हैं।
- यदि प्रश्न है "क्या यह नोड उस दूसरे से जुड़ा है?", तो लेजर पॉइंटर उन्हें जोड़ने वाली रेखा के पथ को ट्रेस करता है।
इसके बाद मॉडल को दंडित किया जाता है (एक लॉस फंक्शन के माध्यम से) यदि वह कहीं और देखता है। यह रोबोट को यह बताने जैसा है: "तुम केवल उत्तर का अनुमान नहीं लगा सकते; तुम्हें यह साबित करना होगा कि तुम तस्वीर के सही स्थान को देख रहे हो।"
उन्होंने क्या पाया: अनुमान लगाने से देखने तक
शोधकर्ताओं ने इस विचार का परीक्षण कुछ कठिन कार्यों पर किया जिनमें सटीक विजुअल रीजनिंग की आवश्यकता होती है, जैसे कि दो टेढ़ी-मेढ़ी रेखाएं एक-दूसरे को कितनी बार काटती हैं, इसकी गिनती करना या एक जटिल ग्राफ के माध्यम से पथ का अनुसरण करना कि क्या दो बिंदु आपस में जुड़े हुए हैं। उन्होंने "लाइन ट्रेसिंग" नामक एक नया खेल भी बनाया जहाँ कंप्यूटर को बिंदुओं के भूलभुलैया के माध्यम से एक पथ का अनुसरण करना होता है।
यहाँ हुआ जब उन्होंने "लेजर पॉइंटर" (KLAL) चालू किया:
- बेहतर उत्तर: मॉडल्स ने इन कार्यों में काफी बेहतर प्रदर्शन किया। उदाहरण के लिए, "लाइन इंटरसेक्शन" कार्य पर, एक मॉडल ने इस नए प्रशिक्षण पद्धति को जोड़ने पर अपनी सटीकता लगभग 47% से बढ़ाकर 70% से अधिक कर ली। एक "पॉइंटिंग" कार्य (जहाँ मॉडल को बताना होता है कि कोई वस्तु ठीक कहाँ है) पर, सुधार जबरदस्त था, जो लगभग रैंडम अनुमान से बढ़कर लगभग आधी बार सही होने तक पहुँच गया।
- बेहतर फोकस: सबसे रोमांचक बात केवल स्कोर नहीं थी; बल्कि यह था कि मॉडल कैसे सोचता था। जब शोधकर्ताओं ने मॉडल के "अटेंशन मैप्स" (जो दिखाते हैं कि कंप्यूटर कहाँ देख रहा है) को देखा, तो उन्होंने एक नाटकीय बदलाव देखा। नए प्रशिक्षण से पहले, मॉडल छवि के यादृच्छिक (random) हिस्सों को देख रहा था। प्रशिक्षण के बाद, मॉडल का ध्यान प्रतिच्छेदन बिंदुओं या विशिष्ट वस्तु पर मजबूती से केंद्रित था, ठीक वैसे ही जैसे एक इंसान देखता है।
- मजबूत मेमोरी: शोध पत्र ने यह भी पाया कि इस प्रशिक्षण ने न केवल यह बदला कि मॉडल कहाँ देखता है; इसने वास्तव में छवि की मॉडल की आंतरिक स्मृति को भी मजबूत किया। महत्वपूर्ण छवि भागों के डिजिटल "वेट्स" (weights) अधिक भारी और स्पष्ट हो गए, जिसका अर्थ है कि मॉडल ने केवल शब्दों को ही नहीं, बल्कि विजुअल डेटा को वास्तव में बेहतर ढंग से "समझा" है।
निष्कर्ष
शोध पत्र सुझाव देता है कि ये AI मॉडल्स कभी-कभी सरल विजुअल कार्यों में क्यों विफल होते हैं, इसका कारण यह नहीं है कि वे पर्याप्त स्मार्ट नहीं हैं, बल्कि इसलिए है क्योंकि उन्हें ठीक से देखना नहीं सिखाया गया है। प्रशिक्षण के दौरान एक सीधा "लेजर पॉइंटर" संकेत जोड़कर, उन्होंने मॉडल्स को उनके द्वारा दर्शाए गए पिक्सेल के साथ अपने शब्दों को सीधे जोड़ने के लिए मजबूर किया।
परिणाम दिखाते हैं कि यह विधि विभिन्न प्रकार के मॉडल्स में काम करती है, ओपन-सोर्स से लेकर कुछ सबसे बड़े कमर्शियल AI सिस्टम तक। यहाँ तक कि सबसे उन्नत कमर्शियल मॉडल्स भी इन विशिष्ट ज्यामितीय कार्यों में संघर्ष कर रहे थे जब तक कि यह विधि लागू नहीं की गई। लेखक निष्कर्ष निकालते हैं कि यदि हम चाहते हैं कि AI वास्तव में दुनिया को समझे, तो हम केवल उसे अनुमान लगाने के लिए नहीं छोड़ सकते; हमें उसे सही चीजों पर ध्यान देना सिखाना होगा, ठीक वैसे ही जैसे एक शिक्षक छात्र की आँखों को आरेख के सही भाग की ओर निर्देशित करता है।
संक्षेप में, यह शोध पत्र सिद्ध करता है कि जब आप एक AI को बोलने से पहले सबूत देखना सिखाते हैं, तो वह भ्रमित (hallucinate) होना बंद कर देता है और वास्तव में देखना शुरू कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।