FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization
यह शोध पत्र FOCUS को प्रस्तुत करता है, जो एक दो-चरणीय प्रशिक्षण ढांचा है जो विजुअल सपोर्ट कंस्ट्रेंट्स और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) को जोड़ता है ताकि बिना स्पष्ट पर्यवेक्षण के सुदृढ़, श्रेणी-अज्ञेय इन-कॉन्टेक्स्ट ऑब्जेक्ट लोकलाइजेशन प्राप्त किया जा सके, जिससे एक 7B-पैरामीटर वाला मॉडल काफी बड़े 72B मॉडलों को महत्वपूर्ण रूप से पीछे छोड़ने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक मित्र है जो किताबें पढ़ने में तो बहुत होशियार है लेकिन बिखरे हुए कमरे में चीजें ढूंढने में बहुत बुरा है। यदि आप उनसे पूछते हैं, "वह लाल कप ढूंढो," तो वे किसी भी लाल कप को ढूंढ सकते हैं क्योंकि वे जानते हैं कि "कप" क्या होता है। लेकिन क्या होगा अगर आप उनसे कहें, "वह विशेष लाल कप ढूंढो जिसके किनारे पर एक चिप (कटाव) है, ठीक वैसा ही जैसा इस फोटो में है"? एक सामान्य समझदार मित्र फिर भी गलत लाल कप उठा सकता है क्योंकि वे "कप" की सामान्य जानकारी पर भरोसा कर रहे हैं, न कि आपके द्वारा दिए गए विशिष्ट दृश्य संकेतों (visual clues) पर।
यह शोध पत्र उन्हें यह सिखाने का एक नया तरीका पेश करता है कि कंप्यूटर विजन मॉडल (AI जो छवियों को देखता है और समझता है) को बिल्कुल वैसा ही कैसे किया जाए: केवल दृश्य उदाहरणों के आधार पर एक विशिष्ट वस्तु को ढूंढना, बिना उसके नाम या श्रेणी पर निर्भर हुए।
यहाँ उनके दृष्टिकोण का विवरण दिया गया है, जिसे FOCUS कहा जाता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
समस्या: "नाम-पट्टिका" का सहारा (The "Name-Tag" Crutch)
वर्तमान AI मॉडल उन छात्रों की तरह हैं जिन्हें गणित की समस्याओं को हल करने के लिए संख्याओं के नाम याद करने के बजाय, तर्क समझने के लिए सिखाया जाता है।
- समस्या: जब ये मॉडल किसी नई फोटो में किसी वस्तु को खोजने की कोशिश करते हैं, तो वे अक्सर विशिष्ट दृश्य विवरणों (जैसे आकार, स्थिति, या अनोखी खरोंचें) को अनदेखा कर देते हैं और इसके बजाय वस्तु के नाम (जैसे, "यह एक कुत्ता है, इसलिए यह एक विशिष्ट कुत्ते जैसा ही होना चाहिए") के आधार पर अनुमान लगाते हैं।
- परिणाम: यदि आप उन्हें एक कुत्ते की फोटो दिखाते हैं जिसने टोपी पहनी है और उनसे भीड़ में "उस विशेष कुत्ते" को खोजने के लिए कहते हैं, तो वे गलत कुत्ते को चुन सकते हैं क्योंकि वे "कुत्तों" के बारे में सामान्य रूप से सोच रहे हैं, न कि उस कुत्ते के बारे में।
समाधान: FOCUS (Forcing In-Context Object Localization)
लेखकों ने एक दो-चरणीय प्रशिक्षण विधि बनाई है जो AI को नाम के आधार पर अनुमान लगाने के बजाय दृश्य साक्ष्य के आधार पर देखना शुरू करने के लिए मजबूर करती है।
चरण 1: "स्पॉटलाइट" प्रशिक्षण (Attention Optimization)
कल्पना कीजिए कि आप एक बच्चे को छिपा हुआ खिलौना ढूंढना सिखा रहे हैं। "टेडी बियर ढूंढो" कहने के बजाय, आप खिलौने की एक तस्वीर की ओर इशारा करते हैं और कहते हैं, "बिल्कुल यहाँ देखो।"
- उन्होंने क्या किया: उन्होंने प्रशिक्षण प्रक्रिया से सभी टेक्स्ट लेबल (जैसे "बिल्ली", "कार", "कुत्ता") को हटा दिया। AI केवल छवियों की एक श्रृंखला देखता है: कुछ जिनमें लक्ष्य वस्तु के चारों ओर एक बॉक्स बना हुआ है, और एक अंतिम छवि जहाँ उसे उसी वस्तु को ढूंढना है।
- चाल (The Trick): उन्होंने एक विशेष नियम (एक "लॉस फंक्शन") जोड़ा जो एक स्पॉटलाइट की तरह काम करता है। यदि AI की आंतरिक "आंखें" (attention) छवि के गलत हिस्से को देखती हैं या उदाहरण फोटो में दिए गए बॉक्स को अनदेखा करती हैं, तो सिस्टम उसे "थम्स डाउन" देता है। यह AI को यह सीखने के लिए मजबूर करता है: "मुझे उदाहरण में दिखाए गए विशिष्ट आकार और स्थिति को देखना चाहिए, न कि केवल इस आधार पर अनुमान लगाना चाहिए कि मैं उस वस्तु को क्या समझता हूँ।"
चरण 2: "कोच की सीटी" (Reinforcement Learning with GRPO)
एक बार जब AI को पता चल जाता है कि कहाँ देखना है, तो इसे सटीक होने की भी आवश्यकता होती है। कल्पना कीजिए कि एक कोच एक एथलीट को गेंद फेंकने का अभ्यास करते हुए देख रहा है।
- उन्होंने क्या किया: उन्होंने Group Relative Policy Optimization (GRPO) नामक तकनीक का उपयोग किया। इसे एक ऐसे कोच के रूप में सोचें जो केवल "अच्छा काम किया" या "बुरा काम किया" नहीं कहता। इसके बजाय, कोच एथलीट को पांच अलग-अलग बार थ्रो करने के लिए कहता है।
- तुलना: कोच पांचों थ्रो की तुलना करता है। यदि एक थ्रो अन्य की तुलना में थोड़ा बेहतर है, तो कोच कहता है, "ऐसा और करो।" यदि कोई खराब है, तो वे कहते हैं, "ऐसा करना बंद करो।"
- पुरस्कार (The Reward): AI को एक "स्कोर" मिलता है जो इस बात पर आधारित होता है कि उसका बनाया गया बॉक्स वास्तविक वस्तु से कितनी अच्छी तरह मेल खाता है (IoU नामक मीट्रिक का उपयोग करके, जो यह मापता है कि दो आकार एक-दूसरे को कितना ओवरलैप करते हैं)। अपने ही प्रयासों की तुलना करके और सर्वश्रेष्ठ को चुनकर, AI अत्यधिक सटीकता के साथ बॉक्स बनाना सीख जाता है।
परिणाम: छोटा दिमाग, बड़ी जीत (Small Brain, Big Wins)
इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा मॉडल का आकार है।
- उन्होंने 7 बिलियन पैरामीटर्स वाला एक मॉडल प्रशिक्षित किया (इसे एक बहुत ही स्मार्ट लेकिन संक्षिप्त मस्तिष्क मान लें)।
- उन्होंने 72 बिलियन पैरामीटर्स वाले विशाल मॉडलों (विशाल मस्तिष्क) के साथ इसकी तुलना की।
- परिणाम: उनके छोटे, विशेष रूप से प्रशिक्षित मॉडल ने विशाल मॉडलों को हरा दिया। इसने सिद्ध किया कि AI को कैसे देखना है (रणनीति) सिखाना, केवल AI को बड़ा बनाने (स्केलिंग) से अधिक महत्वपूर्ण है।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र का दावा है कि यह विधि उन स्थितियों में महत्वपूर्ण है जहाँ:
- वस्तुओं के नाम नहीं होते: जैसे कि एक विशिष्ट, अजीब आकार के पत्थर या एक कस्टम-मेड टूल को ढूंढना जो मानक श्रेणियों में फिट नहीं बैठता।
- आपको "वह एक" विशिष्ट वस्तु को खोजने की आवश्यकता है: जैसे कि किसी फोटो को संपादित करना ताकि केवल उस विशिष्ट व्यक्ति को हटाया जा सके जिसे आपने इशारा किया था, न कि उन सभी को जो उनके जैसे दिखते हैं।
- व्यक्तिगत खोज (Personalized Search): अन्य नीले मगों के बीच "मेरा विशिष्ट नीला मग" ढूंढना।
संक्षेप में, यह शोध पत्र AI को अपने "शब्दकोश" पर निर्भर रहने के बजाय अपनी "आंखों" पर भरोसा करना सिखाता है, जिससे वह एक संदर्भ फोटो को देखकर भीड़ में विशिष्ट चीजों को ढूंढ सकता है, भले ही उसने पहले कभी उस सटीक वस्तु को न देखा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।