Visual-Seeker: Towards Visual-Native Multimodal Agentic Search via Active Visual Reasoning
यह शोध पत्र विज़ुअल-सीकर (Visual-Seeker) को प्रस्तुत करता है, जो एक विज़ुअल-नेटिव मल्टीमॉडल एजेंटिक सर्च सिस्टम है, जो सूक्ष्म दृश्य साक्ष्यों को गतिशील रूप से संकलित करने के लिए सक्रिय दृश्य तर्क और 5,000 उच्च-गुणवत्ता वाले प्रक्षेप पथों (ट्रैजेक्टरीज) के एक संश्लेषित डेटासेट का लाभ उठाकर जटिल, ओपन-वर्ल्ड खोज कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन केवल कागज पर लिखे सुरागों को पढ़ने के बजाय, आपको उत्तर खोजने के लिए एक अराजक, भीड़भाड़ वाली तस्वीर को देखना पड़ता है।
समस्या: "अंधा" जासूस
वर्तमान एआई जासूस (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) टेक्स्ट पढ़ने और सरल चित्रों को देखने में बहुत अच्छे हैं। लेकिन जब वे एक जटिल, वास्तविक दुनिया की तस्वीर का सामना करते हैं—जैसे लोगों से भरा हुआ स्टेडियम या छोटे विवरणों वाला कोई मूवी पोस्टर—तो वे अक्सर भ्रमित हो जाते हैं। वे यह तो जान सकते हैं कि बास्केटबॉल खिलाड़ी कैसा दिखता है, लेकिन वे आसानी से यह नहीं ढूंढ पाते कि भीड़ भरी धुंधली फोटो में जर्सी नंबर #45 पहने हुए विशिष्ट खिलाड़ी कौन सा है।
इसके अलावा, जब ये एआई इंटरनेट पर उत्तर खोजने की कोशिश करते हैं, तो वे आमतौर पर तस्वीर को एक स्थिर "स्नैपशॉट" की तरह देखते हैं। वे इसे एक बार देखते हैं, एक टेक्स्ट प्रश्न पूछते हैं, और रुक जाते हैं। उन्हें यह नहीं पता होता कि ज़ूम कैसे किया जाए, किसी विशेष चेहरे को कैसे क्रॉप किया जाए, या मूल तस्वीर की तुलना करने के लिए नई तस्वीरों को सक्रिय रूप से कैसे खोजा जाए। वे एक ऐसे जासूस की तरह हैं जो अपराध स्थल की फोटो को एक बार देखता है, फिर अपनी आँखें बंद कर लेता है और याददाश्त के आधार पर उत्तर का अनुमान लगाता है।
समाधान: विजुअल-सीकर (Visual-Seeker)
इस शोध पत्र के लेखकों ने एक नया एआई एजेंट बनाया है जिसे विजुअल-सीकर कहा जाता है। विजुअल-सीकर को एक ऐसे जासूस के रूप में सोचें जो केवल फोटो को देखता ही नहीं है; वह सक्रिय रूप से उसकी जांच करता है।
फोटो को सिर्फ घूरने के बजाय, विजुअल-सीकर:
- ज़ूम इन करता है: यह टोपी में लगे पंख के रंग या जर्सी के नंबर जैसे सूक्ष्म विवरणों को पहचान सकता है।
- सबूतों की तलाश करता है: यदि फोटो पर्याप्त स्पष्ट नहीं है, तो उसे पता होता है कि इंटरनेट पर जाना है, "आधिकारिक डीवीडी कवर" या "टीम फोटो" खोजना है, और मूल चित्र से तुलना करने के लिए नई छवियां डाउनलोड करनी हैं।
- कड़ियों को जोड़ता है: यह पहेली को सुलझाने के लिए नई छवियों से जो उसने देखा है, उसे मूल प्रश्न के साथ जोड़ता है।
उन्होंने इसे कैसे सिखाया: "प्रशिक्षण सिम्युलेटर"
आप केवल एआई को यह कहकर कि "बेहतर तरीके से देखो" नहीं सिखा सकते। आपको उसे दिखाना होगा कि कैसे देखना है। शोधकर्ताओं ने एक विशेष प्रशिक्षण कारखाना (जिसे "एक्टिव विजुअल रीजनिंग डेटा पाइपलाइन" कहा जाता है) बनाया।
कल्पना कीजिए कि एक वीडियो गेम डिजाइनर एक नए रिक्रूट के लिए प्रशिक्षण कोर्स बना रहा है:
- चरण 1 (लक्ष्य): वे एक अव्यवस्थित, वास्तविक दुनिया की फोटो लेते हैं और एआई को उसमें से किसी विशिष्ट व्यक्ति या वस्तु को चुनने के लिए कहते हैं (जैसे, "गुलाबी शर्ट वाला आदमी ढूंढो") है।
- चरण 2 (पदचिह्न): वे एक नकली "खजाने की खोज" वाला रास्ता बनाते हैं। एआई को एक तथ्य से दूसरे तथ्य पर कूदना होता है, जैसे एक जासूस सुरागों के निशान का पीछा करता है।
- चरण 3 (ट्विस्ट): महत्वपूर्ण रूप से, वे एआई को यह महसूस कराने के लिए मजबूर करते हैं कि केवल टेक्स्ट पर्याप्त नहीं है। वे प्रशिक्षण में "दृश्य साक्ष्य" (visual evidence) को शामिल करते हैं। वे एआई को यह समझने पर मजबूर करते हैं कि, "अरे, तुम इसे केवल पढ़कर हल नहीं कर सकते; तुम्हें रंग देखने के लिए टोपी की एक तस्वीर ढूंढनी ही होगी!"
उन्होंने एआई को एक निष्क्रिय पाठक के बजाय एक सक्रिय खोजकर्ता बनने के लिए सिखाने हेतु 5,000 ऐसे जटिल प्रशिक्षण परिदृश्य बनाए।
परिणाम: नया चैंपियन
जब उन्होंने अन्य शीर्ष एआई मॉडलों (बड़ी टेक कंपनियों के महंगे, प्रोप्रायटरी मॉडल्स सहित) के मुकाबले विजुअल-सीकर का परीक्षण किया, तो यह जीत गया।
- इसने केवल अनुमान नहीं लगाया; इसने वास्तव में बाहर जाकर सही तस्वीरें ढूंढीं और विवरणों पर ज़ूम किया।
- इसने "केवल टेक्स्ट" विशेषज्ञों से बेहतर प्रदर्शन किया और यहाँ तक कि वर्तमान में उपलब्ध सबसे शक्तिशाली "मल्टीमॉडल" मॉडलों को भी पीछे छोड़ दिया।
- इसने साबित कर दिया कि यदि आप एआई को दृश्य सुरागों को सक्रिय रूप से देखने और खोजने के उपकरण देते हैं, तो यह वास्तविक दुनिया की पहेलियों को सुलझाने में बहुत अधिक स्मार्ट हो जाता है।
संक्षेप में
पिछले एआई उन छात्रों की तरह थे जिन्होंने पाठ्यपुस्तक रट ली थी लेकिन एक अव्यवस्थित वास्तविक दुनिया की परीक्षा में उसे लागू नहीं कर सकते थे। विजुअल-सीकर वह छात्र है जो परीक्षा में आवर्धक लेंस (magnifying glass), एक मानचित्र और एक कैमरा लेकर आता है, और समस्या को चरण-दर-चरण हल करने के लिए सक्रिय रूप से साक्ष्य एकत्र करता है। यह शोध पत्र दिखाता है कि यह "सक्रिय रूप से देखने" का दृष्टिकोण ही एआई को दृश्य दुनिया में वास्तव में स्मार्ट बनाने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।