From Web to Pixels: Bringing Agentic Search into Visual Perception
यह शोध पत्र "परसेप्शन डीप रिसर्च" (Perception Deep Research) को पेश करता है, जो एक नई ओपन-वर्ल्ड विजुअल परसेप्शन चुनौती है जहाँ वस्तुओं को स्थानीयकरण से पहले बाहरी ज्ञान के माध्यम से पहचाना जाना चाहिए, और इसे वेबआई (WebEye) बेंचमार्क और पिक्सेल-सर्चर (Pixel-Searcher) एजेंटिक फ्रेमवर्क के साथ संबोधित करता है, जो सर्च-आधारित ग्राउंडिंग, सेगमेंटेशन और वीक्यूए (VQA) में अत्याधुनिक ओपन-सोर्स प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप "वेयर्स वाल्डो?" (या "वेयर्स वॉली?") नामक एक खेल खेल रहे हैं, लेकिन इसमें एक ट्विस्ट है।
क्लासिक गेम में, आप एक भीड़ भरी तस्वीर देखते हैं और वाल्डो को खोजने की कोशिश करते हैं जो दिखने में ऐसा है: लाल और सफेद धारीदार शर्ट, एक टोपी, और चश्मा। आपको यह जानने की ज़रूरत नहीं है कि वाल्डो कौन है; आपको बस उस विज़ुअल पैटर्न को पहचानना है।
यह पेपर तर्क देता है कि अधिकांश वर्तमान AI विज़न सिस्टम इसी क्लासिक गेम में अटके हुए हैं। वे किसी चीज़ को "लाल कार" या "नीली शर्ट वाले व्यक्ति" के रूप में खोजने में माहिर हैं। लेकिन वे तब संघर्ष करते हैं जब सवाल इस बारे में नहीं होता कि कोई चीज़ कैसी दिखती है, बल्कि इस बारे में होता है कि वह कौन है उन तथ्यों के आधार पर जिन्हें आप तस्वीर में नहीं देख सकते।
नया चैलेंज: "द मिस्ट्री गेस्ट" (रहस्यमयी मेहमान)
लेखक इस खेल का एक नया, कठिन संस्करण पेश करते हैं जिसे परसेप्शन डीप रिसर्च (Perception Deep Research) कहा जाता है।
एक पार्टी की भीड़ भरी फोटो की कल्पना करें। सवाल यह नहीं है कि "लाल शर्ट वाला व्यक्ति ढूंढें।" सवाल यह है:
"उस व्यक्ति को खोजें जो जनवरी 2026 में एक स्किनकेयर ब्रांड का ग्लोबल एंबेसडर बना था, जिसके बाद उस ब्रांड को एक कंपनी द्वारा $2.7 बिलियन में खरीदा गया था।"
आप इसे केवल फोटो देखकर हल नहीं कर सकते। फोटो यह नहीं दिखाता कि अधिग्रहण (acquisition) की कीमत क्या थी या एंबेसडर की घोषणा की तारीख क्या थी। सही व्यक्ति को खोजने के लिए, AI को:
- वेब हंट पर जाना होगा: यह पता लगाने के लिए इंटरनेट पर खोज करनी होगी कि कौन सा ब्रांड खरीदा गया, कौन सा महीना था, और एंबेसडर कौन था।
- रहस्य सुलझाना होगा: यह महसूस करना होगा, "आह, फोटो में नामित 'विंटर' ही वह व्यक्ति है जिसे हम ढूंढ रहे हैं।"
- पिक्सेल की ओर इशारा करना होगा: अंत में, उसे फोटो पर वापस जाना होगा और विंटर के चारों ओर एक बॉक्स बनाना होगा।
पेपर इसे "वेब से पिक्सेल तक" (From Web to Pixels) कहता है। यह इंटरनेट के तथ्यों को एक इमेज के विशिष्ट स्थानों से जोड़ने के बारे में है।
उन्होंने जो टूल्स बनाए
AI यह कर सकता है या नहीं, यह टेस्ट करने के लिए, टीम ने दो मुख्य चीजें बनाईं:
1. वेबआईज़ (WebEyes - द टेस्ट कोर्स)
इसे AI के लिए एक विशेष बाधा दौड़ (obstacle course) की तरह समझें। इसमें 120 जटिल चित्र और सैकड़ों पेचीदा सवाल शामिल हैं।
- ट्विस्ट: हर सवाल के लिए AI को फोटो में देखने से पहले छिपे हुए तथ्यों (जैसे किसी सेलिब्रिटी की हालिया भूमिका, किसी उत्पाद की लॉन्च तिथि, या किसी पात्र की बैकस्टोरी) को खोजना आवश्यक है।
- लक्ष्य: AI को न केवल सवाल का जवाब देना चाहिए; उसे उस सटीक व्यक्ति या वस्तु की ओर इशारा करना चाहिए जो उत्तर से मेल खाती है।
2. पिक्सेल-सर्चर (Pixel-Searcher - द स्मार्ट डिटेक्टिव)
यह वह नया AI एजेंट है जिसे लेखकों ने इस टेस्ट को पास करने के लिए बनाया है। केवल तस्वीर को घूरने और अनुमान लगाने के बजाय, पिक्सेल-सर्चर एक आवर्धक लेंस (magnifying glass) और लैपटॉप के साथ एक जासूस की तरह काम करता है।
- चरण 1: खोज (The Search)। यह सवाल को तोड़ता है। "एंबेसडर कौन था?" "डील कब हुई थी?" यह वेब पर खोज करता है और परिणामों को पढ़ता है।
- चरण 2: निष्कर्ष (The Deduction)। यह कड़ियों को जोड़ता है। "ठीक है, डील जनवरी में हुई थी, और एंबेसडर विंटर है।"
- चरण 3: शिकार (The Hunt)। यह वापस इमेज पर जाता है। यह उस व्यक्ति को ढूंढता है जो विंटर जैसा दिखता है (शायद खोज में बताए गए विशिष्ट कपड़ों या विशेषताओं की जांच करके) और उनके चारों ओर एक बॉक्स बनाता है।
उन्हें क्या मिला
शोधकर्ताओं ने अन्य स्मार्ट AI मॉडल्स के खिलाफ पिक्सेल-सर्चर का परीक्षण किया। यहाँ निर्णय है:
- पुराने AI मॉडल्स: जब इन "मिस्ट्री गेस्ट" वाले सवालों का सामना हुआ, तो मानक AI मॉडल्स भ्रमित हो गए। उन्होंने केवल वही अनुमान लगाने की कोशिश की जो उन्होंने तस्वीर में देखा या जो वे पहले से "जानते" थे। वे अक्सर गलत व्यक्ति को चुन लेते थे क्योंकि वे छिपे हुए तथ्यों को नहीं ढूंढ सके।
- पिक्सेल-सचर: यह नया एजेंट ओपन-सोर्स मॉडल्स में सबसे अच्छा प्रदर्शन करने वाला रहा। वेब पर वास्तव में खोज करके और सुरागों के माध्यम से तर्क देकर, इसने सही लक्ष्यों को बहुत अधिक बार सफलतापूर्वक खोजा।
जहाँ यह अभी भी संघर्ष करता है:
पेपर नोट करता है कि AI इसलिए विफल नहीं होता क्योंकि वह किसी व्यक्ति के चारों ओर एक सटीक बॉक्स नहीं बना सकता। यह प्रक्रिया में पहले ही विफल हो जाता है:
- खराब खोज (Bad Search): यह कभी-कभी गलत चीज़ के लिए खोज करता है या किसी मुख्य तथ्य को मिस कर देता है।
- गलत पहचान (Wrong Identity): यह सही तथ्य तो निकाल लेता है लेकिन फोटो में गलत व्यक्ति को चुन लेता है (उदाहरण के लिए, यह जानता है कि एंबेसडर "विंटर" है, लेकिन यह फोटो में विंटर नाम के गलत व्यक्ति की ओर इशारा करता है)।
- बाइंडिंग (Binding): इसे "तथ्य" (विंटर) को "विज़ुअल" (फोटो में व्यक्ति) से जोड़ने में कठिनाई होती है।
बड़ी तस्वीर
पेपर निष्कर्ष निकालता है कि दुनिया को वास्तव में समझने के लिए, AI को केवल आकृतियों को देखने वाला एक "कैमरा" नहीं होना चाहिए। इसे एक "रिसर्चर" होना चाहिए जो जानकारी खोज सके, पहेलियाँ सुलझा सके, और फिर उस ज्ञान का उपयोग करके तस्वीर में सही चीज़ की ओर इशारा कर सके। वे इस नए क्षेत्र को परसेप्शन डीप रिसर्च कहते हैं, और उन्होंने अन्य वैज्ञानिकों को बेहतर "डिटेक्टिव" AI बनाने में मदद करने के लिए टूल्स (WebEyes और Pixel-Searcher) प्रदान किए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।