Thinking with Visual Grounding
यह शोध पत्र "विजुअली ग्राउंडेड थिंकिंग" (visually grounded thinking) का परिचय देता है, जो एक ऐसा ढांचा है जहाँ विजन-लैंग्वेज मॉडल प्राकृतिक भाषा के तर्क को स्पष्ट दृश्य ग्राउंडिंग (visual groundings) के साथ अंतर्निहित करते हैं, जो एक स्केलेबल सिंथेसिस पाइपलाइन और ग्राउंडिंग-अवेयर रिइन्फोर्समेंट लर्निंग के माध्यम से प्रशिक्षित होने पर, गिनती और स्थानिक तर्क कार्यों पर प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, जिससे छोटे मॉडल बहुत बड़े समकक्ष मॉडलों का मुकाबला करने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक गणित की परीक्षा दे रहे हैं, लेकिन संख्याओं के बजाय, प्रश्न चित्रों के बारे में हैं। आपके पास एक स्मार्ट सहायक (एक AI) है जो इन चित्र पहेलियों को हल करने की कोशिश करता है और खुद से ज़ोर-ज़ोर से बात करता है।
समस्या: "घोस्ट" (भूतिया) तर्कशक्ति
वर्तमान में, ये AI सहायक बात करने में अच्छे हैं। वे कह सकते हैं, "मुझे प्रवेश द्वार के पास एक लाल कार दिख रही है, इसलिए उत्तर A है।" लेकिन इसमें एक कमी है—वे केवल यह कह रहे हैं कि उन्हें वह दिख रही है। वे वास्तव में उस लाल कार की ओर इशारा नहीं कर रहे हैं। यह एक ऐसे छात्र की तरह है जो परीक्षा में सही उत्तर तो लिख देता है लेकिन अपना काम (work) दिखा नहीं पाता। क्योंकि यदि आप पूछते हैं, "आप कैसे जानते हैं कि वह लाल कार है?" तो AI या तो बस कह सकता है, "मुझे बस पता है," या वह अनुमान लगा रहा हो सकता है। क्योंकि AI को सबूत की ओर इशारा करने के लिए मजबूर नहीं किया जाता है, इसलिए यह बताना कठिन हो जाता है कि वह वास्तव में चित्र को देख रहा है या बस मनगढ़ंत बातें बना रहा है।
समाधान: "विजुअल ग्राउंडिंग" (दृश्य आधार)
इस शोध पत्र के लेखक, जुंकाई झांग (Junkai Zhang) और उनकी टीम ने, सोचने का एक नया तरीका विकसित किया जिसे "विजुअली ग्राउंडेड थिंकिंग" (Visually Grounded Thinking) कहा जाता है।
इसे इस तरह समझें:
- पुराना तरीका: AI कहता है, "मेज पर एक काली लैपटॉप है।" (यह केवल शब्द हैं)।
- नया तरीका: AI कहता है, "मेज पर एक काली लैपटॉप <स्क्रीन पर सटीक स्थान की ओर इशारा करें> है।"
हर बार जब AI किसी वस्तु (जैसे "भूरा रंग का कुर्सी" या "नीला कप") का उल्लेख करता है, तो उसे छवि में उस विशिष्ट वस्तु पर एक डिजिटल पिन (एक बिंदु) छोड़ना पड़ता है या उसके चारों ओर एक बॉक्स बनाना पड़ता है। यह ऐसा है जैसे AI के पास एक लेज़र पॉइंटर है और वह कह रहा है, "मैं इसी विशिष्ट चीज़ के बारे में सोच रहा हूँ जो यहाँ है।"
उन्होंने AI को यह करना कैसे सिखाया
AI को सटीक रूप से इशारा करना सिखाना कठिन है क्योंकि आप इसे केवल "सटीक होने" के लिए नहीं कह सकते। इसलिए, शोधकर्ताओं ने प्रशिक्षण उदाहरण बनाने के लिए एक विशेष फैक्ट्री (डेटा पाइपलाइन) बनाई:
- जासूस (The Detective): उन्होंने चित्र पहेलियों को हल करने और उनके चरणों को लिखने के लिए एक बहुत ही स्मार्ट AI का उपयोग किया।
- हाइलाइटर (The Highlighter): उन्होंने SAM3 (इसे एक अत्यंत सटीक डिजिटल हाइलाइटर समझें) नामक एक टूल का उपयोग किया ताकि जासूस द्वारा बताई गई वस्तुओं के सटीक आकार को स्वचालित रूप से खोजा जा सके।
- शिक्षक (The Teacher): उन्होंने उन सटीक आकारों को "पॉइंट्स" या "बॉक्सेस" में बदल दिया ताकि एक आदर्श उत्तर कुंजी (answer key) बनाई जा सके।
- पुरस्कार प्रणाली (The Reward System): उन्होंने एक खेल जैसी प्रणाली का उपयोग करके AI को प्रशिक्षित किया। यदि AI ने सही उत्तर दिया और सही स्थान की ओर इशारा किया, तो उसे उच्च स्कोर मिला। यदि उसने सही उत्तर दिया लेकिन गलत स्थान की ओर इशारा किया (या बिल्कुल भी इशारा नहीं किया), तो उसे कम स्कोर मिला। इसने AI को यह सीखने के लिए मजबूर किया कि "सोचना" और "इशारा करना" एक साथ होने चाहिए।
जब उन्होंने इसका परीक्षण किया तो क्या हुआ?
उन्होंने इस नए "पॉइंटिंग" (इशारा करने वाले) AI का दो प्रकार के कार्यों पर परीक्षण किया:
- गिनती (Counting): "इस चित्र में कितने डोनट्स हैं?"
- परिणाम: AI इसमें बहुत बेहतर हो गया। प्रत्येक डोनट की ओर इशारा करने से उसे समान दिखने वाली वस्तुओं के बीच भ्रमित हुए बिना सटीक रूप से गिनने में मदद मिली।
- स्थानिक तर्क (Spatial Reasoning): "पुरुष के सबसे बाईं ओर कौन सी वस्तु है?"
- परिणाम: यह एक बड़ा आश्चर्य था। एक छोटा AI मॉडल (4 बिलियन मस्तिष्क कोशिकाएं) जिसने इशारा करना सीखा, वह एक विशाल AI मॉडल (27 बिलियन मस्तिष्क कोशिकाएं) के समान सक्षम हो गया, जिसने इशारा करना नहीं सीखा था, और कभी-कभी उससे भी बेहतर प्रदर्शन किया।
निष्कर्ष
यह शोध पत्र दिखाता है कि जब AI मॉडलों को अपने विचारों को वास्तविक छवि से जोड़ने के लिए मजबूर किया जाता है—जैसे कि एक छात्र जिसे संख्याओं को घेरकर अपना काम दिखाना होता है—तो वे बहुत अधिक बुद्धिमान हो जाते हैं।
- गिनती के लिए: केवल एक वस्तु पर एक बिंदु (dot) लगाना ही पर्याप्त है।
- जटिल स्थानिक पहेलियों के लिए: वस्तु के चारों ओर एक बॉक्स बनाना AI को आकार और रूप समझने में मदद करता है, लेकिन केवल इशारा करना भी आश्चर्यजनक रूप से अच्छा काम करता है।
संक्षेप में, यह शोध पत्र सिद्ध करता है कि सोचना तब बेहतर होता है जब आप उस चीज़ की ओर इशारा कर सकें जिसके बारे में आप सोच रहे हैं। यह "जादुई अनुमान" को "सत्यापन योग्य साक्ष्य" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।