Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models
यह शोध पत्र इमेजिनेटिव परसेप्शन टोकन्स (IPT) को प्रस्तुत करता है, जो मध्यवर्ती संवेदी निरूपण (intermediate perceptual representations) हैं जो विजन लैंग्वेज मॉडल्स को अनदेखी स्थानिक विन्यासों को बाह्य रूप में प्रस्तुत करके स्थानिक तर्क (spatial reasoning) को बढ़ाने में सक्षम बनाते हैं, जिससे वे पर्सपेक्टिव टेकिंग, पाथ ट्रेसिंग और मल्टीव्यू काउंटिंग जैसे कार्यों पर टेक्स्टुअल चेन-ऑफ-थॉट विधियों से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI को "अनदेखे" की कल्पना करना सिखाना
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं। आप एक कमरे में खड़े होकर एक दरवाजे को देख रहे हैं। गेम आपसे पूछता है: "यदि आप उस दरवाजे से अंदर जाते हैं और बाएं मुड़ते हैं, तो आपको अपने दाईं ओर क्या दिखाई देगा?"
वर्तमान AI मॉडल (विज़न-लैंग्वेज मॉडल्स) उन चीजों का वर्णन करने में बहुत अच्छे हैं जो उनकी "आंखों" के ठीक सामने होती हैं। लेकिन वे इस सवाल के साथ संघर्ष करते हैं क्योंकि उत्तर उस तस्वीर में नहीं है जिसे वे देख रहे हैं। उन्हें एक नए दृश्य का मानसिक सिमुलेशन (mental simulation) करना होगा जिसे उन्होंने अभी तक देखा नहीं है।
यह शोध पत्र तर्क देता है कि इन "स्थानिक तर्क" (spatial reasoning) की पहेलियों को हल करने के लिए, AI को पहेली के गायब हिस्सों की कल्पना करना सीखना होगा, ठीक वैसे ही जैसे इंसान करते हैं। लेखक इस नए टूल को इमेजिनेटिव परसेप्शन टोकन (Imaginative Perception Tokens - IPTs) कहते हैं।
समस्या: AI "क्या होगा अगर?" में बुरा है
वर्तमान AI को एक बहुत ही बुद्धिमान लाइब्रेरियन की तरह समझें जो शेल्फ पर मौजूद हर किताब का सटीक वर्णन कर सकता है। लेकिन यदि आप उससे पूछें, "अगर हम शेल्फ को पीछे की दीवार की ओर खिसका दें तो लाइब्रेरी कैसी दिखेगी?" तो लाइब्रेरियन अटक जाता है। वे केवल उसी का वर्णन कर सकते हैं जो वर्तमान में दिखाई दे रहा है।
इसे ठीक करने के पिछले प्रयासों में AI को अपने विचार लिखने के लिए कहना शामिल था (जैसे कि "चेन ऑफ थॉट")। लेखकों ने पाया कि AI को शब्दों का उपयोग करके 3D रोटेशन या छिपे हुए रास्ते का वर्णन करने के लिए मजबूर करना, एक जटिल डांस रूटीन को केवल एक टेक्स्ट मैसेज के माध्यम से समझाने की कोशिश करने जैसा है। यह अव्यवस्थित, भ्रमित करने वाला और अक्सर गलतियों का कारण बनता है।
समाधान: "मेंटल स्केचपैड" (मानसिक रेखाचित्र पुस्तिका)
लेखकों ने इमेजिनेटिव परसेप्शन टोकन (IPTs) पेश किए हैं। AI को एक नए दृश्य का लंबा वर्णन लिखने के लिए कहने के बजाय, वे इसे यह सिखाते हैं कि वह जो सोचता है उसका एक त्वरित स्केच (quick sketch) बनाए।
- उपमा (Analogy): कल्पना कीजिए कि आप एक आर्किटेक्ट हैं। यह पता लगाने के लिए कि क्या एक नई दीवार फिट बैठती है, आप केवल उसके बारे में बात नहीं करते; आप नए लेआउट का एक त्वरित ब्लूप्रिंट बनाते हैं।
- यह कैसे काम करता है: AI को एक मध्यवर्ती छवि (वह "स्केच") उत्पन्न करने के लिए प्रशिक्षित किया जाता है जो उस दृष्टिकोण (viewpoint) का प्रतिनिधित्व करती है जिसे उसने वास्तव में नहीं देखा है।
- उदाहरण: यदि प्रश्न एक गलियारे में चलने के बारे में है, तो AI गलियारे का एक "साइड-व्यू" स्केच बनाता है कि वह रास्ते के बीच से कैसा दिखता है, भले ही उसके पास केवल एक मैप और शुरुआत/अंत की तस्वीरें हों।
- उदाहरण: यदि प्रश्न तीन अलग-अलग कोणों से देखे गए एक अस्त-व्यस्त कमरे में कुर्सियों की गिनती करने के बारे में है, तो AI बिना दोबारा गिनती किए हर कुर्सी को देखने के लिए एक "बर्ड्स-आई व्यू" (ऊपर से दिखने वाला दृश्य) मैप बनाता है।
एक बार जब AI अपना "मानसिक स्केच" बना लेता है, तो वह अंतिम उत्तर देने के लिए अपने स्वयं के चित्र को देखता है।
तीन "इमेजिनेशन जिम" कार्य
इसका परीक्षण करने के लिए, शोधकर्ताओं ने तीन विशिष्ट प्रशिक्षण खेल (डेटासेट) बनाए जहाँ AI को कल्पना करने का अभ्यास करना था:
परस्पेक्टिव टेकिंग (द "टेलीपोर्ट" गेम):
- सेटअप: आप एक कोण से एक कमरा देखते हैं।
- कार्य: "यदि आप इस चिह्नित स्थान पर टेलीपोर्ट होते हैं और 90 डिग्री मुड़ते हैं, तो क्या सोफा आपके बाएं या दाएं होगा?"
- कल्पना: AI को सही उत्तर देने के लिए उस नए स्थान से कमरे की एक तस्वीर बनानी होगी।
पाथ ट्रेसिंग (द "ब्लाइंड वॉक" गेम):
- सेटअप: आपके पास एक पथ का टॉप-डाउन मैप और शुरुआती और अंतिम बिंदुओं की तस्वीरें हैं।
- कार्य: "जैसे-जैसे आप इस पथ पर चलते हैं, आधे रास्ते में आपको अपने बाईं ओर कौन सी वस्तु दिखाई देगी?"
- कल्पना: AI को पथ के बीच के दृश्य का "फर्स्ट-पर्सन व्यू" बनाना होगा, जिसे उसने वास्तव में कभी नहीं देखा है।
मल्टीव्यू काउंटिंग (द "पज़ल" गेम):
- सेटअप: आपको कमरे के तीन अलग-अलग कोनों से ली गई तीन अलग-अलग तस्वीरें दिखाई जाती हैं।
- कार्य: "इस कमरे में कुल कितनी कुर्सियाँ हैं?" (कुछ कुर्सियाँ एक फोटो में छिपी हो सकती हैं लेकिन दूसरी में दिखाई दे सकती हैं)।
- कल्पना: AI को एक एकल "टॉप-डाउन मैप" बनाना होगा जो सटीक रूप से गिनने के लिए तीनों दृश्यों को एक पूर्ण चित्र में जोड़ता है।
उन्हें क्या पता चला
शोधकर्ताओं ने इन "मानसिक स्केच" को एक शिक्षण उपकरण के रूप में उपयोग करके एक शक्तिशाली AI मॉडल (BAGEL) को प्रशिक्षित किया। यहाँ क्या हुआ:
- ड्राइंग लेखन से बेहतर है: जब AI को स्केच बनाकर "सोचने" के लिए मजबूर किया गया (IPT), तो इसने स्थानिक प्रश्नों में शब्दों (Text Chain-of-Thought) के माध्यम से "सोचने" की तुलना में बहुत बेहतर प्रदर्शन किया। वास्तव में, शब्दों में लिखने से कभी-कभी AI इन कार्यों में और भी खराब हो जाता था क्योंकि शब्द 3D स्थान का वर्णन करने का एक खराब तरीका हैं।
- प्रशिक्षण का जादू: यहाँ तक कि जब AI का परीक्षण बाद में बिना स्केच बनाए किया गया (उसे केवल उत्तर देना था), तब भी इसने बेहतर प्रदर्शन किया। इससे पता चलता है कि प्रशिक्षण के दौरान "ड्राइंग" करने के कार्य ने AI के मस्तिष्क में एक मजबूत आंतरिक मानचित्र बनाया।
- सर्वश्रेष्ठ से भी बेहतर: कुछ कार्यों पर, इस पद्धति ने ओपन-सोर्स मॉडल को बहुत महंगे, क्लोज्ड-सोर्स मॉडल्स (जैसे GPT-5) के साथ प्रतिस्पर्धा करने की अनुमति दी जो आमतौर पर इन बेंचमार्क पर हावी रहते हैं।
निचोड़ (The Bottom Line)
यह शोध पत्र दिखाता है कि स्थान और नेविगेशन को समझने के लिए AI को केवल शब्दों में "कड़ी मेहनत से सोचने" के लिए कहने के बजाय, हमें उसे अनदेखे की कल्पना करना सिखाना चाहिए। AI को नए दृष्टिकोणों की कल्पना करने का अभ्यास करने के लिए एक "मानसिक स्केचपैड" देकर, हम इसे 3D दुनिया की एक मजबूत समझ बनाने में मदद करते हैं, जिससे यह उन पहेलियों को हल करने में सक्षम होता है जो पहले इसके लिए असंभव थीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।