LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning
यह शोधपत्र LaViT को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो स्थिर एम्बेडिंग के बजाय लेटेंट विजुअल थॉट्स (latent visual thoughts) और अटेंशन ट्रेजेक्टरीज (attention trajectories) को संरेखित करके मल्टीमॉडल डिस्टिलेशन में धारणा के अंतर को पाटता है, जिससे कॉम्पैक्ट मॉडल बेहतर विजुअल रीजनिंग प्रदर्शन प्राप्त करने में सक्षम होते हैं जो बड़ी प्रोप्रायटरी प्रणालियों के बराबर होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को रहस्य सुलझाना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक विशेष प्रकार का रोबोट है जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) कहा जाता है। इन्हें एक सुपर-स्मार्ट जासूस के रूप में समझें जो सुरागों (टेक्स्ट) को पढ़ सकता है और अपराध स्थल की तस्वीरों (इमेज) को एक साथ देख सकता है। लंबे समय तक, ये रोबोट जो वे देखते थे उसका वर्णन करने में तो बेहतरीन थे, लेकिन जब बात तर्क करने (reasoning) की आई—यानी कि क्यों कुछ हुआ या किसी पेचीदा पहेली को सुलझाने की—तो वे अक्सर अटक जाते थे। वे तस्वीर को देखते, फिर देखना बंद कर देते, और केवल उस जानकारी के आधार पर उत्तर का अनुमान लगा लेते जो उन्होंने किताबों से सीखी थी। यह एक ऐसे जासूस की तरह है जो कीचड़ वाला पदचिह्न देखता है लेकिन फिर उसे अनदेखा कर देता है और केवल अपने अंदाजे के आधार पर अपराधी का अनुमान लगा लेता है।
हाल ही में, वैज्ञानिकों ने "लेटेंट रीजनिंग" (latent reasoning) नामक एक नया तरीका खोजा है। अपनी सोच के हर कदम को शब्दों में लिखने (जैसे कि एक लंबी डायरी प्रविष्टि) के बजाय, इन रोबों ने अपनी सोच को अपने मस्तिष्क के भीतर अदृश्य, निरंतर "फुसफुसाहटों" में संकुचित करना शुरू कर दिया। यह तेज़ और अधिक कुशल है। लेकिन समस्या यह है कि जब वैज्ञानिकों ने बड़े, स्मार्ट मॉडलों से छोटे, सस्ते रोबोटों को सीखने (जिसे "डिस्टिलेशन" कहा जाता है) की कोशिश की, तो कुछ अजीब हुआ। छोटे रोबोटों ने सही शब्द तो बोलना सीख लिया, लेकिन वे वास्तव में तस्वीर के सही हिस्सों को नहीं देख पा रहे थे; वे केवल शिक्षक की आवाज़ की नकल कर रहे थे बिना दृश्य संकेतों को समझे। यह एक छात्र की तरह है जो उत्तर कुंजी को रटकर परीक्षा में तो पास हो जाता है, लेकिन पाठ को समझने में विफल रहता है। यह पेपर, LaViT, इस टूटी हुई कड़ी को ठीक करने के लिए आया है जो "सही चीज़ कहने" और "सही जगह देखने" के बीच के संबंध को जोड़ता है।
महान "देखना पर न देखना" वाली गड़बड़ी (The Great "Look-But-Don't-See" Glitch)
LaViT के पीछे के शोधकर्ताओं ने एक अजीब घटना देखी जिसे वे परसेप्शन गैप (Perception Gap) कहते हैं। कल्पना कीजिए कि आपके पास एक मास्टर शेफ ( "शिक्षक" मॉडल) और एक युवा प्रशिक्षु ( "छात्र" मॉडल) है। प्रशिक्षु शेफ को एक जटिल व्यंजन बनाते हुए देखता है। यदि आप केवल प्रशिक्षु से रेसिपी लिखने के लिए कहते हैं, तो वे शब्दों को बिल्कुल सही लिख सकते हैं: "दो कप आटा डालें, तीन मिनट तक फेंटें।" लेकिन यदि आप उनसे वास्तव में इसे करने के लिए कहते हैं, तो वे आटा फर्श पर गिरा सकते हैं क्योंकि उन्होंने वास्तव में शेफ के हाथों को नहीं देखा; उन्होंने केवल टेक्स्ट को याद किया था।
AI की दुनिया में, शोधकर्ताओं ने पाया कि जब उन्होंने छोटे मॉडलों को बड़े मॉडलों के उत्तरों की नकल करने के लिए प्रशिक्षित किया, तो छोटे मॉडल "टेक्स्ट मिमिक्री" (पाठ की नकल) में उत्कृष्ट हो गए। वे सही उत्तर दे सकते थे, जैसे "बिंदु A करीब है," लेकिन उनकी आंतरिक "आंखें" (विजुअल अटेंशन) छवि के पूरी तरह से अलग, अप्रासंगिक हिस्सों को देख रही थीं। वे भाषा के तरीकों पर भरोसा कर रहे थे—सामान्य वाक्यांशों के आधार पर अनुमान लगा रहे थे—न कि वास्तव में दृश्य साक्ष्य का अवलोकन कर रहे थे। यह एक ऐसे छात्र की तरह है जो उत्तर कुंजी को याद करके परीक्षा पास करता है लेकिन सबक को समझने में विफल रहता है।
समाधान: LaViT (लेटेंट विजुअल थॉट्स)
इसे ठीक करने के लिए, टीम ने LaViT बनाया, जो एक नया ट्रेनिंग फ्रेमवर्क है जो छात्र रोबोट को बोलने से पहले विजुअली "सोचने" के लिए मजबूर करता है। केवल अंतिम उत्तर की नकल करने के बजाय, LaViT छात्र को पहले अदृश्य "थॉट टोकन" (thought tokens) उत्पन्न करने के लिए मजबूर करता है। इन टोकन को एक मानसिक स्केच या एक मौन आंतरिक संवाद के रूप में समझें जहाँ रोबोट खुद से कहता है, "ठीक है, मुझे निर्णय लेने से पहले यहाँ छाया को देखना होगा, और वहाँ के कोण को देखना होगा।"
LaViT का जादू दो मुख्य ट्रिक्स में निहित है:
- "आंतरिक आंख" को संरेखित करना (Aligning the "Inner Eye"): यह सिस्टम केवल यह जाँच नहीं करता कि छात्र का अंतिम उत्तर शिक्षक से मेल खाता है या नहीं। यह छात्र की "नज़र" की भी जाँच करता है। यह छात्र को शिक्षक के विजुअल अटेंशन मैप का पुनर्निर्माण करने के लिए मजबूर करता है—वह विशिष्ट पथ जो शिक्षक की आँखों ने छवि के माध्यम से लिया था। यदि शिक्षक ने गहराई निर्धारित करने के लिए छाया को देखा, तो छात्र को भी छाया को देखना होगा, भले ही छात्र ने अभी तक एक शब्द भी न कहा हो।
- "सेंसरी गेटिंग" करिकुलम (The "Sensory Gating" Curriculum): यह सबसे दिलचस्प हिस्सा है। कल्पना कीजिए कि आप किसी को साइकिल चलाना सिखा रहे हैं। यदि आप उन्हें तुरंत सड़क देखने देते हैं, तो वे शायद बस बहते रहेंगे और कभी संतुलन बनाना नहीं सीखेंगे। यदि आप उन्हें पूरी तरह से आंखों पर पट्टी बांध देते हैं, तो वे दुर्घटनाग्रस्त हो जाएंगे। LaViT एक "करिकुलम सेंसरी गेटिंग" तंत्र का उपयोग करता है। प्रशिक्षण की शुरुआत में, यह छात्र के सीधे दृश्य को आंशिक रूप से ब्लॉक कर देता है। यह छात्र को चीजों को समझने के लिए पूरी तरह से उन अदृश्य "थॉट टोकन" पर निर्भर रहने के लिए मजबूर करता है। जैसे-जैसे छात्र बेहतर होता जाता है, "आंखों की पट्टी" को धीरे-धीरे हटाया जाता है, जिससे उन्हें फिर से छवि देखने की अनुमति मिलती है, लेकिन अब वे आंतरिक रूप से दृश्य संकेतों को प्रोसेस करना सीख चुके होते हैं। यह रोबोट को केवल टेक्स्ट के आधार पर अनुमान लगाकर "आसान रास्ता" लेने से रोकता है।
उन्होंने क्या पाया
परिणाम आश्चर्यजनक रूप से शक्तिशाली थे। शोधकर्ताओं ने अपने नए 3-बिलियन-पैरामीटर मॉडल (जो अपेक्षाकृत छोटा और कॉम्पैक्ट है) का परीक्षण बहुत बड़े मॉडलों और यहाँ तक कि कुछ सबसे उन्नत प्रोप्रायटरी मॉडलों के खिलाफ किया।
- "छोटा दिग्गज" (The "Small Giant"): LaViT के साथ प्रशिक्षित उनके छोटे 3B मॉडल ने बड़े 7B मॉडलों को पीछे छोड़ दिया और कई जटिल विजुअल रीजनिंग कार्यों पर प्रसिद्ध GPT-4o को भी हरा दिया। उदाहरण के लिए, "रिलेटिव डेप्थ" (यह पता लगाना कि कौन सी वस्तु करीब है) नामक कार्य पर, LaViT ने 78.23% स्कोर किया, जबकि GPT-4o ने 64.52% स्कोर किया।
- भ्रम (Hallucinations) को ठीक करना: अध्ययन ने दिखाया कि इस पद्धति के बिना, मॉडल अक्सर "हैलुसिनेट" (चीजें बनाना) करते हैं जब वे बारीकी से नहीं देखते हैं। LaViT ने इसे काफी कम कर दिया, जिससे फाइन-ग्रेन्ड परसेप्शन टेस्ट पर प्रदर्शन में +16.94% तक सुधार हुआ।
- स्थिरता (Stability): शोधकर्ताओं ने यह भी पाया कि LaViT ने केवल शिक्षक की नकल नहीं की; यह वास्तव में अधिक स्थिर हो गया। जबकि विशाल शिक्षक मॉडल का कभी-कभी "लड़खड़ाता" हुआ गेज़ (gaze) होता था (समान छवियों के लिए थोड़ा अलग स्थानों को देखना), LaViT छात्र ने लेजर जैसी सटीकता के साथ ध्यान केंद्रित करना सीखा, बैकग्राउंड के शोर को अनदेखा किया और महत्वपूर्ण विवरणों पर ध्यान केंद्रित किया।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि AI को स्मार्ट बनाने का रहस्य केवल मॉडलों को बड़ा बनाना या उन्हें अधिक डेटा खिलाना नहीं है। यह उन्हें देखना सिखाने के बारे में है। AI को अपने अंतिम शब्दों के साथ अपने आंतरिक "विजुअल थॉट्स" को संरेखित करने के लिए मजबूर करके, LaViT एक ऐसा मॉडल बनाता है जो वास्तव में वह समझता है जो वह देखता है, न कि केवल वह अनुमान लगाता है जो उसे कहना चाहिए। यह एक ऐसे रोबोट के बीच का अंतर है जो मानचित्र को रटता है और एक ऐसे रोबोट के बीच का अंतर है जो वास्तव में इलाके में नेविगेट करना सीखता है। लेखक प्रस्ताव करते हैं कि यह दृष्टिकोण शक्तिशाली AI बनाने का एक अधिक कुशल तरीका हो सकता है, जो यह सिद्ध करता है कि एक छोटा, अच्छी तरह से प्रशिक्षित मस्तिष्क अक्सर एक बड़े, विचलित मस्तिष्क से बेहतर प्रदर्शन कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।