Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models
यह शोध पत्र Insight-V++ प्रस्तुत करता है, जो एक एकीकृत मल्टी-एजेंट फ्रेमवर्क है जो नवीन ST-GRPO और J-GRPO एल्गोरिदम के साथ एक स्केलेबल, स्व-सुधार वाली पाइपलाइन का उपयोग करके लॉन्ग-चेन विजुअल रीजनिंग डेटा की कमी को संबोधित करता है ताकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में स्थानिक-कालिक (spatial-temporal) रीजनिंग क्षमताओं को महत्वपूर्ण रूप से बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एलेक्स (Alex) नाम का एक बेहद प्रतिभाशाली लेकिन थोड़ा विचलित रहने वाला जीनियस है। एलेक्स तस्वीरें और वीडियो देखने में तो माहिर है, लेकिन जब आप उससे कोई कठिन सवाल पूछते हैं जैसे, "गेंद नीचे गिरने के बजाय ऊपर क्यों गई?", तो एलेक्स जल्दबाजी में जवाब देने लगता है, चाल (trick) में उलझ जाता है, और गलत परिणाम दे देता है।
आपने जो पेपर साझा किया है, वह एलेक्स (और अन्य AI मॉडल्स) को एक सच्चा विजुअल डिटेक्टिव (दृश्य जासूस) बनाने का एक नया तरीका पेश करता है। वे इस सिस्टम को Insight-V और इसके अपग्रेड संस्करण Insight-V++ कहते हैं।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल शब्दों में:
1. समस्या: "जल्दबाजी में जवाब देने" का जाल
वर्तमान AI मॉडल्स उन छात्रों की तरह हैं जो गलत होने से डरते हैं, इसलिए वे प्रश्न की पहली पंक्ति पढ़ते ही तुरंत उत्तर का अनुमान लगाने लगते हैं। वे कदम-दर-कदम सोचने के लिए समय नहीं लेते।
- समस्या: जब आप उनसे कोई जटिल विजुअल पहेली हल करने को कहते हैं (जैसे कि एक वीडियो जहाँ कैमरा उल्टा है), तो वे खो जाते हैं। उनके पास "कैसे सोचें" के उदाहरणों की एक विशाल लाइब्रेरी भी नहीं होती क्योंकि इंसान उन्हें लिखने के लिए बहुत धीमे होते हैं।
2. समाधान: "डिटेक्टिव और जज" की टीम
एक ही रोबोट को सब कुछ करने के लिए प्रशिक्षित करने के बजाय, शोधकर्ताओं ने काम को दो विशिष्ट भूमिकाओं में विभाजित कर दिया, जिससे एक मल्टी-एजेंट सिस्टम बना:
- रीज़निंग एजेंट (डिटेक्टिव - जासूस): इस रोबोट का एकमात्र काम तस्वीर या वीडियो को देखना और जो कुछ भी हो रहा है उसके बारे में एक लंबी, विस्तृत कहानी लिखना है। उसे अभी अंतिम उत्तर की परवाह नहीं है; वह बस सुराग ढूंढना चाहता है। "चरण 1: आदमी उल्टा लटका हुआ है। चरण 2: गेंद छत की ओर बढ़ रही है..."
- समरी एजेंट (जज - न्यायाधीश): यह रोबोट डिटेक्टिव की कहानी पढ़ता है। यह एक सख्त संपादक की तरह काम करता है। यह जाँचता है: "क्या यह तर्क सही है? क्या डिटेक्टिव ने कोई सुराग छोड़ दिया? क्या अंतिम निष्कर्ष सही है?" फिर यह अंतिम उत्तर देता है।
उपमा (Analogy): इसे एक अदालत की तरह समझें। डिटेक्टिव सबूत इकट्ठा करता है और एक मामला बनाता है। जज सबूतों की समीक्षा करता है, तर्क में कमियों की जाँच करता है, और फिर फैसला सुनाता है। यदि जज देखता है कि डिटेक्टिव ने गलती की है, तो वह कह सकता है, "रुको, यह समझ में नहीं आ रहा," और पुनर्मूल्यांकन के लिए मजबूर कर सकता है।
3. सीक्रेट सॉस: मानव शिक्षकों के बिना सिखाना
सबसे बड़ी बाधा यह थी: आप एक AI को बेहतर डिटेक्टिव बनने के लिए कैसे सिखा सकते हैं बिना हजारों इंसानों को सबक लिखने के लिए नियुक्त किए?
शोधकर्ताओं ने एक सेल्फ-इंप्रूविंग फैक्ट्री (स्वयं सुधारने वाली फैक्ट्री) बनाई:
- जेनरेटर (Generator): उन्होंने AI का उपयोग अपनी स्वयं की अभ्यास समस्याएँ और "सोचने के मार्ग" बनाने के लिए किया।
- स्कोरर (Scorer): उन्होंने इन मार्गों को ग्रेड देने के लिए एक सुपर-स्मार्ट AI का उपयोग किया। "यह तर्क 90/100 है। यह वाला 20/100 है क्योंकि इसने उल्टे कैमरे वाली चाल को मिस कर दिया।"
- लूप (Loop): AI केवल 90/100 वाले उदाहरणों से सीखता है। वह फिर से प्रयास करता है, ग्रेड प्राप्त करता है, और अपनी गलतियों से सीखता है।
उपमा: कल्पना कीजिए कि एक छात्र एक अभ्यास निबंध लिखता है, एक सख्त शिक्षक द्वारा उसे ग्रेड दिया जाता है, और फिर वह फीडबैक के आधार पर तुरंत उसे फिर से लिखता है। वह इसे तब तक बार-बार करता है जब तक कि वह एक परफेक्ट निबंध न लिख ले। AI इसे स्वचालित रूप से लाखों बार करता है, जिससे वह अपने स्वयं के "पाठ्यपुस्तक" का निर्माण करता है।
4. अपग्रेड: Insight-V++ (समय यात्री)
पहला संस्करण (Insight-V) स्थिर तस्वीरों (static photos) को देखने में बहुत अच्छा था। लेकिन वास्तविक दुनिया चलती है! वीडियो कठिन होते हैं क्योंकि वस्तुएं अपनी स्थिति बदलती हैं, और समय बीतता है।
Insight-V++ ने वीडियो को संभालने के लिए दो नए सुपरपावर जोड़े:
- ST-GRPO (टाइम-ट्रैकर): यह एक विशेष प्रशिक्षण विधि है जो "डिटेक्टिव" को समय पर ध्यान देने के लिए मजबूर करती है। यह सीखता है कि यदि एक गेंद ऊपर फेंकी जाती है, तो उसे बाद में नीचे आना ही होगा। यह वीडियो के विभिन्न फ्रेम्स के बीच के संबंधों को जोड़ता है।
- J-GRPO (क्वालिटी कंट्रोल): यह "जज" को और भी सख्त होने के लिए प्रशिक्षित करता है। यह वीडियो के बारे में डिटेक्टिव की कहानी में सूक्ष्म त्रुटियों को पहचानने में सक्षम होता है।
उपमा: यदि Insight-V एक अपराध स्थल की फोटो देखने वाला डिटेक्टिव था, तो Insight-V++ सुरक्षा कैमरे का फुटेज देखने वाला डिटेक्टिव है। उसे संदिग्ध के लॉबी से लिफ्ट तक जाने के क्रम को ट्रैक करना होता है, यानी घटनाओं के क्रम को समझना होता है, न कि केवल एक एकल स्नैपशॉट को।
5. परिणाम: एक विकसित होता हुआ मस्तिष्क
सबसे रोमांचक बात यह है कि यह सिस्टम विकसित (evolve) होता है।
- "जज" फीडबैक देता है।
- "डिटेक्टिव" बेहतर होता जाता है, जिससे "जज" का काम आसान हो जाता है।
- वे इस नए, उच्च-गुणवत्ता वाले डेटा को खुद को फिर से प्रशिक्षित करने के लिए सिस्टम में वापस डालते हैं।
यह एक वीडियो गेम की तरह है जहाँ AI खुद के खिलाफ खेलता है, हर राउंड में बेहतर होता है, और अंततः एक ग्रैंडमास्टर बन जाता है बिना किसी इंसान के कंट्रोलर को छुए।
सारांश
यह पेपर एक ऐसे सिस्टम को प्रस्तुत करता है जो AI को अनुमान लगाने से रोकता है और उसे सोचना शुरू करवाता है। एक सोचने वाले (Thinker) और एक जांचने वाले (Checker) में काम को विभाजित करके, और उन्हें फीडबैक के लूप का उपयोग करके खुद को प्रशिक्षित करने देकर, उन्होंने एक ऐसा AI बनाया जो फोटो और वीडियो दोनों में जटिल विजुअल पहेलियों को हल कर सकता है, और अक्सर बहुत बड़े, महंगे मॉडल्स से बेहतर प्रदर्शन करता है।
संक्षेप में: उन्होंने AI को धीरे होने, कदम-दर-कदम सोचने, अपने काम की जाँच करने और अपनी गलतियों से सीखने के लिए सिखाया, जिससे एक "अनुमान लगाने वाली मशीन" को "तर्क करने वाली मशीन" में बदल दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।