💬 NLP

OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks

OpenVLThinkerV2 एक सुदृढ़, सामान्य-उद्देश्य वाला मल्टीमॉडल रीजनिंग मॉडल है जो इंटर-टास्क ग्रेडिएंट इक्विटी और स्थिरता सुनिश्चित करने के लिए गॉसियन GRPO (G $^2$ RPO) को पेश करके और सूक्ष्म धारणा (fine-grained perception) के साथ बहु-चरणीय तर्क (multi-step reasoning) को प्रभावी ढंग से संतुलित करने के लिए नवीन रिस्पॉन्स लेंथ और एंट्रॉपी शेपिंग तंत्रों के माध्यम से विविध विजुअल कार्यों में श्रेष्ठ प्रदर्शन प्राप्त करता है।

मूल लेखक: Wenbo Hu, Xin Chen, Yan Gao-Tian, Yihe Deng, Nanyun Peng, Kai-Wei Chang

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenbo Hu, Xin Chen, Yan Gao-Tian, Yihe Deng, Nanyun Peng, Kai-Wei Chang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अराजक छात्र (AI मॉडल) को एक विशाल, बहु-विषयक परीक्षा के लिए प्रशिक्षित कर रहे हैं। इस परीक्षा में जटिल गणितीय समस्याओं को हल करने से लेकर, घने दस्तावेज़ों को पढ़ने, फोटो में वस्तुओं की पहचान करने और 3D स्थानों को नेविगेट करने तक सब कुछ शामिल है।

यह पेपर OpenVLThinkerV2 को पेश करता है, जो इस छात्र का एक नया संस्करण है जिसने बहुत अधिक प्रभावी ढंग से अध्ययन करना सीख लिया है। इसका असली रहस्य केवल "कड़ी मेहनत से पढ़ाई करना" नहीं है; बल्कि यह है कि छात्र को कैसे ग्रेड दिया जाता है और वह यह कैसे तय करता है कि उसे किस बारे में सोचना है।

यहाँ उनके तीन मुख्य नवाचारों का विवरण दिया गया, जिन्हें सरल उपमाओं के साथ समझाया गया है:

1. समस्या: "अनुचित ग्रेडिंग स्केल"

अतीत में, जब इन AI मॉडलों को प्रशिक्षित किया जाता था, तो शोधकर्ता GRPO नामक विधि का उपयोग करते थे। इसे एक ऐसे शिक्षक के रूप में सोचें जो एक कक्षा को ग्रेड दे रहा है जहाँ कुछ छात्र 10-प्रश्नों की गणित की क्विज़ (जिसे सही या गलत पाना आसान है) देते हैं और अन्य 100-पेज के निबंध परीक्षा (जहाँ स्कोर एक निरंतर संख्या है) देते हैं।

समस्या: शिक्षक ने इन ग्रेड्स को एक साधारण "औसत और फैलाव" (average and spread) फॉर्मूले का उपयोग करके सामान्य करने की कोशिश की। लेकिन क्योंकि गणित की क्विज़ के स्कोर या तो 0 या 100 होते हैं, और निबंध के स्कोर उनके बीच कहीं भी हो सकते हैं, इसलिए फॉर्मूला भ्रमित हो गया।
परिणाम: एक छात्र जिसने निबंध पर एक भाग्यशाली "परफेक्ट" स्कोर प्राप्त किया, उसने पूरी क्लास के ग्रेड को बिगाड़ दिया, जिससे शिक्षक ने अन्य छात्रों को बहुत अधिक सुधारने (over-correct) की कोशिश की। यह ऐसा था जैसे एक तेज़ शोर बाकी ऑर्केस्ट्रा की आवाज़ को दबा दे। AI को "ग्रेडिएंट एक्सप्लोशन्स" (gradient explosions) का सामना करना पड़ा—अनिश्चित रूप से अत्यधिक उतार-चढ़ाव के कारण, जो मूल रूप से एक पैनिक अटैक जैसा था क्योंकि फीडबैक बहुत अनियंत्रित और असंगत था।

2. समाधान A: "Gaussian GRPO" (द परफेक्ट कर्व)

लेखकों ने एक नई ग्रेडिंग प्रणाली पेश की जिसे G2RPO कहा जाता है।

उपमा: कल्पना कीजिए कि कच्चे स्कोर देखने के बजाय, शिक्षक हर टेस्ट को एक परफेक्ट, स्मूथ बेल कर्व (Gaussian distribution) पर फिट होने के लिए मजबूर करता है।
यह कैसे काम करता है: यदि कोई छात्र एक "भाग्यशाली" परफेक्ट स्कोर प्राप्त करता है, तो सिस्टम गणितीय रूप से कहता है, "ठीक है, यह बहुत अच्छा है, लेकिन इस विशिष्ट कर्व पर, यह केवल एक 'बहुत अच्छा' स्कोर माना जाएगा, न कि 'ईश्वर-तुल्य' (god-tier) स्कोर।" यदि किसी छात्र का स्कोर बहुत खराब है, तो उसे सीमित कर दिया जाता है ताकि वह पूरी क्लास को नीचे न खींच सके।
लाभ: यह निष्पक्षता पैदा करता है। चाहे वह गणित की समस्या हो, दस्तावेज़ स्कैन करना हो, या स्थानिक पहेली (spatial puzzle), AI को संतुलित और स्थिर फीडबैक मिलता है। यह मॉडल को एक अजीब आउटलायर स्कोर के कारण पागल होने से रोकता है। यह हर छात्र को एक व्यक्तिगत, निष्पक्ष रिपोर्ट कार्ड देने जैसा है जो विषय की परवाह किए बिना एक ही मानक में फिट बैठता है।

3. समाधान B: "Response Length Shaping" (द "कम बोलो, अधिक सोचो" कोच)

AI की एक आदत थी कि वह कार्य के आधार पर या तो बहुत अधिक बोलता था या बहुत कम।

समस्या:
- गणित/तर्क (Math/Reasoning) के लिए: AI कभी-कभी छोटा, आलसी उत्तर देता था जब उसे अपना "काम दिखाने" और गहराई से सोचने की आवश्यकता होती थी।
- विजुअल कार्यों (जैसे फोटो में बिल्ली ढूंढना) के लिए: AI कभी-कभी एक लंबी, भ्रमित करने वाली कहानी सुनाने लगता था जब एक सरल "हाँ, यह एक बिल्ली है" की आवश्यकता होती थी।
सुधार: लेखकों ने एक "लेंथ कोच" जोड़ा।
- गणित के लिए: कोच कहता है, "आपको एक लंबा स्पष्टीकरण लिखना होगा। सोचते रहो!"
- विजुअल्स के लिए: कोच कहता है, "ज़्यादा मत सोचो! बस मुझे सीधा उत्तर दो।"
परिणाम: AI यह सीख जाता है कि कब बातूनी होना है और कब संक्षिप्त रहना है, जिससे सटीकता बेहतर होती है और 'हैलुसिनेशन' (बनाई गई बातें) कम होती हैं।

4. समाधान C: "Entropy Shaping" (द "गोल्डिलॉक्स" ज़ोन)

AI के संदर्भ में, "एन्ट्रॉपी" (entropy) यादृच्छिकता या अन्वेषण का माप है।

एन्ट्रॉपी कोलैप्स (Entropy Collapse): AI बहुत आत्मविश्वासी हो जाता है और नई चीज़ें आज़माना बंद कर देता है। वह बस एक ही सुरक्षित, उबाऊ उत्तर दोहराता रहता है।
एन्ट्रॉपी एक्सप्लोजन (Entropy Explosion): AI बहुत ज़्यादा अनियंत्रित हो जाता है और केवल अलग दिखने के लिए बकवास या निरर्थक बातें उत्पन्न करने लगता है।

लेखकों ने एक "गोल्डिलॉक्स" गार्डरेल जोड़ा। उन्होंने AI कितना रैंडम हो सकता है, इसके लिए एक न्यूनतम और अधिकतम सीमा निर्धारित की।

यदि AI बहुत उबाऊ हो जाता है, तो गार्डरेल उसे थोड़ा और अन्वेषण करने के लिए प्रेरित करता है।
यदि AI बहुत ज़्यादा पागल हो जाता है, तो गार्डरेल उसे वापस वास्तविकता में खींच लाता है।
यह AI को उस "स्वीट स्पॉट" में रखता है जहाँ वह कठिन समस्याओं को हल करने के लिए पर्याप्त रचनात्मक है लेकिन विश्वसनीय होने के लिए पर्याप्त स्थिर भी है।

भव्य परिणाम: OpenVLThinkerV2

इन तीन सुधारों को जोड़कर:

निष्पक्ष ग्रेडिंग (G2RPO): AI को अजीब स्कोर पर घबराने से रोकता है।
लेंथ कोचिंग: AI को बताता है कि कब गहराई से सोचना है और कब त्वरित होना है।
गोल्डिलॉक्स गार्डरेल्स: AI को बहुत उबाऊ या बहुत पागल होने से रोकता है।

इसका परिणाम एक वास्तविक "जनरलिस्ट" (Generalist) मॉडल है। यह केवल एक चीज़ में उत्कृष्ट नहीं है; यह गणित, दस्तावेज़ पढ़ने, चार्ट समझने और स्पेस को नेविगेट करने में अविश्वसनीय रूप से मजबूत है। पेपर के परीक्षणों में, इस नए मॉडल ने न केवल अन्य ओपन-सोर्स मॉडलों को हराया, बल्कि बड़ी टेक कंपनियों (जैसे GPT-4o और Gemini 2.5 Pro) के सबसे शक्तिशाली, महंगे, क्लोज्ड-सोर्स मॉडलों को भी 18 विभिन्न प्रकार के विजुअल कार्यों में पीछे छोड़ दिया।

संक्षेप में: उन्होंने AI को सिखाया कि एक मानकीकृत परीक्षा निष्पक्ष रूप से कैसे ली जाती है, यह कैसे पता लगाया जाए कि कब चुप रहना है और कब बोलना है, और दबाव में शांत कैसे रहना है। परिणाम एक सुपर-स्मार्ट, ऑल-राउंड विजुअल थंकर है।

यहाँ शोध पत्र "OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र विविध दृश्य कार्यों (visual tasks) में मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) पर सुदृढीकरण शिक्षण (Reinforcement Learning - RL), विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) को लागू करने में आने वाली दो महत्वपूर्ण चुनौतियों को संबोधित करता है:

रिवॉर्ड टोपोलॉजी में अत्यधिक भिन्नता (Extreme Variance in Reward Topologies): विजुअल कार्य स्पार्स (sparse), बाइनरी रिवॉर्ड्स (जैसे, Math VQA, MCQs) से लेकर डेंस (dense), निरंतर रिवॉर्ड्स (जैसे, ग्राउंडिंग कार्यों में Intersection-over-Union) और स्पार्स रिग्रेशन सिग्नल्स (जैसे, OCR) तक फैले हुए हैं। मानक GRPO एक समूह के भीतर लीनियर स्केलिंग (मीन और वेरिएंस नॉर्मलाइजेशन) पर निर्भर करता है। यह दृष्टिकोण इंटर-टास्क ग्रेडिएंट इक्विटी (inter-task gradient equity) की गारंटी देने में विफल रहता है। यह निम्नलिखित के प्रति अत्यधिक संवेदनशील है:
- हेवी-टेल आउटलायर्स (Heavy-tail outliers): एक एकल विसंगतिपूर्ण (anomalous) रिवॉर्ड वेरिएंस को बढ़ा सकता है, जिससे सामान्य प्रतिक्रियाओं के लिए लर्निंग सिग्नल दब जाते हैं।
- असंतुलित अपडेट्स (Imbalanced updates): उच्च-वेरिएंस वाले कार्य ग्रेडिएंट अपडेट्स पर हावी हो जाते हैं, जबकि निम्न-वेरिएंस वाले कार्यों को दबा दिया जाता है।
- स्ट्रक्चरल पैथोलॉजीज़ (Structural pathologies): लीनियर ट्रांसफॉर्मेशन मूल वितरण के आकार (जैसे, बाइमोडल स्टेप फंक्शन्स) को संरक्षित रखते हैं, जिससे विविध कार्यों में निहित संरचनात्मक समस्याओं को सुचारू बनाने में विफलता होती है।
परसेप्शन बनाम रीजनिंग का संतुलन (Balancing Perception vs. Reasoning): MLLMs अक्सर सूक्ष्म दृश्य धारणा (fine-grained visual perception) (जिसके लिए संक्षिप्त, प्रत्यक्ष आउटपुट की आवश्यकता होती है) और बहु-चरणीय तर्क (multi-step reasoning) (जिसके लिए विस्तृत चेन्स ऑफ थॉट की आवश्यकता होती है) को एक साथ बनाए रखने में संघर्ष करते हैं। धारणा (perception) को बढ़ाने के मौजूदा तरीके अक्सर महंगी डेटा एनोटेशन या अतिरिक्त मॉड्यूल की मांग करते हैं, जो स्केलेबिलिटी को सीमित करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक OpenVLThinkerV2 का प्रस्ताव करते हैं, जो उपरोक्त समस्याओं को हल करने के लिए एक नवीन RL ऑब्जेक्टिव और टास्क-लेवल शेपिंग मैकेनिज्म को एकीकृत करता है।

A. गॉसियन GRPO (G2RPO)

लीनियर मानकीकरण के बजाय, G2RPO 1D ऑप्टिमल ट्रांसपोर्ट (OT) का उपयोग करके नॉन-लीनियर डिस्ट्रीब्यूशनल मैचिंग को नियोजित करता है।

मुख्य तंत्र (Core Mechanism): यह किसी भी दिए गए कार्य के एम्पिरिकल रिवॉर्ड डिस्ट्रीब्यूशन को सीधे एक स्टैंडर्ड नॉर्मल डिस्ट्रीब्यूशन, $N(0, 1)$ में मैप करता है।
कार्यान्वयन (Implementation):
1. रैंकिंग (Ranking): समूह के भीतर रिवॉर्ड्स को एम्पिरिकल प्रोबेबिलिटीज ( $p_i$ ) की गणना करने के लिए रैंक किया जाता है।
2. क्वांटाइल मैपिंग (Quantile Mapping): इन प्रोबेबिलिटीज को स्टैंडर्ड नॉर्मल डिस्ट्रीब्यूशन के इनवर्स क्युमुलेटिव डिस्ट्रीब्यूशन फंक्शन ( $\Phi^{-1}$ ) में मैप किया जाता है।
3. टाई-ब्रेकिंग (Tie-Breaking): समान रिवॉर्ड्स को उनके लक्षित क्वांटाइल्स का औसत दिया जाता है ताकि सुसंगत लर्निंग सिग्नल सुनिश्चित हो सके।
सैद्धांतिक लाभ (Theoretical Benefits):
- आउटलायर रोबस्टनेस (Outlier Robustness): गणितीय रूप से अत्यधिक रिवॉर्ड्स को उच्चतम क्वांटाइल पर कैप करता है, जिससे ग्रेडिएंट विस्फोट (gradient explosions) रुकते हैं।
- सिमेट्री (Symmetry): बाइमोडल या स्क्यूड (skewed) डिस्ट्रीब्यूशन को सिमेट्रिक गॉसियन टेल्स में बदल देता है, जिससे सकारात्मक और नकारात्मक रिवॉर्ड्स के लिए संतुलित अपडेट सुनिश्चित होता है।
- इंटर-टास्क इक्विटी (Inter-task Equity): सभी कार्यों को $N(0, 1)$ की ओर अभिसरित (converge) करके, यह विविध कार्यों में समान वेरिएंस सुनिश्चित करता है, जिससे जटिल मोमेंटम-आधारित हाइपरपैरामीटर्स (जैसे, EMA-GRPO में) की आवश्यकता समाप्त हो जाती है।

B. टास्क-लेवल शेपिंग मैकेनिज्म (Task-Level Shaping Mechanisms)

धारणा और तर्क को संतुलित करने के लिए, लेखक दो डायनेमिक शेपिंग मैकेनिज्म पेश करते हैं:

रिस्पॉन्स लेंथ शेपिंग (Response Length Shaping):
- लक्ष्य: जटिल प्रश्नों के लिए विस्तारित तर्क (reasoning) को प्रोत्साहित करना, जबकि विजन-केंद्रित कार्यों के लिए संक्षिप्त आउटपुट लागू करना ताकि मतिभ्रम (hallucinations) को रोका जा सके।
- विधि: एक ट्रेपेज़ॉइडल रिवॉर्ड एनवेलप (trapezoidal reward envelope) लागू किया जाता है। यह उन जनरेशन लेंथ्स को पुरस्कृत करता है जो एक इष्टतम रेंज ( $[L_{low}, L_{high}]$ ) के भीतर आती हैं और बहुत छोटी या बहुत लंबी लंबाई के लिए दंडित करती है।
- प्रभाव: यह मैथ/साइंस कार्यों के लिए "चेन ऑफ थॉट" को गतिशील रूप से प्रेरित करता है और OCR या ग्राउंडिंग कार्यों में "ओवरथिंकिंग" को कम करता है।
एन्ट्रॉपी शेपिंग (Entropy Shaping):
- लक्ष्य: एन्ट्रॉपी कोलैप्स (विजन कार्यों में उच्च-संभाव्यता वाले टोकन पर समयपूर्व अत्यधिक निर्भरता) और एन्ट्रॉपी एक्सप्लोजन (जटिल तर्क कार्यों में असंगत टेक्स्ट उत्पन्न करना) को रोकना।
- विधि: एक रेगुलराइजेशन लॉस ( $L_{ent\_reg}$ ) जोड़ा जाता है जो एन्ट्रॉपी को दंडित करता है यदि वह टास्क-विशिष्ट इष्टतम अंतराल $[H_{min}, H_{max}]$ से बाहर गिरती है।
- प्रभाव: यह मॉडल के एक्सप्लोरेशन ज़ोन को सीमित करता है, जिससे रीजनिंग-हैवी और परसेप्शन-हैवी दोनों डोमेन में स्थिर अभिसरण (convergence) सुनिश्चित होता है।

3. मुख्य योगदान (Key Contributions)

G2RPO ऑब्जेक्टिव: एक नया RL ट्रेनिंग ऑब्जेक्टिव जो इंटर-टास्क ग्रेडिएंट इक्विटी और आउटलायर्स के प्रति मजबूती सुनिश्चित करने के लिए लीनियर स्केलिंग को नॉन-लीनियर डिस्ट्रीब्यूशनल मैचिंग (1D ऑप्टिमल ट्रांसपोर्ट के माध्यम से) से बदल देता है।
टास्क-लेवल शेपिंग: रिस्पॉन्स लेंथ और एन्ट्रॉपी शेपिंग मैकेनिज्म का परिचय, जो बिना किसी अतिरिक्त मॉड्यूल या महंगी एनोटेशन के बारीक धारणा (perception) और बहु-चरणीय तर्क (reasoning) को गतिशील रूप से संतुलित करता है।
OpenVLThinkerV2: एक मजबूत, जनरल-पर्पस मल्टीमॉडल मॉडल जो ओपन-सोर्स मॉडल्स के बीच नए स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम स्थापित करता है, और विशिष्ट डोमेन में अग्रणी प्रोप्रायटरी फ्रंटियर मॉडल्स (जैसे, GPT-5, Gemini 2.5 Pro) को पछाड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन छह श्रेणियों में 18 विविध बेंचमार्क पर किया गया: जनरल VQA, मैथ VQA, चार्ट VQA, स्पेशियल रीजनिंग, डॉक्यूमेंट अंडरस्टैंडिंग, और विजुअल ग्राउंडिंग।

जनरल और मैथ रीजनिंग (General & Math Reasoning):
- MMMU: 71.6% (GPT-4o से आगे)।
- MathVista: 79.5% (GPT-4o से काफी अधिक मार्जिन)।
- MMBench: 88.2%।
डॉक्यूमेंट अंडरस्टैंडिंग (Document Understanding):
- OCRBench: 911 (विशेषीकृत मॉडल्स जैसे DeepEyesV2 और प्रोप्रायटरी मॉडल्स GPT-5 और Gemini 2.5 Pro से बेहतर प्रदर्शन)।
- DocVQA: 96.7%।
स्पेशियल रीजनिंग (Spatial Reasoning):
- EmbSpatial: 83.1% (उच्चतम प्रदर्शन, GPT-5 से बेहतर)।
- RoboSpatial: 63.2% (GPT-5 और Gemini 2.5 Pro से बेहतर)।
विजुअल ग्राउंडिंग (Visual Grounding):
- RefCOCO/+/g: 93.4%/88.2%/90.4% प्राप्त किया, जो विशेषज्ञ ग्राउंडिंग एक्सपर्ट्स जैसे Grounding DINO से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- G2RPO ने सबसे महत्वपूर्ण प्रारंभिक उछाल प्रदान किया।
- एन्ट्रॉपी शेपिंग जोड़ने से रीजनिंग कार्यों में सुधार हुआ।
- लेंथ शेपिंग जोड़ने से सभी डोमेन में व्यापक सुधार हुआ।
- सभी घटकों के संयोजन से उच्चतम प्रदर्शन प्राप्त हुआ।

5. महत्व (Significance)

स्केलेबिलिटी (Scalability): प्रस्तावित विधि पिछले धारणा-संवर्धन (perception-enhancement) तकनीकों की कम्प्यूटेशनल ओवरहेड और डेटा एनोटेशन लागतों से बचती है, जिससे यह मल्टी-डोमेन ट्रेनिंग के लिए अत्यधिक स्केलेबल हो जाती है।
सैद्धांतिक प्रगति (Theoretical Advancement): एक गॉसियन टोपोलॉजी को लागू करने के लिए ऑप्टिमल ट्रांसपोर्ट का उपयोग करके, यह शोध पत्र मल्टी-टास्क RL में "रिवॉर्ड हेटेरोजेनिटी" (reward heterogeneity) की समस्या के लिए एक गणितीय रूप से कठोर समाधान प्रदान करता है, जो अत्यधिक विविध वातावरणों में स्थिर प्रशिक्षण के लिए एक ब्लूप्रिंट प्रदान करता है।
जनरलिस्ट क्षमता (Generalist Capability): OpenVLThinkerV2 यह प्रदर्शित करता है कि एक एकल मॉडल प्रभावी रूप से "फास्ट" विजुअल परसेप्शन और "स्लो" लॉजिकल रीजनिंग दोनों में महारत हासिल कर सकता है, जो इस धारणा को चुनौती देता है कि इन क्षमताओं के लिए अलग-अलग, विशेष आर्किटेक्चर की आवश्यकता होती है।
ओपन सोर्स लीडरशिप (Open Source Leadership): OpenVLThinkerV2 ओपन-सोर्स MLLMs के लिए एक नया बेंचमार्क सेट करता है, यह सिद्ध करते हुए कि वे जटिल विजुअल रीजनिंग और ग्राउंडिंग कार्यों में अग्रणी प्रोप्रायटरी मॉडल्स की बराबरी और उनसे आगे निकल सकते हैं।