💬 NLP

Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation

Vision-OPD एक सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सूक्ष्म-स्तरीय विज़ुअल समझ को बढ़ाता है, जो एक फुल-इमेज पॉलिसी को अपने स्वयं के जनरेटेड रोलआउट्स पर क्रॉप-कंडीशन्ड टीचर के बेहतर प्रदर्शन की नकल करने के लिए प्रशिक्षित करता है, जिससे मॉडल को बिना किसी बाहरी पर्यवेक्षण या टूल्स के प्रासंगिक साक्ष्य पर ध्यान केंद्रित करने के लाभों को आत्मसात करने में सक्षम बनाया जा सके।

मूल लेखक: Qianhao Yuan, Jie Lou, Xing Yu, Hongyu Lin, Le Sun, Xianpei Han, Yaojie Lu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qianhao Yuan, Jie Lou, Xing Yu, Hongyu Lin, Le Sun, Xianpei Han, Yaojie Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, भीड़भाड़ वाले कमरे में एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपको जो सुराग चाहिए वह एक शेल्फ पर छिपी एक बहुत ही छोटी, विशिष्ट वस्तु है। यदि आप एक साथ पूरे कमरे को देखते हैं, तो आपकी आँखें फर्नीचर, लोगों और सजावट से अभिभूत हो सकती हैं, और आप सुराग को पूरी तरह से मिस कर सकते हैं। आप कमरे के सामान्य माहौल के आधार पर उत्तर का अनुमान लगा सकते हैं, लेकिन आप गलत होंगे।

हालाँकि, यदि कोई आपको एक आवर्धक लेंस (magnifying glass) थमा दे और सीधे उस विशिष्ट शेल्फ की ओर इशारा करे, तो आप तुरंत सुराग देख पाएंगे और रहस्य सुलझा लेंगे।

यह ठीक वही समस्या है जिसे Vision-OPD पेपर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (AI जो देख सकता है और बात कर सकता है) के साथ संबोधित करता है।

समस्या: "ज़ूम" का अंतर (The "Zoom" Gap)

शोधकर्ताओं ने कुछ अजीब देखा। जब उन्होंने एक AI से एक तस्वीर के बहुत छोटे विवरण के बारे में सवाल पूछा (जैसे "ईयर प्रोटेक्टर्स का रंग क्या है?"), तो यदि उसे पूरी इमेज दिखाई गई, तो AI अक्सर गलत हो जाता था। लेकिन, यदि उन्हें उस विशिष्ट क्षेत्र का केवल एक ज़ूम-इन क्रॉप (zoomed-in crop) दिखाया गया, तो वह हर बार सही उत्तर देता था।

इससे एक "गैप" का पता चला: AI चीजों को पहचानने में बुरा नहीं है; यह बस सही चीज़ पर ध्यान केंद्रित करने में बुरा है जब सब कुछ एक साथ भीड़भाड़ वाला हो। यह एक ऐसे छात्र की तरह है जो उत्तर जानता तो है, लेकिन कक्षा के शोर से विचलित हो जाता है।

पुराना तरीका: "सोचने वाला" रोबोट (The "Thinking" Robot)

कुछ हालिया AI विधियों ने AI को एक "रोबोटिक एजेंट" देकर इसे ठीक करने की कोशिश की, जो बातचीत के दौरान ज़ूम करने और करीब से देखने के लिए बटन क्लिक कर सके। हालांकि यह काम करता था, लेकिन यह धीमा और महंगा था क्योंकि AI को रुकना पड़ता था, सोचना पड़ता था, एक फोटो लेनी पड़ती थी, ज़ूम करना पड़ता था और फिर जारी रखना पड़ता था। यह एक जासूस से पूछने जैसा था कि जवाब देने से पहले हर कोने को चेक करने के लिए कमरे में बार-बार इधर-उधर जाए।

समाधान: Vision-OPD (द "सेल्फ-टीचिंग" ट्रिक)

इस पेपर के लेखकों चाहते थे कि वे AI को अपने ही दिमाग के अंदर "ज़ूम" करना सिखाएं, ताकि वह बिना रुके और बिना किसी टूल का उपयोग किए, एक ही नज़र में सही उत्तर दे सके।

उन्होंने एक विधि बनाई जिसे Vision-OPD (ऑन-पॉलिसी डिस्टिलेशन) कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) यहाँ दी गई है:

"जुड़वां" उपमा (The "Twin" Analogy):
कल्पना कीजिए कि आपके पास दो समान जुड़वां हैं जो दोनों छात्र हैं।

शिक्षक जुड़वां (The Teacher Twin): इस जुड़वां को सुराग की एक बड़ी, ज़ूम-इन की हुई फोटो दी गई है। क्योंकि दृश्य इतना स्पष्ट है, यह जुड़वां उत्तर को पूरी तरह से जानता है।
छात्र जुड़वां (The Student Twin): इस जुड़वां को पूरी, अस्त-व्यस्त फोटो दी गई है। वे उत्तर खोजने की कोशिश कर रहे हैं लेकिन बार-बार विचलित हो रहे हैं।

प्रशिक्षण प्रक्रिया (The Training Process):
इन्हें ग्रेड करने के लिए किसी मानव शिक्षक को काम पर रखने के बजाय, शोधकर्ताओं ने जुड़वाओं को एक-दूसरे को सिखाने दिया।

छात्र जुड़वां अस्त-व्यस्त फोटो के आधार पर प्रश्न का उत्तर देने का प्रयास करता है।
जैसे ही छात्र शब्द-दर-शब्द अपना उत्तर लिखता है, शिक्षक जुड़वां (जो ज़ूम-इन फोटो देखता है), फुसफुसाता है, "नहीं, वह शब्द नहीं। अगला शब्द यह होना चाहिए, क्योंकि मैं सुराग को स्पष्ट रूप से देख पा रहा हूँ।"
छात्र शिक्षक की "फुसफुसाहट" (अगले शब्द की संभावना/probability) को सुनता है और अपने मस्तिष्क को शिक्षक के फोकस के साथ तालमेल बिठाने के लिए समायोजित करता है।

महत्वपूर्ण रूप से, छात्र यह अभ्यास अपने खुद के उत्तर लिखते समय करता है (केवल किसी टेक्स्टबुक की नकल नहीं कर रहा है)। यह सुनिश्चित करता है कि छात्र वास्तविक समय में अस्त-व्यस्त फोटो को संभालने का तरीका सीखे, न कि केवल एक स्क्रिप्ट को याद करे।

यह क्यों विशेष है

अधिकांश AI प्रशिक्षण के लिए एक "गोल्ड स्टैंडर्ड" उत्तर कुंजी (जैसे लाल पेन वाला शिक्षक) या शिक्षक के रूप में एक बहुत शक्तिशाली, महंगी AI की आवश्यकता होती है।

कोई बाहरी शिक्षक नहीं: Vision-OPD उसी AI मॉडल का उपयोग शिक्षक और छात्र दोनों के रूप में करता है। यह AI को खुद को केंद्रित करना सिखाने जैसा है।
कोई उत्तर कुंजी नहीं: इसे "सही" उत्तर पहले से जानने की आवश्यकता नहीं है। इसे बस इतना जानने की आवश्यकता है कि "ज़ूम-इन दृश्य" पूरे दृश्य की तुलना में अधिक आत्मविश्वासी है।
एक ही नज़र में: प्रशिक्षित होने के बाद, AI को बातचीत के दौरान ज़ूम करने की आवश्यकता नहीं होती है। इसने पूरी तस्वीर देखते हुए भी छोटे विवरणों को "देखने" की क्षमता को आत्मसात कर लिया है, बिल्कुल एक मानव विशेषज्ञ की तरह जो कमरे के दूसरे छोर से भी पेंटिंग में कमी को पहचान सकता है।

परिणाम

पेपर ने विभिन्न कठिन विजुअल पहेलियों पर इसका परीक्षण किया। उन्होंने पाया कि:

इस पद्धति से प्रशिक्षित छोटे AI मॉडल (4 बिलियन या 9 बिलियन पैरामीटर्स) विशाल, महंगे मॉडल्स (जैसे 397 बिलियन पैरामीटर्स) या शीर्ष स्तर के क्लोज्ड-सोर्स मॉडल्स (जैसे GPT-5 या Gemini) की तुलना में सूक्ष्म विवरणों को पहचानने में बेहतर हो गए।
मॉडल्स ने न केवल उन विशिष्ट पहेलियों में सुधार किया जिनका उन्होंने अभ्यास किया था, बल्कि उन्होंने अन्य कार्यों को करने की अपनी क्षमता भी नहीं खोई।
पूरी तस्वीर देखने और ज़ूम-इन भाग देखने के बीच का "गैप" समाप्त हो गया। AI ने स्वचालित रूप रूप से साक्ष्यों पर ध्यान केंद्रित करना सीख लिया।

संक्षेप में, Vision-OPD एक चतुर तकनीक है जो AI को मानसिक रूप से "ज़ूम इन" करना सिखाती है, जिससे एक विचलित छात्र को अतिरिक्त टूल्स, महंगे शिक्षकों या उत्तर कुंजियों के बिना एक केंद्रित विशेषज्ञ में बदला जा सकता है।

तकनीकी सारांश: Vision-OPD

समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) वर्तमान में बारीक विजुअल समझ (fine-grained visual understanding) में एक महत्वपूर्ण बाधा का सामना कर रहे हैं। हालांकि ये मॉडल सामान्य दृश्य बोध में उत्कृष्ट हैं, लेकिन वे अक्सर तब विफल हो जाते हैं जब उत्तर उन सूक्ष्म विवरणों पर निर्भर करते हैं जो एक छवि के केवल एक छोटे से हिस्से में होते हैं। लेखक एक रीजनल-टू-ग्लोबल परसेप्शन गैप (regional-to-global perception gap) की पहचान करते हैं: एक MLLM अक्सर साक्ष्य-केंद्रित क्रॉप (रीजनल इनपुट) पर आधारित होने पर बारीक सवालों के जवाब सही देता है, लेकिन संबंधित पूर्ण छवि (ग्लोबल इनपुट) पर आधारित होने पर विफल हो जाता है।

यह अवलोकन बताता है कि विफलता स्थानीय पहचान की कमी के कारण नहीं है, बल्कि घने ग्लोबल विजुअल कॉन्टेक्स्ट के भीतर प्रासंगिक साक्ष्य पर ध्यान केंद्रित करने में असमर्थता के कारण है। मौजूदा समाधान, जैसे कि "थिंकिंग-विथ-इमेजेस" एजेंटिक मॉडल, MLLMs को इन्फरेंस के दौरान क्रॉप और ज़ूम करने के लिए टूल्स से लैस करके इसे हल करने का प्रयास करते हैं। हालांकि, ये विधियाँ बार-बार इमेज एनकोडिंग और मॉडल कॉल्स के कारण पर्याप्त इन्फरेंस ओवरहेड पेश करती हैं। इस शोध पत्र द्वारा संबोधित मुख्य चुनौती यह है: क्या विजुअल ज़ूमिंग के लाभ को प्रशिक्षण के माध्यम से आंतरिक रूप से (internalized) विकसित किया जा सकता है ताकि मॉडल बिना किसी अतिरिक्त टूल उपयोग या बाहरी पर्यवेक्षण के पूर्ण छवि से बारीक साक्ष्य का उपयोग कर सके?

कार्यप्रणाली (Methodology): Vision-OPD

यह शोध पत्र Vision-OPD (Vision On-Policy Distillation) का प्रस्ताव करता है, जो एक रीजनल-टू-ग्लोबल सेल्फ-डिस्टिलेशन फ्रेमवर्क है। यह विधि मॉडल के अपने विशेषाधिकार प्राप्त क्षेत्रीय बोध (privileged regional perception) का उपयोग उसके ग्लोबल बोध को सुपरवाइज करने के लिए करती है।

1. डेटा सिंथेसिस (Data Synthesis)

यह फ्रेमवर्क ट्रिपलट्स $\{(x_i, x'_i, q_i)\}$ के एक डेटासेट का उपयोग करता है, जहाँ:

$x_i$ : पूर्ण छवि (full image)।
$x'_i$ : $x_i$ का साक्ष्य-केंद्रित क्रॉप (evidence-centered crop)।
$q_i$ : क्रॉप से उत्तर देने योग्य एक बारीक प्रश्न।
डेटा को रॉ इमेजेस में छोटे क्षेत्रों का पता लगाकर, उन क्षेत्रों के विशिष्ट प्रश्न उत्पन्न करके, और स्थानिक बाधाएं (spatial constraints) प्रदान करने के लिए पूर्ण छवि पर बाउंडिंग बॉक्स ओवरले करके सिंथेसाइज किया गया है। यह प्रक्रिया बिना ग्राउंड-ट्रुथ लेबल के 6.2K सिंथेटिक ट्रेनिंग सैंपल्स प्रदान करती है।

2. डुअल-पॉलिसी आर्किटेक्चर (Dual-Policy Architecture)

Vision-OPD एक ही MLLM ( $p_\theta$ ) से दो कंडीशनल पॉलिसियाँ इंस्टेंटिएट करता है:

टीचर पॉलिसी ( $p_T$ ): साक्ष्य-केंद्रित क्रॉप ( $x'$ ) और प्रश्न ( $q$ ) पर आधारित होती है। यह एक "विशेषाधिकार प्राप्त" (privileged) दृश्य प्रदान करता है जहाँ बारीक विवरण स्पष्ट होते हैं।
स्टूडेंट पॉलिसी ( $p_S$ ): पूर्ण छवि ( $x$ ) और प्रश्न ( $q$ ) पर आधारित होती है। यह मानक इन्फरेंस स्थितियों की नकल करती है।

3. ऑन-पॉलिसी सेल्फ-डिस्टिलेशन ऑब्जेक्टिव (On-Policy Self-Distillation Objective)

पारंपरिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), जो डिस्ट्रीब्यूशन मिसमैच से ग्रस्त है, या वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR), जो स्पार्स सीक्वेंस-लेवल फीडबैक प्रदान करता है, के विपरीत, Vision-OPD ऑन-पॉलिसी सैंपलिंग के साथ डेंस टोकन-लेवल सुपरविजन का उपयोग करता है।

रोलआउट जनरेशन (Rollout Generation): स्टूडेंट पूर्ण छवि से एक रिस्पॉन्स ट्रेजेक्टरी $y$ जेनरेट करता है ( $y \sim p_S(\cdot | x, q)$ )।
डाइवर्जेंस मिनिमाइजेशन (Divergence Minimization): स्टूडेंट की ट्रेजेक्टरी में प्रत्येक टोकन पोजीशन $n$ के लिए, मॉडल टीचर ( $p_T(\cdot | x', q, y_{<n})$ ) और स्टूडेंट ( $p_S(\cdot | x, q, y_{<n})$ ) दोनों के लिए नेक्स्ट-टोकन डिस्ट्रीब्यूशन की गणना करता है।
लॉस फंक्शन (Loss Function): ऑब्जेक्टिव स्टूडेंट के अपने रोलआउट्स के साथ टीचर और स्टूडेंट डिस्ट्रीब्यूशन के बीच अपेक्षित प्रति-टोकन डाइवर्जेंस (Generalized Jensen–Shannon Divergence, JSD का उपयोग करके) को कम करता है:
$L_{Vision-OPD}(\theta) = \mathbb{E}_{(x,x',q) \sim D} \left[ \mathbb{E}_{y \sim p_S(\cdot|x,q)} \left[ D(p_T \parallel p_S)(y | x, x', q) \right] \right]$

महत्वपूर्ण रूप से, ग्रेडिएंट्स केवल स्टूडेंट पॉलिसी के माध्यम से प्रवाहित होते हैं। टीचर एक फिक्स्ड टारगेट के रूप में कार्य करता है (जिसे एक्सपोनेंशियल मूविंग एवरेज के माध्यम से रेगुलराइज किया गया है) जो विशेषाधिकार प्राप्त क्रॉप पर आधारित है। यह सेटअप मॉडल को बिना किसी बाहरी टीचर, ग्राउंड-ट्रुथ लेबल, रिवॉर्ड वेरिफायर, या इन्फरेंस-टाइम टूल उपयोग के, "ज़ूमिंग" के लाभ को आंतरिक रूप से आत्मसात करने की अनुमति देता है।

मुख्य योगदान (Key Contributions)

रीजनल-टू-ग्लोबल सेल्फ-डिस्टिलेशन फॉर्मूलेशन: यह पेपर एक नया ट्रेनिंग सिग्नल पेश करता है जहाँ एक मॉडल का क्रॉप-कंडीशन्ड व्यवहार उसके फुल-इमेज इन्फरेंस व्यवहार के लिए विशेषाधिकार प्राप्त सुपरविजन के रूप में कार्य करता है।
Vision-OPD फ्रेमवर्क: ऑन-पॉलिसी सेल्फ-डिस्टिलेशन का एक विशिष्ट कार्यान्वयन जो रीजनल व्यू से ग्लोबल व्यू में डेंस टोकन-लेवल नॉलेज को ट्रांसफर करता है, जिससे बाहरी टीचर या लेबल किए गए डेटा की आवश्यकता समाप्त हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि Vision-OPD महत्वपूर्ण रूप से रीजनल-टू-ग्लोबल गैप को कम करता है और सामान्य रीजनिंग क्षमताओं को बनाए रखते हुए बारीक कार्यों (fine-grained tasks) पर प्रदर्शन में सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने V Bench*, ZoomBench, HR Bench (4K/8K), और MME-RealWorld सहित कई बेंचमार्क्स पर Vision-OPD का मूल्यांकन किया।

प्रदर्शन बनाम SOTA: Vision-OPD मॉडल्स (4B और 9B पैरामीटर्स) ने बहुत बड़े ओपन-सोर्स मॉडल्स (जैसे Qwen3.5-397B), क्लोज्ड-सोर्स मॉडल्स (जैसे GPT-5.4, Gemini-3.1-Pro), और "थिंकिंग-विथ-इमेजेस" एजेंटिक मॉडल्स की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन किया। विशेष रूप से, Vision-OPD-9B ने औसत फाइन-ग्रेंड स्कोर पर GPT-5.4 और Gemini-3.1-Pro को पछाड़ दिया।
ट्रेनिंग रणनीतियों के साथ तुलना: Vision-OPD ने सेल्फ-टीचर्स पर SFT, RLVR मेथड्स (GRPO, DAPO), और OPSD (जो ग्राउंड-ट्रुथ लेबल पर निर्भर है) सहित वैकल्पिक ट्रेनिंग रणनीतियों को पछाड़ दिया।
सामान्यीकरण (Holdout Tasks): उन तरीकों के विपरीत जिनमें होल्डआउट टास्क (जैसे MMVP, CV-Bench) पर "फॉरगेटिंग" देखी गई, Vision-OPD ने सामान्य मल्टीमॉडल रीजनिंग क्षमताओं को बनाए रखा या उनमें सुधार किया, जो दर्शाता है कि लाभ 'फॉरगेटिंग' की कीमत पर नहीं आए।
गैप रिडक्शन: विश्लेषण ने दिखाया कि Vision-OPD ट्रेनिंग ने रीजनल और ग्लोबल इनपुट्स के बीच सटीकता के अंतर को लगातार कम किया, प्रभावी रूप से मॉडल को पूर्ण छवि से साक्ष्य प्राप्त करना सिखाया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Vision-OPD, MLLMs में बारीक विजुअल समझ को बढ़ाने के लिए एक सरल, प्रभावी और कुशल मार्ग प्रदान करता है। इसका प्राथमिक महत्व है:

ज़ूमिंग को आंतरिक बनाना (Internalizing Zooming): यह सफलतापूर्वक विजुअल ज़ूमिंग के लाभों को मॉडल के पैरामीटर्स में समाहित करता है, जिससे एजेंटिक टूल उपयोग के इन्फरेंस लेटेंसी के बिना, एक सिंगल फॉरवर्ड पास में उच्च-प्रदर्शन वाली बारीक समझ संभव होती है।
लेबल-फ्री एफिशिएंसी: यह बाहरी मजबूत टीचर्स, ग्राउंड-ट्रुथ लेबल, या रिवॉर्ड वेरिफायर्स की आवश्यकता के बिना, इसके अपने विशेषाधिकार प्राप्त रीजनल व्यूज पर भरोसा करते हुए, इन लाभों को प्राप्त करता है।
स्केलेबिलिटी: यह विधि छोटे मॉडल्स (4B/9B) को काफी बड़े मॉडल्स से आगे निकलने की अनुमति देती है, जो यह सुझाव देता है कि बारीक समझ की बाधा केवल पैरामीटर स्केल नहीं है, बल्कि प्रासंगिक साक्ष्य पर ध्यान केंद्रित करने की क्षमता है, जिसे सेल्फ-डिस्टिलेशन के माध्यम से सीखा जा सकता है।