💻 computer science

Visual-Advantage On-Policy Distillation for Vision-Language Models

यह शोध पत्र विज़ुअल-एडवांटेज ऑन-पॉलिसी डिस्टिलेशन (VA-OPD) को प्रस्तुत करता है, जो विज़न-लैंग्वेज मॉडल्स के लिए एक नवीन प्रशिक्षण विधि है जो डिस्टिलेशन के दौरान विज़न-क्रिटिकल टोकन्स को अलग करने और प्राथमिकता देने के लिए टोकन-लेवल विज़ुअल एडवांटेज सिग्नल्स का लाभ उठाती है, जिससे विभिन्न टीचर मॉडल आकारों में गणितीय तर्क और विज़ुअल अंडरस्टैंडिंग बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Visual-Advantage On-Policy Distillation for Vision-Language Models" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "नकलची" छात्र (The "Copycat" Student)

कल्पना कीजिए कि आपके पास एक बहुत बुद्धिमान शिक्षक (एक बड़ा AI मॉडल) है जो चित्रों (diagrams) का उपयोग करके गणित के सवाल हल करने में माहिर है। आप एक छोटे और सस्ते छात्र AI को भी वही काम करने के लिए प्रशिक्षित करना चाहते हैं।

आमतौर पर, आप छात्र को एक समस्या हल करने देते हैं, और यदि वह सही उत्तर देता है, तो आप कहते हैं, "अच्छा काम किया! अब देखो कि शिक्षक ने इसे कैसे हल किया और उनके चरणों की नकल करो।" इसे डिस्टिलेशन (distillation) कहा जाता है।

चुनौती:
इस शोध पत्र में इस प्रक्रिया में एक छिपे हुए दोष का पता चला है। एक विशिष्ट गणित के सवाल में जिसमें एक चित्र होता है, AI द्वारा लिखे गए अधिकांश शब्द केवल "फिलर" या "ढांचा" (जैसे यह कहना कि "सबसे पहले, आइए आरेख को देखें" या "कोणों का योग है...") होते हैं। केवल बहुत कम शब्द वास्तव में चित्र पर आधारित होते हैं (जैसे किसी विशिष्ट संख्या को पढ़ना: "130 डिग्री")।

जब मानक प्रशिक्षण विधि काम करती है, तो वह छात्र द्वारा लिखे गए हर एक शब्द को समान रूप से महत्वपूर्ण मानती है। यह एक ऐसे शिक्षक की तरह है जो छात्र के निबंध को ग्रेड दे रहा है जहाँ वे "द" (The) जैसे शब्द को उतना ही महत्व देते हैं जितना कि महत्वपूर्ण संख्या "130" को।

परिणाम: छात्र शब्दों की तो पूरी तरह से नकल करना सीख जाता है, लेकिन वह वास्तव में चित्र को देखना नहीं सीखता। वह एक ऐसा "नकलची" बन जाता है जो शिक्षक के टेक्स्ट की नकल तो करता है, लेकिन दृश्य विवरणों (visual details) को अनदेखा कर देता है। यदि आप उसे थोड़ा अलग चित्र दिखाते हैं, तो वह विफल हो सकता है क्योंकि उसने कभी चित्र पर निर्भर रहना नहीं सीखा।

समाधान: "विजुअल एडवांटेज" (VA) का परिचय

शोधकर्ताओं ने एक नया तरीका बनाया जिससे यह मापा जा सके कि शिक्षक को प्रत्येक विशिष्ट शब्द लिखने के लिए वास्तव में चित्र की कितनी आवश्यकता थी। वे इसे विजुअल एडवांटेज (Visual Advantage - VA) कहते हैं।

इसे एक "क्या-होता-अगर" (What-If) परीक्षण की तरह समझें:

शिक्षक पूर्ण, उच्च-गुणवत्ता वाले चित्र को देखता है और एक वाक्य लिखता है।
फिर शिक्षक उसी चित्र के धुंधले (blurry/pixelated) संस्करण को देखता है (जहाँ छोटे विवरण गायब हैं) और उसी वाक्य को फिर से लिखने की कोशिश करता है।
अंतर: यदि शिक्षक धुंधले चित्र के साथ भी "द" (The) शब्द आसानी से लिख सकता है, तो उस शब्द का लो विजुअल एडवांटेज (Low Visual Advantage) है (यह केवल भाषा है)। लेकिन यदि शिक्षक संख्या "130" पर अटक जाता है या गलत अनुमान लगाता है क्योंकि धुंधला चित्र उसे छिपा देता है, तो उस शब्द का हाई विजुअल एडवांटेज (High Visual Advantage) है।

शोध पत्र में पाया गया कि हाई विजुअल एडवांटेज वाले शब्द दुर्लभ हैं (केवल लगभग 10% शब्द), लेकिन वे ही एकमात्र शब्द हैं जो वास्तव में छात्र को चित्र देखना सिखाते हैं।

VA-OPD कैसे काम करता है: "स्पॉटलाइट" विधि

नया तरीका, जिसे VA-OPD कहा जाता है, प्रशिक्षण के नियमों को बदल देता है ताकि छात्र उन दुर्लभ, महत्वपूर्ण शब्दों पर ध्यान केंद्रित कर सके। यह दो चतुर तरीकों से ऐसा करता है:

1. "सर्वश्रेष्ठ प्रयास" बोनस (Rollout-Level)

कभी-कभी, छात्र एक ही समस्या के कई अलग-अलग उत्तर उत्पन्न करता है।

पुराना तरीका: सभी प्रयासों के साथ समान व्यवहार करें।
VA-OPD तरीका: यह जाँचता है कि किस प्रयास ने चित्र पर सबसे अधिक भरोसा किया (जिसका "विजुअल एडवांटेज" सबसे अधिक था)। यह उस विशिष्ट प्रयास को एक बोनस वेट (bonus weight) देता है, छात्र को निर्देश देता है, "यह वह है जहाँ आपने वास्तव में चित्र को देखा था; इसे सीखने के लिए इस पर अतिरिक्त ध्यान दें।"

2. "वीआईपी सेक्शन" (Token-Level)

एक ही उत्तर के भीतर, यह विधि शब्दों को दो समूहों में विभाजित करती है:

वीआईपी (VIPs - High VA): वे शब्द जो चित्र पर निर्भर हैं (जैसे चार्ट से पढ़ी गई संख्याएँ)।
रेगुलर (Regulars - Low VA): फिलर शब्द (जैसे "इसलिए", "है", "और")।

सीखने के संकेत (learning signal) को सभी शब्दों में औसत करने के बजाय (जो वीआईपी को कमजोर कर देता है), VA-OPD वीआईपी के लिए लर्निंग स्कोर की गणना अलग से करता है। यह सुनिश्चित करता है कि छात्र को दृश्य भागों को सीखने के लिए एक मजबूत "धक्का" मिले, बिना उस संकेत के हजारों उबाऊ फिलर शब्दों में दब जाने के।

परिणाम: स्मार्ट, न कि केवल तेज़

शोधकर्ताओं ने गणित और दृश्य तर्क (visual reasoning) कार्यों पर इसका परीक्षण किया। यहाँ क्या हुआ:

बेहतर सटीकता: VA-OPD के साथ प्रशिक्षित छात्रों ने पुराने तरीके की तुलना में उच्च स्कोर प्राप्त किया।
वास्तविक दृश्य सीखना: सबसे महत्वपूर्ण खोज यह है कि छात्रों ने केवल उत्तरों को रटा नहीं। जब शोधकर्ताओं ने जाँच की, तो पाया कि VA-OPD छात्र वास्तव में समस्याओं को हल करने के लिए चित्रों पर अधिक निर्भर होने लगे थे। जैसे-जैसे वे स्मार्ट हुए, उनके "विजुअल एडवांटेज" स्कोर भी बढ़े।
स्केलिंग अप: यह विधि तब और भी बेहतर काम करती है जब एक बड़ा, अधिक बुद्धिमान शिक्षक या अधिक प्रशिक्षण डेटा का उपयोग किया जाता है। यह भ्रमित नहीं हुआ; यह बस महत्वपूर्ण दृश्य सुरागों को पहचानने में और बेहतर हो गया।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप एक बच्चे को टोकरी में फल पहचानना सिखा रहे हैं।

मानक प्रशिक्षण: आप उन्हें एक सेब की तस्वीर दिखाते हैं और कहते हैं, "यह एक लाल, गोल फल है जो पेड़ों पर उगता है।" बच्चा "लाल, गोल, पेड़ों पर उगता है" वाक्य को याद कर लेता है लेकिन वास्तव में सेब के आकार या रंग को पहचानना नहीं सीखता।
VA-OPD प्रशिक्षण: आप महसूस करते हैं कि बच्चे को केवल "लाल" और "गोल" शब्दों पर ध्यान देने की आवश्यकता है क्योंकि वे ही साबित करते हैं कि यह एक सेब है। आप "पेड़ों पर उगता है" जैसे शब्दों को अनदेखा कर देते हैं (जो नाशपाती पर भी लागू हो सकते हैं) और हर बार जब बच्चा "लाल" और "गोल" वाले हिस्से को सही पहचानता है, तो आप उसे एक विशेष इनाम देते हैं।
परिणाम: बच्चा सेब का वर्णन रटने के बजाय, वास्तव में सेब को देखना सीख जाता है।

संक्षेप में: यह शोध पत्र AI प्रशिक्षण के एक अंधे मोड़ (blind spot) को ठीक करता है, जिससे छोटे मॉडल केवल टेक्स्ट की नकल करने के बजाय वास्तव में चित्रों को देखना सीखते हैं।

तकनीकी सारांश: विज़ुअल-एडवांटेज ऑन-पॉलिसी डिस्टिलेशन फॉर विज़न-लैंग्वेज मॉडल्स

1. समस्या विवरण (Problem Statement)

ऑन-पॉलिसी नॉलेज डिस्टिलेशन (knowledge distillation) ने अपने स्वयं के जनरेटेड रोलआउट्स (rollouts) पर टीचर के आउटपुट डिस्ट्रीब्यूशन से मेल खाने के लिए स्टूडेंट को प्रशिक्षित करके लार्ज लैंग्वेज मॉडल्स (LLMs) को कंप्रेस करने में प्रभावशीलता सिद्ध की है। हालाँकि, इस प्रतिमान (paradigm) को विज़न-लैंग्वेज मॉडल्स (VLMs) पर लागू करने से एक महत्वपूर्ण विसंगति सामने आती है: मानक डिस्टिलेशन सभी टोकन के साथ समान व्यवहार करता है, जो भाषा के ढांचे (language scaffolding) और उन टोकन के बीच अंतर करने में विफल रहता है जो वास्तव में सूक्ष्म दृश्य साक्ष्यों (fine-grained visual evidence) पर निर्भर करते हैं।

लेखक देखते हैं कि विशिष्ट VLM रोलआउट्स में, अधिकांश टोकन भाषा के टेम्पलेट्स या रीजनिंग स्ट्रक्चर के रूप में कार्य करते हैं, जबकि केवल एक छोटा अल्पसंख्यक ही सूक्ष्म विवरणों (जैसे, आरेख में विशिष्ट संख्याएँ) पर निर्भर होता है। मानक कुलबैक-लीब्लर (KL) डाइवर्जेंस मिनिमाइजेशन सभी टोकन पर समान रूप से ग्रेडिएंट्स को औसत (average) करता है। फलस्वरूप, कुछ विज़ुअल-क्रिटिकल टोकन में मौजूद मजबूत सुपरविजन सिग्नल का क्षरण (dilution) प्रचुर मात्रा में मौजूद आसपास के भाषा टोकनों द्वारा हो जाता है। परिणामतः, जबकि स्टूडेंट के आउटपुट की सटीकता में सुधार हो सकता है, विज़ुअल इनपुट पर इसकी अंतर्निहित निर्भरता मजबूत नहीं होती है; स्टूडेंट सतह-स्तर के टेक्स्ट की नकल करना सीख जाता है बिना वास्तव में इमेज पर ध्यान देने (attend) के।

2. कार्यप्रणाली: विज़ुअल-एडवांटेज ऑन-पॉलिसी डिस्टिलेशन (VA-OPD)

इस क्षरण को संबोधित करने के लिए, लेखक विज़ुअल-एडवांटेज ऑन-पॉलिसी डिस्टिलेशन (VA-OPD) प्रस्तावित करते हैं, जो उन टोकन की पहचान करता है और उन्हें प्राथमिकता देता है जिन्हें सूक्ष्म विज़ुअल विवरणों की आवश्यकता होती है।

2.1 विज़ुअल एडवांटेज (VA)

मुख्य नैदानिक उपकरण (diagnostic tool) विज़ुअल एडवांटेज (VA) है, जो टोकन-स्तरीय मीट्रिक है जो सूक्ष्म विज़ुअल विवरणों पर टीचर की निर्भरता को मापता है। प्रत्येक स्टूडेंट-जनरेटेड रोलआउट में प्रत्येक टोकन $y_t$ के लिए, VA की गणना मूल इमेज ( $v$ ) और एक डिग्रेडेड इमेज ( $\tilde{v}$ ) के बीच नॉन-नेगेटिवली रेक्टिफाइड लॉग-प्रोबेबिलिटी अंतर के रूप में की जाती है, जहाँ सूक्ष्म विवरणों (जैसे, OCR, छोटे प्रतीक) को डाउनसैंपलिंग के माध्यम से नष्ट कर दिया गया है:
$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$
उच्च VA इंगित करता है कि टोकन प्रेडिक्शन सूक्ष्म विज़ुअल विवरणों पर भारी रूप से निर्भर है, जबकि कम VA यह सुझाव देता है कि टोकन भाषाई प्रायोरिटी (language priors) या मजबूत ग्लोबल इमेज फीचर्स पर निर्भर है।

2.2 मुख्य अवलोकन

स्टूडेंट रोलआउट्स के अनुभवजन्य विश्लेषण (empirical analysis) से दो महत्वपूर्ण गुण प्रकट होते हैं:

स्पार्सिटी (Sparsity): VA हेवी-टेल्ड (heavy-tailed) है; शीर्ष 10% टोकन कुल VA मास का लगभग 93% हिस्सा रखते हैं।
सुपरविजन कंसंट्रेशन (Supervision Concentration): हाई-VA टोकन पर KL लॉस को मास्क करने से सटीकता में महत्वपूर्ण गिरावट आती है, जबकि लो-VA या रैंडम टोकन को मास्क करने का नगण्य प्रभाव पड़ता है। यह पुष्टि करता है कि विज़ुअल सुपरविजन सिग्नल टोकन के एक छोटे अल्पसंख्यक में केंद्रित है।

2.3 VA-OPD ऑब्जेक्टिव

VA-OPD मानक ऑन-पॉलिसी डिस्टिलेशन ऑब्जेक्टिव को संशोधित करता है और सिग्नल के क्षरण को रोकने के लिए दो स्तरों पर VA लागू करता है:

रोलआउट-लेवल रीवेटिंग (Rollout-Level Rewetting): एक ही प्रॉम्प्ट के लिए जनरेट किए गए $K$ सिब्लिंग रोलआउट्स के सेट के लिए, प्रत्येक रोलआउट को अपने सिब्लिंग्स के सापेक्ष अपने ट्राजेक्टरी-एवरेज VA के आधार पर एक सॉफ्ट वेट असाइन किया जाता है। उच्च विज़ुअल निर्भरता वाले रोलआउट अधिक ग्रेडिएंट में योगदान देते हैं।
टोकन-लेवल ग्रुपड KL (Token-Level Grouped KL): प्रत्येक रोलआउट के भीतर, टोकन को VA द्वारा सॉर्ट किया जाता है और एक हाई-VA ग्रुप (शीर्ष अंश, जैसे, 20%) और एक लो-VA ग्रुप (शेष भाग) में विभाजित किया जाता है। प्रत्येक ग्रुप के भीतर प्रति-टोकन KL लॉस को अलग से औसत निकाला जाता है और फिर उन्हें जोड़ा जाता है। यह सुनिश्चित करता है कि क्रिटिकल हाई-VA टोकन का ग्रेडिएंट योगदान कुल सीक्वेंस लेंथ $T$ द्वारा कम न किया जाए।

अंतिम लॉस फंक्शन इन घटकों को जोड़ता है:
$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$
जहाँ $w^{(k)}$ रोलआउट वेट है, और $\lambda$ हाई-VA और लो-VA ग्रुप के योगदान को संतुलित करता है।

3. मुख्य योगदान

डाइल्यूशन (Dilution) समस्या की पहचान: लेखक प्रदर्शित करते हैं कि VLMs के लिए मानक ऑन-पॉलिसी डिस्टिलेशन विज़ुअल निर्भरता को मजबूत करने में विफल रहता है क्योंकि यूनिफॉर्म KL वेटिंग, टोकन के एक छोटे अल्पसंख्यक में केंद्रित विज़ुअल सुपरविजन सिग्नल को पतला (dilute) कर देती है।
विज़ुअल एडवांटेज (VA) का परिचय: वे VA को एक टीचर-रिलेटिव काउंटरफैक्चुअल मीट्रिक के रूप में प्रस्तावित करते हैं जो अतिरिक्त एनोटेशन या रिवॉर्ड मॉडल की आवश्यकता के बिना टोकन-स्तरीय विज़ुअल डिपेंडेंसी को मापता है।
VA-OPD फ्रेमवर्क: वे एक डिस्टिलेशन ऑब्जेक्टिव पेश करते है जो विज़न-क्रिटिकल पोजीशंस पर लर्निंग सिग्नल को केंद्रित करने के लिए दो स्तरों (रोलआउट रीवेटिंग और टोकन-लेवल ग्रुपड KL) पर VA का उपयोग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को तीन टीचर साइज़ (4B, 8B, 32B), दो डेटासेट (Geometry3K, ViRL39K), और आठ बेंचमार्क पर Qwen3-VL फैमिली (8B टीचर, 2B स्टूडेंट) पर टेस्ट किया गया, जो स्टैंडर्ड बेसलाइन्स पर निरंतर सुधार दिखाता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Geometry3K पर प्रशिक्षित Qwen3-VL फैमिली (8B टीचर, 2B स्टूडेंट) पर VA-OPD का मूल्यांकन किया, जिसमें ViRL39K पर जनरलाइजेशन टेस्ट और विभिन्न टीचर साइज़ शामिल थे।

प्रदर्शन लाभ (Performance Gains): VA-OPD ने सभी आठ बेंचमार्क पर Standard OPD को पछाड़ा।
- गणितीय तर्क (Mathematical Reasoning): औसत सुधार +2.9 अंक।
- विज़ुअल अंडरस्टैंडिंग (Visual Understanding): औसत सुधार +1.5 अंक।
- विशिष्ट बेंचमार्क: HallusionBench (+2.5) और AI2D (+2.4) जैसे कार्यों पर उल्लेखनीय लाभ देखे गए, जो सूक्ष्म विज़ुअल विवरणों पर अत्यधिक निर्भर हैं। टेक्स्ट-ओनली शॉर्टकट (जैसे, MMStar) वाले बेंचमार्क पर कम लाभ देखा गया, जो विधि के विज़ुअल डिपेंडेंसी पर फोकस के अनुरूप है।
स्केलिंग लॉज़ (Scaling Laws): Standard OPD की तुलना में VA-OPD का प्रदर्शन लाभ टीचर साइज़ (4B से 32B तक) और डेटा स्केल (Geometry3K से ViRL39K तक) दोनों के साथ निरंतर बढ़ता गया, जो बताता है कि कारक लगातार बढ़ते (compound) हैं।
विज़ुअल रिलायंस (Visual Reliance): ट्रेनिंग के दौरान, VA-OPD के लिए स्टूडेंट रोलआउट्स का मीन VA, एक्यूरेसी के साथ तालमेल बिठाते हुए बढ़ा, जबकि Standard OPD में एक्यूरेसी बढ़ी लेकिन VA स्थिर रहा। यह दर्शाता है कि VA-OPD केवल आउटपुट मिमिक्री के बजाय वास्तविक विज़ुअल रिलायंस प्राप्त करता है।
दक्षता (Efficiency): VA-OPD ने Standard OPD की अंतिम एक्यूरेसी लगभग 3.0x तेजी से प्राप्त की और फिक्स्ड टाइम बजट पर उच्च प्रदर्शन सीमा (performance ceiling) तक पहुँचा।

5. महत्व और दावे

पेपर का दावा है कि VA-OPD VLMs के लिए ऑन-पॉलिसी डिस्टिलेशन टारगेट में सीधे तौर पर सूक्ष्म विज़ुअल विवरणों पर प्रति-टोकन निर्भरता को एम्बेड करने वाला पहला तरीका है। इसका महत्व यहाँ है:

मैकेनिज्म: यह डिस्टिलेशन प्रक्रिया के दौरान विज़ुअल-क्रिटिकल टोकन को भाषा के ढांचे (language scaffolding) से स्पष्ट रूप से अलग करके "डाइल्यूशन" की समस्या को हल करता है।
दक्षता: इसके लिए किसी अतिरिक्त एनोटेशन, रिवॉर्ड मॉडल, या स्टूडेंट के जनरेशन प्रोसेस में बदलाव की आवश्यकता नहीं है, यह केवल प्रति रोलआउट एक अतिरिक्त टीचर फॉरवर्ड पास (डिग्रेडेड विज़ुअल डिटेल के साथ) जोड़ता है।
सामान्यीकरण (Generalizability): विधि विभिन्न मॉडल स्केल्स और डेटा वॉल्यूम में प्रदर्शन में सुधार करती है, जो यह सुझाव देती है कि यह किसी विशिष्ट डेटासेट आर्टिफैक्ट के बजाय वर्तमान VLM डिस्टिलेशन रणनीतियों की एक मौलिक सीमा को संबोधित करती है।
गुणात्मक बदलाव (Qualitative Shift): इंफरेंस-टाइम विधियों के विपरीत जो डिकोडिंग को संशोधित करती हैं, VA-OPD ट्रेनिंग टारगेट को संशोधित करता है ताकि यह सुनिश्चित हो सके कि स्टूडेंट इमेज को "पढ़ना" सीखे, जैसा कि न्यूमेरिकल वैल्यूज और डायग्राम फीचर्स पर VA हॉटस्पॉट्स के गुणात्मक विज़ुअलाइज़ेशन से सिद्ध होता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि VA, आंतरिक अटेंशन मैकेनिज्म के प्रत्यक्ष माप के बजाय टीचर काउंटरफैक्चुअल्स पर आधारित विज़ुअल डिपेंडेंसी का एक प्रॉक्सी है, और इसके लाभ विज़ुअल-इंटेंसिव कार्यों पर सबसे अधिक स्पष्ट हैं।