💻 computer science

Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning

यह शोध पत्र Vision-EKIPL का प्रस्ताव करता है, जो एक नवीन सुदृढीकरण शिक्षण (Reinforcement Learning) ढांचा है जो प्रशिक्षण के दौरान बाहरी सहायक मॉडलों से उच्च-गुणवत्ता वाले कार्यों को सम्मिलित करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की दृश्य तर्क क्षमताओं को बढ़ाता है, जिससे अन्वेषण स्थान का विस्तार होता है, अभिसरण (convergence) में तेजी आती है, और अत्याधुनिक तरीकों की तुलना में 5% तक प्रदर्शन सुधार प्राप्त होता है।

मूल लेखक: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

प्रकाशित 2026-05-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (जिसे पॉलिसी मॉडल कहा जाता है) को जटिल दृश्य पहेलियों (visual puzzles) को हल करना सिखाने की कोशिश कर रहे हैं, जैसे कि 3D दृश्य में वस्तुओं को गिनना या यह समझना कि आकार कैसे चलते हैं।

समस्या: "इको चैंबर" (गूँज कक्ष) का जाल

पारंपरिक रूप से, जब हम इन छात्रों को रीइन्फोर्समेंट लर्निंग (RL) नामक विधि का उपयोग करके प्रशिक्षित करते हैं, तो हम उन्हें अपने आप में कई उत्तर उत्पन्न करने के लिए कहते हैं। फिर हम सबसे अच्छे उत्तरों को पुरस्कृत करते हैं और खराब उत्तरों को दंडित करते हैं।

लेख तर्क देता है कि यह एक छात्र को केवल अपने स्वयं के नोट्स पढ़कर परीक्षा के लिए अध्ययन करने के लिए कहने जैसा है। वे जो पहले से जानते हैं उसे दोहराने में बेहतर हो सकते हैं, लेकिन वे एक "छत" (ceiling) से टकरा जाते हैं। वे समस्याओं को हल करने के नए, चतुर तरीके नहीं खोज पाते क्योंकि वे एक इको चैंबर में फंसे हुए हैं, जहाँ वे केवल अपने ही सीमित मस्तिष्क से विचारों को चुन रहे हैं। यह प्रशिक्षण को धीमा बनाता है और उनकी बुद्धिमत्ता की सीमा को सीमित करता है।

समाधान: Vision-EKIPL (एक "विशेषज्ञ पैनल" दृष्टिकोण)

लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे Vision-EKIPL कहा जाता है। इसे छात्र को अध्ययन करने में मदद करने के लिए बाहरी विशेषज्ञों (जैसे GPT-4 या Gemini) के एक पैनल को नियुक्त करने के रूप में समझें।

यह इस प्रकार काम करता है, चरण-दर-चरण:

समूह अध्ययन सत्र (The Group Study Session): केवल छात्र द्वारा उत्तर उत्पन्न करने के बजाय, सिस्टम दो स्रोतों से संभावित उत्तरों का एक समूह एकत्र करता है:
- छात्र के अपने प्रयास।
- "बाहरी विशेषज्ञों" (सहायक मॉडलों) द्वारा उत्पन्न उच्च-गुणवत्ता वाले उत्तर।
ग्रेडिंग (The Grading): एक शिक्षक (रिवॉर्ड फंक्शन) इन सभी उत्तरों को ग्रेड देता है। क्या छात्र ने गोलों (spheres) की सही संख्या गिनी? क्या उन्होंने सही प्रारूप का उपयोग किया?
चयन (The Selection): सिस्टम इस मिश्रित समूह में से शीर्ष प्रदर्शन करने वाले उत्तरों को चुनता है। महत्वपूर्ण बात यह है कि यदि किसी विशेषज्ञ मॉडल ने एक चतुर समाधान खोजा है जिसे छात्र चूक गया था, तो उस समाधान को भी "शीर्ष चयन" में शामिल किया जाता है।
पाठ (The Lesson): छात्र इस "सर्वश्रेष्ठ में से सर्वश्रेष्ठ" समूह से सीखता है। वे केवल अपनी गलतियों से नहीं सीख रहे हैं; उन्हें विशेषज्ञों के ज्ञान और तर्क रणनीतियों से समृद्ध किया जा रहा है।

उपमा: शतरंज का खिलाड़ी

कल्पना कीजिए कि एक शतरंज का खिलाड़ी बेहतर बनने की कोशिश कर रहा है।

पुराना तरीका (Standard RL): खिलाड़ी अपने खिलाफ ही 100 गेम खेलता है, कुछ जीतता है, और यह समझने की कोशिश करता है कि उसने क्या सही किया। वह शायद वही सुरक्षित, उबाऊ चालें चलते रहने के कारण फंस सकता है क्योंकि उसने कभी वह शानदार, जोखिम भरी चाल नहीं देखी जो उसे जिता सकती थी।
Vision-EKIPL: खिलाड़ी अपने खिलाफ 10 गेम खेलता है, लेकिन उसे ग्रैंडमास्टर्स द्वारा खेले गए 10 गेम देखने का भी मौका मिलता है। सिस्टम खिलाड़ी और ग्रैंडमास्टर्स दोनों के सर्वोत्तम मूव्स को चुनता है। खिलाड़ी फिर उन शीर्ष मूव्स का अध्ययन करता है। वह न केवल अपनी शैली सीखता है, बल्कि विशेषज्ञों की शानदार, जटिल रणनीतियों को भी सीखता है, जिससे उसकी कौशल की सीमा बहुत ऊपर तक बढ़ जाती है।

इस शोध पत्र ने क्या पाया

लेखकों ने विजुअल रीजनिंग कार्यों (जैसे वस्तुओं को गिनना, ज्यामिति को समझना और चलते हुए आकारों को ट्रैक करना) पर इस पद्धति का परीक्षण किया। उन्होंने पाया कि:

स्मार्ट परिणाम: Vision-EKIPL के साथ प्रशिक्षित मॉडल ने मानक तरीकों से प्रशिक्षित मॉडलों की तुलना में पहेलियों को बेहतर ढंग से हल किया, और पिछले "स्टेट-ऑफ-द-आर्ट" को लगभग 5% से पछाड़ दिया।
तेजी से सीखना: क्योंकि मॉडल को विशेषज्ञों से तुरंत अच्छे उत्तर देखने को मिलते हैं, इसलिए उसे अनुमान लगाने में समय बर्बाद करने की आवश्यकता नहीं होती है। वह तेजी से सीखता है और अधिक कुशलता से अभ्यासांतर (converge) होता है।
छत को तोड़ना (Breaking the Ceiling): सबसे महत्वपूर्ण निष्कर्ष यह है कि इस पद्धति ने वास्तव में मॉडल की तर्क सीमा (reasoning boundary) का विस्तार किया। जबकि मानक RL विधियाँ कभी-कभी मॉडलों को कम रचनात्मक (केवल सुरक्षित, ज्ञात रास्तों पर टिके रहना) बना देती हैं, Vision-EKIPL ने मॉडल को उन जटिल तरीकों को खोजने में मदद की जिन्हें वह अपने आप नहीं खोज सकता था।

संक्षेप में

Vision-EKIPL एक प्रशिक्षण पद्धति है जो AI मॉडलों को शून्य में सीखने से रोकती है। "विशेषज्ञ" AI मॉडलों के उच्च-गुणवत्ता वाले विचारों को अपने स्वयं के विचारों के साथ मिलाकर, यह उन्हें गहराई से सोचने, कठिन दृश्य पहेलियों को हल करने और बहुत तेजी से सीखने के लिए प्रशिक्षित करती है।

तकनीकी सारांश: Vision-EKIPL

समस्या विवरण (Problem Statement)

विजुअल रीजनिंग (दृश्य तर्क) एक महत्वपूर्ण संज्ञानात्मक क्षमता है जो आर्टिफिशियल जनरल इंटेलिजेंस (AGI) के लिए आवश्यक है, जो स्वायत्त नेविगेशन से लेकर दृश्य समझ जैसे अनुप्रयोगों तक विस्तृत है। जबकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से प्रगति की है, वर्तमान RL-आधारित दृष्टिकोण (जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन या GRPO) महत्वपूर्ण सीमाओं का सामना करते हैं। विशेष रूप से, ये विधियाँ केवल पॉलिसी मॉडल से ही एक्शन समूहों को सैंपल करती हैं। यह स्व-संदर्भित सैंपलिंग (self-referential sampling) मॉडल के अन्वेषण स्थान (exploration space) को उसकी अपनी अंतर्निहित क्षमताओं तक ही सीमित कर देती है, जिससे एक "रीजनिंग बाउंड्री" (तर्क सीमा) उत्पन्न होती है जो प्री-ट्रेंड फाउंडेशन मॉडल से आगे नहीं बढ़ पाती। इसके अलावा, मौजूदा RL विधियों को अक्सर धीमी अभिसरण दर (convergence rate) और कम प्रशिक्षण दक्षता का सामना करना पड़ता है, क्योंकि वे बाहरी मार्गदर्शन के बिना जटिल रीजनिंग पथों को खोजने के लिए मॉडल पर निर्भर करती हैं।

कार्यप्रणाली: Vision-EKIPL

इन सीमाओं को संबोधित करने के लिए, लेखक Vision-EKIPL (एक्सटर्नल नॉलेज-इन्फ्यूज्ड पॉलिसी लर्निंग) का प्रस्ताव करते हैं, जो एक नया RL फ्रेमवर्क है जो पॉलिसी ऑप्टिमाइजेशन प्रक्रिया में बाहरी सहायक मॉडल्स (auxiliary models) से उच्च-गुणवत्ता वाले एक्शन्स को एकीकृत करता है।

मुख्य ढांचा (Core Framework)

यह फ्रेमवर्क इस सिद्धांत पर कार्य करता है कि पॉलिसी मॉडल ( $\pi_\theta$ ) को निर्देशित करने के लिए RL ट्रेनिंग लूप के दौरान बाहरी ज्ञान को समाविष्ट किया जाए। इस प्रक्रिया में निम्नलिखित चरण शामिल हैं:

बहु-स्रोत एक्शन सैंपलिंग (Multi-Source Action Sampling):
पारंपरिक GRPO के विपरीत, जो केवल वर्तमान पॉलिसी से एक्शन सैंपल करता है, Vision-EKIPL एक संयुक्त एक्शन समूह $O$ को निम्न से सैंपल करता है:
- वर्तमान पॉलिसी मॉडल $\pi_\theta$ ।
- $M$ बाहरी सहायक मॉडल्स (जैसे, GPT-4o, Gemini-1.5-Pro), जिन्हें $\pi_{\phi_j}$ के रूप में दर्शाया गया है।
एक दिए गए स्टेट $s = (x, q)$ (विजुअल एनकोडिंग और प्रश्न) के लिए, सिस्टम पॉलिसी से $N$ एक्शन्स और प्रत्येक $M$ सहायक मॉडल्स से $N$ एक्शन्स सैंपल करता है।
रिवॉर्ड गणना (Reward Calculation):
सभी सैंपल किए गए एक्शन्स का मूल्यांकन एक रिवॉर्ड फंक्शन $R(o_i)$ द्वारा किया जाता है जिसमें दो घटक होते हैं:
- फॉर्मेट रिवॉर्ड ( $R_{format}$ ): यह सुनिश्चित करता है कि आउटपुट एक संरचित प्रारूप का पालन करता है (जैसे, <thought> टैग के भीतर तर्क और <answer> टैग के भीतर उत्तर)।
- एक्यूरेसी रिवॉर्ड ( $R_{acc}$ ): यदि अंतिम उत्तर सही है तो सकारात्मक रिवॉर्ड देता है, अन्यथा शून्य।
उच्च-गुणवत्ता वाले एक्शन का चयन (High-Quality Action Selection):
एक्शन्स के संयुक्त पूल को रिवॉर्ड वैल्यूज के आधार पर सॉर्ट किया जाता है। शीर्ष- $G$ एक्शन्स को एक उच्च-गुणवत्ता वाले एक्शन समूह $T$ बनाने के लिए चुना जाता है। यह समूह वर्तमान प्रशिक्षण चरण के लिए "विशेषज्ञ" (expert) ज्ञान आधार के रूप में कार्य करता है।
पॉलिसी ऑप्टिमाइजेशन (GRPO):
पॉलिसी मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) एल्गोरिदम का उपयोग करके अपडेट किया जाता है। चयनित समूह के प्रत्येक एक्शन के लिए एडवांटेज स्कोर $A_i$ को समूह के रिवॉर्ड के माध्य (mean) और मानक विचलन (standard deviation) के सापेक्ष परिकलित किया जाता है। पॉलिसी पैरामीटर्स $\theta$ को संदर्भ वितरण (reference distribution) के करीब रहने के लिए KL डाइवर्जेंस पेनल्टी बनाए रखते हुए अपेक्षित एडवांटेज को अधिकतम करने के लिए अपडेट किया जाता है।

गतिशील विकास (Dynamic Evolution)

पेपर ट्रेनिंग के दौरान एक्शन्स के स्रोत में एक गतिशील बदलाव (dynamic shift) को नोट करता है। शुरुआत में, पॉलिसी मॉडल बाहरी मॉडल्स के एक्शन्स पर बहुत अधिक निर्भर करता है क्योंकि इसकी अपनी रीजनिंग क्षमताएं कमजोर होती हैं। जैसे-जैसे प्रशिक्षण आगे बढ़ता है और पॉलिसी मॉडल में सुधार होता है, पॉलिसी मॉडल से स्वयं के एक्शन्स का अनुपात बढ़ता जाता है, जिससे यह अपने सीखे हुए रणनीतियों का लाभ उठाते हुए भी प्रारंभिक बाहरी मार्गदर्शन से लाभान्वित हो सकता है।

मुख्य योगदान (Key Contributions)

नया RL फ्रेमवर्क: Vision-EKIPL का प्रस्ताव, जो विजुअल रीजनिंग में पॉलिसी-मॉडल ऑप्टिमाइजेशन को निर्देशित करने के लिए बाहरी सहायक मॉडल्स से उच्च-गुणवत्ता वाले एक्शन्स का लाभ उठाने वाला पहला तरीका है।
विस्तारित रीजनिंग बाउंड्री (Expanded Reasoning Boundary): यह प्रदर्शन करना कि बाहरी एक्शन्स को शामिल करना पॉलिसी मॉडल के एक्शन एक्सप्लोरेशन स्पेस को प्रभावी ढंग से व्यापक बनाता है, जिससे यह उन रीजनिंग पथों की खोज कर पाता है जिन्हें एक एकल पॉलिसी मॉडल अनदेखा कर सकता है, जिससे रीजनिंग बाउंड्री का विस्तार होता है।
उन्नत दक्षता और प्रदर्शन: व्यापक प्रयोगों के माध्यम से सत्यापन कि यह फ्रेमवर्क अत्याधुनिक बेसलाइन्स की तुलना में प्रशिक्षण अभिसरण (training convergence) को काफी तेज करता है और समग्र रीजनिंग प्रदर्शन में सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Reason-RFT-CoT बेंचमार्क पर Vision-EKIPL का मूल्यांकन किया, जिसमें तीन कार्य श्रेणियां शामिल हैं: विजुअल काउंटिंग (Visual Counting), स्ट्रक्चर परसेप्शन (Structure Perception), और स्पेशियल ट्रांसफॉर्मेशन (Spatial Transformation)।

प्रदर्शन लाभ: Vision-EKLIPL ने बेंचमार्क पर अत्याधुनिक (SOTA) विधियों की तुलना में 5% तक प्रदर्शन सुधार हासिल किया।
इन-डोमेन (ID) परिणाम:
- विजुअल काउंटिंग पर, RL-आधारित विधियों (Vision-EKIPL सहित) ने 2B और 7B पैरामीटर स्केल में SFT-आधारित विधियों और बेसलाइन मॉडल्स को लगातार पीछे छोड़ दिया।
- स्पेशियल ट्रांसफॉर्मेशन पर, Vision-EKIPL ने उच्चतम प्रदर्शन प्राप्त किया, जिसने विशिष्ट आउट-ऑफ-डोमेन जनरलाइजेशन मेट्रिक्स में GPT-4o और Gemini-1.5-Pro जैसे प्रोप्राइटरी मॉडल्स को भी पछाड़ दिया।
आउट-ऑफ-डोमेन (OOD) जनरलाइजेशन:
- Vision-EKIPL ने SFT विधियों की तुलना में बेहतर जनरलाइजेशन प्रदर्शित किया। उदाहरण के लिए, 7B मॉडल पर, इसने विजुअल काउंटिंग में ANS-SFT को 19% से पीछे छोड़ दिया।
- स्पेशियल ट्रांसफॉर्मेशन में, 2B Vision-EKIPL मॉडल ने OOD कार्यों पर GPT-4o को 34% और Gemini-1.5-Pro को 47% से अधिक पीछे छोड़ दिया।
प्रशिक्षण दक्षता:
- Vision-EKIPL ने उच्च डेटा दक्षता प्रदर्शित की, जिसने बेसलाइन द्वारा आवश्यक प्रशिक्षण डेटा के केवल 12% से 25% का उपयोग करके Reason-RFT का प्रदर्शन प्राप्त किया।
रीजनिंग बाउंड्री विश्लेषण:
- Pass@K विश्लेषण से पता चला कि जबकि पारंपरिक RL (Reason-RFT) $K$ के बढ़ने के साथ बेस मॉडल से पीछे रह गया (जो ज्ञात पथों के अत्यधिक शोषण/over-exploitation का सुझाव देता है), Vision-EKIPL ने सभी $K$ मानों के लिए श्रेष्ठ प्रदर्शन बनाए रखा, जो इसकी रीजनिंग फ्रंटियर को आगे बढ़ाने की क्षमता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Vision-EKIPL पारंपरिक RL विधियों की अंतर्निहित सीमाओं को दूर करके विजुअल रीजनिंग अनुसंधान के लिए एक नया प्रभावी प्रतिमान (paradigm) प्रदान करता है। बाहरी मॉडल्स को "विशेषज्ञों" के रूप में मानकर जो डिस्टिल्ड सुपरविजन टारगेट प्रदान करते हैं, यह फ्रेमवर्क पॉलिसी मॉडल को विविध और नवीन रीजनिंग रणनीतियों को सीखने में सक्षम बनाता है जो केवल स्व-सैंपलिंग के माध्यम से अप्राप्य होतीं।

लेखक इस दृष्टिकोण को एक हाइब्रिड प्रतिमान के रूप में प्रस्तुत करते हैं जो (बाहरी एक्शन्स से ज्ञान आसवन/knowledge distillation के माध्यम से) सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट लर्निंग के तत्वों को जोड़ता है। वे दावा करते हैं कि यह विधि न केवल MLLMs के विजुअल रीजनिंग प्रदर्शन को महत्वपूर्ण रूप से बढ़ाती है बल्कि प्रशिक्षण अभिसरण को भी काफी तेज करती है। हालांकि प्राथमिक सत्यापन विजुअल रीजनिंग कार्यों पर है, लेखक सुझाव देते हैं कि इस फ्रेमवर्क में सामान्यता (generality) है और सैद्धांतिक रूप से इसे भाषाई और अन्य मल्टीमॉडल कार्यों पर भी लागू किया जा सकता है।