🤖 AI

Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward

परसेप्शन-R1 (Perception-R1), चेन-ऑफ-थॉट (Chain-of-Thought) एनोटेशन से प्राप्त एक नवीन विजुअल परसेप्शन रिवॉर्ड को पेश करके मल्टीमॉडल परसेप्शन को बढ़ाने में मौजूदा RLVR विधियों की सीमा को संबोधित करता है, जो न्यूनतम प्रशिक्षण डेटा के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने के लिए मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की परसेप्शन और रीजनिंग दोनों क्षमताओं को प्रभावी ढंग से बढ़ाता है।

मूल लेखक: Tong Xiao, Xin Xu, Zhenya Huang, Hongyu Gao, Quan Liu, Qi Liu, Enhong Chen

प्रकाशित 2026-03-04

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tong Xiao, Xin Xu, Zhenya Huang, Hongyu Gao, Quan Liu, Qi Liu, Enhong Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहद बुद्धिमान लेकिन थोड़े अनाड़ी छात्र को चित्रों और शब्दों वाले जटिल पहेलियों को हल करना सिखा रहे हैं। यह छात्र एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) है—एक सुपर-स्मार्ट AI जो चित्रों को "देख" सकता है और टेक्स्ट को "पढ़" सकता है।

लंबे समय तक, शोधकर्ताओं ने इन छात्रों को बेहतर बनाने के लिए एक विधि का उपयोग किया जिसे RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) कहा जाता है। इसे एक सख्त शिक्षक के रूप में सोचें जो केवल तभी गोल्ड स्टार देता है जब छात्र अंतिम उत्तर सही देता है। यदि उत्तर सही है, तो उसे इनाम मिलता है। यदि वह गलत है, तो उसे कुछ नहीं मिलता।

समस्या: "लकी गेस" (किस्मत से सही अनुमान) का जाल

पेपर, जिसका शीर्षक Perception-R1 है, ने इस "केवल उत्तर" वाली ग्रेडिंग प्रणाली में एक बड़ी खामी खोजी।

कल्पना कीजिए कि एक छात्र एक ज्यामिति (geometry) आरेख देख रहा है। वे एक रेखा को गलत पहचानते हैं, एक त्रिभुज को वर्ग समझ लेते हैं, और चित्र का वर्णन पूरी तरह से गलत करते हैं। हालांकि, किस्मत से या अंत में सही संख्या का अनुमान लगाकर, उन्हें सही अंतिम उत्तर मिल जाता है।

पुराना शिक्षक (एकरेंसी-ओनली RLVR): "बहुत बढ़िया! तुमने उत्तर सही दिया! यह लो गोल्ड स्टार!"
परिणाम: छात्र ने सीखा कि यह मायने नहीं रखता कि उन्होंने वास्तवं में चित्र को सही ढंग से देखा या नहीं। उन्हें बस सही संख्या का अनुमान लगाना आना चाहिए। वे अनुमान लगाने में तो माहिर हो जाते हैं, लेकिन वास्तव में जो वे देख रहे हैं उसे समझने में बहुत खराब हो जाते हैं।

लेखकों ने एक परीक्षण चलाया (जिसे मैक्नेमर टेस्ट कहा जाता) और पाया कि इस विधि के साथ प्रशिक्षण के बाद, AI की वास्तव में देखने (परसेप्शन) की क्षमता में कोई सुधार नहीं हुआ। वे बस बेहतर अनुमान लगाने में सक्षम हो गए थे।

समाधान: Perception-R1

लेखकों ने Perception-R1 प्रस्तावित किया। केवल अंतिम उत्तर को ग्रेड करने के बजाय, उन्होंने एक विजुअल परसेप्शन रिवॉर्ड (दृश्य धारणा पुरस्कार) पेश किया।

यहाँ उपमा (analogy) दी गई है:
कल्पना कीजिए कि अब शिक्षक के पास एक आवर्धक लेंस (magnifying glass) और एक चेकलिस्ट है।

चेकलिस्ट: छात्र के शुरू करने से पहले, शिक्षक (एक सुपर-स्मार्ट AI सहायक का उपयोग करके) "विजुअल फैक्ट्स" की एक सूची बनाता है जिन्हें चित्र में देखना अनिवार्य है (जैसे, "यह एक वृत्त है," "यह रेखा 10 यूनिट लंबी है," "यह कोण 90 डिग्री है")।
नई ग्रेडिंग: जब छात्र समस्या हल करता है, तो शिक्षक दो चीजें जाँचता है:
- क्या उन्होंने अंतिम उत्तर सही दिया? (पुराना गोल्ड स्टार)।
- क्या उन्होंने अपनी सोचने की प्रक्रिया में चित्र का सही वर्णन किया? (नया "परसेप्शन स्टार")।

यदि छात्र सही उत्तर प्राप्त करता है लेकिन चित्र का वर्णन गलत करता है, तो उन्हें पूरा इनाम नहीं मिलता। उन्हें पूरा इनाम तभी मिलता है जब वे चित्र को सटीक रूप से "देखते" हैं और समस्या को हल करते हैं।

यह कैसे काम करता है (जादुई सामग्रियां)

"विजुअल एनोटेशन्स": टीम ने मौजूदा गणित की समस्याओं को लिया और एक सुपर-स्मार्ट AI को उन्हें चरण-दर-चरण हल करने के लिए कहा। फिर उन्होंने उस विशिष्ट विजुअल विवरण को निकाला जिसका उल्लेख AI ने किया था (जैसे, "त्रिज्या 26 है") ताकि "चेकलिस्ट" बनाई जा सके।
"जज" (न्यायाधीश): प्रशिक्षण के दौरान, एक अलग AI (जज) छात्र की सोचने की प्रक्रिया को पढ़ता है और उसे चेकलिस्ट के विरुद्ध जाँचता है। यदि छात्र सही विजुअल विवरणों का उल्लेख करता है, तो उसे अंक मिलते हैं।
परिणाम: AI को मजबूर किया जाता है कि वह केवल उत्तर का अनुमान लगाने से पहले चित्र को ध्यान से देखना शुरू करे।

यह क्यों महत्वपूर्ण है

परिणाम आश्चर्यजनक और प्रभावशाली थे:

डेटा दक्षता (Data Efficiency): पुराने तरीकों को सीखने के लिए सैकड़ों हजारों उदाहरणों की आवश्यकता थी। Perception-R1 ने केवल 1,442 उदाहरणों का उपयोग करके सर्वश्रेष्ठ परिणाम प्राप्त किए। यह एक छात्र को जासूस बनने के लिए प्रशिक्षित करने जैसा है, जिसमें आपने उसे केवल क्या अनुमान लगाना है, यह नहीं बल्कि कैसे देखना है, यह सिखाया है।
बेहतर तर्क (Reasoning): "आंखों" (परसेप्शन) को ठीक करके, "दिमाग" (रीजनिंग) बहुत स्मार्ट हो गया। AI ने बेसबॉल की गेंदों की गलत गिनती करने या आकृतियों को गलत पहचानने जैसी मूर्खतापूर्ण गलतियाँ करना बंद कर दिया।

संक्षेप में

Perception-R1 एक AI को अनुमान लगाने के बजाय अवलोकन (observe) करना सिखाने जैसा है। इसने महसूस किया कि आप एक महान जासूस नहीं बन सकते यदि आप वास्तव में अपराध स्थल को देखते नहीं हैं। AI को विवरणों को सही ढंग से "देखने" के लिए पुरस्कृत करके, यह एक बहुत बेहतर समस्या समाधानकर्ता बन गया, और वह भी बहुत कम प्रशिक्षण डेटा के साथ।

यहाँ "Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward" पेपर का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) के माध्यम से तर्क करने की क्षमताओं में महत्वपूर्ण प्रगति दिखाई है। हालाँकि, मौजूदा RLVR विधियाँ मुख्य रूप से उत्तर की सटीकता (Accuracy-Only RLVR) के लिए अनुकूलन करती हैं। लेखकों ने एक महत्वपूर्ण बाधा की पहचान की है: ये विधियाँ MLLMs की अंतर्निहित मल्टीमॉडल धारणा (perception) क्षमताओं को प्रभावी ढंग से सुधारने में विफल रहती हैं।

मुख्य मुद्दा: MLLMs अक्सर गंभीर विज़ुअल परसेप्शन त्रुटियाँ करते हैं (जैसे, ज्यामितीय संबंधों को गलत पहचानना, गैर-मौजूद वस्तुओं का भ्रम/hallucination करना) लेकिन फिर भी सही अंतिम उत्तर देने में सक्षम होते हैं।
परिणाम: क्योंकि रिवॉर्ड सिग्नल विरल (sparse) है (केवल अंतिम उत्तर पर आधारित), मॉडल को गलत विज़ुअल विवरणों के लिए दंडित नहीं किया जाता है। यह दोषपूर्ण तर्क पथों (reasoning paths) को सुदृढ़ करता है जहाँ मॉडल सही उत्तर तक पहुँचने के लिए "भ्रम" (hallucination) का सहारा लेता है, जिससे वास्तविक मल्टीमॉडल तर्क में आगे बढ़ने की क्षमता सीमित हो जाती है।
साक्ष्य: लेखक मैकनेमार के परीक्षण (McNemar's test) का उपयोग करके यह प्रदर्शित करते हैं कि Accuracy-Only RLVR के साथ प्रशिक्षित MLLMs अपने बेस मॉडल की तुलना में मल्टीमॉडल धारणा में कोई सांख्यिकीय रूप से महत्वपूर्ण सुधार नहीं दिखाते हैं।

2. कार्यप्रणाली: Perception-R1 (Methodology: Perception-R1)

मल्टीमॉडल धारणा में रिवॉर्ड की विरलता (sparsity) को संबोधित करने के लिए, लेखक Perception-R1 का प्रस्ताव करते हैं, जो एक नया RLVR फ्रेमवर्क है जो विज़ुअल परसेप्शन रिवॉर्ड पेश करता है।

A. मुख्य घटक (Core Components)

विज़ुअल एनोटेशन एक्सट्रैक्शन (Visual Annotation Extraction):
- लेखक एक अत्याधुनिक प्रोप्रायटरी MLLM (Gemini-2.5-Pro) से एक ज्योमेट्री डेटासेट (Geometry3K) पर चेन-ऑफ-थॉट (CoT) ट्राजेक्टरीज एकत्र करते हैं।
- एक मजबूत टेक्स्ट-ओनली LLM (Qwen2.5-32B-IT) का उपयोग इन CoT ट्राजेक्टरीज से एटॉमिक विज़ुअल एनोटेशन (atomic visual annotations) निकालने के लिए किया जाता है। ये एनोटेशन तथ्यात्मक विज़ुअल तत्वों (जैसे, "लाइन AB, CD के लंबवत है," "त्रिज्या 26 है") का प्रतिनिधित्व करते हैं न कि तर्क चरणों का।
- ये एनोटेशन विज़ुअल धारणा के लिए "ग्राउंड ट्रुथ" के रूप में कार्य करते हैं, ठीक वैसे ही जैसे अंतिम उत्तर सटीकता के लिए ग्राउंड ट्रुथ के रूप में कार्य करता है।
विज़ुअल परसेप्शन रिवॉर्ड ( $r_v$ ):
- RL प्रशिक्षण के दौरान, एक जजिंग LLM ( $\Phi$ ) पॉलिसी मॉडल द्वारा उत्पन्न प्रतिक्रिया और निकाले गए विज़ुअल एनोटेशन के बीच निरंतरता का मूल्यांकन करता है।
- रिवॉर्ड इस आधार पर गणना की जाती है कि मॉडल के आउटपुट में कितने एटॉमिक विज़ुअल एनोटेशन सही ढंग से दर्शाए गए हैं:
  $r_v(y_i, V) = \frac{\sum o_{i,j}}{|V|}$
  जहाँ $o_{i,j} \in \{0, 1\}$ यह दर्शाता है कि क्या एनोटेशन $v_j$ प्रतिक्रिया $y_i$ में मौजूद है।
उन्नत रिवॉर्ड फंक्शन (Enhanced Reward Function):
कुल रिवॉर्ड फंक्शन फॉर्मेट, सटीकता, विज़ुअल परसेप्शन और रिपिटिशन पेनल्टी को जोड़ता है:
$r(y_i, a, V) = \alpha \cdot r_f(y_i) + \beta \cdot r_a(y_i, a) + \gamma \cdot r_v(y_i, V) + r_p(y_i)$
- $r_f$ : फॉर्मेट रिवॉर्ड (स्ट्रक्चर्ड आउटपुट)।
- $r_a$ : सटीकता रिवॉर्ड (सही अंतिम उत्तर)।
- $r_v$ : विज़ुअल परसेप्शन रिवॉर्ड (नया घटक)।
- $r_p$ : रिपिटिशन पेनल्टी (डीजेनरेट जनरेशन को रोकने के लिए)।
प्रशिक्षण एल्गोरिदम (Training Algorithm):
मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके अनुकूलित किया जाता है, जो PPO का एक संस्करण है जो अलग क्रिटिक मॉडल की आवश्यकता को समाप्त करता है, जिससे कम्प्यूटेशनल ओवरहेड कम हो जाता है।

3. प्रमुख योगदान (Key Contributions)

अनुभवजन्य खोज (Empirical Discovery): यह पेपर कठोर सांख्यिकीय साक्ष्य (McNemar's test के माध्यम से) प्रदान करता है कि Accuracy-Only RLVR मल्टीमॉडल धारणा को महत्वपूर्ण रूप से नहीं बढ़ाता है, जिससे इसे एक प्रमुख बाधा के रूप में पहचाना गया है।
नया रिवॉर्ड मैकेनिज्म (Novel Reward Mechanism): विज़ुअल परसेप्शन रिवॉर्ड का परिचय, जो स्पष्ट रूप से तर्क करने से पहले सटीक विज़ुअल विवरण को प्रोत्साहित करता है, जिससे धारणा के क्षेत्र में रिवॉर्ड स्पर्सिटी प्रभावी रूप से कम हो जाती है।
डेटा दक्षता (Data Efficiency): यह विधि केवल 1,442 प्रशिक्षण नमूनों का उपयोग करके अत्याधुनिक प्रदर्शन प्राप्त करती है, जो सैकड़ों हजारों नमूनों (जैसे, Vision-R1 200K नमूने उपयोग करता है) की आवश्यकता वाले बेसलाइन से काफी बेहतर प्रदर्शन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने गणित और सामान्य डोमेन को कवर करने वाले 8 विविध बेंचमार्क पर Perception-R1 (Qwen2.5-VL-7B-IT पर आधारित) का मूल्यांकन किया।

प्रदर्शन (Performance): Perception-R1 ने 8 में से 7 बेंचमार्क (MathVista, MathVerse, MathVision, WeMath, MMMU, MMMU-Pro, MMStar) पर सर्वश्रेष्ठ प्रदर्शन किया, जो Vision-R1, MM-Eureka और OpenVLThinker जैसे मजबूत बेसलाइन से आगे निकल गया।
- उदाहरण: MathVista पर, इसने Vision-R1 के 73.1 के मुकाबले 74.2 स्कोर किया।
- उदाहरण: MMMU-Pro पर, इसने Vision-R1 के 37.6 के मुकाबले 42.4 स्कोर किया।
परसेप्शन में सुधार (Perception Improvement):
- विज़न-ओनली सबसेट्स (Vision-Only Subsets): MathVerse और MMMU-Pro के "विज़न ओनली" सबसेट्स पर (जहाँ टेक्स्ट संकेत हटा दिए गए हैं), Perception-R1 ने बेसलाइन की तुलना में पर्याप्त सुधार दिखाया, जो शुद्ध धारणा क्षमताओं के संवर्धन को सिद्ध करता है।
- सांख्यिकीय महत्व (Statistical Significance): बेस मॉडल की तुलना में Perception-R1 पर McNemar's टेस्ट ने धारणा क्षमताओं में महत्वपूर्ण सुधार ( $p < 0.05$ ) दिखाया, जो Accuracy-Only RLVR वेरिएंट के विपरीत है।
एब्लेशन स्टडीज (Ablation Studies):
- विज़ुअल परसेप्शन रिवॉर्ड को हटाने से सभी बेंचमार्क में प्रदर्शन में गिरावट आई।
- एक कमजोर जजिंग LLM का उपयोग करने से रिवॉर्ड हैकिंग और प्रदर्शन में गिरावट आई, जो एक सक्षम जज की आवश्यकता को रेखांकित करता है।
- यह विधि रिवॉर्ड सिग्नल में शोर (20% तक फ्लेप्ड जजमेंट्स) के प्रति मजबूत (robust) है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट (Paradigm Shift): यह पेपर मल्टीमॉडल RL में प्रचलित "उत्तर-मात्र" (answer-only) अनुकूलन प्रतिमान को चुनौती देता है। यह तर्क देता है कि जटिल तर्क के लिए, धारणात्मक आधार (perceptual foundation) को स्पष्ट रूप से सुदृढ़ किया जाना चाहिए, न कि केवल अंतिम तार्किक निष्कर्ष को।
दक्षता (Efficiency): डेटा की मात्रा के बजाय रिवॉर्ड सिग्नल की गुणवत्ता (परसेप्शन अलाइनमेंट) पर ध्यान केंद्रित करके, Perception-R1 प्रदर्शित करता है कि उच्च-गुणवत्ता वाले, धारणा-संरेखित रिवॉर्ड विशाल डेटासेट की तुलना में तर्क क्षमताओं को अधिक प्रभावी ढंग से संचालित कर सकते हैं।
सामान्यीकरण (Generalizability): विज़ुअल परसेप्शन रिवॉर्ड द्वारा प्रेरित "डिस्क्राइब-देन-सॉल्व" (describe-then-solve) व्यवहार अधिक मजबूत और व्याख्या योग्य तर्क की ओर ले जाता है, जिससे ज्यामितीय और सामान्य मल्टीमॉडल कार्यों में भ्रम (hallucinations) कम होता है।

निष्कर्षतः, Perception-R1 यह स्थापित करता है कि मल्टीमॉडल धारणा को बढ़ाना मल्टीमॉडल तर्क को आगे बढ़ाने के लिए एक पूर्व शर्त है, जो एक नए विज़ुअल परसेप्शन रिवॉर्ड के माध्यम से इसे प्राप्त करने के लिए एक स्केलेबल और डेटा-कुशल ढांचा प्रदान करता है।