💻 computer science

H-GRPO: Permutation-Invariant Reinforcement Learning for Grounded Visual Reasoning

यह शोध पत्र H-GRPO प्रस्तुत करता है, जो एक ऐसा ढांचा है जो जटिल प्रश्नों को विशिष्ट दृश्य साक्ष्यों पर आधारित परमाणु उप-प्रश्नों में विभाजित करने के लिए क्रम-अपरिवर्तनीय सुदृढीकरण शिक्षण (Permutation-Invariant Reinforcement Learning) का उपयोग करके विजन-लैंग्वेज मॉडल्स के प्रदर्शन और व्याख्यात्मकता को बढ़ाता है, जिससे मतिभ्रम (hallucinations) कम होता है और मानव जैसी निगमनात्मक तर्क क्षमता को बढ़ावा मिलता है।

मूल लेखक: Eric Peh, Debaditya Roy, Basura Fernando

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Peh, Debaditya Roy, Basura Fernando

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा शरारती कला का छात्र है जिसका नाम "विज़न-लैंग्वेज मॉडल" (VLM) है। जब आप उसे एक तस्वीर दिखाते हैं और उससे एक सवाल पूछते हैं जैसे, "क्या शेफ खाना बना रहा है?" तो वह अक्सर सही उत्तर दे देता है। लेकिन पेच यह है कि वह शायद इस आधार पर अनुमान लगा रहा है कि शेफ आमतौर पर सफेद टोपी पहनते हैं, भले ही फोटो में दिख रहा व्यक्ति वास्तव में एक बेकर हो जिसने सफेद टोपी पहनी हो। वह एक "शॉर्टकट" ले रहा है और अपने अनुमान को सही ठहराने के लिए विवरण भी मनगढ़ंत (hallucinations) बना सकता है।

आपके द्वारा साझा किया गया पेपर एक नया प्रशिक्षण तरीका पेश करता है जिसे H-GRPO कहा जाता है ताकि इसे ठीक किया जा सके। इसे छात्र के होमवर्क को जांचने के एक नए तरीके के रूप में समझें जो उसे अपना काम दिखाने, चरण-दर-चरण, प्रमाण के साथ, मजबूर करता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "ब्लैक बॉक्स" वाला अनुमान

वर्तमान में, ये AI मॉडल "ब्लैक बॉक्स" की तरह हैं। आप एक इमेज डालते हैं, और एक उत्तर बाहर आ जाता है। हमें नहीं पता कि वे वहां तक कैसे पहुंचे। वे सही हो सकते हैं, लेकिन गलत कारणों से। यह उस छात्र की तरह है जिसने गणित का सही उत्तर तो लिख दिया लेकिन गलत फॉर्मूला इस्तेमाल किया; वह भाग्यशाली था, लेकिन उसने वास्तव में सीखा नहीं।

2. समाधान: "डिटेक्टिव की नोटबुक"

लेखक एक नया ढांचा प्रस्तावित करते हैं जहाँ AI को केवल अंतिम उत्तर देने की अनुमति नहीं है। इसके बजाय, उसे एक स्ट्रक्चर्ड नोटबुक भरने वाले जासूस की तरह कार्य करना होगा।

प्रत्येक प्रश्न के लिए, AI को समस्या को छोटे-छोटे चरणों में तोड़ना होगा। प्रत्येक चरण के लिए, उसे तीन चीजें लिखनी होंगी:

प्रश्न: "मैं अभी क्या देख रहा हूँ?" (जैसे, "क्या वह मफिन ट्रे है?")
उत्तर: "हाँ, यह है।"
साक्ष्य (Evidence): फोटो में मफिन ट्रे के चारों ओर बनाया गया एक विशिष्ट बॉक्स, यह साबित करने के लिए कि वह वहां है।

यह AI की सोचने की प्रक्रिया को एक रहस्यमय अनुमान से बदलकर तथ्यों की एक पारदर्शी श्रृंखला में बदल देता है: मैं एक मफिन ट्रे देख रहा हूँ (साक्ष्य यहाँ है) -> मैं एक सफेद जैकेट देख रहा हूँ (साक्ष्य यहाँ है) -> इसलिए, यह एक शेफ है।

3. चुनौती: एक ही सत्य तक पहुँचने के अलग-अलग रास्ते

यहाँ मामला थोड़ा जटिल हो जाता है। कल्पना कीजिए कि दो जासूस एक ही अपराध को सुलझा रहे हैं।

जासूस A पहले जूते को देखता है, फिर टोपी को, फिर बंदूक को।
जासूस B पहले बंदूक को देखता है, फिर टोपी को, फिर जूते को।

दोनों जासूसों ने एक ही सुराग खोजे और एक ही निष्कर्ष पर पहुँचे। यदि आप एक सख्त शिक्षक होते, तो आप कह सकते थे, "जासूस A, आपने गलत क्रम में देखा! आपको शून्य अंक मिलते हैं।" यह अनुचित होता।

पेपर का नवाचार, H-GRPO, एक स्मार्ट शिक्षक की तरह है जो समझता है कि क्रम मायने नहीं रखता, जब तक कि सुराग मौजूद हों। यह एक गणितीय उपकरण (जिसे "हंगेरियन मैचिंग" कहा जाता है) का उपयोग करता है ताकि छात्र के सुरागों को सही सुरागों के साथ जोड़ा जा सके, चाहे उन्हें किसी भी क्रम में लिखा गया हो। यह जाँचता है: "क्या आपने जूता ढूँढा? हाँ। क्या आपने टोपी ढूँढा? हाँ। बहुत बढ़िया, भले ही आपने उन्हें अलग क्रम में ढूँढा हो।"

4. रिवॉर्ड सिस्टम: "मुझे प्रमाण दिखाओ"

पुराने दिनों में, AI को केवल तभी "अच्छा काम किया!" मिलता था जब अंतिम उत्तर सही होता था। अब, H-GRPO के साथ, AI को इनाम तभी मिलता है जब:

उसने नोटबुक के प्रारूप का पालन किया हो।
उसने सही अंतिम उत्तर ढूँढा हो।
महत्वपूर्ण रूप से: उसका प्रत्येक चरण फोटो के एक विशिष्ट हिस्से द्वारा समर्थित हो।

यदि AI फोटो के किसी स्थान की ओर इशारा किए बिना कोई तथ्य मनगढ़ंत बनाता है, तो उसे कम स्कोर मिलता है। यह AI को अनुमान लगाने के बजाय वास्तव में इमेज को "देखने" के लिए मजबूर करता है।

5. परिणाम: "जानने" के बजाय "देखने" में बेहतर

लेखकों ने विभिन्न पहेलियों पर इनका परीक्षण किया जिनमें तस्वीरें शामिल थीं।

स्थानिक तर्क (Spatial reasoning) वाले कार्यों के लिए (जैसे कि वस्तुएं कहाँ हैं या वे एक-दूसरे से कैसे संबंधित हैं, यह समझने के लिए), यह नया तरीका अद्भुत काम करता है। AI शॉर्टकट से बचने में बहुत बेहतर हो गया।
गहन पुस्तक ज्ञान (Deep book knowledge) वाले कार्यों के लिए (जैसे जटिल विज्ञान के प्रश्न), इसने मदद की, लेकिन AI को पहले तथ्यों को जानने की आवश्यकता थी। यह तरीका सुनिश्चित करता है कि AI तस्वीर का सही उपयोग करे, लेकिन यह AI को वे तथ्य नहीं सिखा सकता जो वह पहले से नहीं जानता।
व्याख्यात्मकता (Interpretability): क्योंकि AI को अपने चरणों को लिखना पड़ता है और साक्ष्य की ओर इशारा करना पड़ता है, इसलिए इंसान वास्तव में उसकी "सोचने की प्रक्रिया" को पढ़ सकते हैं और सत्यापित कर सकते हैं कि क्या वह तर्कसंगत है। यह अब ब्लैक बॉक्स नहीं है; यह एक पारदर्शी बॉक्स है।

सारांश

संक्षेप में, H-GRPO एक प्रशिक्षण तकनीक है जो AI मॉडल को ईमानदार जासूस बनने की शिक्षा देती है। उन्हें केवल उत्तर का अनुमान लगाने और भाग्य के भरोसे छोड़ने के बजाय, यह उन्हें निम्नलिखित के लिए मजबूर करती है:

समस्या को छोटे टुकड़ों में तोड़ना।
फोटो के सटीक स्थान की ओर इशारा करना जो प्रत्येक टुकड़े को प्रमाणित करता है।
सही सुराग खोजने के लिए पुरस्कृत होना, भले ही वे उम्मीद किए गए क्रम में न मिलें।

यह AI के तर्क को अधिक विश्वसनीय, मनगढ़ंत बातें करने की संभावना को कम, और मनुष्यों के लिए समझना और विश्वास करना बहुत आसान बनाता है।

तकनीकी सारांश: ग्राउंडेड विजुअल रीजनिंग के लिए H-GRPO

1. समस्या विवरण

विज़न-लैंग्वेज मॉडल्स (VLMs) वर्तमान में उच्च बेंचमार्क सटीकता और निष्ठावान विजुअल रीजनिंग (faithful visual reasoning) के बीच एक गंभीर विच्छेद का सामना कर रहे हैं। जबकि मॉडल अक्सर मजबूत प्रदर्शन करते हैं, वे अक्सर सतही सह-संबंधों (superficial correlations) पर निर्भर रहते हैं, प्रासंगिक दृश्य साक्ष्य को अनदेखा करते हैं, या मध्यवर्ती तथ्यों की कल्पना (hallucinate) करते हैं। यह समस्या तब और बढ़ जाती है जब VLMs को रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके पोस्ट-ट्रेन किया जाता है; केवल अंतिम-उत्तर की शुद्धता के लिए अनुकूलित करना "शॉर्टकट" रीजनिंग को बढ़ावा दे सकता है, न कि साक्ष्य-आधारित कटौती (evidence-grounded deduction) को प्रोत्साहित कर सकता है।

मौजूदा RL-आधारित विधियाँ (जैसे, R1-VL, Vision-R1) मुख्य रूप से टेक्स्टुअल रीजनिंग या अंतिम परिणामों की निगरानी करती हैं, बिना मध्यवर्ती चरणों को स्थानीयकृत दृश्य साक्ष्य (localized visual evidence) में ग्राउंड करने के। इसके विपरीत, ग्राउंडिंग विधियाँ (जैसे, Visual-RFT, ViGoRL) लोकलाइजेशन को एक अभिन्न प्रक्रिया के बजाय एक सहायक तत्व के रूप में मानती हैं। इसके अलावा, वर्तमान डेटासेट्स में ऐसे बड़े पैमाने के एनोटेशन का अभाव है जो रीजनिंग स्ट्रक्चर, मध्यवर्ती उत्तरों और विशिष्ट स्थानिक साक्ष्य (spatial evidence) को संयुक्त रूप से कैप्चर कर सकें। ऐसे मॉडल्स को प्रशिक्षित करने में एक प्रमुख चुनौती यह है कि वैध रीजनिंग पाथ्स अद्वितीय नहीं होते; विभिन्न मॉडल्स एक ही विजुअल प्रश्न को अलग-अलग मध्यवर्ती चरणों या क्रमों का उपयोग करके हल कर सकते हैं। मानक सीक्वेंस-लेवल तुलना सही रीजनिंग को केवल इसलिए दंडित करती है क्योंकि वह एक निश्चित संदर्भ क्रम से विचलित होती है।

2. कार्यप्रणाली

2.1 ग्राउंडेड रीजनिंग डिकंपोजिशन (Grounded Reasoning Decomposition)

प्रस्तावित फ्रेमवर्क मॉडल को एक वैश्विक विजुअल क्वेरी को परमाणु, सत्यापन योग्य उप-कार्यों (atomic, verifiable sub-tasks) के अनुक्रम में विघटित करने के लिए मजबूर करता है। मोनोलिथिक इन्फरेंस के बजाय, मॉडल एक संरचित आउटपुट $y$ उत्पन्न करता है जिसमें शामिल हैं:

मध्यवर्ती ट्रिपलेट्स ( $\tau_i$ ): एक अनुक्रम $\{ \tau_1, \dots, \tau_m \}$ ${τ_{1}, \dots, τ_{m}}$ जहाँ प्रत्येक ट्रिपलेट में शामिल है:
- $q_i$ : एक उप-प्रश्न।
- $a_i$ : एक मध्यवर्ती उत्तर।
- $b_i$ : एक स्थानिक साक्ष्य बाउंडिंग बॉक्स ( $[x_{min}, y_{min}, x_{max}, y_{max}]$ ) जो उत्तर के लिए विजुअल सपोर्ट को लोकलाइज़ करता है।
रीजनिंग पाथ ( $r$ ): ट्रिपलेट्स का एक नेचुरल लैंग्वेज सिंथेसिस।
अंतिम उत्तर ( $a_{final}$ ): मूल प्रश्न का संक्षिप्त उत्तर।

2.2 डेटा सिंथेसिस (GVRS)

डेटा की कमी को दूर करने के लिए, लेखकों ने ग्राउंडेड विजुअल रीजनिंग सिंथेसिस (GVRS) डेटासेट का निर्माण किया।

पाइपलाइन: GPT-4o द्वारा 40 उदाहरणों का एक उच्च-गुणवत्ता वाला संदर्भ सेट तैयार किया गया और मानव-इन-द-लूप सत्यापन के माध्यम से परिष्कृत किया गया। बॉक्स रिफाइनमेंट के लिए SAM3 का उपयोग करके स्थानिक सटीकता को बढ़ाया गया।
पैमाना: रिवॉर्ड स्कोरिंग के माध्यम से चयनित एक अनुकूलित सिस्टम प्रॉम्प्ट का उपयोग करके, चार स्रोतों: Visual7W, Visual-CoT, A-OKVQA, और ERQA से 10,000 ट्रेनिंग सैंपल्स जनरेट किए गए।
वैलिडेशन: लॉजिकल कंसिस्टेंसी, सिमेंटिक करेक्टनेस और स्पेशियल एक्यूरेसी के लिए विशेषज्ञों द्वारा एक सबसेट का मैन्युअल रूप से सत्यापन किया गया।

2.3 H-GRPO: हंगेरियन ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन

मुख्य नवाचार H-GRPO है, जो एक परम्यूटेशन-इनवेरिएंट (permutation-invariant) RL फ्रेमवर्क है जिसे गैर-अद्वितीय रीजनिंग पाथ्स को संभालने के लिए डिज़ाइन किया गया है।

परम्यूटेशन-इनवेरिएंट मैचिंग: जनरेटेड और रेफरेंस रीजनिंग चेन्स की तुलना एक निश्चित क्रम में करने के बजाय, H-GRPO प्रेडिक्टेड ट्रिपलेट्स ( $\hat{D}$ ) और रेफरेंस ट्रिपलेट्स ( $D^*$ ) के बीच एक बाइपार्टाइट मैचिंग समस्या के रूप में मूल्यांकन को फॉर्म्युलेट करता है।
समानता मेट्रिक (Similarity Metric): एक समानता मैट्रिक्स $S$ बनाया जाता है जहाँ प्रत्येक एंट्री $S_{ij}$ निम्नलिखित को जोड़ती है:
- बाउंडिंग बॉक्स की उपस्थिति और अनुकूलता।
- उप-प्रश्नों ( $sim_q$ ) और उप-उत्तरों ( $sim_a$ ) के लिए Sentence-BERT कोसाइन सिमिलरिटी।
- स्थानिक ओवरलैप के लिए इंटरसेक्शन ओवर यूनियन (IoU)।
हंगेरियन एल्गोरिदम: कुल समानता स्कोर ( $S_{HS}$ ) को अधिकतम करने के लिए हंगेरियन एल्गोरिदम का उपयोग करके इष्टतम वन-टू-वन असाइनमेंट पाया जाता है।
रिवॉर्ड फंक्शन: कुल रिवॉर्ड $R$ एक कंपोजिट है:
1. फॉर्मेट रिवॉर्ड ( $R_{format}$ ): यह सुनिश्चित करता है कि आउटपुट ट्रिपलेट स्ट्रक्चर (उप-प्रश्न, उत्तर, रीजनिंग पाथ, अंतिम उत्तर) का पालन करता है।
2. हंगेरियन रीजनिंग रिवॉर्ड ( $R_{HS}$ ): मैचिंग स्कोर से प्राप्त एक डेंस प्रोसेस-लेवल रिवॉर्ड, जो कमजोर रीजनिंग को दबाने के लिए थ्रेशोल्ड किया गया है।
3. फाइनल आंसर रिवॉर्ड ( $R_{answer}$ ): केवल तभी सक्रिय होता है जब रीजनिंग पर्याप्त रूप से ग्राउंडेड हो (अर्थात, $R_{HS}$ एक थ्रेशोल्ड से अधिक हो)।
फॉर्मूला है: $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$ ।

यह फॉर्मूलेशन यह सुनिश्चित करता है कि मॉडल को केवल तभी मजबूत रिवॉर्ड मिले जब अंतिम उत्तर सही हो और वह सिमेंटिक रूप से संरेखित, विजुअली ग्राउंडेड मध्यवर्ती चरणों से प्राप्त किया गया हो, चाहे उन चरणों के उत्पन्न होने का क्रम कुछ भी हो।

3. प्रमुख योगदान

ग्राउंडेड रीजनिंग डिकंपोजिशन प्रोटोकॉल: रीजनिंग स्टेप्स को ट्रिपलेट्स (उप-प्रश्न, उप-उत्तर, स्थानिक साक्ष्य) के रूप में प्रतिनिधित्व करने का एक नया तरीका, जो स्पष्ट विजुअल साक्ष्य के एक्सटर्नलाइजेशन को मजबूर करता है।
स्केलेबल डेटा सिंथेसिस पाइपलाइन: व्यापक मैनुअल एनोटेशन के बिना स्टेप-वाइज ग्राउंडेड रीजनिंग ट्रेसेस जनरेट करने की एक विधि, जिसने GVRS डेटासेट बनाया।
H-GRPO फ्रेमवर्क: एक परम्यूटेशन-इनवेरिएंट RL एल्गोरिदम जो प्रेडिक्टेड और रेफरेंस रीजनिंग स्टेप्स को अलाइन करने के लिए हंगेरियन मैचिंग का उपयोग करता है, जिससे लचीले रीजनिंग ट्राजेक्टरीज संभव होते हैं और साथ ही साक्ष्य निरंतरता (evidence consistency) लागू होती है।
एकीकृत मूल्यांकन प्रोटोकॉल: उत्तर की शुद्धता, ग्राउंडिंग फिडेलिटी, स्टेप-वाइज अलाइनमेंट और विजुअल एविडेंस डिपेंडेंस को मापने वाला एक व्यापक मेट्रिक सूट।

4. प्रयोगात्मक परिणाम

मेथड का मूल्यांकन ओपन-सोर्स VLM बैकबोन (Qwen2.5-VL-3B और SmolVLM-2.2B) पर इन-डोमेन और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) बेंचमार्क्स पर किया गया।

इन-डोमेन प्रदर्शन: SmolVLM-2.2B बैकबोन के लिए H-GRPO ने A-OKVQA और Visual7W पर सर्वश्रेष्ठ परिणाम (क्रमशः 73.4% और 77.2%) प्राप्त किए, जो स्टैंडर्ड SFT और वैनिला GRPO से बेहतर है। Qwen2.5-VL-3B के लिए, H-GRPO ने SFT/GRPO प्रदर्शन के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया, विशेष रूप से Visual7W पर।
आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन: H-GRPO ने स्पेशियल और ज्योमेट्रिक रीजनिंग कार्यों पर बेहतर जनरलाइजेशन दिखाया। इसने RealWorldQA, RoboSpatial (70.2%), और MMStar पर उच्चतम स्कोर प्राप्त किया। MMMU पर सुधार मध्यम था, जो यह सुझाव देता है कि यह मेथड शुद्ध ज्ञान-गहन रीजनिंग के बजाय विजुअली ग्राउंडेड कार्यों के लिए अधिक प्रभावी है।
इंटरप्रिटेबिलिटी (Interpretability): LLM-as-a-Judge के माध्यम से मूल्यांकित, H-GRPO रीजनिंग ट्रेसेस ने सभी आयामों (Relevance, Coherence, Consistency, Clarity, Interpretability) में उच्चतम स्कोर प्राप्त किया, जो R1-VL, ViGoRL, और Reason-RFT से काफी बेहतर है।
क्वालिटेटिव एनालिसिस: उदाहरणों ने दिखाया कि मॉडल सफलतापूर्वक कैटेगरी-लेवल, स्पेशियल और एक्शन रीजनिंग को विशिष्ट इमेज रीजन में ग्राउंड करने में सक्षम है (जैसे, व्हाइट जैकेट और फूड काउंटर के माध्यम से शेफ की पहचान करना), जिससे बिना समर्थित हैल्यूसिनेशन का जोखिम कम हो जाता है।

5. महत्व और दावे

पेपर का दावा है कि H-GRPO रीजनिंग सटीकता और ग्राउंडिंग फिडेलिटी के बीच के ट्रेड-ऑफ को संबोधित करता है। यह सुनिश्चित करके कि प्रत्येक मध्यवर्ती तार्किक चरण एक विशिष्ट विजुअल क्षेत्र से जुड़ा हो, यह फ्रेमवर्क ऐसे रीजनिंग पाथ्स बनाता है जो हैं:

सत्यापन योग्य (Verifiable): मनुष्य और रिवॉर्ड फंक्शन्स प्रत्येक चरण के लिए विजुअल साक्ष्य का निरीक्षण कर सकते हैं।
निष्ठावान (Faithful): अंतिम उत्तर सांख्यिकीय अनुमान के बजाय सत्यापित विजुअल तथ्यों का एक तार्किक परिणाम के रूप में उभरता है।
लचीला (Flexible): परम्यूटेशन-इनवेरिएंट रिवॉर्ड विविध, वैध रीजनिंग ऑर्डर्स की अनुमति देता है, जिससे उस सही लॉजिक को दंडित होने से बचाया जाता है जो केवल संदर्भ के अनुक्रम से भिन्न क्रम का पालन करता है।

लेखक नोट करते हैं कि जबकि H-GRPO लोकलाइजेशन-हेवी और स्पेशियल रीजनिंग कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार करता है, यह अमूर्त या वैज्ञानिक रीजनिंग (जैसे, MMMU) के लिए आवश्यक डोमेन नॉलेज के अंतर की पूरी तरह से भरपाई नहीं करता है। वे निष्कर्ष निकालते हैं कि भविष्य के कार्यों को साक्ष्य-आधारित विजुअल डिडक्शन की क्षमता को पूरी तरह से साकार करने के लिए सिम्बोलिक, चार्ट-आधारित और लॉन्ग-कॉन्टेक्स्ट मल्टीमॉडल रीजनिंग तक ग्राउंडेड सुपरविजन का विस्तार करना चाहिए।