💻 computer science

Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO

यह शोधपत्र CycleGRPO को पेश करता है, जो एक एकीकृत सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एक स्व-मूल्यांकनकारी "क्षेत्र-से-पाठ-से-क्षेत्र" (region-to-text-to-region) चक्र निरंतरता पुरस्कार का लाभ उठाकर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को क्षेत्र समझ और स्थानीयकरण को संयुक्त रूप से अनुकूलित करने में सक्षम बनाता है, जिससे बिना किसी टेक्स्टुअल ग्राउंड ट्रुथ के विभिन्न पिक्सेल-स्तरीय कार्यों में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Xin Zhang, Haochen Wang, Yikang Zhou, Jason Li, Robby T. Tan

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xin Zhang, Haochen Wang, Yikang Zhou, Jason Li, Robby T. Tan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट कलाकार है जो किसी तस्वीर को देखकर उसके एक विशिष्ट हिस्से का वर्णन कर सकता है, जैसे कि "बाईं ओर स्थित लाल सेब।" लेकिन इसमें एक पेंच है: जब उससे पूछा जाता है, तो वह उस सटीक सेब की ओर अपनी उंगली दिखाने में बहुत बुरा है। आमतौर पर, इसे सिखाने के लिए, इंसानों को हर एक तस्वीर के लिए एकदम सटीक विवरण लिखने और एकदम सटीक आउटलाइन बनाने में घंटों बिताने पड़ते हैं। यह महंगा और धीमा है।

यह पेपर एक चतुर नया तरीका पेश करता है जिसे CycleGRPO कहा जाता है, जो रोबोट को बिना किसी मानव शिक्षक के खुद को सिखाने की अनुमति देता है। इसका असली रहस्य एक अवधारणा है जिसे लेखक "Actor as Its Own Critic" (अभिनेता अपने स्वयं के आलोचक के रूप में) कहते हैं।

यह जादुई लूप कैसे काम करता है, इसे एक सरल खेल के उदाहरण से समझते है:

"वर्णन और खोज" का खेल
रोबोट को एक दो-भाग वाले खेल के खिलाड़ी के रूप में सोचें।

द एक्टर (विवरण देने वाला): सबसे पहले, रोबोट फोटो में एक विशिष्ट आकार (जैसे कि मास्क या बॉक्स) को देखता है और उसका वर्णन करने की कोशिश करता है। वह कह सकता है, "यह एक चमकदार लाल सेब है जिस पर एक छोटा सा भूरा धब्बा है।"
द क्रिटिक (खोजने वाला): उस वाक्य को लिखने के तुरंत बाद, रोबोट अपनी भूमिका बदल लेता है। वह एक जासूस बन जाता है। वह उस वाक्य को लेता है जो उसने अभी लिखा है और उसी सटीक वस्तु को फोटो में फिर से खोजने की कोशिश करता है, और उसके चारों ओर एक नया आउटलाइन बनाता है।

"आहा!" वाला क्षण
यदि रोबोट ने "एक फल" जैसा अस्पष्ट विवरण लिखा, तो उस सटीक लाल सेब को फिर से ढूंढना असंभव होगा। नया आउटलाइन गंदा या गलत होगा। लेकिन यदि रोबोट ने एक विस्तृत, सटीक विवरण लिखा, तो वह आसानी से सही जगह को ढूंढ लेगा और एक सटीक आउटलाइन बनाएगा।

यह पेपर सुझाव देता है कि यह "खोजने" वाला चरण एक सेल्फ-चेक (स्व-जांच) के रूप में कार्य करता है। रोबोट को यह जानने की आवश्यकता नहीं है कि इंसान उसे "अच्छा काम किया" या "बुरा काम किया" कहे। इसके बजाय, वह यह मापता है कि उसके द्वारा लिखे गए विवरण ने उसे उस वस्तु को फिर से खोजने में कितनी मदद की। यदि नया आउटलाइन मूल आकार से पूरी तरह मेल खाता है, तो विवरण अच्छा था। यदि आउटलाइन गड़बड़ है, तो विवरण बहुत अस्पष्ट था या उसने मनगढ़ंत बातें (hallucinations) बनाईं।

यह पेपर किन चीजों को खारिज करता है
लेखक स्पष्ट रूप से पुराने तरीके के खिलाफ तर्क देते हैं। वे कहते हैं कि आपको इनकी आवश्यकता नहीं है:

मानव एनोटेशन (Human Annotations): आपको कैप्शन लिखने और बॉक्स बनाने के लिए लोगों की सेना की आवश्यकता नहीं है।
बाहरी जज (External Judges): आपको रोबोट के लेखन को ग्रेड देने के लिए दूसरे, अलग AI की आवश्यकता नहीं है।
अलग प्रशिक्षण (Separate Training): आपको रोबोट को "वर्णन करने" के लिए प्रशिक्षित करने और फिर अलग से "खोजने" के लिए प्रशिक्षित करने की आवश्यकता नहीं है। यह तरीका इन दोनों को एक साथ करता है।

परिणाम: हम कितने आश्वस्त हैं?
लेखकों ने इस विचार का परीक्षण कई अलग-अलग चुनौतियों पर किया, और आंकड़े दिखाते हैं कि यह आश्चर्यजनक रूप से अच्छा काम करता है।

बेहतर विवरण: DLC-Bench नामक एक टेस्ट पर, रोबोट का औसत स्कोर 61.9 से बढ़कर 67.7 हो गया। यह 5.8 अंकों का सुधार है, जो GPT-4o जैसे कुछ बहुत प्रसिद्ध और महंगे मॉडल्स (जिसने 61.5 स्कोर किया था) को भी पीछे छोड़ देता है।
बेहतर खोज: GroundingSuite पर, वस्तुओं को खोजने की रोबोट की क्षमता 57.5% से बढ़कर 67.6% हो गई। यह 10.1 अंकों की बड़ी बढ़त है।
"पार्ट" चुनौती: यह वस्तुओं के कठिन हिस्सों (जैसे पक्षी का सिर) को खोजने में और भी बेहतर हुआ, जो 12.4% से बढ़कर 20.9% हो गया।

पेपर सुझाव देता है कि इस "वर्णन-और-खोज" लूप का उपयोग करके, रोबोट अधिक सटीक होने के लिए सीखता है क्योंकि वह जानता है कि यदि वह विवरण में गलती करता है, तो वह वस्तु को फिर से नहीं ढूंढ पाएगा। यह एक ऐसे छात्र की तरह है जो खुद को पढ़ाकर सीखता है; यदि वह उत्तर को बाद में खोजने के लिए इसे स्पष्ट रूप से समझाने में सक्षम नहीं है, तो वह जानता है कि उसे और अधिक मेहनत करने की आवश्यकता है।

लेखकों ने पाया कि यह तरीका तब भी काम करता है जब उन्होंने रोबोट को उन विशिष्ट चुनौतियों के लिए कोई विशेष अभ्यास टेस्ट नहीं दिया था। यह सुझाव देता है कि यह "सेल्फ-करेक्टिंग" लूप दुनिया को देखने में रोबोट को स्मार्ट बनाने का एक शक्तिशाली तरीका है, बिना मानव-लिखित डेटा के पहाड़ के। उन्होंने यह भी दिखाया कि यह बॉक्स बनाने के विभिन्न तरीकों (केवल मास्क ही नहीं) के साथ भी काम करता है, जो साबित करता है कि यह विचार लचीला है।

संक्षेप में, पेपर दिखाता है कि रोबोट को लेखक और खोजने वाला दोनों बनने देकर, यह एक स्व-सुधार चक्र (self-improving cycle) बनाता है जो उसे चित्रों में विशिष्ट चीजों को समझने और बताने में बहुत बेहतर बनाता है, और यह सब करते हुए वह इंसानों को ग्रेडिंग के लिए काम पर रखने के महंगे चरण को भी छोड़ देता है।

तकनीकी सारांश: CycleGRPO – स्वयं का आलोचक स्वयं ही (Actor as Its Own Critic)

समस्या विवरण
मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने सामान्य दृश्य-भाषी समझ में मजबूत क्षमताएं प्रदर्शित की हैं, लेकिन वे अक्सर वास्तविक दुनिया के अनुप्रयोगों के लिए आवश्यक सूक्ष्म धारणा (fine-grained perception) की कमी रखते हैं। विशेष रूप से, दो मौलिक क्षमताएं—क्षेत्र समझ (दिए गए क्षेत्रों का वर्णन करना) और संदर्भ स्थानीयकरण (पाठ के आधार पर क्षेत्रों को खंडित करना)—आमतौर पर अलग-अलग कार्यों के रूप में अनुकूलित की जाती हैं। पारंपरिक दृष्टिकोण पृथक पाइपलाइनों पर निर्भर करते हैं जिनमें पर्यवेक्षण के लिए उच्च-गुणवत्ता वाले, मानव-एनोटेटेड टेक्स्ट-रीजन जोड़ों की विशाल मात्रा की आवश्यकता होती है। यह निर्भरता एक महत्वपूर्ण बाधा उत्पन्न करती है, क्योंकि ऐसा डेटा तैयार करना महंगा है और इसकी स्केलेबिलिटी को सीमित करता है। इसके अलावा, इन कार्यों के लिए मौजूदा सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियां अक्सर पाठ की गुणवत्ता के लिए बाहरी लार्ज लैंग्वेज मॉडल्स (LLMs) या स्थानीयकरण के लिए नियम-आधारित मेट्रिक्स पर निर्भर करती हैं, जो 'रिवॉर्ड हैकिंग' के प्रति संवेदनशील हो सकती हैं या जिनमें आंतरिक अर्थ संबंधी आधार (semantic grounding) की कमी हो सकती है।

कार्यप्रणाली: CycleGRPO
यह शोध पत्र CycleGRPO (Cycle Group Relative Policy Optimization) पेश करता है, जो एक एकीकृत सुदृढीकरण शिक्षण ढांचा है जो क्षेत्र समझ और स्थानीयकरण के बीच अंतर्निहित द्वैत (duality) का लाभ उठाता है। मुख्य नवाचार "Actor as Its Own Critic" प्रतिमान है, जो एक स्व-मूल्यांकनकारी बंद लूप का निर्माण करता है: "क्षेत्र → पाठ → क्षेत्र"।

एकीकृत प्रतिनिधित्व (Unified Representation): यह ढांचा SAMTok पर आधारित है, जो स्थानिक मास्क (spatial masks) को टोकन के एक अनुक्रम में विविक्त (discretize) करता है जो MLLM की शब्दावली के अनुकूल होते हैं। यह मॉडल को टेक्स्ट जनरेशन और मास्क जनरेशन दोनों को एक एकीकृत ऑटो-रिग्रेसिव नेक्स्ट-टोकन प्रेडिक्शन कार्य के रूप में मानने की अनुमति देता है, जिससे कार्य-विशिष्ट हेड्स (task-specific heads) की आवश्यकता समाप्त हो जाती है।
चक्र प्रक्रिया (The Cycle Process):
- चरण 1 (Actor/Captioning): एक छवि और एक लक्षित क्षेत्र मास्क ( $M$ ) दिए जाने पर, MLLM एक एक्टर के रूप में कार्य करता है और $G$ कैंडिडेट टेक्स्ट विवरणों ( $C_1, \dots, C_G$ ) का एक समूह उत्पन्न करता है।
- चरण 2 (Critic/Localization): वही मॉडल एक क्रिटिक (आलोचक) की भूमिका में परिवर्तित हो जाता है। प्रत्येक कैंडिडेट कैप्शन $C_i$ के लिए, यह केवल उत्पन्न किए गए पाठ के आधार पर मूल स्थानिक मास्क ( $\hat{M}_{i,k}$ ) को पुनर्गठित करने का प्रयास करने के लिए $K$ स्वतंत्र रोलआउट करता है।
साइकिल-निरंतरता पुरस्कार (Cycle-Consistency Reward): यह ढांचा एक गुणवत्ता-जागरूक, टोकन-स्तरीय पुरस्कार तंत्र का उपयोग करता है। कैप्शन की अर्थ संबंधी गुणवत्ता का मूल्यांकन आंतरिक रूप से इसके भौतिक स्थानीयकरण सटीकता द्वारा किया जाता है।
- पुरस्कार की गणना मूल इनपुट मास्क $M$ और पुनर्गठित मास्क $\hat{M}_{i,k}$ के बीच इंटरसेक्शन-ओवर-यूनियन (IoU) के आधार पर की जाती है।
- कैप्शनिंग रिवॉर्ड ( $R_{cap}$ ): एक विशिष्ट कैप्शन के लिए $K$ स्थानीयकरण प्रयासों का औसत IoU। कम स्कोर इंगित करता है कि कैप्शन या तो मतिभ्रम (hallucinated) है या सटीक पुनर्गठन के लिए बहुत अस्पष्ट है।
- लोकलाइजेशन रिवॉर्ड ( $R_{loc}$ ): उच्च-गुणवत्ता वाले विवरणों से ग्रेडिएंट्स को बढ़ाने के लिए पैरेंट कैप्शन के रिवॉर्ड द्वारा भारित (weighted)।
- कुल रिवॉर्ड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) उद्देश्य को संचालित करता है, जो मॉडल को ऐसे कैप्शन उत्पन्न करने के लिए अनुकूलित करता है जो न केवल भाषाई रूप से प्रवाहपूर्ण हों बल्कि स्थानिक रूप से भी विभेदक (discriminative) हों, बिना किसी बाहरी टेक्स्टुअल ग्राउंड ट्रुथ की आवश्यकता के।

मुख्य योगदान

एकीकृत RL ढांचा: CycleGRPO का प्रस्ताव करता है, जो मौलिक रूप से क्षेत्र समझ और स्थानीयकरण के बीच के द्वैत को स्थापित करता है, जिससे एक पूर्णतः स्वायत्त प्रशिक्षण पाइपलाइन संभव होती है जो महंगे मानव एनोटेशन की आवश्यकता को दरकिनार कर देती है।
Actor-as-Own-Critic प्रतिमान: एक स्व-मूल्यांकन तंत्र पेश करता है जहाँ एक एकल MLLM अपने स्वयं के टेक्स्ट जनरेशन की आलोचना करने के लिए स्थानिक निरंतरता पुरस्कारों का उपयोग करता है, जिससे बाहरी LLM जजों या कार्य-विशिष्ट हेड्स पर निर्भरता समाप्त हो जाती है।
स्केलेबल प्रशिक्षण: यह प्रदर्शित करता है कि यह ढांचा केवल क्षेत्र इनपुट (मास्क या बाउंडिंग बॉक्स) का उपयोग करके दोनों क्षमताओं को एक साथ बूटस्ट्रैप कर सकता है, जो इसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) दृष्टिकोणों की तुलना में अत्यधिक स्केलेबल बनाता है।

प्रायोगिक परिणाम
लेखकों ने मूल्यांकन डेटासेट पर कार्य-विशिष्ट फाइन-ट्यूनिंग के बिना विविध बेंचमार्क पर CycleGRPO का मूल्यांकन किया:

रीजन कैप्शनिंग: DLC-Bench पर, CycleGRPO ने औसत स्कोर को 61.9% (SAMTok बेसलाइन) से बढ़ाकर 67.7% कर दिया, जो GPT-4o (61.5%) और Gemini 2.5 Pro (55.8%) जैसे क्लोज्ड-सोर्स मॉडल्स से बेहतर प्रदर्शन करता है। इसने GAR-Bench-VQA पर भी महत्वपूर्ण सुधार दिखाया, विशेष रूप से रंग और सामग्री जैसी सूक्ष्म धारणा श्रेणियों में।
रेफरिंग लोकलाइजेशन: GroundingSuite पर, ढांचे ने समग्र ग्राउंडिंग सटीकता को 57.5% से बढ़ाकर 67.6% कर दिया, जिसमें चुनौतीपूर्ण "Part" स्प्लिट पर 8.5% की उल्लेखनीय वृद्धि हुई। GRES पर, इसने टारगेट रिजेक्शन क्षमता (N-acc 58.7% से बढ़कर 92.1% होना) में नाटकीय सुधार और औसत gIoU में 7.0% की वृद्धि हासिल की।
इंटरलीव्ड जनरेशन: GCG बेंचमार्क पर, CycleGRPO ने CIDEr में 6.5 अंक की वृद्धि की और स्थानीयकरण मेट्रिक्स में सुधार किया, जो टेक्स्ट और मास्क जनरेशन के बीच बेहतर सिंक्रोनाइज़ेशन को प्रदर्शित करता है।
सामान्यीकरण (Generalizability): विधि को विभिन्न मॉडल स्केल्स (Qwen2.5-VL, Qwen3-VL) और स्थानिक निरूपणों में सामान्यीकृत होते हुए दिखाया गया, जिसने डिस्क्रीट मास्क टोकन के बजाय बाउंडिंग बॉक्स का उपयोग करने पर भी निरंतर लाभ प्राप्त किया।

महत्व और दावे
शोध पत्र का दावा है कि CycleGRPO MLLMs में पिक्सेल-स्तरीय क्षमताओं को आगे बढ़ाने के लिए एक सरल और स्केलेबल मार्ग प्रदान करता है। "क्षेत्र → पाठ → क्षेत्र" चक्र का लाभ उठाकर, यह ढांचा महंगे मानव एनोटेशन और बाहरी जजों की आवश्यकता को समाप्त कर देता है। लेखक तर्क देते हैं कि यह स्व-पर्यवेक्षित (self-supervised), द्वैत-संचालित दृष्टिकोण मॉडल्स को श्रेष्ठ दृश्य-तर्क क्षमताओं को आसवित (distill) करने और भौतिक स्थानिक पुनर्गठन से अर्थ संबंधी विवरणों को बांधकर मतिभ्रम (hallucinations) को कम करने की अनुमति देता है। परिणाम बताते हैं कि आंतरिक चक्र निरंतरता (cycle consistency) जेनेरिक RL या अलग-थलग कार्य अनुकूलन की तुलना में अधिक सटीक पर्यवेक्षी संकेत (supervisory signal) प्रदान करती है, जिससे MLLMs को भारी रूप से सुपरवाइज्ड बेसलाइन्स और बड़े क्लोज्ड-सोर्स मॉडल्स के मुकाबले प्रतिस्पर्धी प्रदर्शन प्राप्त करने में सक्षम बनाया जा सकता है।

इसी तरह के और पेपर