💻 computer science

Benchmarking and Evolving Reason-Reflect-Rectify for Reflective Visual Generation

यह शोध पत्र पुनरावृत्तिगत दृश्य निर्माण क्षमताओं (iterative visual generation capabilities) का मूल्यांकन करने के लिए R^3-Bench बेंचमार्क प्रस्तुत करता है और R^3-Refiner फ्रेमवर्क का प्रस्ताव करता है, जो परावर्तक दृश्य निर्माण (reflective visual generation) में त्रुटि पहचान और सुधारात्मक कार्रवाई के बीच के अंतर को पाटने के लिए GRPO और एक पदानुक्रमित पुरस्कार तंत्र (hierarchical reward mechanism) का लाभ उठाता है।

मूल लेखक: Junjie Wang, Xinghua Lou, Jason Li, Ye Tian, Keyu Chen, Yulin Li, Bin Kang, Jacky Mai, Yanwei Li, Zhuotao Tian, Liqiang Nie

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junjie Wang, Xinghua Lou, Jason Li, Ye Tian, Keyu Chen, Yulin Li, Bin Kang, Jacky Mai, Yanwei Li, Zhuotao Tian, Liqiang Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक बहुत ही विशिष्ट रेसिपी के आधार पर केक बनाने की कोशिश कर रहे हैं: "एक गोल चॉकलेट केक जिसके ऊपर तीन स्ट्रॉबेरी हों, जो एक नीली प्लेट पर रखा हो।"

समस्या: "वन-शॉट" शेफ
अधिकांश वर्तमान AI इमेज जनरेटर एक ऐसे शेफ की तरह हैं जो इस केक को एक ही बार में, बहुत जल्दबाजी में बनाने की कोशिश करते हैं। वे रेसिपी देखते हैं, सामग्री उठाते हैं, और उन्हें पैन में डाल देते हैं। जब वे केक बाहर निकालते हैं, तो वह या तो जल गया होता है, या उसमें केवल दो स्ट्रॉबेरी होती हैं, या वह लाल प्लेट पर रखा होता है। यदि आप उनसे पूछते हैं, "क्या आपने इसे सही किया?" तो वे आत्मविश्वास से कह सकते हैं, "हाँ!" क्योंकि वे अपने काम की जाँच करने में खराब हैं। या, यदि वे स्वीकार करते हैं कि यह गलत है, तो वे कह सकते हैं, "ठीक है, मैं रेसिपी को बदलकर 'लाल प्लेट' कर देता हूँ" बजाय इसके कि वे केक को ठीक करें। वे गलतियों को पहचानने में माहिर हैं लेकिन उन्हें वास्तव में ठीक करने में बहुत खराब हैं।

समाधान: "रीज़न-रिफ्लेक्ट-रेक्टिफाई" लूप (Reason-Reflect-Rectify Loop)
यह पेपर काम करने का एक नया तरीका पेश करता है जिसे R3 कहा जाता है। इसमें AI एक साधारण प्रयास के बजाय एक मास्टर शेफ की तरह काम करता है जिसके पास दूसरा मौका है।

रीज़न (Reason - तर्क देना): शेफ केक और रेसिपी को देखता है। "हूँ, रेसिपी कहती है तीन स्ट्रॉबेरी, लेकिन मुझे केवल दो दिख रही हैं।"
रिफ्लेक्ट (Reflect - चिंतन करना): शेफ गहराई से सोचता है। "मैं एक स्ट्रॉबेरी भूल गया। मुझे यह भी दिख रहा है कि प्लेट लाल है, लेकिन इसे नीला होना चाहिए था।"
रेक्टिफाई (Rectify - सुधारना): शेफ केवल "ओप्स" नहीं कहता। वह अपने सहायक को एक विशिष्ट निर्देश देता है: "ऊपर एक स्ट्रॉबेरी जोड़ें और लाल प्लेट को नीली प्लेट से बदल दें।"

नया बेंचमार्क: R3-Bench
लेखकों ने महसूस किया कि जबकि हर कोई यह परीक्षण कर रहा था कि AI चित्र कैसे बनाता है, कोई भी यह परीक्षण नहीं कर रहा था कि वे उन्हें कैसे ठीक करते हैं। इसलिए, उन्होंने एक विशाल परीक्षण बनाया जिसे R3-Bench कहा जाता है।
इसे एक "फिक्स-इट एग्जाम" (सुधारने की परीक्षा) के रूप में समझें जिसमें 670 पेचीदा परिदृश्य हैं। यह AI को एक ऐसी तस्वीर दिखाता है जो थोड़ी गलत है (जैसे, हरे फूल के बजाय पीला फूल) और उससे पूछता है:

"क्या यह तस्वीर सही है या गलत?" (द वर्डिक्ट - निर्णय)
"यह गलत क्यों है?" (द रिफ्लेक्शन - चिंतन)
"इसे ठीक करने के लिए मुझे वास्तव में क्या बदलने की आवश्यकता है?" (द रेक्टिफिकेशन - सुधार)

खोज: "स्मार्ट क्रिटिक, डंब डूअर" गैप (Smart Critic, Dumb Doer Gap)
जब उन्होंने इस परीक्षा पर सर्वश्रेष्ठ AI मॉडल का परीक्षण किया, तो उन्हें एक मजेदार समस्या मिली। AI शानदार आलोचक (क्रिटिक) थे लेकिन भद्दे सुधारक (डूअर) थे।

वे पूरी तरह से पहचान सकते थे कि फूल का रंग गलत था।
लेकिन जब उन्हें ठीक करने के लिए कहा गया, तो उन्होंने अक्सर खराब निर्देश दिए, जैसे "फूल को दूसरे रंग में बदल दें" (अस्पष्ट) या, और भी बुरा, "रेसिपी को बदलकर 'पीला फूल' कर दें" (उपयोगकर्ता के मूल विचार को छोड़ देना)।
वे बीमारी का निदान तो कर सकते थे लेकिन दवा नहीं लिख सकते थे।

समाधान: R3-Refiner (ट्रेनिंग जिम)
इस समस्या को हल करने के लिए, लेखकों ने एक प्रशिक्षण प्रणाली बनाई जिसे R3-Refiner कहा जाता है।
कल्पित कीजिए कि एक वीडियो गेम है जहाँ AI शेफ की भूमिका निभाता है।

खेल: AI केक को ठीक करने की कोशिश करता है।
रिवॉर्ड सिस्टम (पुरस्कार प्रणाली): यदि AI केवल कहता है "यह गलत है" लेकिन इसे ठीक नहीं करता है, तो उसे कम स्कोर मिलता है। यदि वह केक के बजाय रेसिपी को ठीक करने की कोशिश करता है, तो उसे दंड (पेनल्टी) मिलता है।
जादू: यह प्रणाली एक विशेष "सेल्फ-चेक" रिवॉर्ड का उपयोग करती है। AI चित्र को ठीक करता है, फिर तुरंत उस नए चित्र को देखता है और पूछता है, "क्या मैंने वास्तव में इसे बेहतर बनाया है?" यदि चित्र अब रेसिपी के अधिक करीब है, तो AI को उच्च स्कोर मिलता है। यह AI को सिखाता है कि उसका काम केवल त्रुटि के बारे में बात करना नहीं है, बल्कि उस पर कार्य करना है।

परिणाम
इस प्रशिक्षण के बाद, AI इस "फिक्स-इट एग्जाम" में बहुत बेहतर हो गया।

वह त्रुटियों को पहचानने (द वर्डिक्ट) में काफी बेहतर हो गया।
सबसे महत्वपूर्ण बात यह है कि वह ऐसे निर्देश देने में बहुत बेहतर हो गया जो वास्तव में चित्र को ठीक करते हैं (द रेक्टिफिकेशन)।
लेखकों ने दिखाया कि यह नया "ट्रेनर" कई अलग-अलग AI सिस्टम में लगाया जा सकता है, जिससे वे अपनी गलतियों से सीखकर उच्च-गुणवत्ता वाली छवियां बनाने में बेहतर बन जाते हैं।

सारांश में
यह पेपर कहता है: "वर्तमान AI गलतियाँ करने में और उन्हें पहचानने में बहुत अच्छा है, लेकिन उन्हें ठीक करने में खराब है। हमने इस अंतर को मापने के लिए एक परीक्षण बनाया है, और हमने एक प्रशिक्षण पद्धति बनाई है जो AI को केवल त्रुटियों के बारे में 'बात' करने के बजाय वास्तव में उन्हें 'ठीक' करना सिखाती है, जिससे बहुत बेहतर चित्र प्राप्त होते हैं।"

तकनीकी सारांश: रिफ्लेक्टिव विजुअल जनरेशन के लिए बेंचमार्किंग और इवोल्यूशन ऑफ 'रीजन-रिफ्लेक्ट-रेक्टिफाई'

1. समस्या विवरण (Problem Statement)

टेक्स्ट-टू-इमेज (T2I) मॉडल और यूनिफाइड मल्टी-मोडल मॉडल्स (UMMs) ने महत्वपूर्ण प्रगति की है, लेकिन वे सिंगल-पास, ओपन-लूप जनरेशन प्रतिमान (paradigm) तक ही सीमित हैं। जैसा कि पेपर में दर्शाया गया है, ये मॉडल कंपोजिशनल प्रॉम्प्ट्स के साथ संघर्ष करते हैं, जिससे अक्सर आकार, संख्या, स्थानिक संबंध (spatial relationships), रंग और बनावट जैसे गुणों में त्रुटियां उत्पन्न होती हैं (चित्र 1a)। हालांकि हाल के प्रयासों ने "रिफ्लेक्टिव विजुअल जनरेशन" (RVG) की खोज की है—जो एक क्लोज्ड-लूप प्रतिमान है जहाँ मॉडल त्रुटियों का निदान और सुधार करते हैं—लेकिन अनुसंधान एक महत्वपूर्ण मूल्यांकन अंतराल (evaluation gap) के कारण बाधित है। मौजूदा बेंचमार्क मुख्य रूप से अलग-थलग क्षमताओं (जैसे एट्रिब्यूट अलाइनमेंट या विजुअल वेरिफिकेशन) का आकलन करते हैं, न कि उस पुनरावृत्ति तर्क प्रक्रिया (iterative reasoning process) का जो RVG के लिए आवश्यक है।

इसके अलावा, पेपर वर्तमान अत्याधुनिक मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) में एक क्षमता मिसअलाइनमेंट (capability misalignment) की पहचान करता है। जबकि इन मॉडल्स में इमेज-टेक्स्ट विसंगतियों को पहचानने के लिए मजबूत डिस्क्रिमिनेटिव रीजनिंग कौशल हो सकता है, वे इस डायग्नोस्टिक क्षमता को प्रभावी और क्रियात्मक सुधार निर्देशों (actionable, effective rectification instructions) में बदलने में विफल रहते हैं (चित्र 1b)। वे दोष को सही ढंग से पहचान तो सकते हैं, लेकिन उन्हें ठीक करने के लिए आवश्यक विशिष्ट एडिटिंग कमांड बनाने में विफल हो सकते हैं, या वे "एवेसिव" (evasive) रणनीतियों का सहारा ले सकते हैं, जैसे कि स्वयं इमेज के बजाय टेक्स्ट प्रॉम्प्ट में बदलाव का सुझाव देना।

2. कार्यप्रणाली (Methodology)

2.1 R3-Bench: रिफ्लेक्टिव विजुअल जनरेशन के लिए एक बेंचमार्क

मानकीकृत मूल्यांकन की कमी को दूर करने के लिए, लेखक R3-Bench पेश करते हैं, जो 670 एक्सपर्ट-एनोटेटेड इंस्टेंस वाला एक बेंचमार्क है।

टास्क फॉर्मलाइजेशन: यह बेंचमार्क RVG को एक Reason-Reflect-Rectify (R3) लूप के माध्यम से संचालित करता है। एक प्रॉम्प्ट $P$ $P$ और एक त्रुटिपूर्ण इमेज $I^{(t)}$ $I^{(t)}$ दिए जाने पर, मॉडल को एक स्ट्रक्चर्ड रिस्पॉन्स $R_t = \langle v_t, e_t, a_t \rangle$ $R_{t} = ⟨ v_{t}, e_{t}, a_{t} ⟩$ आउटपुट करना चाहिए:
- Reason ( $v_t$ ): इमेज-टेक्स्ट कंसिस्टेंसी का एक बाइनरी वेरिफिकेशन।
- Reflect ( $e_t$ ): सिमेंटिक विसंगतियों को स्थानीयकृत (localize) करने वाला एक विस्तृत विवरण।
- Rectify ( $a_t$ ): एक बाहरी इमेज एडिटर के लिए एक सटीक, क्रियात्मक निर्देश।
डेटा निर्माण: यह डेटासेट विविध स्रोतों (T2I-R1, GenEval++, GEdit, PICO-Banana) से जेनेरेटिव रैंकिंग, काउंटरफैक्चुअल रीराइटिंग और विजुअल इनवर्जन जैसी रणनीतियों का उपयोग करके सिंथेसाइज किया गया है। रेशनल वेरिफिकेशन, कंसेंसस वोटिंग और विजुअल प्रूनिंग वाला एक कैस्केडेड फिल्टरिंग पाइपलाइन उच्च-गुणवत्ता वाले, स्पष्ट नमूने सुनिश्चित करता है जो आठ त्रुटि श्रेणियों (स्पेशियल, कलर, न्यूमेरसी, आदि) को कवर करते हैं।
मूल्यांकन प्रोटोकॉल: बेंचमार्क एक दो-चरणीय प्रोटोकॉल का उपयोग करता है:
1. रिफ्लेक्टिव वर्डिक्ट स्कोर ( $S_{ref}$ ): यह बाइनरी वर्डिक्ट की सटीकता और ग्राउंड ट्रुथ के विरुद्ध रिफ्लेक्टिव एक्सप्लेनेशन की सिमेंटिक समानता का मूल्यांकन करता है।
2. रेक्टिफिकेशन स्कोर ( $S_{rect}$ ): यह रेक्टिफिकेशन एक्शन की प्रभावकारिता को मापता है। एक बाहरी एडिटर मॉडल के निर्देश को निष्पादित करता है ताकि एक संशोधित इमेज बनाई जा सके। स्कोर प्रारंभिक त्रुटि की तुलना में सापेक्ष दृश्य सुधार (relative visual improvement) को मापता है, जिसे अधिकतम संभावित लाभ द्वारा नॉर्मलाइज किया जाता है।

2.2 R3-Refiner: एक रीइन्फोर्समेंट लर्निंग फ्रेमवर्क

स्ट्रॉन्ग रीजनिंग और वीक रेक्टिफिकेशन के बीच के अंतर को पाटने के लिए, लेखक R3-Refiner नामक एक डुअल-स्टेज रीइन्फोर्समेंट लर्निंग फ्रेमवर्क प्रस्तावित करते हैं।

मुख्य तंत्र: फ्रेमवर्क R3 ट्राजेक्टरी जेनरेट करने वाली पॉलिसी $\pi_\theta$ को ऑप्टिमाइज़ करने के लिए Group Relative Policy Optimization (GRPO) का उपयोग करता है।
Hierarchical Reward Mechanism (HRM): HRM एक प्रमुख नवाचार है, जो पूरे लूप को अलाइन करने के लिए सुपरविजन को डीकंपोज करता है:
1. Reasoning Alignment Reward ( $R_{reason}$ ): यह ग्राउंड ट्रुथ (GT) लेबल्स का उपयोग करके वेरिफिकेशन और रिफ्लेक्शन चरणों को सुपरवाइज करता है। यह सुनिश्चित करता है कि मॉडल त्रुटियों का सटीक निदान करे। लेखक नोट करते हैं कि केवल इस चरण को ऑप्टिमाइज़ करने से "इल्युसरी विजुअल रेक्टिफिकेशन" (Illusory Visual Rectification) होता है, जहाँ मॉडल इमेज को ठीक करने के बजाय त्रुटिपूर्ण इमेज से मेल खाने के लिए प्रॉम्प्ट डिस्क्रिप्शन को फिर से लिखने के बारे में सीख जाता है।
2. Rectification Alignment Reward ( $R_{rect}$ ): शॉर्टकट व्यवहार को रोकने के लिए, यह चरण रेक्टिफिकेशन के परिणाम का मूल्यांकन करता है। पॉलिसी एक निर्देश जेनरेट करती है, एक बाहरी एडिटर इसे निष्पादित करता है, और पॉलिसी स्वयं मूल प्रॉम्प्ट और संशोधित इमेज के बीच कंसिस्टेंसी का पुनर्मूल्यांकन करती है। यह सेल्फ-वेरिफिकेशन सिग्नल ( $P_{\pi_\theta}(\hat{v} = \text{True} | P, I^{(1)}$ ) ऐसे संपादन को प्रोत्साहित करता है जो वास्तव में विजुअल विसंगतियों को हल करते हैं।
इटरेटिव रिफाइनमेंट: पोस्ट-ट्रेनिंग के बाद, R3-Refiner को एक इटरेटिव लूप में तैनात किया जा सकता है, जो निरंतरता प्राप्त होने तक या अधिकतम इटरेशन काउंट तक अलाइनमेंट के बारे में बार-बार तर्क देता है और स्थानीयकृत त्रुटियों को ठीक करता है।

3. मुख्य योगदान (Key Contributions)

R3-Bench: R3 लूप को औपचारिक रूप देने और मूल्यांकन करने वाला पहला बेंचमार्क, जो डायग्नोस्टिक सटीकता और रेक्टिफिकेशन प्रभावकारिता का दोहरा-मेट्रिक मूल्यांकन प्रदान करता है।
क्षमता मिसअलाइनमेंट की पहचान: पेपर अनुभवजन्य रूप से प्रदर्शित करता है कि अग्रणी MLLMs त्रुटियों का निदान कर सकते हैं लेकिन वैध सुधार निष्पादित करने में विफल रहते हैं, एक ऐसा गैप जो क्लोज्ड-लूप RVG पाइपलाइन्स की उपयोगिता को सीमित करता है।
R3-Refiner: एक नवीन RL-आधारित फ्रेमवर्क जो डिस्क्रिमिनेटिव रीजनिंग को क्रियात्मक एडिटिंग निर्देशों के साथ अलाइन करने के लिए Hierarchical Reward Mechanism का लाभ उठाता है, प्रभावी रूप से रीजनिंग क्षमताओं को एक्शन योग्य एडिटिंग कमांड्स में डिस्टिल करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

R3-Bench पर प्रदर्शन: R3-Refiner (Qwen3-VL-8B पर निर्मित) ओपन-सोर्स तरीकों के बीच स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है। यह बेसलाइन Qwen3-VL-8B को रिफ्लेक्टिव वर्डिक्ट स्कोर में +12.0% और रेक्टिफिकेशन स्कोर में +9.0% से बेहतर बनाता है। यह वर्डिक्ट एक्यूरेसी में Gemini 3 जैसे शक्तिशाली क्लोज्ड-सोर्स मॉडल्स के प्रदर्शन से मेल खाता है और प्रतिस्पर्धी रेक्टिफिकेशन स्कोर (0.62 बनाम 0.65 GPT-5.2 के लिए) प्राप्त करता है।
T2I बेंचमार्क्स पर सामान्यीकरण: एक प्लग-एंड-प्ले मॉड्यूल के रूप में एकीकृत होने पर, R3-Refiner विभिन्न T2I मॉडल्स (Bagel, OmniGen2, Qwen-Image, GPT Image) के जनरेशन की गुणवत्ता को GenEval++ और T2I-CompBench पर महत्वपूर्ण रूप से बढ़ाता है। उदाहरण के लिए, यह GenEval++ पर Bagel के औसत स्कोर को 0.421 से बढ़ाकर 0.532 कर देता है।
एब्लेशन स्टडीज (Ablation Studies):
- रेक्टिफिकेशन अलाइनमेंट रिवॉर्ड को हटाने से रेक्टिफिकेशन स्कोर में गिरावट आती है और "इल्युसरी" प्रॉम्प्ट-एडिटिंग व्यवहार उभर आता है।
- R3-Refiner, सिंगल रिफाइनमेंट इटरेशन के साथ "Best-of-N" सैंपलिंग रणनीति से बेहतर प्रदर्शन करता है, जो पैरेलल सैंपलिंग के ऊपर सीरियल ऑप्टिमाइजेशन की दक्षता को प्रदर्शित करता है।
- ह्यूमन इवैल्यूएशन पुष्टि करता है कि ऑटोमैटिक रेक्टिफिकेशन स्कोर ( $S_{rect}$ ) ह्यूमन जजमेंट्स के साथ मजबूती से सह-संबंधित है (SROCC=0.800)।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि R3-Refiner विजुअल जनरेशन में डायग्नोस्टिक रीजनिंग और सुधारात्मक कार्रवाई के बीच के महत्वपूर्ण मिसअलाइनमेंट को सफलतापूर्वक संबोधित करता है। R3 लूप को औपचारिक रूप देकर और एक रिवॉर्ड मैकेनिज्म पेश करके जो रेक्टिफिकेशन को सेल्फ-वेरिफिकेशन में ग्राउंड करता है, यह कार्य मॉडल्स को न केवल त्रुटियों को "देखने" बल्कि प्रभावी ढंग से उन्हें "ठीक करने" में सक्षम बनाता है।

लेखक इस कार्य को विश्वसनीय विजुअल सिंथेसिस के लिए Inference-Time Scaling की दिशा में एक कदम के रूप में देखते हैं। वे तर्क देते हैं कि एक सीखी गई पॉलिसी के माध्यम से आउटपुट को बार-बार रिफाइन करने की क्षमता स्टैटिक जनरेशन या सरल सैंपलिंग रणनीतियों की तुलना में श्रेष्ठ है। यह कार्य रेखांकित करता है कि जबकि वर्तमान मॉडल्स में मजबूत डिस्क्रिमिरेटिव क्षमताएं हैं, उच्च-गुणवत्ता वाले जनरेशन के लिए उनकी पूर्ण क्षमता को अनलॉक करने के लिए इन क्षमताओं को रचनात्मक, क्रियात्मक रिफाइनमेंट पॉलिसी के साथ अलाइन करना आवश्यक है। पेपर निष्कर्ष निकालता है कि R3-Refiner एक मजबूत, प्लग-एंड-प्ले मॉड्यूल के रूप में कार्य करता है जो विविध जेनेरेटिव एक्सेक्यूटर्स को बढ़ा सकता है, जिससे जटिल, कंपोजिशनल परिदृश्यों में विजुअल जेनेरेटिव मॉडल्स की विश्वसनीयता बढ़ती है।