🤖 AI

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

चेन-ऑफ-ज़ूम (CoZ) एक मॉडल-अज्ञेय (model-agnostic) ढांचा है जो VLM-जनित टेक्स्ट प्रॉम्प्ट्स द्वारा निर्देशित मध्यवर्ती स्केल-स्टेट्स की एक ऑटोरेग्रेसिव श्रृंखला में कार्य को विभाजित करके चरम सिंगल-इमेज सुपर-रिज़ॉल्यूशन प्राप्त करता है, जिसे मॉडल के मूल प्रशिक्षण शासन से कहीं अधिक आवर्धन पर उच्च बोधगम्य गुणवत्ता बनाए रखने के लिए प्रेफरेंस अलाइनमेंट के माध्यम से और अधिक अनुकूलित किया जाता है।

मूल लेखक: Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "चेन-ऑफ-ज़ूम" (CoZ) पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) में अनुवादित किया गया है।

बड़ी समस्या: "धुंधला ज़ूम" का जाल (The "Blurry Zoom" Trap)

कल्पना कीजिए कि आपके फोन पर बिल्ली की एक बहुत छोटी, धुंधली फोटो है। आप उसकी मूंछों को करीब से देखने के लिए ज़ूम करना चाहते हैं।

पुराना तरीका ("स्ट्रेच" विधि): यदि आप केवल इमेज को खींचते (stretch) हैं, तो वह एक विशाल, पिक्सेलेटेड कचरा बन जाती है।
आधुनिक AI तरीका ("जादुई" विधि): वर्तमान AI सुपर-रेज़ोल्यूशन मॉडल जादूगर कलाकारों की तरह हैं। यदि आप उनसे थोड़ा ज़ूम करने के लिए कहते हैं (जैसे 4x), तो वे अद्भुत काम करते हैं। वे मूंछों और फर की बनावट का सटीक अनुमान लगा सकते हैं।
खामी (The Glitch): लेकिन यदि आप उसी कलाकार से 256 गुना ज़ूम करने के लिए कहते हैं (एक छोटे बिंदु से एक विशाल पोस्टर तक), तो वे घबरा जाते हैं। वे कल्पना (hallucinate) करने लगते हैं। वे शायद तीन सिर वाली बिल्ली बना दें, या बिल्ली के फर को ईंट की दीवार में बदल दें। उन्हें केवल छोटे ज़ूम के लिए प्रशिक्षित किया गया था, इसलिए वे अत्यधिक दूरी को संभालने के तरीके नहीं जानते।

समाधान: चेन-ऑफ-ज़ूम (Chain-of-Zoom - CoZ)

इस पेपर के लेखकों ने चेन-ऑफ-ज़ूम नामक एक चतुर तकनीक विकसित की है। एक ही बड़ी छलांग में "छोटे" से "विशाल" तक जाने के बजाय, वे इस यात्रा को छोटे, प्रबंधनीय चरणों में तोड़ देते हैं।

इसे पहाड़ चढ़ने की तरह समझें।

पुराना तरीका: बेस कैंप से शिखर तक एक ही छलांग में पहुँचने की कोशिश करना। आप गिर सकते हैं।
CoZ तरीका: आप छोटे कदम उठाते हैं। आप पहले पायदान (ledge) तक चढ़ते हैं, आराम करते हैं, अपना नक्शा देखते हैं, फिर अगले पायदान तक चढ़ते हैं। आप शीर्ष तक पहुँचने के लिए यही प्रक्रिया दोहराते रहते हैं।

तकनीकी शब्दों में, AI तुरंत 1x से 256x पर जाने की कोशिश नहीं करता है। यह इस प्रकार जाता है:

1x $\to$ 4x
4x $\to$ 16x
16x $\to$ 64x
64x $\to$ 256x

हर चरण में, AI उसी "कलाकार" मॉडल का उपयोग करता है जिसे वह पहले से जानता है और जिस पर उसे भरोसा है। क्योंकि हर बार छलांग छोटी होती है, इसलिए कलाकार शांत और सटीक रहता है।

गुप्त सामग्री: "गाइड" (VLM)

यहाँ पेचीदा हिस्सा है। जैसे-जैसे आप और अधिक ज़ूम करते जाते हैं, मूल धुंधली फोटो लगभग अदृश्य हो जाती है। AI के पास काम करने के लिए बहुत कम विज़ुअल जानकारी बचती है। यह एक अंधेरे कमरे में विस्तृत लैंडस्केप पेंट करने की कोशिश करने जैसा है।

यदि AI तीसरे चरण में गलती करता है, तो वह गलती चौथे चरण में बढ़ जाएगी, और 10वें चरण तक आते-आते इमेज पूरी तरह खराब हो जाएगी।

इसे ठीक करने के लिए, लेखकों ने एक गाइड जोड़ा है।

कलाकार (The Artist): सुपर-रेज़ोल्यूशन मॉडल (वह जो तस्वीर पेंट कर रहा है)।
गाइड (The Guide): एक विज़न-लैंग्वेज मॉडल (VLM)। यह एक ऐसा AI है जो इमेज को "देख" भी सकता है और उसे "पढ़" भी सकता है।

गाइड कैसे काम करता है:
इससे पहले कि कलाकार अगला ज़ूम किया हुआ वर्शन पेंट करे, गाइड वर्तमान इमेज और पिछली इमेज को देखता है। वह कलाकार के लिए एक छोटा, वर्णनात्मक नोट (प्रॉम्ट) लिखता है।

उदाहरण: "ठीक है, हम दीवार पर ज़ूम कर रहे हैं। पिछले चरण में एक खुरदरी बनावट दिखाई दी थी। इस चरण में विशिष्ट ईंट के पैटर्न और काई (moss) दिखनी चाहिए, न कि चिकना पेंट।"

यह नोट कलाकार को सही रास्ते पर रखता है, यह सुनिश्चित करता है कि विवरण सार्थक हों, भले ही विज़ुअल संकेत धुंधले क्यों न हों।

"कोच" (GRPO ट्रेनिंग)

एक समस्या थी: गाइड हमेशा सटीक नहीं होता था। कभी-कभी वह गलत निर्देश देता था, जैसे कि जब वास्तव में एक बिल्ली हो, तो "यहाँ एक ड्रैगन बनाओ" कहना। या वह बार-बार एक ही बात दोहराता रहता था।

इसे ठीक करने के लिए, लेखकों ने गाइड को GRPO (Generalized Reward Policy Optimization) पद्धति का उपयोग करके प्रशिक्षित किया।

इसे कोच और आलोचक के रूप में समझें:

छात्र (गाइड): कलाकार के लिए एक विवरण लिखता है।
आलोचक (एक अन्य AI): विवरण और इमेज को देखता है। वह एक स्कोर देता है: "अच्छा काम किया, यह सटीक है!" या "बुरा काम किया, तुमने ड्रैगन की कल्पना कर ली!"
कोच (GRPO): उन स्कोर्स का उपयोग छात्र को सिखाने के लिए करता है। यदि छात्र को उच्च स्कोर मिलता है, तो वह वैसा ही करता रहता है। यदि उसे कम स्कोर मिलता है, तो वह उन गलतियों को करना बंद करना सीख जाता है।

समय के साथ, गाइड कलाकार के लिए एकदम सही निर्देश लिखने में विशेषज्ञ बन जाता है, जिससे यह सुनिश्चित होता है कि अंतिम इमेज वास्तविक और मानवीय पसंद के अनुरूप दिखे।

परिणाम: एक्सट्रीम सुपर-रेज़ोल्यूशन

इन तीनों चीजों को मिलाकर:

छोटे कदम: एक समय में एक पायदान चढ़ना।
गाइड: कलाकार को केंद्रित रखने के लिए नोट्स लिखना।
कोच: गाइड को परफेक्ट बनाने के लिए प्रशिक्षित करना।

टीम ने कुछ अविश्वसनीय हासिल किया: उन्होंने एक मानक AI मॉडल (जो केवल 4x ज़ूम के लिए प्रशिक्षित था) का उपयोग करके 256x ज़ूम अविश्वसनीय विवरण के साथ बनाया। आप पेड़ पर व्यक्तिगत पत्तियाँ, झंडे की सिलवटें, या दीवार की बनावट देख सकते हैं, और वह भी पूरे सिस्टम को फिर से प्रशिक्षित किए बिना।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप दूर के एक साइन बोर्ड पर लिखे बहुत छोटे अक्षरों को पढ़ने की कोशिश कर रहे हैं।

पुराना AI: एक ही बार में पूरे शब्द का अनुमान लगाने की कोशिश करता है। वह "PARK" का अनुमान लगाता है जबकि वास्तव में वह "PARKING" है।
चेन-ऑफ-ज़ूम: आप टेलीस्कोप का उपयोग करते हैं।
1. आप थोड़ा ज़ूम करते हैं। गाइड (एक बुद्धिमान मित्र) कहता है, "यह एक 'P' जैसा लग रहा है।"
2. आप और ज़ूम करते हैं। गाइड कहता है, "अब मुझे एक 'A' और एक 'R' दिख रहा है।"
3. आप फिर से ज़ूम करते हैं। गाइड कहता है, "निश्चित रूप से 'K', 'I', 'N', 'G' है।"
4. कोच ने गाइड को सिखाया कि जब अक्षर स्पष्ट रूप से "PARKING" लिख रहे हों, तो "PARK" का अनुमान न लगाए।

परिणाम? आप मील दूर से भी साइन को पूरी तरह पढ़ सकते हैं।

यहाँ शोध पत्र "Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान सिंगल-इमेज सुपर-रिज़ॉल्यूशन (SISR) मॉडल, विशेष रूप से जो डिफ्यूजन या जेनेरेटिव प्रायर्स (generative priors) पर आधारित हैं, उन विशिष्ट आवर्धन कारकों (magnification factors) (जैसे कि 4×) के लिए उत्कृष्ट प्रदर्शन करते हैं जिनके लिए उन्हें प्रशिक्षित किया गया है। हालाँकि, वे एक स्केलेबिलिटी बॉटलनेक (scalability bottleneck) से ग्रस्त हैं: जब उन्हें अपने प्रशिक्षण दायरे से बहुत अधिक (जैसे 16×, 64×, या 256×) आवर्धन करने के लिए कहा जाता है, तो ये मॉडल अक्सर विफल हो जाते हैं, जिससे गंभीर आर्टिफ़ेक्ट्स (artifacts), धुंधलापन, या "हैलुसिनेशन" (अवास्तविक विवरण) उत्पन्न होते हैं।

पहचाने गए मुख्य चुनौतियाँ हैं:

डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): मॉडल विशिष्ट प्रशिक्षण पैमानों (scales) से मजबूती से जुड़े होते हैं; उन्हें अत्यधिक पैमानों पर लागू करना उनके सीखे हुए अनुमानों का उल्लंघन करता है।
सूचना की कमी (Information Sparsity): अत्यधिक आवर्धन पर, मूल लो-रिज़ॉल्यूशन (LR) इनपुट से प्राप्त दृश्य संकेत (visual cues) हाई-फ्रीक्वेंसी विवरणों को उत्पन्न करने के लिए अपर्याप्त हो जाते हैं, जिससे असंगत आउटपुट प्राप्त होता है।
कंप्यूटेशनल लागत (Computational Cost): प्रत्येक विशिष्ट अत्यधिक स्केल फैक्टर के लिए नए मॉडल को प्रशिक्षित करना कम्प्यूटेशनल रूप से निषेधात्मक और अक्षम है।

2. कार्यप्रणाली: चेन-ऑफ-ज़ूम (Chain-of-Zoom - CoZ)

लेखक चेन-ऑफ-ज़ूम (CoZ) का प्रस्ताव करते हैं, जो एक मॉडल-एग्नोस्टिक (model-agnostic) फ्रेमवर्क है जो अत्यधिक सुपर-रिज़ॉल्यूशन कार्य को प्रबंधनीय, मध्यवर्ती स्केल-स्टेट्स (intermediate scale-states) के एक अनुक्रम में विभाजित करता है।

A. स्केल-लेवल ऑटोरेग्रेशन (AR-2)

$x_L$ (LR) को सीधे $x_H$ (HR) में एक चरण में मैप करने के बजाय, CoZ मध्यवर्ती स्केल-स्टेट्स $x_1, x_2, \dots, x_n$ पेश करता है।

विभाजन (Decomposition): कंडीशनल प्रोबेबिलिटी $p(x_H | x_L)$ को मध्यवर्ती वितरणों की एक श्रृंखला में विभाजित किया जाता है।
AR-2 मॉडलिंग: हाई-फ्रीक्वेंसी विवरणों के नुकसान और सिमेंटिक ड्रिफ्ट (semantic drift) को रोकने के लिए, फ्रेमवर्क एक AR-2 (ऑटोरेग्रेसिव ऑर्डर 2) संरचना का उपयोग करता है। अगले स्केल स्टेट $x_i$ का जनरेशन न केवल तत्काल पिछले स्टेट $x_{i-1}$ पर, बल्कि उससे पहले वाले स्टेट $x_{i-2}$ पर भी निर्भर करता है।
लेटेंट वेरिएबल्स (Latent Variables): मॉडल विजुअल जानकारी को पूरक बनाने के लिए टेक्स्ट प्रॉम्प्ट्स $c_i$ को लेटेंट वेरिएबल्स के रूप में शामिल करता है। संयुक्त वितरण (joint distribution) को इस प्रकार मॉडल किया जाता है:
$p(x_0, c_1, x_1, \dots, c_n, x_n) = p(x_0, c_1, x_1) \prod_{i=2}^{n} p(x_i | x_{i-1}, x_{i-2}, c_i) p(c_i | x_{i-1}, x_{i-2})$

B. मल्टी-स्केल-अवेयर प्रॉम्प्ट एक्सट्रैक्शन (Multi-Scale-Aware Prompt Extraction)

जैसे-जैसे आवर्धन बढ़ता है, मूल इमेज सिग्नल SR मॉडल को प्रभावी ढंग से गाइड करने के लिए बहुत विरल (sparse) हो जाता है। CoZ प्रत्येक ज़ूम स्टेप के लिए वर्णनात्मक टेक्स्ट प्रॉम्प्ट्स ( $c_i$ ) उत्पन्न करने के लिए एक विज़न-लैंग्वेज मॉडल (VLM) का उपयोग करता है।

संदर्भ (Context): VLM केवल वर्तमान इमेज के बजाय दो पिछले स्केल स्टेट्स ( $x_{i-1}$ और $x_{i-2}$ ) पर आधारित होता है। यह "मल्टी-स्केल अवेयरनेस" VLM को विवरणों की प्रगति को समझने और सिमेंटिक सामंजस्य बनाए रखने वाले प्रॉम्प्ट्स उत्पन्न करने में मदद करती है।
भूमिका (Role): ये प्रॉम्प्ट्स SR बैकबोन के लिए एक "गाइड" के रूप में कार्य करते हैं, जो इसे रैंडम नॉइज़ (noise) बनाने के बजाय यथार्थवादी बनावट (जैसे "दीवार की बनावट", "पत्तियों की नसें") को सिंथेसाइज करने के लिए निर्देशित करते हैं।

C. GRPO के माध्यम से प्रेफरेंस अलाइनमेंट (Preference Alignment via GRPO)

एक मानक ऑफ-द-शेल्फ VLM ऐसे प्रॉम्प्ट्स उत्पन्न कर सकता है जो बहुत अधिक विस्तृत, दोहराव वाले, या मानवीय पसंद के साथ सिमेंटिक रूप से असंगत हों, जिससे खराब SR परिणाम मिल सकते हैं। इसे हल करने के लिए, लेखक जनरलाइज्ड रिवॉर्ड पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके एक रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) पाइपलाइन पेश करते हैं।

प्रॉम्प्ट-एक्सट्रैक्शन VLM को एक कंपोजिट रिवॉर्ड फंक्शन $R(c_i)$ का उपयोग करके फाइन-ट्यून किया जाता है:

क्रिटिक प्रेफरेंस रिवॉर्ड ( $R_{critic}$ ): एक शक्तिशाली "क्रिटिक VLM" (जैसे InternVL2.5-8B) उत्पन्न किए गए प्रॉम्प्ट को इस आधार पर स्कोर देता है कि वह ज़ूम-इन की गई इमेज का वर्णन कितनी अच्छी तरह करता है, जो मानवीय पसंद के प्रॉक्सी के रूप में कार्य करता है।
फ्रेज़-एक्सक्लूजन रिवॉर्ड ( $R_{phrase}$ ): प्रॉम्प्ट में "पहला चित्र" या "दूसरा चित्र" जैसे अर्थहीन मार्कर शामिल करने पर दंडित करता है।
रिपेटिशन पेनल्टी ( $R_{rep}$ ): संक्षिप्त और विविध प्रॉम्प्ट सुनिश्चित करने के लिए n-gram दोहराव को दंडित करता है।

यह पाइपलाइन VLM के आउटपुट को सुपर-रिज़ॉल्यूशन कार्य की विशिष्ट आवश्यकताओं के साथ संरेखित (align) करती है, जिससे यह सुनिश्चित होता है कि टेक्स्ट मार्गदर्शन सटीक और सहायक है।

3. मुख्य योगदान (Key Contributions)

चेन-ऑफ-ज़ूम फ्रेमवर्क: एक अभिनव, मॉडल-एग्नोस्टिक दृष्टिकोण जो मौजूदा SR मॉडल्स (जो 4× जैसे छोटे स्केल्स पर प्रशिक्षित हैं) को बिना बैकबोन को पुन: प्रशिक्षित किए अत्यधिक आवर्धन (256× तक) प्राप्त करने में सक्षम बनाता है।
स्केल-लेवल ऑटोरेग्रेशन: अत्यधिक SR की जटिल समस्या को हल करने के लिए मल्टी-स्केल-अवेयर प्रॉम्प्ट्स के साथ AR-2 मॉडलिंग का परिचय।
GRPO-आधारित प्रॉम्प्ट ट्यूनिंग: टेक्स्ट गाइडेंस को मानवीय सौंदर्य और सिमेंटिक प्राथमिकताओं के साथ संरेखित करने के लिए क्रिटिक VLM का उपयोग करते हुए प्रॉम्प्ट-एक्सट्रैक्शन VLMs को फाइन-ट्यून करने के लिए GRPO का पहला अनुप्रयोग।
मॉडल एग्नोसि्म (Model Agnosticism): यह फ्रेमवर्क किसी भी मौजूदा टेक्स्ट-गाइडेड डिफ्यूजन या नॉन-डिफ्यूजन SR नेटवर्क (इसे OSEDiff और S3Diff के साथ प्रदर्शित किया गया है) को रैप कर सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DIV2K, DIV8K जैसे मानक डेटासेट्स पर CoZ का मूल्यांकन किया और इसकी तुलना नियरस्ट-नेबर इंटरपोलेशन, डायरेक्ट वन-स्टेप SR, और अन्य बेसलाइन विधियों (LIIF, SeeSR, S3Diff) से की।

गुणात्मक प्रदर्शन (Qualitative Performance): CoZ 64× और 256× आवर्धन पर फोटोरियलिस्टिक विवरण (जैसे स्पष्ट दीवार की बनावट, पत्तियों की नसें, कपड़े की सिलवटें) सफलतापूर्वक उत्पन्न करता है, जहाँ बेसलाइन विधियाँ धुंधलापन या आर्टिफेक्ट्स पैदा करती हैं।
मात्रात्मक प्रदर्शन (Quantitative Performance):
- चूँकि 256× के लिए ग्राउंड ट्रुथ उपलब्ध नहीं है, इसलिए इसका मूल्यांकन नो-रेफरेंस मेट्रिक्स (NIQE, MUSк, MANIQA, CLIPIQA) का उपयोग करके किया गया।
- CoZ (VLM) लगातार सभी बेसलाइन्स, जिनमें डायरेक्ट SR और null/DAPE प्रॉम्प्ट्स वाला CoZ शामिल है, को पछाड़ता है, विशेष रूप से उच्च स्केल्स (64× और 256×) पर।
- उदाहरण के लिए, DIV2K पर 256× पर, CoZ (VLM) ने 47.83 का MUSIQ स्कोर प्राप्त किया, जो Direct SR (28.89) और S3Diff (25.92) से काफी अधिक है।
एब्लेशन स्टडीज (Ablation Studies):
- मल्टी-स्केल प्रॉम्प्ट्स: प्रॉम्प्ट जनरेशन के लिए $x_{i-1}$ और $x_{i-2}$ का उपयोग करने से केवल $x_{i-1}$ का उपयोग करने की तुलना में बेहतर परिणाम मिले।
- GRPO ट्यूनिंग: GRPO-फाइन-ट्यून्ड VLM ने बेस VLM की तुलना में काफी बेहतर परिणाम दिए, जिससे हैलुसिनेशन कम हुआ और सिमेंटिक अलाइनमेंट में सुधार हुआ (User MOS अध्ययनों द्वारा पुष्टि की गई)।
दक्षता (Efficiency): हालांकि CoZ के लिए कई इन्फरेंस स्टेप्स (रिकर्सन) की आवश्यकता होती है, कुल रनटाइम प्रतिस्पर्धी रहता है, और यह विधि अत्यधिक स्केल्स के लिए नए मॉडल को प्रशिक्षित करने से जुड़ी मेमोरी विस्फोट से बचती है।

5. महत्व (Significance)

यह शोध पत्र इमेज रिस्टोरेशन के क्षेत्र में एक महत्वपूर्ण सीमा को संबोधित करता है: वर्तमान मॉडल्स की मनमाने ढंग से स्केल करने में असमर्थता।

संसाधन दक्षता: यह नए मॉडल्स को शून्य से प्रशिक्षित करने के बजाय पूर्व-प्रशिक्षित मॉडल्स का लाभ उठाकर अत्यधिक रिज़ॉल्यूशन के लिए एक लागत प्रभावी मार्ग प्रदान करता है।
सिमेंटिक सुसंगतता (Semantic Coherence): VLMs और RLHF को एकीकृत करके, यह कार्य प्रदर्शित करता है कि जब विजुअल संकेत विरल होते हैं, तो सिमेंटिक फिडेलिटी बनाए रखने के लिए टेक्स्टुअल मार्गदर्शन आवश्यक है।
भविष्य की दिशाएं: यह फ्रेमवर्क "लर्न्ड ज़ूम पॉलिसीज़", डोमेन-विशिष्ट रिवॉर्ड फंक्शन्स और एडेप्टिव बैकबोन सिलेक्शन के लिए नए रास्ते खोलता है, जो मेडिकल इमेजिंग, सैटेलाइट निगरानी और लीगेसी मीडिया रिस्टोरेशन जैसे क्षेत्रों को प्रभावित कर सकता है।

संक्षेप में, चेन-ऑफ-ज़ूम ऑटोरिग्रेसिव स्केल डिकम्पोजिशन और प्रेफरेंस-अलाइन्ड टेक्स्टुअल गाइडेंस के संयोजन के माध्यम से फिक्स्ड-स्केल सुपर-रिज़ॉल्यूशन मॉडल्स को लचीले, एक्सट्रीम-रिज़ॉल्यूशन इंजनों में बदल देता है।