🤖 machine learning

Active Learning for Conditional Generative Compressed Sensing

यह शोध पत्र इमेज रिकवरी के लिए एक कंडीशनल जेनरेटिव कॉम्प्रैस्ड सेंसिंग फ्रेमवर्क प्रस्तावित करता है जो सैंपलिंग डिज़ाइन और मॉडल कंडीशनिंग के लिए प्रॉम्प्ट्स के बीच अंतर करता है, जो यह सिद्ध करता है कि प्रॉम्प्ट-मैच्ड क्रिस्टोफेल सैंपलिंग स्थिर रिकवरी बाउंड्स प्राप्त करती है और प्रयोगों के माध्यम से यह प्रदर्शित करता है कि प्रॉम्प्ट्स सैंपलिंग वितरण और पुनर्निर्माण गुणवत्ता दोनों को महत्वपूर्ण रूप से प्रभावित करते हैं।

मूल लेखक: Alexander DeLise, Nick Dexter

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander DeLise, Nick Dexter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल 3D मूर्ति को फिर से बनाने (reconstruct करने) की कोशिश कर रहे हैं, लेकिन आपको केवल अलग-अलग कोणों से कुछ ही धुंधली तस्वीरें लेने की अनुमति है। सिग्नल प्रोसेसिंग की दुनिया में, इसे कंप्रेस्ड सेंसिंग (Compressed Sensing) कहा जाता है। आमतौर पर, एक अच्छी तस्वीर वापस पाने के लिए आपको मूर्ति के बारे में पहले से कुछ पता होना चाहिए—जैसे कि "यह चिकनी वक्र रेखाओं (smooth curves) से बनी है" या "यह तीखे किनारों (sharp edges) से बनी है।"

यह शोध पत्र एक स्मार्ट तरीके से तस्वीरें लेने और एक स्मार्ट तरीके से यह अनुमान लगाने का परिचय देता है कि मूर्ति कैसी दिखती है, जिसके लिए वह जेनरेटिव एआई (Generative AI) (विशेष रूप से, स्टेबल डिफ्यूजन जैसे मॉडल जो टेक्स्ट से चित्र बना सकते हैं) नामक टूल का उपयोग करता है।

यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "अनुमान लगाने का खेल" (The Guessing Game)

कल्पना कीजिए कि आप एक जासूस हैं जो बहुत कम सुरागों (subsampled measurements) के आधार पर एक अपराध (एक छवि का पुनर्निर्माण) सुलझाने की कोशिश कर रहे हैं।

पुराना तरीका: आप मान लेते हैं कि अपराधी बस "एक व्यक्ति" है। आप रैंडम तरीके से फोटो लेते हैं। यह ठीक काम करता है, लेकिन यह अक्षम (inefficient) है।
नया तरीका (जेनरेटिव सेंसिंग): आपके पास एक "जादुई मूर्तिकार" (AI जनरेटर) है। आप मूर्तिकार से कहते हैं, "मेरे लिए एक व्यक्ति बनाओ," और वे एक आदर्श मूर्ति बनाते हैं। आपको आकार का अनुमान लगाने की आवश्यकता नहीं है; आपको बस मूर्तिकार की सेटिंग्स को उन कुछ सुरागों से मिलाने के लिए ढूँढना है जो आपके पास हैं।

2. ट्विस्ट: "प्रॉम्ट" (Prompt) एक दोधारी तलवार है

लेखकों ने महसूस किया कि वास्तविक दुनिया में, आपके पास अक्सर अतिरिक्त जानकारी होती है, जैसे कि एक टेक्स्ट विवरण (एक "प्रॉम्ट")। उदाहरण के लिए, "एक सूर्यास्त वाला समुद्र तट" बनाम "एक बिल्ली।"

सेटअप: वे इन टेक्स्ट प्रॉम्ट्स का उपयोग दो अलग-अलग जगहों पर करते हैं:
1. तस्वीरें डिजाइन करने के लिए (Sampling): आप कैमरे को बताते हैं, "सूर्यास्त वाले समुद्र तट की फोटो लो।" कैमरा फिर उस विवरण के आधार पर तय करता है कि उसे किन कोणों से शूट करना चाहिए।
2. छवि को पुनर्गठित करने के लिए (Recovery): आप जादुई मूर्तिकार को बताते हैं, "मेरे लिए एक सूर्यास्त वाला समुद्र तट बनाओ," ताकि उसे पता चले कि किस तरह की मूर्ति बनानी है।

पकड़ (The Catch): क्या होगा यदि आप कैमरे को "सूर्यास्त वाला समुद्र तट" शूट करने के लिए कहते हैं, लेकिन जब आप छवि को फिर से बनाने की कोशिश करते हैं, तो आप गलती से मूर्तिकार को "बिल्ली" बनाने के लिए कह देते हैं? या क्या होगा यदि वास्तविक छवि एक "कुत्ता" थी, लेकिन आपने कैमरे और मूर्तिकार दोनों को "समुद्र तट" के बारे में बताया?

3. मुख्य खोज: "संगतता कारक" (The Compatibility Factor)

लेखकों ने एक गणितीय नियम बनाया (जिसे प्रॉम्ट कम्पैटिबिलिटी फैक्टर या $\Lambda$ कहा जाता है) जो यह मापता है कि ये तीन चीजें कितनी अच्छी तरह मेल खाती हैं:

वास्तविक सिग्नल (True Signal): वस्तु वास्तव में क्या है।
सैंपलिंग प्रॉम्ट (Sampling Prompt): कैमरे को क्या खोजने के लिए बताया गया था।
रिकवरी प्रॉम्ट (Recovery Prompt): मूर्तिकार को क्या बनाने के लिए बताया गया है।

उपमा: इसे ताले और चाबी की तरह समझें।

यदि कैमरा (Sampling) और मूर्तिकार (Recovery) एक ही चीज़ के बारे में बात कर रहे हैं (जैसे, दोनों "बीच/समुद्र तट" कहते हैं), तो "चाबी" पूरी तरह से "ताले" में फिट बैठती है। आपको बहुत कम तस्वीरों की आवश्यकता होती है ताकि एक शानदार परिणाम मिल सके।
यदि वे बेमेल (mismatched) हैं (कैमरा कहता है "समुद्र तट," मूर्तिकार कहता है "बिल्ली"), तो चाबी टेढ़ी है। आपको "बिल्ली" के निर्देशों को अनदेखा करने और "समुद्र तट" की तस्वीरों के अनुकूल होने की कोशिश करने के लिए बहुत अधिक फोटो की आवश्यकता होगी।
यदि वास्तविक वस्तु एक "कुत्ता" है लेकिन आप एक "समुद्र तट" या "बिल्ली" के मॉडल को जबरदस्ती थोप रहे हैं, तो आप चाहे जो भी करें, परिणाम धुंधला और अपूर्ण ही मिलेगा।

4. "एक्टिव लर्निंग" रणनीति

शोध पत्र एक विधि प्रस्तावित करता है जिसे क्रिस्टोफ़ेल सैंपलिंग (Christoffel Sampling) कहा जाता है।

पुरानी रणनीति: बोर्ड पर तीर फेंकने की तरह रैंडम तरीके से फोटो लेना।
नई रणनीति: कैमरा "समुद्र तट" के प्रॉम्ट को देखता है और महसूस करता है, "ओह, समुद्र तटों में बहुत सारी क्षितिज रेखाएं (horizon lines) और पानी के प्रतिबिंब होते हैं। मुझे अपने सीमित फोटो उन विशिष्ट विवरणों पर केंद्रित करने चाहिए।" यह उबाऊ, खाली आकाश को अनदेखा कर देता है।
परिणाम: टेक्स्ट प्रॉम्ट के आधार पर सबसे महत्वपूर्ण विवरणों पर ध्यान केंद्रित करके, आप पहले की तुलना में बहुत कम फोटो के साथ छवि को पुनर्गठित कर सकते हैं।

5. उन्होंने क्या पाया (प्रयोग)

उन्होंने आंशिक डेटा से छवियों के पुनर्निर्माण के लिए स्टेबल डिफ्यूजन (एक लोकप्रिय AI इमेज जनरेटर) का उपयोग करके परीक्षण किया।

अच्छी खबर: जब कैमरे और मूर्तिकार के लिए टेक्स्ट प्रॉम्ट मेल खाते थे, तो पुनर्निर्माण स्पष्ट और सटीक था, भले ही बहुत कम फोटो हों। "कम्पैटिबिलिटी फैक्टर" ने सही ढंग से भविष्यवाणी की कि मेल खाने वाले प्रॉम्ट = कम फोटो की आवश्यकता।
बुरी खबर: जब प्रॉम्ट बेमेल थे (जैसे, कैमरा समुद्र तट की तलाश कर रहा था, मूर्तिकार बिल्ली बनाने की कोशिश कर रहा था), तो गुणवत्ता काफी गिर गई। गणित ने ठीक से दिखाया कि यह कितना बदतर हो गया।
आश्चर्य: कभी-कभी, मूर्तिकार के लिए एक "खाली" प्रॉम्ट (कोई विशिष्ट निर्देश नहीं) का उपयोग करना एक गलत विशिष्ट प्रॉम्ट की तुलना में बेहतर काम करता था। यह सुझाव देता है कि यदि आप सुनिश्चित नहीं हैं कि प्रॉम्ट क्या होना चाहिए, तो एक कठोर, विशिष्ट प्रॉम्ट के बजाय एक लचीला, सामान्य मॉडल अधिक सुरक्षित है जो गलत हो सकता है।

सारांश

यह शोध पत्र सिद्ध करता है कि टेक्स्ट प्रॉम्ट केवल लेबल नहीं हैं; वे डिजाइन उपकरण हैं।

यदि आप प्रॉम्ट का उपयोग कैमरे को यह बताने के लिए करते हैं कि कहाँ देखना है, और एक मेल खाने वाले प्रॉम्ट का उपयोग यह बताने के लिए करते हैं कि AI को क्या बनाना है, तो आप अविश्वसनीय रूप से कुशलता से छवियों को पुनर्गठित कर सकते हैं।
यदि आप उन्हें मिला देते हैं, तो सिस्टम भ्रमित हो जाता है और इसे अपनी गलती को सुधारने के लिए बहुत अधिक माप (measurements) की आवश्यकता होती है।
लेखक एक गणितीय "स्कोरकार्ड" प्रदान करते हैं जो आपको ठीक से बताता है कि आपको कितनी अतिरिक्त मेहनत करनी होगी यदि आपके प्रॉम्ट आपस में मेल नहीं खाते हैं।

संक्षेप में: सबसे कम सुरागों से सबसे अच्छी तस्वीर पाने के लिए, सुनिश्चित करें कि आपका कैमरा और आपका कलाकार एक ही स्क्रिप्ट पढ़ रहे हैं।

समस्या विवरण
जेनरेटिव कंप्रेस्ड सेंसिंग (GCS) कम-नमूनाकृत (undersampled) मापों से संरचित संकेतों को पुनर्प्राप्त करता है, यह मानते हुए कि संकेत एक पूर्व-प्रशिक्षित जेनरेटिव मॉडल $G$ की रेंज के समीप स्थित है। जबकि मौजूदा सिद्धांत गाऊसीय (Gaussian) मापों के तहत अनकंडीशनल मॉडल्स के लिए रिकवरी गारंटी स्थापित करते हैं, व्यावहारिक अनुप्रयोगों में अक्सर संरचित, सब-सैम्प्ल्ड यूनिटरी ट्रांसफॉर्म्स (जैसे MRI में फूरियर माप) शामिल होते हैं और इसमें सहायक जानकारी उपलब्ध होती है। यह शोध पत्र कंडीशनल जेनेरेटिव कंप्रेस्ड सेंसिंग के अंतराल को संबोधित करता है, जहाँ जेनेरेटिव मॉडल को प्रॉम्प्ट्स (जैसे टेक्स्ट विवरण, मेटाडेटा) के आधार पर कंडिशन किया जाता है। मुख्य चुनौती यह है कि कंडीशनिंग एक त्रिपक्षीय अंतःक्रिया (tripartite interaction) पेश करती है: वह प्रॉम्प्ट जो वास्तविक संकेत को परिभाषित करता है ( $c^*$ ), वह प्रॉम्प्ट जिसका उपयोग सैंपलिंग वितरण को डिजाइन करने के लिए किया जाता है ( $c_s$ ), और वह प्रॉम्प्ट जिसका उपयोग रिकवरी मॉडल को परिभाषित करने के लिए किया जाता है ( $c_r$ )। इन प्रॉम्प्ट्स के बीच बेमेल (mismatch) होने से उप-इष्टतम (suboptimal) सैंपलिंग रणनीतियों या पक्षपाती पुनर्निर्माण (biased reconstructions) की ओर ले जा सकता है, फिर भी मौजूदा ढांचे मुख्य रूप से कंडीशनिंग को एक डायनेमिक डिजाइन वेरिएबल के बजाय एक स्टैटिक प्रायर के रूप में देखते हैं।

कार्यप्रणाली (Methodology)
लेखक सब-सैम्प्ल्ड फूरियर मापों के तहत प्रॉम्प्ट-कंडीशन्ड एक्टिव लर्निंग के लिए एक ढांचा तैयार करते हैं, जो 'क्रिस्टोफ़ेल सैंपलिंग फॉर मशीन लर्निंग' (CS4ML) दृष्टिकोण को अनुकूलित करता है।

प्रॉम्प्ट-कंडीशन्ड मॉडल क्लासेस: सिग्नल स्पेस को एक कंडीशनल जनरेटर $G(z, c)$ द्वारा परिभाषित किया गया है, जहाँ $z$ एक लेटेंट वेक्टर है और $c$ एक प्रॉम्प्ट है। लेखक तीन प्रॉम्प्ट्स के बीच अंतर करते हैं:
- $c^*$ : वास्तविक-संकेत प्रॉम्प्ट (यदि $f^* \in F_{c^*}$ )।
- $c_r$ : रिकवरी प्रॉम्प्ट जो कैंडिडेट सेट $F_{c_r}$ को परिभाषित करता है।
- $c_s$ : सैंपलिंग प्रॉम्प्ट जिसका उपयोग सैंपलिंग वितरण $\mu_{c_s}$ के निर्माण के लिए किया जाता है।
प्रॉम्प्ट कम्पैटिबिलिटी फैक्टर ( $\Lambda$ ): इन प्रॉम्प्ट्स के बीच अंतःक्रिया को मापने के लिए, लेखक एक प्रॉम्प्ट कम्पैटिबिलिटी फैक्टर को परिभाषित करते हैं:
$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$
जहाँ $K$ एक जनरलाइज्ड क्रिस्टोफ़ेल फंक्शन है जो संकेतों के एक क्लास के बीच अंतर करने के लिए एक फूरियर कोऑर्डिनेट की "इनफॉर्मेटिवनेस" को मापता है, और $\mu$ एक सैंपलिंग डिस्ट्रीब्यूशन है।
- $\Lambda(c_r, c_r, c_s)$ स्थिर रिकवरी के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी को नियंत्रित करता है।
- $\Lambda(c^*, c_r, c_s)$ पुनर्निर्माण त्रुटि (एप्रोक्सिमेशन एरर) को नियंत्रित करता है जब वास्तविक संकेत रिकवरी प्रॉम्प्ट से मेल नहीं खाता है।
सैद्धांतिक विश्लेषण: शोध पत्र दो प्रकार के कंडीशनल जनरेटर्स के लिए सैंपल कॉम्प्लेक्सिटी बाउंड्स निकालता है:
- ReLU नेटवर्क्स: एक बायस-फ्री, डेप्थ- $d$ फीडफॉरवर्ड ReLU नेटवर्क मानकर।
- Lipschitz जनरेटर्स: यह मानते हुए कि जनरेटर लेटेंट बॉल पर $L$ -लिप्सचिट्ज़ (Lipschitz) है।
  दोनों मामलों में, बाउंड्स दिखाते हैं कि नमूनों की संख्या $m$ , $\Lambda$ , जनरेटर की जटिलता (जैसे ReLU के लिए चौड़ाई/गहराई, Lipschitz स्थिरांक $L$ के लिए), और न्यूनतम सैंपलिंग प्रोबेबिलिटी $\mu$ के साथ स्केल करती है।
रिकवरी गारंटी: 'सेट-रिस्ट्रिक्टेड आइजनवैल्यू कंडीशन' (S-REC) के तहत, लेखक सिद्ध करते हैं कि पुनर्निर्माण त्रुटि रिकवरी क्लास में सर्वोत्तम एप्रोक्सिमेशन एरर द्वारा सीमित होती है, जिसे $\sqrt{\Lambda(c^*, c_r, c_s)}$ द्वारा एम्प्लीफाई किया जाता है, साथ ही शोर (noise) और ऑप्टिमाइजेशन एरर के पद भी शामिल होते हैं।

मुख्य योगदान

फॉर्मूलेशन: प्रॉम्प्ट-कंडीशन्ड GCS के लिए एक एकीकृत ढांचा जो सैंपलिंग डिजाइन और रिकवरी मॉडलिंग में प्रॉम्प्ट की भूमिकाओं को स्पष्ट रूप से अलग करता है।
सैद्धांतिक मीट्रिक: प्रॉम्प्ट कम्पैटिबिलिटी फैक्टर $\Lambda$ का परिचय, जो सैंपलिंग-रिकवरी मिसमैच और सिग्नल-रिकवरी मिसमैच के विश्लेषण को एक एकल सांख्यिकी (statistic) में एकीकृत करता है, जो दोनों सैंपल कॉम्प्लेक्सिटी और एरर बाउंड्स को नियंत्रित करता है।
सैंपल कॉम्प्लेक्सिटी बाउंड्स: ReLU और Lipschitz कंडीशनल जनरेटर्स के लिए स्पष्ट बाउंड्स, जो दर्शाते हैं कि प्रॉम्प्ट मिसमैच एक दंड (penalty) को जन्म देता है (बढ़ी हुई सैंपल कॉम्प्लेक्सिटी), जो सैंपलिंग और रिकवरी ज्योमेट्री के बीच विचलन के समानुपाती होता है।
अनुभवजन्य सत्यापन (Empirical Validation): स्टेबल डिफ्यूजन 1.5 (SD15) का उपयोग करके किए गए प्रयोग दर्शाते हैं कि:
- प्रॉम्प्ट्स क्रिस्टोफ़ेल सैंपलिंग डिस्ट्रीब्यूशन को सार्थक रूप से नया आकार देते हैं (विभिन्न फूरियर फ्रीक्वेंसी पर मास को केंद्रित करना)।
- सैंपलिंग और रिकवरी प्रॉम्प्ट्स के बीच मिसमैच ( $c_s \neq c_r$ ) कम्पैटिबिलिटी फैक्टर $\Lambda$ को बढ़ाता है।
- पुनर्निर्माण प्रदर्शन इन मिसमैच के प्रति संवेदनशील है, हालांकि लेखक नोट करते हैं कि अनकंडीशनल रिकवरी ( $c_r = \text{""}$ ) उनके विशिष्ट प्रायोगिक सेटअप में अक्सर मजबूत प्रदर्शन करती थी, जो संभवतः अनकंडीशनल मॉडल की फ्लेक्सिबिलिटी या विशिष्ट ऑप्टिमाइजेशन डायनेमिक्स के कारण है।

परिणाम

सैद्धांतिक: शोध पत्र सिद्ध करता है कि स्थिर रिकवरी उच्च संभावना के साथ संभव है यदि नमूनों की संख्या $\Lambda(c_r, c_r, c_s)$ के साथ स्केल करती है। यदि $c_s = c_r$ है, तो $\Lambda$ मानक क्रिस्टोफ़ेल कॉम्प्लेक्सिटी कांस्टेंट में बदल जाता है। यदि $c_s \neq c_r$ है, तो $\Lambda$ बढ़ सकता है, जो $c_s$ -आधारित सैंपलिंग के तहत कम प्रतिनिधित्व वाले $c_r$ -संबंधित सिग्नल फीचर्स को कैप्चर करने के लिए अधिक नमूनों की आवश्यकता को दर्शाता है।
प्रायोगिक:
- सैंपलिंग डिस्ट्रीब्यूशन: विभिन्न प्रॉम्प्ट्स (जैसे "sunset beach" बनाम "cat") विशिष्ट सैंपलिंग डिस्ट्रीब्यूशन प्रेरित करते हैं, जिसमें मैच किए गए जोड़े $\Lambda$ को न्यूनतम करते हैं।
- पुनर्निर्माण: "इन-रेंज" प्रयोगों में (जहाँ वास्तविक सिग्नल मॉडल द्वारा उत्पन्न किया गया है), $c_s$ के रूप में एक अर्थपूर्ण रूप से समान प्रॉम्प्ट (जहाँ $c_s$ $c^*$ के करीब है) का उपयोग करने से मिसमैच किए गए प्रॉम्प्ट्स की तुलना में PSNR और SSIM में सुधार हुआ।
- CFG एब्लेशन: लेखकों ने पाया कि उच्च क्लासिफायर-फ्री गाइडेंस (CFG) वैल्यूज (जैसे 7.5) जनरेटर को बहुत अधिक प्रतिबंधित करती हैं, जिससे कम CFG वैल्यूज (जैसे 1) की तुलना में खराब पुनर्निर्माण प्रदर्शन होता है, जो यह सुझाव देता है कि "प्रभावी" रिकवरी क्लास हाइपरपैरामीटर्स पर अत्यधिक निर्भर है।

महत्व और दावे
शोध पत्र यह दावा करता है कि प्रॉम्प्ट्स को डिज़ाइन वेरिएबल्स के रूप में माना जाना चाहिए जिनके सेंसिंग (सैंपलिंग डिस्ट्रीब्यूशन), एप्रोक्सिमेशन (रिकवरी क्लास) और उनके बीच की अंतःक्रिया पर अलग-अलग प्रभाव होते हैं। प्राथमिक महत्व कंडीशनल सेटिंग्स में GCS सिद्धांत को विस्तारित करने में निहित है, यह दिखाते हुए कि:

एक्टिव लर्निंग प्रॉम्प्ट-डिपेंडेंट है: इष्टतम सैंपलिंग रणनीति विशिष्ट प्रॉम्प्ट पर निर्भर करती है, न कि केवल सिग्नल क्लास पर।
मिसमैच पेनल्टी: एक स्पष्ट सैद्धांतिक लागत (सैंपल कॉम्प्लेक्सिटी और एरर एम्प्लीफिकेशन के संदर्भ में) है जब सैंपलिंग प्रॉम्प्ट रिकवरी प्रॉम्प्ट के साथ संरेखित नहीं होता है।
व्यावहारिक निहितार्थ: हालांकि सिद्धांत आदर्शित जनरेटर क्लासेस पर लागू होता है, स्टेबल डिफ्यूजन के साथ प्रयोग बताते हैं कि प्रॉम्प्ट कंडीशनिंग सैंपलिंग डिस्ट्रीब्यूशन को काफी हद तक बदल सकती है और पुनर्निर्माण की गुणवत्ता को प्रभावित कर सकती है, हालांकि ऑप्टिमाइजेशन हाइपरपैरामीटर्स (जैसे CFG) के साथ इसका तालमेल जटिल है।

लेखक विनम्रता से नोट करते हैं कि उनका सिद्धांत आदर्शित जनरेटर क्लासेस (ReLU/Lipschitz) पर लागू होता है और आधुनिक डिफ्यूजन मॉडल्स इन क्लासेस के जटिल एब्स्ट्रैक्शन हैं। वे सुझाव देते हैं कि भविष्य के कार्य को $\Lambda$ के डाइवर्जेंस-आधारित संस्करणों की जांच करनी चाहिए और विभिन्न CFG स्केल्स के तहत व्यावहारिक डिफ्यूजन मॉडल्स के प्रभावी लिप्सचिट्ज़ स्थिरांकों को बेहतर ढंग से चरित्रित करना चाहिए।