← नवीनतम पेपर
🤖 machine learning

Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

यह शोध पत्र JEPA मार्गदर्शन प्रस्तुत करता है, जो एक डिफ्यूजन सैंपलिंग फ्रेमवर्क है जो जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) वर्ल्ड मॉडल्स का लाभ उठाकर मॉडल-विशिष्ट घनत्वों के बजाय वास्तविक दुनिया की सिमेंटिक दुर्लभता के आधार पर अल्पसंख्यक नमूनों को परिभाषित और उत्पन्न करता है, जिससे विभिन्न जनरेशन कार्यों में उत्पन्न कम-घनत्व वाले उदाहरणों की निष्ठा और वैधता में सुधार होता है।

मूल लेखक: Sol Park, Soobin Um

प्रकाशित 2026-05-26
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Sol Park, Soobin Um

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द बिग प्रॉब्लम: AI आर्ट का "इको चैंबर" (गूँज का कमरा)

कल्पना कीजिए कि आपने एक AI कलाकार से एक "दुर्लभ जानवर" का चित्र बनाने के लिए कहा। आज के अधिकांश AI मॉडल इको चैंबर की तरह हैं। उन्हें इंटरनेट से लाखों तस्वीरों पर प्रशिक्षित किया गया है। यदि वे सफेद बैकग्राउंड पर 1,000 कुत्तों की तस्वीरें देखते हैं, तो वे सोचते हैं कि कुत्ता दिखने का "सामान्य" तरीका यही है। यदि आप एक "दुर्लभ" कुत्ते के लिए पूछते हैं, तो AI केवल एक अजीब रंग या अजीब मुद्रा वाला कुत्ता बना सकता है, लेकिन वह अभी भी सफेद बैकग्राउंड पर एक कुत्ता ही होगा।

यह पेपर तर्क देता है कि "दुर्लभ" चीजों को खोजने के लिए वर्तमान AI विधियाँ सीमित हैं क्योंकि वे केवल उन चीजों को खोजती हैं जो AI की अपनी याददाश्त के भीतर दुर्लभ हैं। वे वास्तव में वास्तविक दुनिया में क्या दुर्लभ है, इसे नहीं समझते हैं। उदाहरण के लिए, एक "स्टेल्थ एयरक्राफ्ट" (stealth aircraft) वास्तविक दुनिया में वास्तव में दुर्लभ है, लेकिन यदि AI ने उसे कभी देखा ही नहीं है, तो वह यह नहीं जान पाएगा कि उसे "दुर्लभ" के रूप में कैसे चित्रित करना है। वह शायद केवल एक बहुत ही धुंधला कुत्ता बना देगा।

द सोल्यूशन: एक नया गाइड (JEPA)

लेखक AI को यह सिखाने का एक नया तरीका प्रस्तावित करते हैं कि "दुर्लभ" का वास्तव में क्या अर्थ है। वे एक नया गाइड पेश करते हैं जिसे JEPA (Joint-Embedding Predictive Architecture) कहा जाता है।

AI के चित्र बनाने की प्रक्रिया (Diffusion) को एक विशाल, धुंधले पहाड़ी क्षेत्र में छिपी हुई गुफा खोजने की कोशिश करने वाले एक हाइकर (पर्वतारोही) के रूप में सोचें।

  • पुराना तरीका: हाइकर के पास केवल उसी क्षेत्र का नक्शा है जहाँ से वह अभी गुजरा है (ट्रेनिंग डेटा)। वह उस गुफा की तलाश करता है जो उसके द्वारा लिए गए रास्ते के सापेक्ष छिपी हुई है। वह एक परिचित चट्टान में एक छोटा सा छेद ढूंढ सकता है, लेकिन वह उस विशाल, अद्वितीय गुफा प्रणाली को मिस कर देता है जो दुनिया के अन्य हिस्सों में मौजूद है।
  • नया तरीका (JEPA गाइडेंस): हाइकर को अब पूरे ग्रह का सैटेलाइट व्यू (एक "वर्ल्ड प्रायर") दिया गया है। यह सैटेलाइट व्यू एक सुपर-स्मार्ट ऑब्जर्वर (JEPA) द्वारा बनाया गया है जिसने अरबों छवियां देखी हैं और दुनिया के वास्तविक भूगोल को समझा है। यह गाइड हाइकर को बताता है: "उस चट्टान में छेद मत ढूंढो जहाँ तुम खड़े हो। उस जगह को देखो जहाँ का भूभाग वास्तव में अद्वितीय और अछूता है, जैसे पक्षियों से भरे आसमान में एक स्टेल्थ एयरक्राफ्ट।"

यह कैसे काम करता है: "लो-डेंसिटी" की खोज

AI की दुनिया में, "डेंस" (घनी) क्षेत्र वे हैं जहाँ अधिकांश चीजें रहती हैं (जैसे एक भीड़भाड़ वाला शहर का चौक)। "लो-डेंसिटी" (कम घनत्व वाले) क्षेत्र खाली, शांत स्थान हैं (जैसे एक रेगिस्तान या एक गुप्त बेस)।

  1. लक्ष्य: पेपर चाहता है कि AI इन "लो-डेंसिटी" क्षेत्रों से ऐसी छवियां उत्पन्न करे जो वास्तव में वास्तविक दुनिया में दुर्लभ हैं, न कि केवल AI के अपने ट्रेनिंग सेट में दुर्लभ हैं।
  2. ट्रिक: AI अपने काम को चेक करने के लिए JEPA गाइड का उपयोग करता है। ड्राइंग की प्रक्रिया के हर चरण में, वह JEPA गाइड से पूछता है: "क्या यह छवि वास्तविक दुनिया में सामान्य है या दुर्लभ?"
  3. स्टीयरिंग (दिशा मोड़ना): यदि छवि बहुत अधिक "सामान्य" (जैसे एक मानक कुत्ता) होती जा रही है, तो गाइड ड्राइंग को "दुर्लभ" दिशा (जैसे पंखों वाला कुत्ता या स्टेल्थ प्लेन) की ओर धकेलता है। यह AI को भीड़भाड़ वाले शहर के चौक से दूर और दुनिया के शांत, अद्वितीय कोनों की ओर ले जाता है।

इसे तेज़ बनाना: "शॉर्टकट"

इस "वास्तविक-दुनिया की दुर्लभता" की गणना करना आमतौर पर बहुत धीमा और भारी होता है, जैसे किसी विशिष्ट रेत के कण को खोजने के लिए समुद्र तट के हर एक कण को गिनने की कोशिश करना। यह पेपर एक गणितीय शॉर्टकट पेश करता है (जिसे Randomized SVD और Envelope Theorem कहा जाता है)।

कल्पना कीजिए कि आपको एक विशाल पत्थर का वजन करना है। पूरे पत्थर को उठाने के बजाय, आप उसकी सतह के कुछ स्मार्ट माप लेते हैं और अविश्वसनीय सटीकता के साथ वजन का अनुमान लगाने के लिए एक फॉर्मूले का उपयोग करते हैं। यह AI को ड्राइंग प्रक्रिया को बहुत धीमा किए बिना "वर्ल्ड प्रायर" गाइड का उपयोग करने की अनुमति देता है।

परिणाम: बेहतर, अजीब और अधिक वास्तविक

पेपर ने कई कार्यों पर इसका परीक्षण किया:

  • चेहरे बनाना: केवल अजीब दिखने वाले चेहरे बनाने के बजाय, इसने ऐसे चेहरे उत्पन्न किए जो वास्तव में अद्वितीय थे (जैसे विशिष्ट दुर्लभ विशेषताएं) न कि केवल अस्त-व्यस्त।
  • जानवर बनाना: यह सफलतापूर्वक "स्टेल्थ एयरक्राफ्ट" या "शुतुरमुर्ग" जैसी चीजें बना सका जो वास्तविक दुनिया में दुर्लभ हैं, जबकि अन्य विधियाँ केवल अजीब दिखने वाले कुत्ते बना रही थीं।
  • टेक्स्ट-टू-इमेज: जब विशिष्ट दृश्यों को बनाने के लिए कहा गया, तो इसने ऐसी छवियां बनाईं जो टेक्स्ट के प्रति सटीक थीं और आश्चर्यजनक रूप से अद्वितीय भी थीं, जिससे "बोरिंग एवरेज" लुक से बचा जा सका।

यह क्यों महत्वपूर्ण है

लेखक दिखाते हैं कि "जेनरेटिव प्रायर" (AI की याददाश्त) के बजाय "वर्ल्ड प्रायर" (JEPA) का उपयोग करके, हम ऐसी AI आर्ट बना सकते हैं जो अधिक आश्चर्यजनक और प्रामाणिक महसूस होती है। यह एक ऐसे AI के बीच का अंतर है जो केवल वही जानता है जो उसने पहले देखा है, और एक ऐसे AI के बीच का अंतर है जो दुनिया की व्यापक और विचित्र वास्तविकता को समझता है।

संक्षेप में: यह पेपर AI को यह सिखाता है कि अपने खुद के आंगन में दुर्लभ चीजों को खोजना बंद करके, वास्तव में अद्वितीय और दिलचस्प छवियों को खोजने के लिए पूरी दुनिया की खोज कैसे शुरू की जाए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →