🤖 machine learning

Soft Quality-Diversity Optimization

यह शोध पत्र "सॉफ्ट क्यूडी" (Soft QD) प्रस्तुत करता है, जो क्वालिटी-डाइवर्सिटी अनुकूलन के लिए एक नवीन अवकलनीय (differentiable) ढांचा है जो व्यवहार स्थान के असतत विवक्तीकरण (discrete behavior space discretization) की आवश्यकता को समाप्त करता है, जिससे उच्च-आयामी समस्याओं में स्केलेबिलिटी चुनौतियों का समाधान होता है और प्रतिस्पर्धी स्क्वाड (SQUAD) एल्गोरिदम के विकास को सक्षम बनाया जाता है।

मूल लेखक: Saeed Hedayatian, Stefanos Nikolaidis

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Saeed Hedayatian, Stefanos Nikolaidis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल गैलरी को भरने की कोशिश कर रहे एक आर्ट क्यूरेटर हैं। आपका लक्ष्य दुनिया की केवल एक सबसे अच्छी पेंटिंग ढूंढना नहीं है। इसके बजाय, आप पेंटिंग्स का एक ऐसा संग्रह चाहते हैं जो सभी उच्च गुणवत्ता वाले हों, लेकिन सभी एक-दूसरे से अलग भी हों। आप चाहते हैं कि एक पोर्ट्रेट हो जो चमकीले रंगों का उपयोग करता हो, दूसरा जो गहरे सायों (shadows) का उपयोग करता हो, एक जो एब्स्ट्रैक्ट (abstract) हो, और दूसरा जो हाइपर-रियलिस्टिक हो।

यह क्वालिटी-डाइवर्सिटी (QD) ऑप्टिमाइज़ेशन की चुनौती है।

लंबे समय तक, कंप्यूटरों ने इस समस्या को हल करने के लिए "व्यवहार स्थान" (गैलरी) को छोटे, अलग-अलग बक्सों के एक ग्रिड (जैसे शतरंज के बोर्ड) में विभाजित किया। कंप्यूटर प्रत्येक बॉक्स के लिए सबसे अच्छी पेंटिंग खोजने की कोशिश करता था। यदि कोई बॉक्स खाली था, तो यह एक विफलता थी। यदि किसी बॉक्स में एक बेहतरीन पेंटिंग थी, तो यह एक सफलता थी।

समस्या:
यह "ग्रिड" दृष्टिकोण छोटे गैलरीज के लिए ठीक काम करता है। लेकिन क्या होगा यदि आपकी गैलरी अनंत हो? या यदि "शैली" (style) के आयाम (dimensions) इतने जटिल हैं (रंग, बनावट, मूड, ब्रशस्ट्रोक, लाइटिंग आदि) कि उन बक्सों की संख्या, जिन्हें कवर करने के लिए आवश्यक है, ब्रह्मांड में मौजूद परमाणुओं की संख्या से भी अधिक हो जाए? इसे कर्स ऑफ डायमेंशनैलिटी (Curse of Dimensionality) कहा जाता है। कंप्यूटर फंस जाता है क्योंकि वह हर एक बॉक्स को भरने में सक्षम नहीं होता।

समाधान: सॉफ्ट QD और SQUAD
इस पेपर के लेखक इस समस्या को सोचने का एक नया तरीका प्रस्तावित करते हैं, जिसे सॉफ्ट QD (Soft QD) कहा जाता है, और इसे हल करने के लिए एक नया एल्गोरिदम जिसे SQUAD (सॉफ्ट QD यूजिंग एप्रोक्सिमेटेड डाइवर्सिटी) कहा जाता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. पुराना तरीका: कठोर ग्रिड (The Rigid Grid)

कल्पना कीजिए कि गैलरी का फर्श कठोर ग्रिड वाली टाइलों से ढका हुआ है।

नियम: प्रत्येक टाइल पर केवल एक ही पेंटिंग रह सकती है।
दोष: यदि आपके पास एक पेंटिंग है जो दो टाइलों के "लगभग" बीच में है, तो कंप्यूटर को उसे एक में जबरदस्ती डालना पड़ता है। यदि आपके पास एक अनूठी पेंटिंग है जो पूरी तरह से पूर्व-निर्धारित बॉक्स में फिट नहीं होती है, तो उसे अनदेखा कर दिया जाता है। जैसे-जैसे गैलरी बड़ी होती जाती है (अधिक आयाम), टाइलें इतनी छोटी हो जाती हैं कि आप उन सभी को भरने के लिए पर्याप्त पेंटिंग्स नहीं ढूंढ पाते।

2. नया तरीका: कोमल चमक (Soft Glow - Soft QD)

ग्रिड के बजाय, कल्पना कीजिए कि गैलरी का फर्श एक चिकनी, निरंतर सतह है।

अवधारणा: आपके द्वारा पाई गई प्रत्येक पेंटिंग एक लाइट बल्ब की तरह है।
गुणवत्ता (Quality): लाइट बल्ब की चमक इस बात पर निर्भर करती है कि पेंटिंग कितनी अच्छी है। एक उत्कृष्ट कृति (masterpiece) चमकती है; एक साधारण स्केच मंद रोशनी देता है।
विविधता (Diversity): प्रकाश फैलता है। कमरे के केंद्र में स्थित एक पेंटिंग अपने आस-पास के क्षेत्र को रोशन करती है।
लक्ष्य: आप अपने लाइट बल्बों को इस तरह रखना चाहते हैं कि पूरा फर्श जितना संभव हो सके उतना उज्ज्वल रूप से प्रकाशित हो।
- यदि आप दो चमकदार बल्बों को एक-दूसरे के बिल्कुल पास रखते हैं, तो वे ओवरलैप होते हैं, और आप प्रकाश बर्बाद करते हैं (redundancy)।
- यदि आप एक मंद बल्ब को दूर रखते हैं, तो वह ज्यादा मदद नहीं करता।
- आदर्श समाधान पूरे कमरे में समान रूप से चमकदार बल्बों को फैलाना है ताकि कोई अंधेरा स्थान शेष न रहे।

यही सॉफ्ट QD है। इसे बक्सों की परवाह नहीं है; इसे इस बात से परवाह है कि आपके समाधानों का "प्रकाश" पूरे स्थान को कितनी अच्छी तरह से कवर करता है।

3. एल्गोरिदम: SQUAD (सामाजिक नर्तक - The Social Dancers)

आप इन लाइट बल्बों को सर्वोत्तम कवरेज प्राप्त करने के लिए कैसे घुमाते हैं? लेखकों ने SQUAD नामक एक एल्गोरिदम बनाया है।

SQUAD को एक डांस फ्लोर के रूप में सोचें जिसमें नर्तकों (समाधानों) के लिए कुछ विशिष्ट नियम हैं:

आकर्षण (गुणवत्ता): प्रत्येक नर्तक बेहतर नर्तक बनने के लिए (अपनी गुणवत्ता/स्कोर बढ़ाने के लिए) "स्टेज" की ओर बढ़ने की इच्छा रखता है।
विकर्षण (विविधता): प्रत्येक नर्तक के पास एक अदृश्य बल क्षेत्र (force field) होता है। यदि कोई अन्य नर्तक बहुत करीब आता है, तो वे एक-दूसरे को दूर धकेलते हैं।
- महत्वपूर्ण मोड़: यह धक्का तब अधिक शक्तिशाली होता है जब नर्तक दोनों अच्छे हों। यदि एक बुरा नर्तक एक अच्छे नर्तक के पास है, तो अच्छा नर्तक उन्हें उतनी जोर से दूर नहीं धकेलता। यह बुरे नर्तकों को फैलने के लिए मजबूर होने से पहले सुधार करने की अनुमति देता है।

यह बेहतर क्यों है?

ग्रिड की आवश्यकता नहीं: क्योंकि नर्तक दूरी के आधार पर एक-दूसरे को दूर धकेलते हैं, वे बिना किसी बॉक्स के मानचित्र के पूरे फर्श को कवर करने के लिए स्वाभाविक रूप से फैल जाते हैं।
जटिलता को संभालता है: भले ही डांस फ्लोर 16-डायमेंशनल हो (कल्पना कीजिए कि एक डांस फ्लोर के चलने के 16 अलग-अलग अक्ष हैं), नर्तक अभी भी अपनी जगह ढूंढ सकते हैं। पुराने ग्रिड तरीके बक्सों की गणना करने की कोशिश में क्रैश हो जाते; SQUAD बस नाचता रहता है।
सुचारू नियंत्रण: आप एक नॉब (जिसे $\gamma$ कहा जाता है) को घुमाकर यह तय कर सकते हैं कि आप उन्हें कितना फैलना चाहते हैं बनाम आप उन्हें कितना बेहतर होने पर ध्यान केंद्रित करना चाहते हैं। आप थोड़ी सी "सर्वश्रेष्ठता" के बदले बहुत सारी "भिन्नता" का, या इसके विपरीत, व्यापार कर सकते हैं।

परिणाम
लेखकों ने तीन कठिन चुनौतियों पर SQUAD का परीक्षण किया:

गणितीय पहेलियाँ: उच्च-आयामी गणितीय समस्याओं में समाधान खोजना।
इमेज कंपोजिशन: एक लक्षित चित्र से मेल खाने के लिए वृत्तों (circles) को व्यवस्थित करके चित्र बनाना (जैसे डिजिटल कोलाज)।
AI आर्ट जनरेशन: AI से ऐसी तस्वीरें बनाना जो "टॉम क्रूज" या "नोयर डिटेक्टिव्स" की हों जो अलग दिखें (अलग उम्र, बाल, हाव-भाव)।

निर्णय:
SQUAD ने वर्तमान अत्याधुनिक (state-of-the-art) तरीकों को मात दी, विशेष रूप से सबसे कठिन, सबसे जटिल परिदृश्यों में। इसने पुराने "ग्रिड" तरीकों की तुलना में अधिक विविध और उच्च-गुणवत्ता वाले समाधान खोजे, जो समस्या के बहुत बड़ा होने पर तालमेल बिठाने में संघर्ष कर रहे थे।

सारांश में:
यह पेपर विविध समाधान खोजने के लिए पुराने, टूटे हुए "चेकरबोर्ड" दृष्टिकोण को एक तरल, "चमकते हुए" दृष्टिकोण से बदल देता है। समाधानों को बक्सों में डालने के बजाय, यह उन्हें प्रकाश स्रोतों के रूप में मानता है जो पूरे स्थान को रोशन करने के लिए स्वाभाविक रूप से फैलते हैं, जो एक सरल नियम द्वारा निर्देशित होते हैं: जितना हो सके उतने अच्छे बनें, लेकिन अपने पड़ोसियों के ऊपर खड़े न हों।

यहाँ पेपर "Soft Quality-Diversity Optimization" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

क्वालिटी-डायवर्सिटी (QD) अनुकूलन (optimization) का लक्ष्य समाधानों का एक ऐसा संग्रह खोजना है जो उच्च-प्रदर्शन (उच्च गुणवत्ता) और व्यवहारिक रूप से विविध (behaviorally diverse) दोनों हों। पारंपरिक QD एल्गोरिदम (जैसे, MAP-Elites, CMA-MEGA) निम्नलिखित द्वारा कार्य करते हैं:

निरंतर व्यवहार स्थान (continuous behavior space) को एक ग्रिड या टेसेलेशन (एक "आर्काइव") में वि discretize (विभाजित) करना।
प्रत्येक विविक्त सेल (discrete cell) के लिए पाए गए सर्वश्रेष्ठ समाधान को संग्रहीत करना।
QD स्कोर को अधिकतम करना, जिसे भरे हुए सेल्स के सर्वश्रेष्ठ समाधानों की गुणवत्ता के योग के रूप में परिभाषित किया जाता है।

वर्तमान विधियों की सीमाएँ:

आयाम का अभिशाप (Curse of Dimensionality): उच्च-आयामी व्यवहार स्थानों में, सूक्ष्म-स्तरीय विविधीकरण के लिए आवश्यक सेल्स की संख्या तेजी से (exponentially) बढ़ती है। यह एक सघन (dense) आर्काइव बनाए रखना कम्प्यूटेशनल रूप से अव्यावहारिक बना देता है।
अविभेद्यता (Non-Differentiability): विविधीकरण की प्रक्रिया (एक समाधान को एक विशिष्ट सेल में असाइन करना) अविभेद्य (non-differentiable) है। यह आधुनिक, कुशल ग्रेडिएंट-आधारित ऑप्टिमाइज़र (जैसे Adam) के एंड-टू-एंड अनुकूलन के उपयोग को रोकता है, जिससे विकासवादी रणनीतियों (evolutionary strategies) या ह्यूरिस्टिक्स पर निर्भरता बढ़ जाती है।
स्केलेबिलिटी (Scalability): मौजूदा विधियाँ उन उच्च-आयामी समस्याओं (जैसे, जनरेटिव मॉडल्स में लेटेंट स्पेस एक्सप्लोरेशन) तक स्केल करने में संघर्ष करती हैं, जहाँ आयामी कमी (dimensionality reduction) तकनीकों का सहारा लेना पड़ता है जो महत्वपूर्ण जानकारी खो सकती हैं।

2. कार्यप्रणाली: Soft QD और SQUAD

लेखक डिस्क्रीट विविधीकरण (discrete discretization) से निरंतर, विभेद्य (differentiable) सूत्रीकरण की ओर एक प्रतिमान परिवर्तन (parad paradigm shift) का प्रस्ताव करते हैं।

A. Soft QD स्कोर

सेल्स में 'हार्ड असाइनमेंट' के बजाय, लेखक Soft QD पेश करते हैं, जो समाधानों को व्यवहार स्थान को रोशन करने वाले "प्रकाश स्रोतों" (light sources) के रूप में मानता है।

अवधारणा: प्रत्येक समाधान $\theta_n$ , जिसकी गुणवत्ता $f_n$ और व्यवहार डिस्क्रिप्टर $b_n$ है, व्यवहार स्थान पर एक स्मूथ, गॉसियन-आकार का प्रभाव क्षेत्र (field of influence) योगदान देता है।
व्यवहार मान (Behavior Value): व्यवहार स्थान में किसी भी बिंदु $b$ पर मान, व्यवहार स्थान में दूरी द्वारा कम की गई (discounted) किसी भी समाधान की अधिकतम गुणवत्ता है:
$v_\theta(b) = \max_{1 \le n \le N} f_n \exp\left(-\frac{\|b - b_n\|^2}{2\sigma^2}\right)$
उद्देश्य: Soft QD स्कोर $S(\theta)$ पूरे व्यवहार स्थान पर इस व्यवहार मान का समाकलन (integral) है:
$S(\theta) = \int_B v_\theta(b) \, db$
गुणधर्म: लेखक सिद्ध करते हैं कि यह स्कोर मोनोटोनिक (समाधान जोड़ना या गुणवत्ता में सुधार करना स्कोर को कभी कम नहीं करता) और सबमॉड्यूलर (submodular) है। जैसे-जैसे $\sigma \to 0$ होता है, यह एक सूक्ष्म-स्तरीय आर्काइव पर पारंपरिक QD स्कोर की ओर अभिसरित (converge) होता है।

B. SQUAD एल्गोरिदम (Approximated Diversity का उपयोग करके Soft QD)

समाकलन $S(\theta)$ को सीधे अधिकतम करना कम्प्यूटेशनल रूप से महंगा है। लेखक दूसरे क्रम के सन्निकटन (second-order approximation) का उपयोग करके एक सुलभ लोअर बाउंड $\tilde{S}(\theta)$ प्राप्त करते हैं (जो उच्च-क्रम इंटरैक्शन को काटता है और युग्मवार (pairwise) न्यूनतमों को ज्यामितीय माध्य (geometric means) के साथ सन्निकट करता है)।

परिणामी ऑब्जेक्टिव फंक्शन है:
$\tilde{S}(\theta) = \sum_{n=1}^N f_n - \sum_{1 \le i < j \le N} \sqrt{f_i f_j} \exp\left(-\frac{\|b_i - b_j\|^2}{\gamma^2}\right)$
(नोट: स्थिरांक कारक $(2\pi\sigma^2)^{d/2}$ को हटा दिया गया है क्योंकि यह ऑप्टिमम को प्रभावित नहीं करता है।)

ऑब्जेक्टिव के मुख्य घटक:

क्वालिटी टर्म ( $\sum f_n$ ): सभी समाधानों के उच्च प्रदर्शन को प्रोत्साहित करता है।
डाइवर्सिटी टर्म (Pairwise Repulsion): व्यवहारिक रूप से करीब स्थित समाधानों को दंडित (penalize) करता है। यह दंड उनकी गुणवत्ता के ज्यामितीय माध्य ( $\sqrt{f_i f_j}$ ) द्वारा भारित (weighted) है। इसका अर्थ है कि उच्च-गुणवत्ता वाले समाधान एक-दूसरे से मजबूती से दूर धकेले जाते हैं, जबकि निम्न-गुणवत्ता वाले समाधानों को शुरुआत में क्लस्टर होने की अनुमति दी जाती है जब तक कि वे बेहतर न हो जाएं।
विभेद्यता (Differentiability): चूंकि $f$ और व्यवहार डिस्क्रिप्टर फंक्शन को विभेद्य माना जाता है, इसलिए पूरा ऑब्जेक्टिव समाधान मापदंडों के सापेक्ष विभेद्य है। यह Adam जैसे मानक ऑप्टिमाइज़र के उपयोग की अनुमति देता है।

एल्गोरिथमिक अनुकूलन:

k-Nearest Neighbors: सभी युग्मवार रिपल्शन (pairwise repulsions) की गणना करने की $O(N^2)$ जटिलता से बचने के लिए, SQUAD केवल एक समाधान और उसके व्यवहार स्थान में $k$ निकटतम पड़ोसियों के बीच रिपल्शन बल की गणना करता है।
बाउंडेड स्पेस (Bounded Spaces): बाउंडेड व्यवहार स्थानों (जैसे, $[0,1]^d$ ) के लिए, लेखक स्थान को $\mathbb{R}^d$ में मैप करने के लिए एक लॉगिट ट्रांसफॉर्मेशन (logit transformation) लागू करते हैं, जिससे यह सुनिश्चित होता है कि गॉसियन कर्नेल धारणाएं बनी रहें।

3. मुख्य योगदान

Soft QD सूत्रीकरण: QD के लिए एक नया, विविधीकरण-मुक्त (discretization-free) ऑब्जेक्टिव जो व्यवहार स्थान पर एक स्मूथ इंटीग्रल के माध्यम से कवरेज और गुणवत्ता को मापता है।
SQUAD एल्गोरिदम: एक नया, पूर्णतः विभेद्य (fully differentiable) QD एल्गोरिदम जो Soft QD लोअर बाउंड से प्राप्त किया गया है। यह एंड-टू-एंड ग्रेडिएंट-आधारित अनुकूलन को सक्षम बनाता है।
सैद्धांतिक विश्लेषण: मोनोटोनिसिटी, सबमॉड्यूलरिटी और पारंपरिक QD स्कोर के साथ सीमित समानता के प्रमाण।
अनुभवजन्य सत्यापन (Empirical Validation): उच्च-आयामी सेटिंग्स में श्रेष्ठता प्रदर्शित की गई जहाँ विविधीकरण (discretization) विफल हो जाता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन बेंचमार्क पर SQUAD का मूल्यांकन किया: Linear Projection (LP), Image Composition (IC), और Latent Space Illumination (LSI)।

स्केलेबिलिटी (LP डोमेन):
- 4, 8, और 16 आयामों के व्यवहार स्थानों पर परीक्षण किया गया।
- परिणाम: जैसे-जैसे आयाम बढ़े, SQUAD ने बेसलाइन (CMA-MEGA, CMA-MAEGA, DNS) को काफी पीछे छोड़ दिया। जहाँ बेसलाइन उच्च आयामों में विरल (sparse) आर्काइव के कारण संघर्ष करते रहे, वहीं SQUAD ने मजबूत प्रदर्शन और स्थिरता बनाए रखी।
क्वालिटी-डायवर्सिटी ट्रेड-ऑफ (IC डोमेन):
- SQUAD ने बेसलाइन की तुलना में उच्च Mean Quality और Vendi Score (एक डाइवर्सिटी मेट्रिक) प्राप्त किया।
- बैंडविड्थ पैरामीटर $\gamma^2$ को एक "नॉब" के रूप में दिखाया गया जो ट्रेड-ऑफ को नियंत्रित करता है: $\gamma$ बढ़ाने से गुणवत्ता की कीमत पर विविधता बढ़ती है, और इसके विपरीत।
जटिल उच्च-आयामी समस्याएं (LSI डोमेन):
- कार्य: StyleGAN2 लेटेंट स्पेस (7-आयामी व्यवहार स्थान तक) का उपयोग करके "Tom Cruise" या "Noir Detectives" की विविध छवियां उत्पन्न करना।
- परिणाम: SQUAD एकमात्र ऐसा तरीका था जिसने लगातार उच्च-गुणवत्ता वाले, विविध समाधान खोजने में सफलता प्राप्त की। कई बेसलाइन (ग्रेडिएंट-असिस्टेड सहित) स्थानीय ऑप्टिमा (local optima) से बाहर निकलने में विफल रहे या निम्न विविधता (QD Score $\approx 0$ ) की ओर गिर गए। SQUAD ने उच्चतम QD स्कोर और क्वालिटी-वेटेड वेंडी स्कोर (QVS) प्राप्त किया।

5. महत्व और प्रभाव

अंतर को पाटना: SQUAD आधुनिक डीप लर्निंग प्रथाओं के साथ QD अनुकूलन को सफलतापूर्वक जोड़ता है, जिससे ग्रेडिएंट-आधारित ऑप्टिमाइज़र का उपयोग संभव होता है।
स्केलेबिलिटी: यह ग्रिड-आधारित QD आर्काइव में निहित मौलिक "आयाम के अभिशाप" को हल करता है, जिससे QD जनरेटिव AI और रोबोटिक्स के उच्च-आयामी लेटेंट स्पेस के लिए लागू करने योग्य बनता है।
दक्षता: बड़े डिस्क्रीट आर्काइव को बनाए रखने और अपडेट करने की आवश्यकता से बचकर, SQUAD जटिल अनुकूलन परिदृश्यों के लिए अधिक मेमोरी-कुशल और स्केलेबल दृष्टिकोण प्रदान करता है।
भविष्य की दिशाएं: यह पेपर सुदृढीकरण सीखने (reinforcement learning), लार्ज लैंग्वेज मॉडल सुरक्षा (red-teaming), और रचनात्मक डिजाइन में अनुप्रयोग के मार्ग खोलता है, जहाँ उच्च-आयामी विविधता अत्यंत महत्वपूर्ण है।

संक्षेप में, Soft QD और SQUAD QD अनुकूलन को डिस्क्रीट, ह्यूरिस्टिक-संचालित खोज से निरंतर, विभेद्य और स्केलेबल अनुकूलन की ओर ले जाकर एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक प्रगति का प्रतिनिधित्व करते हैं।