🤖 machine learning

Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs

यह शोध पत्र Conditional-Vendi और Conditional-RKE को प्रस्तुत करता है, जो नवीन विविधता मेट्रिक्स हैं जो जनरेटिव एआई में प्रॉम्प्ट-प्रेरित प्रभावों से मॉडल-प्रेरित परिवर्तनशीलता को अलग करते हैं, जिससे टेक्स्ट-टू-इमेज, इमेज-कैप्शनिंग और एलएलएम (LLM) कार्यों में विविधता के अधिक सटीक मूल्यांकन और मार्गदर्शन को सक्षम बनाया जा सके।

मूल लेखक: Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

मुख्य समस्या: "रेस्टोरेंट मेनू" का भ्रम

कल्पना कीजिए कि आप एक रेस्टोरेंट का रिव्यू कर रहे हैं। आप यह जानना चाहते हैं कि शेफ रचनात्मक (विविध) है या वह बस बार-बार एक ही डिश परोसता रहता है।

पुराना तरीका (Unconditional Metrics): आप एक दिन में परोसी गई सभी प्लेटों को देखते हैं। यदि मेनू में "स्टेक," "सलाद," और "सूप" है, तो रेस्टोरेंट बहुत विविध (diverse) दिखता है।
समस्या: आधुनिक AI में, हम केवल "खाना" नहीं मांगते। हम विशिष्ट ऑर्डर (प्रॉम्प्ट) देते हैं। यदि आप "स्टेक" मांगते हैं, तो शेफ स्टेक परोसता है। यदि आप "सलाद" मांगते हैं, तो वे सलाद परोसते हैं।
भ्रम: पुराने मेट्रिक्स देखते हैं कि स्टेक और सलाद दोनों मौजूद हैं और कहते हैं, "वाह, यह शेफ बहुत विविध है!" लेकिन वे इस बात को नजरअंदाज कर देते हैं कि ग्राहक ने अलग-अलग चीजें मांगी थीं। हो सकता कि जब भी आपने स्टेक मांगा, शेफ ने हर बार बिल्कुल एक ही जैसा स्टेक परोसा हो। यह रचनात्मकता नहीं है; यह केवल आज्ञाकारिता है।

यह शोध पत्र तर्क देता है कि हमें प्रॉम्प्ट-प्रेरित विविधता (विभिन्न ऑर्डर्स के कारण होने वाली विविधता) और मॉडल-प्रेरित विविधता (एक ही ऑर्डर दिए जाने पर शेफ की अपनी रचनात्मकता के कारण होने वाली विविधता) के बीच अंतर करने की आवश्यकता है।

समाधान: "कंडीशनल वेंडी स्कोर" (Conditional Vendi Score)

लेखकों ने Conditional-Vendi और Conditional-RKE नामक नए मापने वाले उपकरण बनाए हैं। इन्हें "स्मार्ट स्कोरकार्ड" समझें जो जानते हैं कि ऑर्डर क्या था।

1. यह कैसे काम करता है (सरल गणित)

गणित में, "एन्ट्रॉपी" (entropy) यादृच्छिकता (randomness) या आश्चर्य का एक माप है।

Vendi Score: यह मापता है कि कुल मिलाकर आउटपुट कितना "आश्चर्यजनक" या विविध है।
Conditional-Vendi: यह मापता है कि प्रॉम्प्ट को पहले से जानने के बाद आउटपुट कितना "आश्चर्यजनक" है।

उपमा (Analogy):
एक जादूगर की कल्पना करें।

Unconditional Score: आप जादूगर को एक खरगोश, फिर एक कबूतर, फिर एक सिक्का निकालते हुए देखते हैं। आप कहते हैं, "वाह, बहुत सारे अलग-अलग जानवर!"
Conditional Score: आप जानते हैं कि जब आप "खरगोश" कहते हैं, तो जादूगर हमेशा एक खरगोश ही निकालता है। यदि आप पाँच बार "खरगोश" कहते हैं, और वह एक सफेद खरगोश, एक काला खरगोश, एक रोएँदार खरगोश और एक बिना बालों वाला खरगोश निकालता है, तो यह उच्च 'कंडीशनल डायवर्सिटी' है। यदि वह हर बार बिल्कुल एक ही सफेद खरगोश निकालता है, तो उसकी कंडीशनल डायवर्सिटी कम है, भले ही पूरा शो विविध लग रहा हो क्योंकि आपने अलग-अलग करतब दिखाने को कहा था।

यह शोध पत्र Kernel Matrices (जो यह मापता है कि दो चीजें कितनी समान हैं) और Hadamard Products (टेक्स्ट प्रॉम्प्ट की समानता और इमेज/आउटपुट की समानता को मिलाने का एक तरीका) के उपयोग वाला एक गणितीय तरीका इस्तेमाल करता है। यह स्कोर को टेक्स्ट से आने वाली विविधता को "घटाने" (subtract out) की अनुमति देता है, जिससे केवल AI मॉडल से आने वाली वास्तविक विविधता ही शेष रह जाती है।

2. "ट्रंकेटेड" (Truncated) सुधार (इसे तेज़ बनाना)

पूरा वेंडी स्कोर कैलकुलेट करना कम्प्यूटेशनल रूप से बहुत महंगा है—यह समुद्र के किनारे रेत के हर एक कण को गिनने की कोशिश करने जैसा है। जैसे-जैसे डेटा बढ़ता है, यह धीमा होता जाता है।

सुधार: लेखकों ने एक "Truncated" संस्करण पेश किया है। समुद्र की रेत के हर कण को गिनने के बजाय, वे बस कुछ बड़ी मुट्ठियों को गिनते हैं।
महत्व: यह स्कोर को बड़े डेटासेट पर उपयोग करने के लिए पर्याप्त तेज़ बनाता है बिना सटीकता खोए। उन्होंने गणितीय रूप से सिद्ध किया है कि यह शॉर्टकट अभी भी एक विश्वसनीय परिणाम देता है।

उन्होंने क्या पाया? (प्रयोग)

लेखकों ने अपने नए स्कोर का परीक्षण Text-to-Image मॉडल्स (जैसे DALL-E या Stable Diffusion), वीडियो मॉडल्स और Large Language Models (LLMs) पर किया।

1. "डॉग एंड बर्ड" टेस्ट

परिदृश्य A: प्रॉम्प्ट्स बहुत समान थे ("एक कुत्ता और एक पक्षी..."), लेकिन AI ने अलग-अलग नस्लें, रंग और पोज़ जनरेट किए।
परिदृश्य B: प्रॉम्प्ट्स बहुत अलग थे ("एक दौड़ता हुआ कुत्ता," "एक तारे देखते हुए कुत्ता," "बर्फ देखते हुए कुत्ता"), लेकिन AI ने हर तस्वीर में एक ही जेनेरिक कुत्ता और पक्षी का उपयोग किया।
पुराने मेट्रिक्स: परिदृश्य B को उच्च विविधता स्कोर दिया क्योंकि दृश्य (scenes) अलग थे।
नए कंडीशनल मेट्रिक्स: परिदृश्य A को उच्च विविधता स्कोर दिया। क्यों? क्योंकि AI ने समान प्रॉम्प्ट्स के बावजूद विषयों (subjects) के साथ रचनात्मकता दिखाई। यह "वास्तविक" मॉडल विविधता है।

2. "एनिमल टाइप" टेस्ट

उन्होंने AI को जानवरों की छवियां बनाने के लिए कहा।
ग्रुप 1: प्रॉम्प्ट्स में कहा गया "एक जानवर घास में लुढ़क रहा है।" (अनिर्दिष्ट/Unspecified)
ग्रुप 2: प्रॉम्प्ट्स में कहा गया "एक लोमड़ी घास में लुढ़क रही है।" (निर्दिष्ट/Specified)
परिणाम: कंडीशनल-वेंडी स्कोर ग्रुप 1 के लिए बहुत अधिक था। यह समझ में आता है: जब प्रॉम्प्ट अस्पष्ट होता है, तो AI को यह तय करना पड़ता है कि कौन सा जानवर बनाना है, इसलिए यह अधिक आंतरिक विविधता दिखाता है। जब प्रॉम्प्ट "लोमड़ी" निर्दिष्ट करता है, तो AI सीमित हो जाता है, इसलिए उसकी आंतरिक विविधता गिर जाती है। पुराने मेट्रिक्स इस अंतर को स्पष्ट रूप से नहीं बता सके।

3. LLMs और टेम्परेचर (Temperature)

उन्होंने टेक्स्ट जनरेटर (LLMs) का परीक्षण विभिन्न "तापमान" (एक सेटिंग जो रैंडमनेस को नियंत्रित करती है) के साथ किया।
जैसे-जैसे उन्होंने तापमान बढ़ाया (AI को अधिक रैंडम बनाया), कंडीशनल-वेंडी स्कोर बढ़ गया। यह पुष्टि करता है कि स्कोर सही ढंग से पहचानता है कि मॉडल विषय से स्वतंत्र होकर अपनी लेखन शैली में अधिक विविध हो रहा है।

क्या हम इसका उपयोग बेहतर AI बनाने के लिए कर सकते हैं?

हाँ। शोध पत्र दिखाता है कि आप इस स्कोर का उपयोग केवल AI को आंकने के लिए ही नहीं, बल्कि इसे निर्देशित (guide) करने के लिए भी कर सकते हैं।

विधि: इमेज जनरेशन प्रक्रिया के दौरान, AI को कंडीशनल-वेंडी स्कोर को अधिकतम करने के लिए प्रेरित किया जा सकता है।
परिणाम: इस "गाइडेंस" के साथ जनरेट की गई छवियां अपने विवरणों (जैसे बैकग्राउंड के तत्व या विशिष्ट विशेषताएं) में अधिक विविध थीं, जबकि वे प्रॉम्प्ट के प्रति भी वफादार रहीं। यह एक शेफ को यह बताने जैसा है, "सुनिश्चित करें कि यह स्टेक पिछले वाले से अलग दिखे, भले ही ऑर्डर वही हो।"

सारांश

पुराने मेट्रिक्स: "अलग-अलग ऑर्डर्स" को "रचनात्मक कुकिंग" समझने की गलती करते थे।
नए मेट्रिक्स (Conditional-Vendi/RKE): इन दोनों को अलग करते हैं। वे मापते हैं कि AI एक विशिष्ट अनुरोध के लिए कितना रचनात्मक है।
लाभ: AI मॉडल्स की निष्पक्ष तुलना प्रदान करता है। एक मॉडल जो एक ही प्रॉम्प्ट के लिए अद्वितीय विविधताएं उत्पन्न करता है, उसे अब सही ढंग से "अधिक विविध" के रूप में पहचाना जाता है।
व्यावहारिकता: इनका "Truncated" संस्करण इन्हें वास्तविक दुनिया के अनुप्रयोगों में उपयोग करने के लिए पर्याप्त तेज़ बनाता है, जिसमें AI को अधिक विविध सामग्री उत्पन्न करने में मदद करना शामिल है।

तकनीकी सारांश: कंडीशनल वेंडी स्कोर (Conditional Vendi Score): जनरेटिव एआई मॉडल और एलएलएम (LLMs) के लिए प्रॉम्प्ट-अवेयर डायवर्सिटी इवैल्यूएशन

समस्या विवरण
प्रॉम्प्ट-निर्देशित जनरेटिव मॉडल्स (जैसे, टेक्स्ट-टू-इमेज, LLMs) के लिए वर्तमान मूल्यांकन मेट्रिक्स मुख्य रूप से फिडेलिटी (fidelity) और प्रॉम्प्ट अलाइनमेंट पर ध्यान केंद्रित करते हैं, जो अक्सर आउटपुट डायवर्सिटी (विविधता) के आकलन की उपेक्षा करते हैं। मौजूदा डायवर्सिटी मेट्रिक्स, जैसे कि वेंडी स्कोर (Vendi score) और रेनी कर्नेल एंट्रॉपी (Rényi Kernel Entropy - RKE), अनकंडीशनल जनरेटिव मॉडल्स के लिए डिज़ाइन किए गए थे। जब इन्हें कंडीशनल मॉडल्स पर लागू किया जाता है, तो ये मेट्रिक्स दो अलग-अलग स्रोतों से उत्पन्न होने वाली परिवर्तनशीलता को मिला देते हैं: प्रॉम्प्ट-प्रेरित विविधता (विभिन्न इनपुट प्रॉम्प्ट्स से उत्पन्न होने वाली भिन्नता) और मॉडल-प्रेरित विविधता (समान या समान प्रॉम्प्ट्स के लिए उत्पन्न आउटपुट्स में रैंडमनेस या परिवर्तनशीलता)। यह संलयन (conflation) डायवर्सिटी तुलनाओं को पक्षपाती बना सकता है, क्योंकि एक मॉडल केवल इसलिए विविध दिखाई दे सकता है क्योंकि उसका मूल्यांकन व्यापक रेंज के प्रॉम्प्ट्स पर किया गया था, न कि इसलिए कि वह एक दिए गए प्रॉम्प्ट के लिए विविध आउटपुट्स उत्पन्न करता है।

कार्यप्रणाली (Methodology)
लेखक कंडीशनल-वेंडी (Conditional-Vendi) और कंडीशनल-आरकेई (Conditional-RKE) प्रस्तावित करते हैं, जो पॉजिटिव सेमीडेफिनिट (PSD) मैट्रिसेस के कंडीशनल एंट्रॉपी से प्राप्त प्रॉम्प्ट-अवेयर डायवर्सिटी मेट्रिक्स हैं।

सैद्धांतिक आधार: यह विधि गिराल्डो एट अल. (2014) के मैट्रिक्स-आधारित एंट्रॉपी फ्रेमवर्क का विस्तार करती है। जेनरेटेड आउटपुट्स $X$ और संबंधित प्रॉम्प्ट्स $T$ के एक सेट के लिए, लेखक कर्नेल मैट्रिसेस $K_X$ और $K_T$ को परिभाषित करते हैं। जॉइंट एंट्रॉपी को इन कर्नेल्स के ट्रेस-नॉर्मलाइज्ड हैडामार्ड प्रोडक्ट (Hadamard product) की वॉन न्यूमैन एंट्रॉपी के माध्यम से परिभाषित किया गया है। कंडीशनल एंट्रॉपी $H(X|T)$ को $H(X, T) - H(T)$ के रूप में परिभाषित किया गया है।
मेट्रिक परिभाषाएँ:
- कंडीशनल-वेंडी: इसे $\exp(H(\frac{1}{n}(K_X \odot K_T)) - H(\frac{1}{n}K_T))$ के रूप में परिभाषित किया गया है। यह प्रॉम्प्ट द्वारा जिम्मेदार एंट्रॉपी को घटाकर मॉडल-प्रेरित विविधता को अलग करता है।
- कंडीशनल-आरकेई: इसे ऑर्डर-2 रेनी एंट्रॉपी का उपयोग करके परिभाषित किया गया है, जिसके परिणामस्वरूप फ्रोबेनियस नॉर्म्स (Frobenius norms) से जुड़ा एक क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त होता है: $\frac{\|K_T\|_F^2}{\|K_X \odot K_T\|_F^2}$ ।
डिकम्पोजिशन प्रॉपर्टी (Decomposition Property): दोनों मेट्रिक्स एक प्रोडक्ट डिकम्पोजिशन प्रॉपर्टी का पालन करते हैं जहाँ अनकंडीशनल स्कोर (वेंडी या RKE) कंडीशनल स्कोर (मॉडल-प्रेरित विविधता) और एक "इंफॉर्मेशन" स्कोर (प्रॉम्प्ट और आउटपुट के बीच म्यूचुअल इंफॉर्मेशन) के गुणनफल के बराबर होता है।
सांख्यिकीय अभिसरण (Statistical Convergence) और ट्रंकेशन:
- लेखक सिद्ध करते हैं कि कंडीशनल-RKE $O(1/\sqrt{n})$ की दर से अभिसरित (converge) होता है।
- डायरेक्ट एस्टीमेशन से कंडीशनल-वेंडी, डायमेंशन डिपेंडेंस ( $d_X d_T$ ) के कारण उच्च सैंपल कॉम्प्लेक्सिटी से ग्रस्त होता है। इसे संबोधित करने के लिए, लेखक एक ट्रंकेटेड कंडीशनल-वेंडी (Truncated Conditional-Vendi) स्कोर पेश करते हैं, जो केवल टॉप- $t$ आइगेनवैल्यूज़ का उपयोग करके एंट्रॉपी का अनुमान लगाता है। यह ट्रंकेटेड एस्टीमेटर फीचर डायमेंशन्स $d_X$ और $d_T$ से स्वतंत्र अभिसरण दर प्राप्त करता है, जिससे स्केलेबल कंप्यूटेशन संभव होता है।
गाइडेंस एप्लीकेशन: लेखक टेक्स्ट-कंडीशन्ड लेटेंट डिफ्यूजन मॉडल्स को गाइड करने के लिए कंडीशनल-वेंडी स्कोर का विस्तार करते हैं। सैंपलिंग प्रक्रिया के दौरान ट्रंकेटेड कंडीशनल-वेंडी स्कोर पर ग्रेडिएंट एसेंट स्टेप जोड़कर, मॉडल को प्रॉम्प्ट-अवेयर एंट्रॉपी बढ़ाने के लिए प्रोत्साहित किया जाता है, जिससे अधिक विविध सैंपल्स उत्पन्न होते हैं।

प्रमुख योगदान

प्रॉम्प्ट-अवेयर डायवर्सिटी मेट्रिक्स के रूप में कंडीशनल-वेंडी और कंडीशनल-आरकेई का परिचय, जो मॉडल-प्रेरित परिवर्तनशीलता को प्रॉम्प्ट-प्रेरित परिवर्तनशीलता से अलग करते हैं।
डायमेंशनलिटी के अभिशाप (curse of dimensionality) को कम करने के लिए एक ट्रंकेटेड एप्रोक्सिमेशन के साथ दोनों स्कोर के लिए फाईनाइट-सैंपल कन्वर्जेंस गारंटी स्थापित करने वाला सैद्धांतिक विश्लेषण।
यह प्रदर्शन करना कि ये स्कोर डिफ्यूजन मॉडल्स को टेक्स्ट-इमेज अलाइनमेंट बनाए रखते हुए अधिक विविध आउटपुट्स बनाने के लिए गाइड कर सकते हैं।
टेक्स्ट-टू-इमेज, टेक्स्ट-टू-वीडियो, इमेज-कैप्शनिंग और LLM कार्यों पर अनुभवजन्य सत्यापन (empirical validation), जो दिखाता है कि कंडीशनल स्कोर अनकंडीशनल मेट्रिक्स की तुलना में ग्राउंड-ट्रुथ डायवर्सिटी ऑर्डरिंग्स को बेहतर तरीके से रिकवर करते हैं।

परिणाम

अभिसरण (Convergence): MS-COCO डेटासेट पर प्रयोगों से पता चलता है कि कंडीशनल-RKE और ट्रंकेटेड कंडीशनल-वेंडी मध्यम सैंपल साइज (जैसे, 15,000 सैंपल्स) के साथ स्थिर हो जाते हैं, जबकि नॉन-ट्रंकेटेड कंडीशनल-वेंडी कम्प्यूटेशनल रूप से व्यवहार्य सीमाओं के भीतर अभिसरित होने में विफल रहता है।
डायवर्सिटी डिसेंटैंगलमेंट (Diversity Disentanglement): स्टेबल डिफ्यूजन XL के साथ नियंत्रित प्रयोगों में, जब प्रॉम्प्ट्स ने अलग-अलग जानवरों के प्रकार निर्दिष्ट किए (प्रॉम्प्ट-प्रेरित विविधता), तो अनकंडीशनल वेंडी स्कोर बढ़े। हालांकि, कंडीशनल-वेंडी इस परिदृश्य में कम रहा, जो सही ढंग से पहचानता है कि मॉडल की आंतरिक विविधता विशिष्ट प्रॉम्प्ट्स द्वारा सीमित थी। इसके विपरीत, जब प्रॉम्प्ट अस्पष्ट थे (जैसे, "एक जानवर"), तो कंडीशनल-वेंडी बढ़ गया, जो मॉडल की विभिन्न नस्लें उत्पन्न करने की क्षमता को दर्शाता है।
मॉडल तुलना: मेट्रिक्स ने मॉडल्स के बीच सफलतापूर्वक अंतर किया। उदाहरण के लिए, टेक्स्ट-टू-वीडियो इवैल्यूएशन में, Open-Sora ने VideoCrafter की तुलना में उच्च कंडीशनल-वेंडी स्कोर प्रदर्शित किया, जो अधिक विविधता के दृश्य अवलोकन के अनुरूप है।
LLM मूल्यांकन: Llama 2, Gemma 3, और Phi 4 Mini के लिए, दोनों कंडीशनल-वेंडी और कंडीशनल-आरकेई स्कोर उच्च टेम्परेचर पैरामीटर्स के साथ बढ़े, जो पुष्टि करता है कि मेट्रिक्स अपेक्षित आउटपुट डायवर्सिटी को कैप्चर करते हैं।
गाइडेंस: स्टेबल डिफ्यूजन XL और PixArt-Σ पर कंडीशनल-वेंडी गाइडेंस लागू करने से टेक्स्ट-इमेज अलाइनमेंट (CLIPScore) बनाए रखते हुए सैंपल डायवर्सिटी (वेंडी और इन-बैच सिमिलैरिटी द्वारा मापा गया) में सुधार हुआ, जिसने स्टैंडर्ड वेंडी गाइडेंस को पछाड़ दिया।

महत्व
यह पेपर तर्क देता है कि मौजूदा डायवर्सिटी मेट्रिक्स कंडीशनल जनरेटिव मॉडल्स के लिए अपर्याप्त हैं क्योंकि वे कंडीशनिंग सिग्नल को ध्यान में नहीं रखते हैं। मॉडल-प्रेरित विविधता को अलग करके, कंडीशनल-वेंडी और कंडीशनल-आरकेई एक मॉडल की जनरेटिव क्षमता के अधिक सटीक मूल्यांकन के लिए प्रदान करते हैं। लेखक इस बात पर जोर देते हैं कि ये स्कोर न केवल मूल्यांकन उपकरण के रूप में कार्य करते हैं, बल्कि इनका उपयोग जनरेटेड कंटेंट की विविधता में सुधार के लिए रेगुलराइज़र या गाइडेंस मैकेनिज्म के रूप में भी किया जा सकता है। यह कार्य प्रॉम्प्ट-निर्देशित AI सिस्टम के मूल्यांकन के एक महत्वपूर्ण अंतराल को संबोधित करता है, जो कंडीशनल जनरेशन में विविधता का आकलन करने और बढ़ाने के लिए एक सैद्धांतिक रूप से सुदृढ़ और कम्प्यूटेशनल रूप से सुलभ समाधान प्रदान करता है।